פרומפטים הם תצורה; תפעול יוצר אמינות

Karaca מדווחת שעוזר הקניות שלה הכפיל המרה לעומת חיפוש, הגיע לפי חמישה משיעור ההמרה ללא סיוע והפחית עלות למפגש ב־97.5% לפני ההשקה. המקרה הציבורי מתאר גם אמצעי הגנה נרחבים, בדיקות A/B, עבודת נתונים ומעורבות הנהלה. התוצאה העסקית שייכת למערכת התפעולית הזאת, לא לפרומפט חכם אחד.

Answer Operations מתייחס לתשובה כמערכת מוצר. הוא מחזיק במה שהמערכת רשאית לטעון, כיצד ראיות נכנסות, אילו פרוטוקולים שולטים בפעולה, אילו צורות מותר לתשובה לקבל, כיצד לקוחות מתקנים הקשר, מתי בני אדם מתערבים וכיצד שינויים נמדדים. השם פחות חשוב מן האחריות שהוא יוצר.

ארבע שכבות עם גרסאות

שכבת הראיות כוללת מקורות, מקוריות, עדכניות וגישה. שכבת הפרוטוקול כוללת תנאים, חובות, מעברים אסורים, גילויים נדרשים והסלמה. שכבת ההצגה כוללת שפה, היררכיה, אינטראקציה, נגישות, טון והייצוג שנבחר למשימה. שכבת המדידה מגדירה מושגים, כלים, ספים, אמצעי הגנה והחלטות.

נהלו גרסאות נפרדות לשכבות. עדכון מדיניות אינו צריך לדרוש כוונון קול המותג. מודל חדש צריך להיבדק מול אותה ערכת פרוטוקול. כרטיס השוואה שעוצב מחדש צריך להשתמש באותן ראיות. ההפרדה הופכת כשלים לקריאים ומאפשרת לשפר את השכבה האנושית בלי לבלבל אפקט חזותי עם שינוי ידע.

הצוות בהכרח רב־תחומי

המוצר מחזיק בלקוח ובהחלטה העסקית. מומחי תחום כותבים כללים ומקרי גבול. הנדסה מממשת אחזור, יצירה, אימות, נראות וחזרה לאחור. עיצוב מחזיק בייצוג המשימה ובאינטראקציה. מדעי הרוח והחברה מבהירים רטוריקה, תרבות, מושגים והקשר חי. סיכון, משפטים, אבטחה ותפעול קו ראשון מחזיקים בתוצאות שבדיקת מעבדה עלולה להחמיץ.

חשבו על כך כחלוקת שליטה, לא כוועדה שקוראת כל משפט. כל תחום מחזיק בתוצרים שנכנסים לתהליך השחרור: מדיניות מקורות, בדיקות פרוטוקול, אילוצי רכיבים, ממצאים איכותניים, תוכניות מדידה ונהלי הסלמה. עבודה חוצת־תפקידים נעשית ניתנת להרחבה כאשר לכל תובנה יש כתובת במערכת.

קשרו שחרורים להחלטות

מסגרת המדידה של Wallach ועמיתיו עוזרת לצוותים להימנע מהכרזה על ״שיפור״ עמום. לפני שחרור, ציינו איזו התנהגות אנושית צריכה להשתנות, מדוע התערבות התשובה עשויה לשנות אותה, מהי התוצאה הראשית, מהו האפקט המזערי בעל המשמעות, מהו מדד ההגנה ומה ההחלטה לכל תוצאה. השתמשו בהערכות LLM כאבחון היכן שתוקפו, לא כתחליף להתנהגות לקוח.

מקרה עוזר הקניות של Karaca מאלף מפני שהתיאור הציבורי כולל בדיקות A/B, אמצעי הגנה, השוואות המרה וירידה בעלות למפגש. המספרים עדיין דווחו חיצונית ותלויים בהקשר. הלקח התפעולי ניתן להעברה: הערך נוצר דרך ניסויי מוצר וכלכלה, לא מדמו של מודל בלבד.

כך מתחילים 90 יום של Answer Operations

ימים 1–30: בחרו סוג תשובה בעל השלכות, מפו את המסלול ואת הכשלים, אספו ראיות מלקוחות ומקו ראשון וכתבו חוזה מדידה. ימים 31–60: הפרידו ראיות, פרוטוקול והצגה; בנו סט הערכה מותאם של יעד וניגוד; צרו אב־טיפוס להתערבות אחת. ימים 61–90: הריצו בדיקות בטיחות אופליין, ואז מחקר מבוקר עם לקוחות או עובדים, חזרה לאחור וניטור.

סיימו בהחלטה, לא בתצוגה. הרחיבו אם ההתערבות עוברת את הסף בלי נזק לא קביל. שפרו אם אבחוני המנגנון מבטיחים אך התוצאה הראשית לא. עצרו אם הערך קטן מדי. חקרו אם פלח נפגע. חברת LLM בוגרת לא תהיה זו עם הפרומפט הארוך ביותר, אלא זו שיכולה להסביר, לבדוק ולשפר כיצד אינטליגנציה הופכת לתשובה שאדם יכול להשתמש בה בבטחה.