להתעמקות יש עקומת עלות
מחקר סנטימנט פיננסי ללא דוגמאות השווה GPT-4o, GPT-4.1, o3-mini ושני מודלי FinBERT מתמחים תחת פרומפטים מהירים ומעמיקים. השילוב המדויק והקרוב ביותר לשיפוט אנושי היה GPT-4o ללא שרשרת חשיבה. במשימה הזאת, הנמקה נוספת לא רק שלא הצדיקה את עלותה; היא הפיקה תחזיות פחות טובות.
מערכות עסקיות מכילות עומסי עבודה מעורבים רבים. מקרים מסוימים דורשים ניתוח רב־שלבי; אחרים זקוקים לעובדה עדכנית, לכלל דטרמיניסטי או לפעולה מאושרת קצרה. שליחת כל שאלה דרך הנמקה מרבית מגדילה זמן ועלות ויוצרת עוד הזדמנויות למודל לפרש מחדש כלל שכבר הבין נכון.
עקבה משכנעת אינה תהליך תקף
בני אדם מגיבים לקוהרנטיות. הסבר מפורט יכול לגרום להמלצה להרגיש בדוקה גם כאשר העקבה נודדת דרך צעדים לא רלוונטיים או שגויים. מנגד, תשובה נכונה יכולה לצאת מעקבה שאינה תיאור נאמן של חישוב המודל. הסיפור הגלוי של ההנמקה ואמינות התוצאה קשורים, אך אינם זהים.
העריכו את התהליך היכן שהתהליך נושא דרישות: ראיות חובה, רצף, ספים, התוויות נגד, אישורים או הסלמה. במקומות אחרים, העריכו ישירות את התשובה ואת ההתנהגות. דרישה אוניברסלית להסבר צעד אחר צעד יכולה להוסיף פרטים משכנעים בלי להוסיף שליטה.
ניטור רואה כשלים שתשובה סופית מסתירה
עבודת OpenAI על ניטור שרשרת חשיבה מראה שצופה יכול לזהות התנהגות לא תקינה מסוימת בהנמקה הביניים טוב יותר מאשר בפעולות ובפלט בלבד. המחקר גם מזהיר שניתנות הניטור שברירית. אם אימון דוחף מודלים להסתיר ״מחשבות אסורות״, האות יכול להיחלש גם כשהעקבה נראית נקייה יותר.
בפריסה, ניטור צריך להיות שכבה אחת. בדיקות דטרמיניסטיות יכולות לאמת עובדות מובנות ופעולות נדרשות. אחזור יכול לעגן מדיניות עדכנית. מנטר מודל יכול לסמן דפוסים סמנטיים. ביקורת אנושית יכולה להחזיק בחריגים בעלי השפעה גבוהה. אף שכבה אינה צריכה לשאת טענה רחבה יותר מן הכיסוי שהוכיחה.
כשל מקומי ראוי לשליטה מקומית
השליטה הנכונה תלויה במיקום הכשל ובמנגנון שלו. עובדה מיושנת זקוקה לראיה חדשה. פורמט לא תקף זקוק לפלט מוגבל. אישור שהושמט זקוק לבדיקת פרוטוקול. הנמקה מופרזת עשויה להזדקק ליציאה. עמימות מסוכנת עשויה להזדקק לאדם. ״תנו למודל לחשוב יותר״ מתייחס לכשלים שונים כמחלה אחת.
תוצאת הניטור של OpenAI מוסיפה הבחנה: צפייה במסלול ואופטימיזציה שלו אינן אותו דבר. לחץ חזק נגד ״מחשבות רעות״ גלויות הפך חלק מן ההתנהגות הלא תקינה לקשה יותר לזיהוי. תהליך שנראה נקי יותר יכול להפחית שליטה כאשר ההערכה מתגמלת מראה במקום פעולה עסקית.
הטילו על הנמקה ארוכה את נטל ההוכחה
חלקו סט בדיקה דמוי־ייצור למשימות ישירות, מורכבות, עמומות ומוגבלות־פרוטוקול. השוו יצירה ישירה קצרה, הנמקה רגילה ומדיניות אדפטיבית שמנתבת או עוצרת לפי המשימה ואי־הוודאות. מדדו פעולה עסקית נכונה, עמידה בפרוטוקול, טעות מזיקה, זמן תגובה, עלות טוקנים וכיול. בדקו מסלולי כשל, לא רק ממוצעים.
אם הנמקה ארוכה עוזרת לסוג אחד ופוגעת באחר, פרסו נתב במקום להכריז על מנצח אוניברסלי. אם עצירה אדפטיבית חוסכת טוקנים בלי לשנות את איכות הפעולה, המקרה העסקי מיידי. אם בקר מקומי מתקן כשלי פרוטוקול, בדקו התערבויות שווא חדשות. אמינות נובעת מבחירת השליטה המתאימה לכשל, לא מרכישת המחשבה הארוכה ביותר.