אוכלוסייה
משימות רב־שלביות מייצגות עם אילוצים מתמשכים, כולל תהליכים עם שימוש בכלים וסוכני LLM.
כל הפרויקטים
מחפש שותף
האם חיזוק הוראות משפר את עמידת ה-LLM בדרישות תחת עומס הקשר?
בודקים האם חזרה אסטרטגית על אילוצים או הצגה מובנית שלהם משפרות עמידה בדרישות במשימות LLM ארוכות, רב־שלביות ועם כלים, בלי להגדיל מהותית את מספר הטוקנים.
השערה
חיזוק הוראות קריטיות בנקודות החלטה ישפר את שיעור העמידה בכל דרישות המפרט ב-8 נקודות אחוז לפחות, תוך תוספת של עד 5% למספר הטוקנים הכולל.
מדד עיקרי
שיעור המשימות שמקיימות את כל האילוצים הקריטיים שהוגדרו מראש.
סף משמעותי
+8 נקודות אחוז בעמידה בהוראות עם תוספת של עד 5% בטוקנים.
יעד עסקי
התנהגות אמינה יותר של LLM וסוכנים בלי אימון מחדש או עלייה מהותית בעלות ההסקה.
כללי החלטה
השיפור עומד בשני הספים
לעבור לשחזור רחב יותר במספר מודלים ולפיילוט מוצר.
העמידה משתפרת אך תקציב הטוקנים נפרץ
לייעל את תדירות החיזוק ואת מיקומו.
אין שיפור משמעותי
לא לפרוס חזרה על הוראות כמנגנון אמינות כללי.
תוצאות עסקיות הן יעדי מחקר ולא הבטחות. גם תוצאה אפסית או שלילית עשויה ליצור ערך משמעותי באמצעות מניעת השקעה במוצר, תכונה או קמפיין שאינם יעילים.
התערבות
חזרה ממוקדת על הוראות קריטיות או הצגתן מחדש באופן מובנה בגבולות הקשר שנבחרו מראש.
השוואה
אותה משימה, כאשר כל הוראה מופיעה פעם אחת בלבד במיקומה המקורי.
מדדים משניים
דיוק במשימה · מספר טוקנים כולל · השהיה · שיעור כשל לפי אילוץ