כל הפרויקטים
מחפש שותף

האם סוכני LLM ארוכי־טווח עדיין פועלים למען המטרה המקורית של המשתמש אחרי עשרות צעדים?

מודדים סטייה מהמטרה לאורך מסלולים ארוכים של סוכני LLM ובודקים נקודות ביקורת קלות שמחזירות את כוונת המשתמש בלי להתחיל את התהליך מחדש.

מוצראימוץ ושימור
תוכנת LLM ופלטפורמות
השערה

נקודות ביקורת תקופתיות של כוונת המשתמש, המופעלות כאשר מזוהה סטייה בתוכנית, יפחיתו פעולות סופיות שאינן תואמות את המטרה ב-25% לפחות, עם תוספת של פחות מ-5% בטוקנים.

מדד עיקרי

שיעור המשימות שהושלמו כאשר הפעולה הסופית נשארת תואמת למטרה ולאילוצים המקוריים של המשתמש.

סף משמעותי

לפחות 25% פחות פעולות סופיות שאינן תואמות למטרה, עם פחות מ-5% טוקנים נוספים.

יעד עסקי

סוכני LLM ארוכי־טווח אמינים יותר וראיות ברורות יותר לגבי מתי התזמור צריך לעצור, לחדש או לבקש קלט אנושי.

כללי החלטה

הסטייה פוחתת במסגרת תקציב הטוקנים

לשחזר במספר מסגרות סוכנים ובמסלולים ארוכים יותר.

הסטייה פוחתת אך תקורת נקודות הביקורת גבוהה

להפעיל נקודות ביקורת רק בשינויי מצב בעלי סיכון גבוה יותר.

אין הפחתה משמעותית בסטייה

לא להוסיף נקודות ביקורת כמנגנון תזמור כללי.

תוצאות עסקיות הן יעדי מחקר ולא הבטחות. גם תוצאה אפסית או שלילית עשויה ליצור ערך משמעותי באמצעות מניעת השקעה במוצר, תכונה או קמפיין שאינם יעילים.

אוכלוסייה

משימות סוכן ארוכות הכוללות תכנון, קריאות לכלים, הפרעות, תצפיות ביניים ותתי־מטרות מקומיות משתנות.

התערבות

נקודות ביקורת קומפקטיות שמשוות את התוכנית הנוכחית ואת הפעולה הסופית המתוכננת למטרה ולאילוצים המקוריים של המשתמש.

השוואה

אותו תהליך ארוך ללא נקודות ביקורת מפורשות למטרה.

מדדים משניים

הצלחת המשימה · התאוששות מהפרעה · טוקנים נוספים · שיעור התראות שווא של נקודת הביקורת

האם ההשערה תואמת החלטה על לקוחות או עסק שהחברה שלכם צריכה לקבל?

דברו על הפרויקט

דברו איתנו על פרויקט מחקר

תארו היכן נמצאת אי־הוודאות ומה תרצו לבדוק. יישום הדוא״ל ייפתח עם טיוטה מובנית; האתר אינו שומר את המידע.

פתיחת טיוטת דוא״ל