טוקנים למשימה מוצלחת
ניתוב משימות שגרתיות לתקציבי הסקה קצרים יותר שמר על שיעור ההשלמה המוצלחת, ובמקביל צמצם משמעותית את צריכת הטוקנים לעומת שימוש קבוע בהסקה מורחבת.
מודדים האם תקציבי הסקה המותאמים למשימה יכולים לצמצם את "מס ההסקה" תוך שמירה על השלמה מוצלחת של משימות LLM וסוכנים מורכבות.
ניתוב משימות שגרתיות לתקציבי הסקה קצרים יותר שמר על שיעור ההשלמה המוצלחת, ובמקביל צמצם משמעותית את צריכת הטוקנים לעומת שימוש קבוע בהסקה מורחבת.
תקבלו מדיניות ניתוב לפי סוג משימה בעומס העבודה שלכם: אילו בקשות באמת זקוקות להסקה מורחבת, אילו לא, ומהו גבול הדיוק־השהיה־עלות בפועל.
לשמור הסקה יקרה למשימות שבהן הלקוחות באמת מפיקים ממנה תועלת.
אם ההתערבות אינה עוברת את הסף שנקבע מראש, זו ראיה נגד השקעה נוספת בבנייה, השקה או הרחבה שלה בהקשר הזה.
לא להוסיף מורכבות ניתוב.
אם ההתערבות עוברת את הסף אבל העסק ממשיך כרגיל, חיסכון, הכנסה, אימוץ או הפחתת סיכון שניתנים למדידה עלולים להישאר לא ממומשים.
לפעול רק כאשר ההזדמנות שנמדדה גדולה מספיק כדי להצדיק את השינוי.
ניתוב משימות לתקציב הסקה קצר, בינוני או מורחב יפחית את מספר הטוקנים לכל משימה מוצלחת ב-25% לפחות, תוך שמירה על שיעור הצלחה בטווח של 2 נקודות אחוז מבסיס המשתמש תמיד בהסקה מורחבת.
מספר הטוקנים הכולל של המודל לכל משימה שהושלמה בהצלחה.
לפחות 25% פחות טוקנים לכל משימה מוצלחת, עם ירידה של עד 2 נקודות אחוז בהצלחה.
עלות והשהיית הסקת LLM נמוכות יותר ללא אובדן משמעותי בהצלחת המשימות.
לבצע פיילוט של הסקה אדפטיבית בעומס הדומה לייצור.
להעלות את סף המעבר להסקה מורחבת.
לא להוסיף מורכבות ניתוב.
תוצאות עסקיות הן יעדי מחקר ולא הבטחות. גם תוצאה אפסית או שלילית עשויה ליצור ערך משמעותי באמצעות מניעת השקעה במוצר, תכונה או קמפיין שאינם יעילים.
משימות הסקה מורכבות ומשימות עם שימוש בכלים, מחולקות לפי רמת קושי משוערת.
מדיניות מותאמת למשימה שמקצה תקציב הסקה לפני הביצוע ובמהלכו.
שימוש קבוע בתקציב ההסקה הארוך ביותר הזמין.
הצלחת המשימה · השהיה · ניסיונות התאוששות · שונות בעלות לפי סוג משימה
נתאים את האוכלוסייה, ההתערבות, הספים והכלכלה ללקוחות שלכם. התוצאה עשויה לומר לכם להרחיב, לעצור הוצאה, או לפעול על הזדמנות שאתם משאירים כיום לא ממומשת. כל אחת מהאפשרויות היא החלטה עסקית מועילה כאשר הראיות חזקות מספיק.
המטרה אינה להשיג תוצאה חיובית. המטרה היא להשיג ראיות חזקות מספיק כדי לשנות החלטה אמיתית.