אוכלוסייה
משימות הסקה מורכבות ומשימות עם שימוש בכלים, מחולקות לפי רמת קושי משוערת.
כל הפרויקטים
מחפש שותף
מתי יותר הסקה ב-LLM מפסיקה להצדיק את העלות?
מודדים האם תקציבי הסקה המותאמים למשימה יכולים לצמצם את "מס ההסקה" תוך שמירה על השלמה מוצלחת של משימות LLM וסוכנים מורכבות.
השערה
ניתוב משימות לתקציב הסקה קצר, בינוני או מורחב יפחית את מספר הטוקנים לכל משימה מוצלחת ב-25% לפחות, תוך שמירה על שיעור הצלחה בטווח של 2 נקודות אחוז מבסיס המשתמש תמיד בהסקה מורחבת.
מדד עיקרי
מספר הטוקנים הכולל של המודל לכל משימה שהושלמה בהצלחה.
סף משמעותי
לפחות 25% פחות טוקנים לכל משימה מוצלחת, עם ירידה של עד 2 נקודות אחוז בהצלחה.
יעד עסקי
עלות והשהיית הסקת LLM נמוכות יותר ללא אובדן משמעותי בהצלחת המשימות.
כללי החלטה
ספי היעילות והאיכות מתקיימים
לבצע פיילוט של הסקה אדפטיבית בעומס הדומה לייצור.
נחסכים טוקנים אך ההצלחה יורדת יותר מדי
להעלות את סף המעבר להסקה מורחבת.
אין שיפור יעילות מהותי
לא להוסיף מורכבות ניתוב.
תוצאות עסקיות הן יעדי מחקר ולא הבטחות. גם תוצאה אפסית או שלילית עשויה ליצור ערך משמעותי באמצעות מניעת השקעה במוצר, תכונה או קמפיין שאינם יעילים.
התערבות
מדיניות מותאמת למשימה שמקצה תקציב הסקה לפני הביצוע ובמהלכו.
השוואה
שימוש קבוע בתקציב ההסקה הארוך ביותר הזמין.
מדדים משניים
הצלחת המשימה · השהיה · ניסיונות התאוששות · שונות בעלות לפי סוג משימה