الفئة
مهام استدلال معقدة ومهام تستخدم الأدوات، مصنفة بحسب مستوى الصعوبة المتوقع.
كل المشاريع
يبحث عن شريك
متى يتوقف المزيد من استدلال LLM عن تبرير تكلفته؟
نقيس ما إذا كانت ميزانيات الاستدلال المتكيفة مع المهمة تستطيع خفض «ضريبة التفكير» مع الحفاظ على إتمام ناجح لمهام LLM والوكلاء المعقدة.
الفرضية
سيؤدي توجيه المهام إلى ميزانيات استدلال قصيرة أو متوسطة أو موسعة إلى خفض الرموز لكل مهمة ناجحة بما لا يقل عن 25%، مع إبقاء نجاح المهمة ضمن نقطتين مئويتين من خط أساس يستخدم الاستدلال الموسع دائماً.
المقياس الأساسي
إجمالي رموز النموذج لكل مهمة تُنجز بنجاح.
العتبة ذات المعنى
خفض الرموز لكل مهمة ناجحة بما لا يقل عن 25% مع خسارة لا تتجاوز نقطتين مئويتين في نجاح المهمة.
الهدف التجاري
خفض تكلفة استدلال LLM وزمنه من دون خسارة ذات معنى في نجاح المهام.
قواعد القرار
تحقق عتبتا الكفاءة والجودة
تجربة الاستدلال المتكيف على حمل عمل يحاكي الإنتاج.
تتحقق وفورات الرموز لكن ينخفض النجاح أكثر من اللازم
رفع عتبة التصعيد إلى الاستدلال الموسع.
لا توجد فائدة كفاءة جوهرية
عدم إضافة تعقيد التوجيه.
النتائج التجارية هي أهداف بحثية وليست ضمانات. وقد تخلق النتيجة الصفرية أو السلبية قيمة كبيرة عبر منع الاستثمار في منتج أو ميزة أو حملة غير فعّالة.
التدخل
سياسة متكيفة مع المهمة تخصص ميزانية الاستدلال قبل التنفيذ وأثناءه.
المقارنة
استخدام أطول ميزانية استدلال متاحة في جميع المهام.
المقاييس الثانوية
نجاح المهمة · زمن الاستجابة · محاولات التعافي · تباين التكلفة حسب فئة المهمة