كيف تعرف أن وكيلك أنهى المهمة بالفعل، ولم يكتفِ فقط بإيجاد مفتاح الإجابة؟

في SWE-Bench مخصص، الإصلاح المقصود موجود بالفعل في سجلّ المستودع (repo history)، وتأتي اختبارات التقييم نفسها مرفقة مع المهمة.
النموذج القادر يتخذ هذا الاختصار في كل مرة تقريباً ما لم تُزلّه أولاً. هذا هو العمل الحقيقي في بناء تقييم.