مقالة جعلتني أتوقف وأتأمل لمدة نصف ساعة S0 Tuning

الفكرة الأساسية: لا تغيّر أوزان النموذج، فقط قم بضبط مصفوفة الحالة الابتدائية، ويمكن أن يعزز بشكل كبير قدرة النموذج على التكويد.
على نموذج Qwen3.5-4B، باستخدام فقط 48 عينة تدريب HumanEval (ليست 48 ألف، بل 48 فقط)، رفع S0 tuning نسبة pass@1 بمقدار 23.6 نقطة مئوية.
مقارنة بـ LoRA، تفوق S0 بمقدار 10.8 نقطة مئوية. قيمة p<0.001، دلالة إحصائية.
على نموذج FalconH1-7B، وصل S0 إلى 71.8%.
هذا يعني أنه بعد الضبط، لا يتغير سرعة النموذج أو حجمه، فقط "موضع الانطلاق" أصبح أفضل.
بالنسبة للأشخاص الذين يقومون بنشر النماذج محليًا، هذا يفتح بابًا: استخدم نموذجًا عامًا، وضبطه باستخدام عشرات العينات من مجالات مختلفة ليصبح نموذجًا متخصصًا، دون أي تكلفة على الأداء.
الورقة منشورة على arxiv: 2604.01168. يجب على من يعمل على تكييف النماذج قراءتها.