Một bài báo khiến tôi phải dừng lại và xem trong nửa giờ S0 Tuning

Ý tưởng cốt lõi: Không chỉnh sửa trọng số của mô hình, chỉ điều chỉnh một ma trận trạng thái ban đầu, có thể nâng cao đáng kể khả năng mã hóa của mô hình.
Trên Qwen3.5-4B, chỉ dùng 48 mẫu huấn luyện HumanEval (không phải 48K, mà là 48), S0 tuning đã nâng pass@1 lên 23.6 điểm phần trăm.
So với LoRA, S0 cao hơn 10.8 điểm phần trăm. p giá trị<0.001, thống kê có ý nghĩa.
Trên FalconH1-7B, S0 đạt 71.8%.
Điều này có nghĩa là sau khi điều chỉnh, tốc độ của mô hình không thay đổi, kích thước không thay đổi, chỉ là "vị trí xuất phát" tốt hơn.
Đối với những người triển khai mô hình cục bộ, điều này mở ra một cánh cửa: lấy một mô hình chung, dùng vài chục mẫu lĩnh vực để điều chỉnh thành mô hình chuyên dụng, mà không mất bất kỳ hiệu năng nào.
Bài báo trên arxiv: 2604.01168. Những người làm về thích nghi mô hình nên đọc qua.