Bộ điều hợp LoRA giúp Qwen3.8-27B giải nhiều bài lập trình hơn trong tác nhân pi

Tóm lược nhanh
“Nhóm harness-hub của Hugging Face đã phát hành bộ điều hợp LoRA để tinh chỉnh Qwen3.8-27B...”
Ý chính
- 1.Nhóm harness-hub phát hành Qwen3.8-27B-pi-adapted, một bộ điều hợp LoRA được huấn luyện bằng học tăng cường để hoạt động trong tác nhân lập trình pi, thay vì phục vụ hội thoại đa dụng.
- 2.Các phép đo do nhóm tự công bố đều dùng pi và một lượt thử cho mỗi bài. Khi tắt chế độ suy luận, tỷ lệ giải thành công tăng từ 39,2% lên 64,7% trên 51 bài SWE-bench Pro khó và từ 39,5% lên 55,8% trên 86 bài Terminal-Bench 2.1.
- 3.Trên những bài mà cả hai phiên bản đều giải được, số lượt tương tác trung vị giảm từ 59 xuống 23 ở SWE-bench Pro và từ 18 xuống 8 ở Terminal-Bench 2.1.
- 4.Trên SWE-bench Pro, mô hình gốc khi bật chế độ suy luận cũng đạt 64,7%. Theo số liệu được nêu, bộ điều hợp tạo ra ít token hơn khoảng 4,5 lần so với mô hình gốc ở chế độ đó.
Nhóm harness-hub của Hugging Face đã phát hành bộ điều hợp LoRA để tinh chỉnh Qwen3.8-27B cho tác nhân lập trình pi. Theo kết quả do nhóm công bố, khi tắt chế độ suy luận, tỷ lệ giải thành công trên một tập bài SWE-bench Pro tăng từ 39,2% lên 64,7%.
Thông tin trọng tâm & Diễn biến chính
Nhóm harness-hub phát hành Qwen3.8-27B-pi-adapted, một bộ điều hợp LoRA được huấn luyện bằng học tăng cường để hoạt động trong tác nhân lập trình pi, thay vì phục vụ hội thoại đa dụng.
Các phép đo do nhóm tự công bố đều dùng pi và một lượt thử cho mỗi bài. Khi tắt chế độ suy luận, tỷ lệ giải thành công tăng từ 39,2% lên 64,7% trên 51 bài SWE-bench Pro khó và từ 39,5% lên 55,8% trên 86 bài Terminal-Bench 2.1.
Trên những bài mà cả hai phiên bản đều giải được, số lượt tương tác trung vị giảm từ 59 xuống 23 ở SWE-bench Pro và từ 18 xuống 8 ở Terminal-Bench 2.1.
Trên SWE-bench Pro, mô hình gốc khi bật chế độ suy luận cũng đạt 64,7%. Theo số liệu được nêu, bộ điều hợp tạo ra ít token hơn khoảng 4,5 lần so với mô hình gốc ở chế độ đó.
Phân tích chuyên sâu & Tác động
Kết quả đáng chú ý không chỉ là tỷ lệ giải bài cao hơn khi tắt chế độ suy luận. Trong pi, bộ điều hợp đạt cùng mức điểm SWE-bench Pro được báo cáo cho mô hình gốc khi bật chế độ này, đồng thời dùng ít token hơn. Điều đó có thể giúp giảm chi phí phục vụ, nhưng số token không đủ để xác định mức tiết kiệm thực tế.
Vì bộ điều hợp được huấn luyện cho pi, các kết quả này hữu ích nhất khi đánh giá việc triển khai trong chính tác nhân đó. Không thể lấy mức tăng điểm trong pi làm bằng chứng rằng nó cũng cải thiện các tác nhân lập trình khác.
Triển vọng & Các yếu tố cần theo dõi
Các phép đo do nhóm tự công bố dựa trên tập bài nhỏ. Chưa có kết quả kiểm chứng độc lập trong thông tin được cung cấp.
Thông tin được cung cấp không nêu lượng VRAM cần cho suy luận, nên chưa thể xác định phần cứng tối thiểu để triển khai bộ điều hợp.







