Meta FAIR cho tác nhân AI tự tối ưu bộ nhớ, đạt 56,0 điểm qua ba tác vụ

Tóm lược nhanh
“Meta FAIR giới thiệu phương pháp để tác nhân AI tự tìm cách lưu và gọi lại thông tin giữa...”
Ý chính
- 1.Phương pháp dùng bộ nhớ lưu trong các tệp. Một hướng dẫn cập nhật bộ nhớ sau mỗi tác vụ nhỏ, còn hướng dẫn kia lấy ghi chú trước tác vụ tiếp theo.
- 2.Ở giai đoạn tìm kiếm, một tác nhân viết lại hai hướng dẫn quản lý bộ nhớ. Mỗi phương án được chạy qua toàn bộ chuỗi tác vụ năm lần, rồi được chọn bằng một tập kiểm tra mà tác nhân không được xem.
- 3.Theo bài viết, bộ hướng dẫn được tối ưu đạt trung bình 56,0 điểm trên ba tác vụ Database, Codebase và Spectrum, so với 44,6 điểm của phương án tốt nhất do con người viết. Các hàng kết quả đều dùng mô hình Kimi-K2.6.
- 4.Nhóm nghiên cứu còn dùng các lượt chạy với hướng dẫn đã tối ưu để tinh chỉnh mô hình. Khi cả hai phiên bản cùng sử dụng hướng dẫn bộ nhớ chung, phiên bản được tinh chỉnh theo cách này đạt trung bình 43,1 điểm qua 10 bộ hạt giống thử nghiệm tương ứng, so với 37,6 điểm khi tinh chỉnh từ các lượt chạy dùng hướng dẫn chung.
- 5.Việc tìm kiếm không cải thiện đều qua mỗi lần sửa. Theo bài viết, 37 trong 44 phương án chỉnh sửa không vượt được kết quả tốt nhất trước đó.
Meta FAIR giới thiệu phương pháp để tác nhân AI tự tìm cách lưu và gọi lại thông tin giữa các lượt làm việc. Theo kết quả được bài viết thuật lại, bộ hướng dẫn do hệ thống tìm ra đạt trung bình 56,0 điểm trên ba tác vụ, so với 44,6 điểm của bộ hướng dẫn tốt nhất do con người viết.
Thông tin trọng tâm & Diễn biến chính
Phương pháp dùng bộ nhớ lưu trong các tệp. Một hướng dẫn cập nhật bộ nhớ sau mỗi tác vụ nhỏ, còn hướng dẫn kia lấy ghi chú trước tác vụ tiếp theo.
Ở giai đoạn tìm kiếm, một tác nhân viết lại hai hướng dẫn quản lý bộ nhớ. Mỗi phương án được chạy qua toàn bộ chuỗi tác vụ năm lần, rồi được chọn bằng một tập kiểm tra mà tác nhân không được xem.
Theo bài viết, bộ hướng dẫn được tối ưu đạt trung bình 56,0 điểm trên ba tác vụ Database, Codebase và Spectrum, so với 44,6 điểm của phương án tốt nhất do con người viết. Các hàng kết quả đều dùng mô hình Kimi-K2.6.
Nhóm nghiên cứu còn dùng các lượt chạy với hướng dẫn đã tối ưu để tinh chỉnh mô hình. Khi cả hai phiên bản cùng sử dụng hướng dẫn bộ nhớ chung, phiên bản được tinh chỉnh theo cách này đạt trung bình 43,1 điểm qua 10 bộ hạt giống thử nghiệm tương ứng, so với 37,6 điểm khi tinh chỉnh từ các lượt chạy dùng hướng dẫn chung.
Việc tìm kiếm không cải thiện đều qua mỗi lần sửa. Theo bài viết, 37 trong 44 phương án chỉnh sửa không vượt được kết quả tốt nhất trước đó.
Phân tích chuyên sâu & Tác động
Mức 56,0 điểm đo hiệu quả của bộ hướng dẫn đã tối ưu, không phải điểm của mô hình sau tinh chỉnh. Kết quả 43,1 so với 37,6 điểm cho thấy việc tinh chỉnh giữ lại một phần lợi ích ngay cả khi quay về hướng dẫn chung, nhưng không tái tạo toàn bộ mức điểm của bộ hướng dẫn tối ưu.
Vì nhiều phương án sửa đổi không tạo ra tiến bộ, bước chạy thử và chọn lọc là phần quan trọng của phương pháp, chứ không chỉ việc để tác nhân viết thêm hướng dẫn.
Triển vọng & Các yếu tố cần theo dõi
Bài viết không nêu phần cứng dùng để huấn luyện, nên chưa thể ước tính chi phí tái tạo bước tinh chỉnh.
Các bài kiểm tra dùng những trường hợp mới trong cùng ba tác vụ. Kết quả chưa cho biết phương pháp sẽ hoạt động ra sao với loại tác vụ khác.







