Stanford công bố hệ thống bộ nhớ tiềm ẩn Memorilla cho mô hình ngôn ngữ lớn

Tóm lược nhanh
“Nhóm nghiên cứu tại Đại học Stanford vừa phát hành Memorilla, một hệ thống mã nguồn mở cho...”
Các điểm cốt lõi
- 1.Hệ thống Memorilla đọc toàn bộ bộ sưu tập tài liệu và cung cấp chính xác 16 token bộ nhớ cho mô hình ngôn ngữ lớn Qwen3-8B ở trạng thái đóng băng.
- 2.Trên tập dữ liệu kiểm tra FactKG, mô hình tích hợp Memorilla đạt độ chính xác 84,33%, vượt mốc 80,43% khi nạp toàn bộ tài liệu vào ngữ cảnh và tiết kiệm gấp 108 lần số token tài liệu.
- 3.Mã nguồn, công thức huấn luyện và các điểm kiểm tra mô hình được phát hành công khai theo giấy phép Apache 2.0 trên nền tảng Hugging Face.
Nhóm nghiên cứu tại Đại học Stanford vừa phát hành Memorilla, một hệ thống mã nguồn mở cho phép thu gọn toàn bộ tài liệu thành 16 token bộ nhớ cho các mô hình ngôn ngữ lớn đóng băng. Công nghệ này giúp tăng tốc độ xử lý đáng kể trong khi vẫn duy trì hiệu suất cao trên nhiều tiêu chuẩn đánh giá.
Bối cảnh và chi tiết công nghệ
Hệ thống Memorilla đọc toàn bộ bộ sưu tập tài liệu và cung cấp chính xác 16 token bộ nhớ cho mô hình ngôn ngữ lớn Qwen3-8B ở trạng thái đóng băng.
Trên tập dữ liệu kiểm tra FactKG, mô hình tích hợp Memorilla đạt độ chính xác 84,33%, vượt mốc 80,43% khi nạp toàn bộ tài liệu vào ngữ cảnh và tiết kiệm gấp 108 lần số token tài liệu.
Mã nguồn, công thức huấn luyện và các điểm kiểm tra mô hình được phát hành công khai theo giấy phép Apache 2.0 trên nền tảng Hugging Face.
Đánh giá tác động và góc nhìn chuyên môn
Việc sử dụng các token bộ nhớ tiềm ẩn giúp giải quyết nút cổ chai về ngữ cảnh của mô hình ngôn ngữ lớn mà không cần huấn luyện lại toàn bộ mô hình cơ sở tốn kém.
Mặc dù đạt hiệu suất cao ở các bài toán tổng hợp dài và kiểm tra sự thật, hệ thống vẫn gặp hạn chế ở các tập dữ liệu hỏi đáp y tế ngắn như PubMedQA do lượng thông tin ban đầu đã rất cô đọng.
Xu hướng tiếp theo và điều cần theo dõi
Hiệu năng thực tế của Memorilla khi áp dụng với các dòng mô hình ngôn ngữ lớn khác ngoài hệ sinh thái Qwen chưa được làm rõ trong tài liệu công bố.
Mức độ ảnh hưởng của các biến thể lượng tử hóa đối với độ chính xác của mô phận bộ nhớ 194 triệu tham số này vẫn chưa được tiết lộ.







