Meituan ra mắt mô hình trí tuệ nhân tạo LongCat-2,5 chạy trên chip nội địa Trung Quốc

Tóm lược nhanh
“Meituan đã công bố mô hình ngôn ngữ lớn LongCat-2,5 với 1,6 nghìn tỷ tham số được thiết kế...”
Các điểm cốt lõi
- 1.LongCat-2,5 sở hữu tổng cộng 1,6 nghìn tỷ tham số theo kiến trúc hỗn hợp chuyên gia, trong đó mỗi token kích hoạt khoảng 48 tỷ tham số để xử lý.
- 2.Mô hình được huấn luyện bằng các nhiệm vụ thực tế trích xuất từ các pull request trên GitHub trong một môi trường bị cô lập mạng.
- 3.Meituan tối ưu hóa mô hình bằng cách nén trọng số xuống định dạng 4-bit nhằm tương thích trực tiếp với các dòng chip nội địa như Huawei Ascend.
Meituan đã công bố mô hình ngôn ngữ lớn LongCat-2,5 với 1,6 nghìn tỷ tham số được thiết kế để vận hành hoàn toàn trên phần cứng nội địa Trung Quốc mà không cần dùng chip Nvidia. Hệ thống này mở trọng số theo giấy phép MIT và hỗ trợ xử lý cả văn bản, hình ảnh lẫn video.
Bối cảnh và chi tiết công nghệ
LongCat-2,5 sở hữu tổng cộng 1,6 nghìn tỷ tham số theo kiến trúc hỗn hợp chuyên gia, trong đó mỗi token kích hoạt khoảng 48 tỷ tham số để xử lý.
Mô hình được huấn luyện bằng các nhiệm vụ thực tế trích xuất từ các pull request trên GitHub trong một môi trường bị cô lập mạng.
Meituan tối ưu hóa mô hình bằng cách nén trọng số xuống định dạng 4-bit nhằm tương thích trực tiếp với các dòng chip nội địa như Huawei Ascend.
Đánh giá tác động và góc nhìn chuyên môn
Việc phát triển các mô hình quy mô lớn tối ưu hóa riêng cho phần cứng thay thế cho thấy nỗ lực giảm bớt sự phụ thuộc vào các bộ tăng tốc ngoại ngoại nhập dưới lệnh hạn chế xuất khẩu.
Xu hướng tiếp theo và điều cần theo dõi
Các kết quả đánh giá năng lực hiện chỉ do Meituan tự công bố và chưa có sự kiểm chứng độc lập từ các phòng thí nghiệm bên ngoài.







