Mistral phát hành model mở một nghìn tỉ tham số Le Chonk

Tóm lược nhanh
“Mistral AI vừa công bố Le Chonk, mẫu trí tuệ nhân tạo mở trọng số quy mô một nghìn tỉ tham...”
Các điểm cốt lõi
- 1.Mistral AI phát hành bản mở trọng số của model Large 4 mang tên mã Le Chonk với khoảng một nghìn tỉ tham số tổng.
- 2.Kiến trúc chuyên gia hỗn hợp của hệ thống gồm 128 chuyên gia nhỏ, trong đó bộ định tuyến chọn 4 chuyên gia cùng 1 chuyên gia chung xử lý cho mỗi token.
- 3.Model này hỗ trợ văn bản và hình ảnh, hơn 160 ngôn ngữ cùng ngữ cảnh một triệu token.
- 4.Giấy phép đi kèm là Mistral Ecosystem Open-Weight License, cho phép dùng và thương mại hóa ngoại trừ dịch vụ cho thuê model trực tiếp.
Mistral AI vừa công bố Le Chonk, mẫu trí tuệ nhân tạo mở trọng số quy mô một nghìn tỉ tham số sử dụng kiến trúc chuyên gia hỗn hợp. Hệ thống này cho phép cộng đồng tải về tùy biến nhưng đòi hỏi hạ tầng máy chủ cấp doanh nghiệp.
Bối cảnh và chi tiết công nghệ
Mistral AI phát hành bản mở trọng số của model Large 4 mang tên mã Le Chonk với khoảng một nghìn tỉ tham số tổng.
Kiến trúc chuyên gia hỗn hợp của hệ thống gồm 128 chuyên gia nhỏ, trong đó bộ định tuyến chọn 4 chuyên gia cùng 1 chuyên gia chung xử lý cho mỗi token.
Model này hỗ trợ văn bản và hình ảnh, hơn 160 ngôn ngữ cùng ngữ cảnh một triệu token.
Giấy phép đi kèm là Mistral Ecosystem Open-Weight License, cho phép dùng và thương mại hóa ngoại trừ dịch vụ cho thuê model trực tiếp.
Đánh giá tác động và góc nhìn chuyên môn
Kiến trúc chuyên gia hỗn hợp giúp tiết kiệm đáng kể chi phí tính toán khi chỉ kích hoạt một phần nhỏ tham số cho mỗi token, dù tổng quy mô đạt một nghìn tỉ.
Việc mở trọng số tạo điều kiện cho các tổ chức tự chủ hạ tầng và bảo mật dữ liệu, dù phần cứng yêu cầu cụm nhiều GPU cao cấp.
Xu hướng tiếp theo và điều cần theo dõi
Hiệu năng thực tế của model khi triển khai ngoài các bài kiểm tra do hãng tự công bố chưa được xác thực độc lập rộng rãi.







