Các mô hình hỗn hợp chuyên gia mã nguồn mở hiện nay chia sẻ chung một nguyên lý kiến trúc nhưng lại áp dụng các cơ chế định tuyến token rất khác nhau. Khảo sát mười mô hình tiêu biểu cho thấy sự dao động lớn về số lượng chuyên gia, số lượng chuyên gia hoạt động trên mỗi token và chiến lược cân bằng tải.

Bối cảnh và chi tiết công nghệ

Số lượng chuyên gia trong các mô hình hỗn hợp chuyên gia mã nguồn mở dao động từ 8 chuyên gia ở Mixtral cho đến 384 chuyên gia ở Kimi K2 và DeepSeek-V4-Pro.

Số lượng chuyên gia được chọn cho mỗi token tức tham số top-k hiện kéo dài từ mức 1 ở Llama 4 Maverick cho đến mức 8 ở các mô hình như DeepSeek-V3 và Kimi K2.

Hầu hết các mô hình được khảo sát đều duy trì một chuyên gia dùng chung luôn bật, trong khi Mixtral, gpt-oss và Qwen3 loại bỏ thành phần này.

Đánh giá tác động và góc nhìn chuyên môn

Sự khác biệt trong thiết kế bộ định tuyến ảnh hưởng trực tiếp đến băng thông giao tiếp mạng giữa các thiết bị và lượng tài nguyên phần cứng cần thiết để vận hành mô hình.

Việc một số mô hình không công bố chi tiết về hàm kích hoạt hoặc phương pháp cân bằng tải trong tệp cấu hình gây khó khăn cho việc đánh giá đầy đủ tính minh bạch của kiến trúc.

Xu hướng tiếp theo và điều cần theo dõi

Nguyên nhân chính xác đằng sau quyết định giữ kín thông tin cấu hình định tuyến của một số nhà phát triển vẫn chưa được làm rõ hoàn toàn.

Hiệu năng thực tế của các phương pháp định tuyến này khi mở rộng quy mô lên hàng nghìn tỷ tham số trong môi trường sản xuất lớn cần thêm dữ liệu kiểm chứng độc lập.