
Baidu phát hành Flash Base ERNIE 5.5: Mô hình cơ sở MoE 280B với thông số hoạt động 14B
Baidu đã phát hành ERNIE 5.5 Flash Base, điểm kiểm tra sơ bộ trước khi đào tạo của mô hình ngôn ngữ Mixture-of-Experts thưa thớt mới của nó. ERNIE 5.5 Flash Base là mô hình văn bản có tham số 280B của Baidu kích hoạt 14B tham số trên mỗi mã thông báo. Trọng lượng dừng lại khi kết thúc quá trình luyện tập trước và không áp dụng giữa hoặc sau quá trình luyện tập.

