Baidu đã phát hành ERNIE 5.5 Flash Base, điểm kiểm tra sơ bộ trước khi đào tạo của mô hình ngôn ngữ Mixture-of-Experts thưa thớt mới của nó. ERNIE 5.5 Flash Base là mô hình văn bản có tham số 280B của Baidu kích hoạt 14B tham số trên mỗi mã thông báo. Trọng lượng dừng lại khi kết thúc quá trình luyện tập trước và không áp dụng giữa hoặc sau quá trình luyện tập. Đây là điểm khởi đầu rõ ràng cho các nhóm muốn so sánh các phương pháp tinh chỉnh, điều chỉnh hướng dẫn hoặc RL từ một điểm kiểm tra. TL;DR

Kích thước: tổng cộng 280B, 14B hoạt động trên mỗi mã thông báo; Bối cảnh đào tạo 128K, 1M để tinh chỉnh và suy luận. Chạy trên: Máy chủ đa GPU. Cấu hình tham chiếu của Baidu sử dụng song song 4 chiều trong SGLang và vLLM. Model GPU và VRAM không được tiết lộ. Trọng lượng FP8 và BF16. Hiệu suất: Điểm cao nhất trên 24 trong số 30 điểm chuẩn của mô hình cơ sở trong hệ thống thống nhất của Baidu (tự báo cáo). Tốt nhất: MMLU-Pro 78.4, trước DeepSeek-V4-Flash-Base ở 69.2. Tệ nhất: HELMET-Rerank 56.2, xếp sau DeepSeek-V4-Flash-Base ở 60.0.

Cơ sở Flash ERNIE 5.5 là gì? Đây là mô hình cơ sở MoE chỉ có văn bản với 43 lớp và kích thước ẩn 4096. Nó đã được đào tạo trước từ đầu trên các token 33,5T bằng trình tối ưu hóa Muon. Trình mã thông báo có 201.216 mục nhập và nhóm các số từ phải sang trái thành các đoạn có tối đa 3 chữ số. Điện toán đã kích hoạt, bộ nhớ đệm KV và chi phí ngữ cảnh dài được coi là một ngân sách. Dữ liệu đào tạo trước dựa vào mã quy mô kho lưu trữ và tài liệu ngữ cảnh dài, vì những dữ liệu này khó có thể thêm vào sau này. Kiến trúc ERNIE 5.5 Flash hoạt động như thế nào?

Sự chú ý kết hợp: 37 lớp sử dụng Chú ý nén mạnh (HCA), lưu trữ 1 mục nhập trên 128 mã thông báo. 6 lớp còn lại sử dụng Chú ý tiềm ẩn nhiều đầu với sự chú ý thưa thớt (MLA + DSA). Điều đó có nghĩa là 1 trong 7 lớp giữ quyền truy cập toàn ngữ cảnh. Các lớp HCA sử dụng đầu 512 độ mờ; Các lớp MLA sử dụng đầu 256 độ mờ. Đầu có cổng và đầu hỗn hợp: Cổng đầu ra chú ý đến từ truy vấn tiềm ẩn xếp hạng thấp, cắt giảm 75% các tham số chiếu cổng. Sự chú ý của Đầu ảo bổ sung thêm sự kết hợp hạng nhẹ giữa các đầu. MoE tiềm ẩn đa bộ định tuyến. Mỗi lớp MoE có 512 chuyên gia được định tuyến (top 10) cộng với 1 chuyên gia được chia sẻ. Theo bài báo Multi-Router của Baidu, một số bộ định tuyến sigmoid độc lập sẽ thay thế một bộ định tuyến duy nhất. FLOP chuyên gia và khối lượng liên lạc không thay đổi. Các chuyên gia chạy trong không gian tiềm ẩn 2048-d, bằng một nửa chiều rộng ẩn. ECHO thay vì MTP.:ECHO sử dụng lại lớp cuối cùng của xương sống để dự đoán các mã thông báo trong tương lai. Lớp tương tự đóng vai trò như một mô hình dự thảo tích hợp sẵn để giải mã suy đoán. ECHO thêm 0,36B tham số, loại trừ khỏi số lượng tiêu đề. Các phần khác: Mô hình sử dụng Siêu kết nối ràng buộc Manifold với tốc độ mở rộng 4 và đầu ra MultiMax.

&&

ERNIE 5.5 Flash Base hoạt động như thế nào trên các điểm chuẩn? Nhóm Baidu đã đánh giá cả 4 mô hình có cùng quy trình, lời nhắc và cài đặt ít lần chụp. Tất cả số liệu dưới đây đều do Baidu tự báo cáo.

Kỳ thi: MMLU 93.3, MMLU-Redux 94.1, MMLU-Pro 78.4. Kiến thức: SimpleQA 34.1, so với 29.1 của DeepSeek-V4-Flash-Base. STEM và lý luận: GPQA 60.2, MGSM 87.0, BBH direct 77.1. Mã: HumanEval+ 82.3, MBPP+ 81.5, LiveCodeBench 40.1. Bối cảnh dài: RepoQA 91.7, LongBench-v2 48.7, HELMET-ICL 85.9.

Nó thua 6 nhiệm vụ. DeepSeek-V4-Flash-Base dẫn đầu về ChineseSimpleQA, INCLUDE-lite, HELMET-Rerank và InfiniteBench. Hy3-preview-Base dẫn đầu về BBH CoT và FullStackBench. Số lượng đối thủ cạnh tranh trong hệ thống của Baidu hơi khác so với báo cáo của từng nhà cung cấp. DeepSeek liệt kê MMLU-Pro 68.3; Baidu đo được 69,2. Tencent liệt kê Hy3 MMLU-Pro ở mức 65,76; Baidu AI đo được 66,9. Làm thế nào để so sánh với các mẫu cơ sở DeepSeek, Tencent và Xiaomi? Tính năngERNIE 5.5 Flash BaseDeepSeek-V4-Flash-BaseHy3-preview-BaseMiMo-V2.5-BaseDeveloperBaiduDeepSeekTencentXiaomiTổng thông số280B284B295B (+3,8B MTP)310BThông số hoạt động14B13B21B15BContext128K chuyến tàu / 1M suy luận1M256K256KAttentionHCA + MLA-DSA hybridCSA + HCA hybridGQASWA + toàn cầu, 5:1Chuyên gia512 được định tuyến, top 10 + 1 được chia sẻKhông được tiết lộ trên thẻ192, top-8256, top-8Trọng lượng đã phát hànhFP8, BF16FP8 Hỗn hợpBF16FP8Giấy phépERNIE 5.5 Giấy phép Flash Base v1.0MITTencent Hy Giấy phép cộng đồngMITMMLU-Pro78.469.266.965.7HumanEval+82.369.578.074.4LongBench-v248.744.539.844.6HELMET-Rerank56.260.055.756.6 *Điểm từ đánh giá thống nhất của Baidu, tự báo cáo. Bạn triển khai ERNIE 5.5 Flash Base như thế nào? Trọng lượng nằm ở Ôm mặt và ModelScope, ở FP8 và BF16. Tài liệu Baidu phục vụ với SGLang và vLLM. Ví dụ SGLang sử dụng --tp 4. Đường dẫn vLLM cần phiên bản 0.32.0 cộng với plugin vLLM-ERNIE. Cả hai máy chủ đều chấp nhận tới 1.048.576 mã thông báo. Là mô hình cơ sở, nó chạy qua điểm cuối hoàn thành chứ không phải trò chuyện. Chương trình đào tạo chạy trên FlashMask-4, kernel dành cho GPU SM90 và SM100. Trên SM100, nhóm Baidu báo cáo tốc độ tiến nhanh hơn tới 175% và lùi nhanh hơn 74% so với FlashAttention-4 MaskMod. Bài học chính

Tổng cộng 280B, 14B hoạt động: điểm kiểm tra cơ sở MoE thưa thớt, không phải mô hình trò chuyện. MMLU-Pro 78.4 dẫn trước DeepSeek-V4-Flash-Base 9,2 điểm. HCA lưu trữ 1 mục nhập trên 128 mã thông báo ở 37 trên 43 lớp. ECHO biến lớp cuối cùng thành mô hình dự thảo suy đoán tích hợp sẵn. Giấy phép miễn phí dưới doanh thu 50 triệu USD nhưng không bao gồm EU, Anh và Hàn Quốc.

Xem Trọng lượng mẫu, Blog kỹ thuật và các bài viết về VHA, MoE đa bộ định tuyến và ECHO. Ngoài ra, vui lòng theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ML của chúng tôi và Đăng ký Bản tin của chúng tôi. Chờ đợi! bạn có đang dùng điện tín không? bây giờ bạn cũng có thể tham gia cùng chúng tôi trên telegram. Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo HOẶC Trang ôm mặt HOẶC Phát hành sản phẩm HOẶC Hội thảo trên web, v.v.? Kết nối với chúng tôi Bài đăng Baidu phát hành Flash Base ERNIE 5.5: Mô hình cơ sở MoE 280B với thông số hoạt động 14B xuất hiện đầu tiên trên MarkTechPost.