Blog kỹ thuật mới nhất của NVIDIA cho thấy cách tăng tốc độ suy luận của nhiều chuyên gia (MoE) trên một DGX Spark. Mô hình thử nghiệm bao gồm Ling-3.0-flash của Ant GroupAI, MoE tham số 124B với tham số hoạt động 5.1B. NVIDIA xếp chồng ba tối ưu hóa: phụ trợ nhân MoE mới, lớp đầu ra FP8 và giải mã suy đoán tích hợp. Trên tất cả 1.319 câu hỏi GSM8K, thông lượng giải mã tăng 42,5% mà không có thay đổi nào về độ chính xác có thể phát hiện được về mặt thống kê. Vậy tại sao nó lại phù hợp với Dev? DGX Spark là một hệ thống máy tính để bàn, không phải nút trung tâm dữ liệu. Kết quả của NVIDIA cho thấy 124 tỷ MoE phục vụ các yêu cầu của một người dùng nhanh hơn trên hộp đặt cạnh bàn đó. Bài đăng kỹ thuật cũng cho biết thời gian giải mã MoE đi đâu và cách cắt giảm nó. TL;DR

Kích thước: Ling-3.0-flash-fp4: tổng cộng 124B, hoạt động 5,1B trên mỗi mã thông báo; Bối cảnh gốc 256K. Chạy trên: Một NVIDIA DGX Spark (GB10, bộ nhớ hợp nhất 128 GB, 273 GB/s), kích thước lô một. Hiệu suất: Ba tối ưu hóa xếp chồng lên nhau nâng thông lượng giải mã GSM8K từ 37,81 lên 53,89 mã thông báo/giây. Tốt nhất: Thông lượng +42,5% và độ trễ trung bình -24,5%, với độ chính xác không đổi (96,89% so với 96,82%). Độ trễ: Lợi nhuận tổng hợp (+185,1%) giảm trên GSM8K khi mức chấp nhận MTP giảm từ 3,90 xuống 2,68.

Tại sao giải mã MoE trên DGX Spark bị giới hạn bộ nhớ? DGX Spark là hệ thống máy tính để bàn của NVIDIA được xây dựng trên Superchip GB10 Grace Blackwell. Nó cung cấp 128 GB bộ nhớ hợp nhất và băng thông bộ nhớ 273 GB/s. Tính toán tối đa lên tới 1 petaFLOP của FP4 thưa thớt. NVIDIA đánh giá khả năng suy luận của nó trên các mô hình có tham số lên tới 200B. Trong bài đăng kỹ thuật của NVIDIA, nhóm NVIDIA đã lập cấu hình Ling-3.0-flash-fp4 ở kích thước lô 1. Việc giải mã bị giới hạn bởi bộ nhớ: việc đọc trọng lượng mô hình đã thúc đẩy thời gian thực thi. Hai thao tác nổi bật là tính toán MoE và đầu LM chấm điểm từ vựng. Điều đó chỉ ra hai đòn bẩy: di chuyển ít byte hơn cho mỗi bước giải mã và tạo ra nhiều mã thông báo hơn cho mỗi vòng xác minh. Đường cơ sở tuân theo công thức W4A8 chính thức. Nó sử dụng nhân FlashInfer MXFP4 MoE, GEMM dày đặc CUTLASS và đường dẫn đầu FP32 LM. Trong thử nghiệm tổng hợp 32K đầu vào, 2K đầu ra, nó chạy ở tốc độ 27,71 ms mỗi mã thông báo (36,09 mã thông báo mỗi giây). 3 tối ưu hóa là gì?

1. Hạt nhân Humming MXFP4 MoE: NVIDIA đã đổi phần phụ trợ MoE của FlashInfer lấy Humming, một thư viện hạt nhân độc lập. Humming sử dụng NVRTC để biên dịch hạt nhân trong thời gian chạy cho các hình dạng ma trận, kiểu dữ liệu và GPU thực tế. Điều đó bao gồm lớp chuyên gia hẹp có chiều rộng 768. Mỗi hạt nhân biên dịch trong vài giây. Đường dẫn FlashInfer CUTLASS tổng hợp 97 mục tiêu bằng ninja, theo thứ tự hàng chục phút. Thông lượng tăng 9,3% lên 39,45 mã thông báo mỗi giây.
2. Đầu LM FP8 trực tuyến: Đầu LM là ma trận 157.184 x 2.560 được lưu trữ trong BF16. Mỗi mã thông báo được tạo sẽ đọc tất cả. Chỉ định lượng lớp này thành FP8 khi tải sẽ giảm một nửa số lần đọc đó. Đặt SGLANG_ENABLE_FP8_LM_HEAD=1 sẽ bật nó. Nó không thể được kết hợp với tùy chọn –enable-fp32-lm-head cơ sở. Kết hợp với Humming, thông lượng đạt 43,94 token mỗi giây. Đó là 21,7% so với mức cơ bản và 11,4% so với riêng Humming.
3. Giải mã suy đoán MTP với NEXTN: Ling-3.0-flash được trang bị lớp dự đoán NEXTN tích hợp, do đó không cần thêm mô hình dự thảo. Nó tạo ra ba mã thông báo và mô hình xác minh bốn vị trí tại một lần. Chi phí xác minh khoảng 2,26 lần một bước giải mã thông thường. Chi phí chính là MoE, không phải sự chú ý. Việc xác minh bốn mã thông báo có thể kích hoạt tối đa 32 chuyên gia thay vì 8. Trong thử nghiệm tổng hợp, trung bình 3,90 mã thông báo được chấp nhận mỗi vòng. Thông lượng tăng lên 102,88 mã thông báo mỗi giây, tăng 185,1%. Ba kỹ thuật không trùng nhau. Humming và đầu FP8 LM cắt giảm chi phí cho từng bước. MTP cắt giảm số bước. Bẫy tích hợp: Việc xếp chồng những thứ này không tự động. Với cả đầu LM FP8 và MTP đều bật, bản nháp phải chia sẻ mô-đun đầu LM đầy đủ. Nếu không, khung sẽ âm thầm quay trở lại và bản nháp diễn giải trọng số FP8 là BF16. Độ dài chấp nhận giảm xuống 1,00 và thông lượng giảm xuống dưới đường cơ sở chưa được tối ưu hóa. Nhóm NVIDIA khuyên nên kiểm tra khi khởi động để đảm bảo mỗi tối ưu hóa đều đang hoạt động. NVIDIA hướng tới sổ ghi chép sách dạy nấu ăn Ling để kích hoạt cả hai cùng nhau. Điều gì xảy ra với khối lượng công việc thực tế? Các bài kiểm tra tổng hợp thiên về giải mã suy đoán nên nhóm NVIDIA cũng đã chạy tất cả 1.319 câu hỏi GSM8K. Nó sử dụng nhắc nhở 5 lần với chuỗi suy nghĩ, nhiệt độ 0,6, top_p 0,95 và top_k 29. Với cả ba lần tối ưu hóa, thời gian trên mỗi mã thông báo đầu ra đã giảm từ 26,45 mili giây xuống 18,56 mili giây. Thông lượng giải mã tăng 42,5%, từ 37,81 lên 53,89 mã thông báo mỗi giây. Độ trễ trung bình giảm 24,5%, từ 15,21 xuống 11,49 giây. Độ chính xác đã chuyển từ 96,89% lên 96,82%, một thay đổi mà NVIDIA gọi là không thể phát hiện được về mặt thống kê. Độ dài chấp nhận ở đây là 2,68, so với 3,90 trên dữ liệu tổng hợp. Nhóm NVIDIA đưa ra ba lý do cho khoảng cách. Các kết quả đầu ra tổng hợp có tính lặp lại nhiều hơn nên các bản nháp được chấp nhận thường xuyên hơn. Thử nghiệm tổng hợp sử dụng giải mã tham lam, trong khi GSM8K sử dụng lấy mẫu. Câu trả lời GSM8K cũng ngắn, với mức trung bình gần 310 mã thông báo so với 2K cố định.

&&

Ling 3.0 là gì và tại sao lại phù hợp với DGX Spark? Ling-3.0-flash thuộc dòng Ling 3.0 của Ant Group, được phát hành theo giấy phép MIT. Dòng sản phẩm trọng lượng mở cũng bao gồm Ling-3.0-tiny, MoE 7,9B với thông số hoạt động 1,3B. Cả hai đều đi kèm với các điểm kiểm tra cơ bản và các bản dựng FP8, INT4 và GGUF; flash cũng có FP4. OpenRouter cũng liệt kê các biến thể ngôn ngữ tầm nhìn, tài chính và sức khỏe của AI được xây dựng trên Ling 3.0 Flash. Ling-3.0-flash được xây dựng để giữ chi phí cho mỗi mã thông báo ở mức thấp:

MoE thưa thớt: Mỗi lớp MoE định tuyến một mã thông báo tới 8 trong số 512 chuyên gia được định tuyến, cùng với 1 chuyên gia được chia sẻ. Khoảng 4,1% trọng số đang hoạt động trên mỗi mã thông báo. Sự chú ý tuyến tính kết hợp: 35 lớp Kimi Delta Chú ý (KDA) và 7 lớp MLA Gated xen kẽ 5:1. KDA, từ bài báo Kimi Linear của Moonshot AI, giữ trạng thái có kích thước cố định thay vì bộ đệm KV ngày càng tăng. Bố cục có sẵn ngay từ khi bắt đầu đào tạo trước. MTP tích hợp: Mô hình được đào tạo với dự đoán nhiều mã thông báo. Lớp NEXTN đó là mô hình dự thảo mà NVIDIA đã sử dụng. Trọng tâm tác nhân: bao gồm Nhóm AI báo cáo hơn 10.000 môi trường đào tạo tương tác dành cho các tác nhân mã hóa, tổng quát và nghiên cứu chuyên sâu. NVIDIA lưu ý rằng bối cảnh 256K gốc sẽ mở rộng thành 1 triệu mã thông báo.

&&

Ling-3.0-flash mạnh và hiệu quả như thế nào? Trên thẻ mô hình của mình, InclusionAI báo cáo 56,6 trên SWE-Bench Pro và 72,4 trên SWE-Bench Multilingual. Nó cũng báo cáo 93,2 trên MathArena AIME 2026 và 87,0 trên HMMT tháng 2 năm 2026. Kết quả Phân tích nhân tạo hiển thị trên danh sách OpenRouter 85,5% trên GPQA Diamond và 55,4% trên Terminal-Bench 2.1. Các bài kiểm tra lý luận khó nhất vẫn khó: Bài kiểm tra cuối cùng của loài người đạt 22,7 điểm tự báo cáo và 23,7% độc lập. Định giá API: Phân tích nhân tạo liệt kê API của InclusionAI ở mức 0,075 USD cho mỗi 1 triệu mã thông báo đầu vào và 0,22 USD cho mỗi 1 triệu mã thông báo đầu ra. Con số đó cộng vào khoảng 0,05 USD cho mỗi 1 triệu token, sử dụng kết hợp lần truy cập bộ nhớ đệm, đầu vào và đầu ra theo tỷ lệ 7:2:1. Nó đo tốc độ đầu ra ở mức 231,7 mã thông báo mỗi giây, thứ ba trong số 26 mẫu cùng loại. Trên OpenRouter, Novita và DeepInfra liệt kê đầu vào 0,06 USD và đầu ra 0,18 USD. So với các đối thủ ngang hàng: Phân tích nhân tạo liệt kê các mức giá kết hợp cao hơn cho các mô hình tương đương. Bước 3.7 Flash là 0,18 USD, Gemini 3.5 Flash-Lite là 0,33 USD và GPT-5 (trung bình) là 1,34 USD. Những số liệu này chỉ so sánh giá; chúng không được điều chỉnh về chất lượng. Lượng tử hóa tốn ít chất lượng: đưa vào Bảng lượng tử hóa của AI so sánh BF16, FP8, INT4 và FP4. FP4 đạt 83,68 điểm trên kim cương GPQA so với 84,97 ở BF16. IFBench chuyển từ 74,49 lên 73,87 và ArcPrize từ 68,75 lên 68,06. SciCode cho thấy mức giảm lớn nhất, từ 41,24 xuống 38,43. Điểm kiểm tra FP4 là điểm kiểm tra NVIDIA chạy trên DGX Spark.

&&

Bài học chính

NVIDIA đã nâng thông lượng giải mã Ling-3.0-flash GSM8K lên 42,5% trên 1 DGX Spark. Hạt nhân ồn ào và đầu FP8 LM cắt giảm chi phí của từng bước giải mã. Giải mã suy đoán MTP tích hợp giúp cắt giảm số bước giải mã. Việc xếp chồng đầu LM FP8 và MTP yêu cầu phải có mô-đun đầu LM dùng chung. Ling-3.0-flash kích hoạt 5,1B trong số 124B tham số trên mỗi mã thông báo, theo MIT.

Phân tích đầy đủ của NVIDIA có trên Blog kỹ thuật NVIDIA. Trọng lượng mô hình và công thức nấu ăn có trên Ôm Mặt, sách dạy nấu ăn SGLang và sách dạy nấu ăn Ling.

Bài đăng NVIDIA chỉ ra 3 cách để tăng tốc độ suy luận MoE trên DGX Spark, nâng thông lượng flash Ling-3.0-flash lên 42,5% xuất hiện đầu tiên trên MarkTechPost.