Together AI đã giới thiệu Together Compiler (TKCC), một hệ thống do tác nhân điều khiển giúp tối ưu hóa lại suy luận khi lưu lượng sản xuất thay đổi. Trình biên dịch Together đã chạy trên một số điểm cuối không có máy chủ của Together. Tuyên bố cốt lõi dành cho các nhà phát triển: một công cụ được điều chỉnh một khi đã cũ, vì vậy việc điều chỉnh sẽ không bao giờ dừng lại. TL;DR

Hệ thống: Đây là một hệ thống tối ưu hóa, được thử nghiệm trên Kimi K3, GLM 5.3, MiniMax M3.1 Flash, DeepSeek v4.1 Flash và Llama 1B. Chạy trên: NVIDIA B200, B300, GB300, H100, AMD MI355X và AWS Trainium2. Mỗi lần chạy sử dụng tối đa 2 nút cho mỗi mô hình. Hiệu suất: TPS cao hơn tới 2,6 lần so với cấu hình InferenceX được công bố tốt nhất, trong vòng chưa đầy 24 giờ cho mỗi cài đặt. Tốt nhất: 1.111 P90 TPS cho mỗi người dùng trên MiniMax M3.1 Flash (B200, cỡ lô 1), gấp 1,8 lần so với mức cơ bản 633 TPS. Tệ nhất: GLM 5.3 trên MI355X chỉ chuyển từ 463 lên 480 TPS (khoảng 4%).

Trình biên dịch Together là gì? Together Compiler là một vòng lặp biên dịch liên tục từ Together AI sử dụng các tác nhân mã hóa để viết lại bước chuyển tiếp của mô hình. Cần có lệnh khởi chạy máy chủ, hồ sơ lưu lượng truy cập và cấu hình phần cứng. Các đại lý đề xuất các lượt chuyển tiếp nhanh hơn và một công cụ bền bỉ sẽ đo lường từng lượt chuyển tiếp. Mã chiến thắng được gửi vào công cụ phục vụ. Khi lưu lượng truy cập trôi đi, vòng lặp sẽ chạy lại. Tại sao suy luận cần biên dịch liên tục? Nhóm AI cùng nhau báo cáo rằng hình dạng giao thông của nó không bao giờ đứng yên. Độ dài nhắc nhở ở một quốc gia tiêu tốn khoảng 97 nghìn mã thông báo so với 70 nghìn ở nơi khác. Độ dài đầu vào P90 của một khách hàng đã tăng từ 18K lên 33K mã thông báo trong 3 ngày. Hạt nhân được điều chỉnh dựa trên dữ liệu ngẫu nhiên cũng có thể gây hiểu nhầm. Đầu vào ngẫu nhiên được kích hoạt nhiều hơn từ 13 đến 38% so với lưu lượng truy cập thực tế. Một hạt nhân top-k do tác nhân viết mất 20 µs trên dữ liệu ngẫu nhiên. Trên dữ liệu thực ở ngữ cảnh 70K, mất tới 62 mili giây. Động cơ bền bỉ hoạt động như thế nào? Hầu hết các vòng tác nhân đều khởi động lại vLLM, SGLang hoặc TensorRT-LLM cho mọi thử nghiệm. Nhóm nghiên cứu đo 761 giây khởi động nguội cho MiniMax M3.1 Flash trên TensorRT-LLM. Together Compiler khởi động động cơ một lần. Đại lý gửi phiếu chuyển tiếp ứng viên qua RPC. Máy chủ hoán đổi con trỏ hàm chuyển tiếp và chụp lại đồ thị CUDA. Hai tầng đo lường cân bằng tốc độ và độ trung thực. Cấp nhanh phục vụ 12 lớp để sàng lọc nhanh. Cấp chậm phục vụ 60 lớp để xác nhận mức tăng trên phân phối thực. Hai cấp độ kiểm tra số ứng viên nhiều hơn 8,1 lần so với một cấp độ chậm (1.354 so với 168). Họ cũng tìm ra giải pháp nhanh hơn 7,2%. Nhóm AI cùng nhau báo cáo thông lượng thử nghiệm tác nhân cao hơn 252 lần so với đường cơ sở khởi động lại động cơ. Làm cách nào để chọn bố cục song song? Một mô hình chi phí xếp hạng các bố cục song song tensor, chuyên gia, dữ liệu và bối cảnh trước khi tác nhân bắt đầu. Nó kết hợp các số trong bảng thông số kỹ thuật, các điểm chuẩn vi mô và các bước chuyển tiếp được đo lường. Nó cũng sử dụng sự mất cân bằng được đo lường của chuyên gia MoE và độ dài yêu cầu không đồng đều. Trên Kimi K3, nó nhận thấy bố cục sản xuất có TPS cao hơn tới 24%. Cái gì các đại lý có cần từ các chuyên gia về con người không? Cơ sở kiến ​​thức do chuyên gia tuyển chọn giúp tăng tốc độ truy cập thấp hơn từ 25 đến 31% sau 12 giờ. Các đặc vụ ngây thơ được yêu cầu thực hiện đường chuyền về phía trước “càng nhanh càng tốt” để đánh bại các chiến lược của chuyên gia. Điểm tổng thể là 6,2 lần so với 4,9 lần sau 10 lần thử. Cấu trúc ghi nhật ký tùy chỉnh chiếm tới 43% lệnh gọi công cụ. AI hiện cùng nhau cung cấp cho các đại lý mã nguồn động cơ thô chứ không phải đại diện trung gian. Điểm chuẩn: Trình biên dịch Together nhanh như thế nào? Trên khối lượng công việc AgentX của SemiAnalysis InferenceX, Together Compiler đánh bại các cấu hình mở tốt nhất với tốc độ lên tới 2,6 lần TPS. Mỗi cài đặt chạy dưới 24 giờ trên tối đa 2 nút. Kích thước lô 1, P90 TPS cho mỗi người dùng (Trình biên dịch cùng nhau tốt nhất so với InferenceX, tự báo cáo):

Đèn flash MiniMax M3.1 (B200): 1.111 so với 633 Flash DeepSeek v4.1 (GB300): 1.205 so với 943 GLM 5.3 (B200): 417 so với 329 Kimi K3 (GB300): 450 so với 423 GLM 5.3 (MI355X): 480 so với 463

Đối với MiniMax, mô hình chi phí đã chọn TP8 thay vì TP4 của đường cơ sở. Điều đó làm giảm một nửa lưu lượng trọng lượng của mỗi GPU trong giải mã giới hạn bộ nhớ. Trên Llama 1B ở quy mô lô 1, nó đánh bại các đường cơ sở của megakernels, Mirage và CUDA-graph của Hazy Research lên tới 1,7 lần. Ngoài LLM, nó còn tăng tốc 8 mô hình khoa học từ 1,5 lần đến 6,4 lần với kết quả đầu ra chính xác đến từng bit. Claude Code với /goal đạt 1,2x đến 4,4x và không thành công trên AIFS-ENS 2.0.

Tự động phát

Thời gian trước khi đo lường ứng viên (MiniMax M3.1 Flash, TensorRT-LLM, Bảng 1 trên giấy) Khởi động động cơ nguội (nguyên trạng) 761 giây Tải lại nóng, cấp chậm (60 lớp) 45 giây Tải lại nóng, cấp nhanh (12 lớp) 17 giây

Số thử nghiệm tác nhân nhiều hơn 252 lần so với đường cơ sở khởi động lại động cơ Số ứng viên nhiều hơn 8,1 lần với 2 bậc so với 1 bậc chậm (1.354 so với 168) Giải pháp cuối cùng nhanh hơn 7,2% từ thiết lập hai tầng Thời gian nhàn rỗi thấp hơn 11 lần cho mỗi đại lý

P90 TPS cho mỗi người dùng, cỡ lô 1 Llama 1B, cỡ lô 1 (B200)

Tự báo cáo bởi Together AI. Đường cơ sở của InferenceX kể từ ngày 27 tháng 10 năm 2026. Dưới 24 giờ, tối đa 2 nút cho mỗi mô hình.

Cơ sở kiến ​​thức + Cơ sở kiến ​​thức do chuyên gia quản lý giúp tăng tốc độ truy cập thấp hơn từ 25 đến 31% sau 12 giờ. Các đặc vụ đã lãng phí thời gian để tìm kiếm nó. Chiến lược của chuyên gia + Tác nhân ngây thơ ("làm nhanh nhất có thể") đánh bại các chiến lược do chuyên gia chỉ định: 6,2 lần so với 4,9 lần sau 10 lần thử. Ghi nhật ký tùy chỉnh + Nhật ký nghiên cứu do con người thiết kế đã tiêu tốn tới 43% số lệnh gọi công cụ cho mỗi lần dùng thử. Không có đại diện trung gian + Nguồn công cụ thô cho phép các tác nhân viết lại hạt nhân siêu dữ liệu MLA của Kimi K3 để tăng tốc hạt nhân từ 1,7 đến 2,5 lần. Megakernels trên GPU + Hiếm khi được đền đáp: chỉ nhanh hơn 0,22% trên AMD GLM 5.3. Trainium2 là ngoại lệ. Vẫn là nút thắt + Đại lý mất hơn 50% thời gian chờ đợi ở các cổng đo lường.

Nguồn: Bài báo và blog về AI © Marktechpost

(hàm(){ var R=document.getElementById('tkcc-x'); hàm rs(){try{parent.postMessage({tkccH:R.offsetHeight+40},'*')}catch(e){}} var bước=[ 'Cùng nhau báo cáo lưu lượng truy cập liên tục thay đổi. Độ dài đầu vào P90 của một khách hàng đã tăng từ 18K lên 33K mã thông báo trong 3 ngày. Dữ liệu thử nghiệm ngẫu nhiên kích hoạt nhiều chuyên gia MoE hơn từ 13 đến 38% so với lưu lượng truy cập thực.', 'Một mô hình chi phí xếp hạng các bố cục song song trước khi các tác nhân bắt đầu. Nó kết hợp các tờ thông số kỹ thuật, điểm chuẩn vi mô và các kết quả đo được. Trên Kimi K3, nó nhận thấy bố cục có TPS cao hơn tới 24%.', 'Nhiều tác nhân mã hóa hoạt động song song và chia sẻ các phát hiện trên bảng tin. Giao tiếp tần số cao giúp tìm kiếm nhanh hơn 4,7 lần trong quá trình cắt bỏ.', 'Động cơ khởi động một lần. Mỗi ứng cử viên được tải lại nóng: hoán đổi con trỏ chuyển tiếp, chụp lại biểu đồ CUDA. Màn hình cấp nhanh 12 lớp; xác nhận cấp độ chậm 60 lớp.', 'Sau khi hết ngân sách, các cuộc kiểm tra xác minh sẽ kiểm tra tính chính xác và độ an toàn của bộ đệm KV. Cấu hình tốt nhất và chuyển tiếp sẽ được đưa vào sản xuất. Kết quả: tốt nhất lên tới 2,6 lần TPS so với InferenceX.']; var cur=0,auto=null,nodes=R.querySelectorAll('.node'); function show(i){cur=(i+5)%5;nodes.forEach(function(n,k){n.classList.toggle('on',k===cur)});R.querySelector('#tk-d').innerHTML=steps[cur];R.querySelector('#tk-pg').style.width=((cur+1)*20)+'%';} nút.forEach(function(n,k){n.onclick=function(){show(k)}}); R.querySelector('#tk-next').onclick=function(){show(cur+1)}; R.querySelector('#tk-prev').onclick=function(){show(cur-1)}; R.querySelector('#tk-auto').onclick=function(){var b=this;if(auto){clearInterval(auto);auto=null;b.textContent=' Auto-play';b.classList.remove('pulse')}else{auto=setInterval(function(){show(cur+1)},2600);b.textContent='❚❚ Tạm dừng';b.classList.add('pulse')}}; hiển thị(0); var data={p90:{lg:' Together Compiler InferenceX best',max:1300,rows:[['MiniMax M3.1 Flash · B200',1111,633],['DeepSeek v4.1 Flash · GB300',1205,943],['DeepSeek v4.1 Flash · B200',813,671],['Kimi K3 · GB300',450,423],['GLM 5.3 · MI355X',480,463],['GLM 5.3 · B200',417,329]]}, lạc đà không bướu:{ lg:' Together Compiler Đường cơ sở tốt nhất cho mỗi độ dài (biểu đồ megakernel hoặc CUDA, mã thông báo đầu ra/s)',max:2300,rows:[['OSL 256',2118,1649],['OSL 1,024',2011,1569],['OSL 4,096',1945,1414],['OSL 16,384',1871,1123],['OSL 65,536',1482,892]]}}; thanh hàm(m){var d=data[m],h='';d.rows.forEach(function(r){h+=' '+r[0]+' '+r[1].toLocaleString()+' '+r[2].toLocaleString()+' '}); R.querySelector('#tk-lg').innerHTML=d.lg;R.querySelector('#tk-bars').innerHTML=h;grow(R.querySelector('#tk-bars'));} hàm phát triển(el){var b=el.querySelectorAll('.bar');b.forEach(function(x){x.style.width='0'});setTimeout(function(){b.forEach(function(x ){x.style.width=(x.textContent?Math.max(x.dataset.w,9):Math.max(x.dataset.w,1.5))+'%'})},60);setTimeout(rs,1200);} R.querySelectorAll('[data-m]').forEach(function(t){t.onclick=function(){R.querySelectorAll('[data-m]').forEach(function(z){z.classList.remove('on')});t.classList.add('on');bars(t.dataset.m)}}); R.querySelectorAll('.tabs .tab').forEach(function(t){t.onclick=function(){var i=t.dataset.t;R.querySelectorAll('.tabs .tab').forEach(function(z){z.classList.toggle('on',z===t)});R.querySelectorAll('.panel').forEach(function(p){p.classList.toggle('on',p .dataset.p===i)});if(i==='1')grow(R.querySelector('[data-p="1"]'));if(i==='2')bars(R.querySelector('[data-m].on').dataset.m);rs();}}); R.querySelectorAll('.card').forEach(function(c){c.onclick=function(){c.classList.toggle('open');c.querySelector('h4 span').textContent=c.classList.contains('open')?'−':'+';setTimeout(rs,400)}}); window.addEventListener('load',rs);window.addEventListener('resize',rs);setTimeout(rs,300); })();

" style="width:100%;max-width:880px;height:600px;border:0;display:block;margin:0 auto;" loading="lazy" title="Trình giải thích tương tác của Trình biên dịch cùng nhau">

Làm thế nào để nó so sánh với các hệ thống tối ưu hóa tác nhân khác? MetricsTogether Compiler Cursor + NVIDIA multi-agent AMD GEAK Apple RSI-Inference BenchTypeVòng tối ưu hóa sản xuấtTrình tối ưu hóa hạt nhân đa tác nhânKhung tác nhân hạt nhân TritonĐiểm chuẩn cho các tác nhân mã hóaPhạm vi Chuyển tiếp đầy đủ bên trong công cụ phục vụ235 hạt nhân CUDA độc lập (SOL-ExecBench)Hạt Triton riêng lẻ37 tác vụ chỉnh sửa vLLM hoặc SGLangĐo lườngCông cụ liên tục, tải lại nóng, 2 tầng, thực TrafficSOL-ExecBench trên 27 GPU B200TritonBench-sửa đổi và điểm chuẩn ROCmTrình xác minh xây dựng công cụ và phục vụ mô hìnhPhần cứngB200, B300, GB300, H100, MI355X, Trainium2B200AMD Instinct MI300XH100, B200Kết quả chínhLên tới 2,6 lần TPS so với InferenceX best1,38x geomean, thắng 149 trên 235Tăng tốc lên tới 2,59 lần, độ chính xác lên tới 63,33%Các đại lý điểm; không có kết quả hệ thống duy nhất Ngân sách thời gianDưới 24 giờ cho mỗi cài đặt3 tuầnKhông được tiết lộTối đa 8 giờ cho mỗi nhiệm vụKhả dụngBản beta có giới hạn dành cho khách hàng của TogetherKết quả trong kho lưu trữ công khaiNguồn mởGiấy phép mã mẫu của Apple Bài học chính

Together Compiler liên tục tối ưu hóa lại suy luận khi lưu lượng truy cập thay đổi. Động cơ liên tục với tải lại nóng mang lại nhiều thử nghiệm tác nhân hơn 252 lần. Lên tới 2,6 lần TPS so với cấu hình InferenceX tốt nhất trong vòng 24 giờ. Các tác nhân ngây thơ đánh bại các cơ sở kiến ​​thức chuyên môn và các chiến lược được tuyển chọn. Tự báo cáo; mức tăng dao động từ khoảng 4% đến 2,6 lần trên các cài đặt.

Hãy xem bài viết, blog Together Compiler và bài đăng Suy luận đa hình. Ngoài ra, vui lòng theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ML của chúng tôi và Đăng ký Bản tin của chúng tôi. Chờ đợi! bạn có đang dùng điện tín không? bây giờ bạn cũng có thể tham gia cùng chúng tôi trên telegram. Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo HOẶC Trang ôm mặt HOẶC Phát hành sản phẩm HOẶC Hội thảo trên web, v.v.? Kết nối với chúng tôi Bài đăng Cùng AI phát hành Trình biên dịch cùng nhau: Tác nhân thực hiện suy luận nhanh hơn tới 2,6 lần xuất hiện đầu tiên trên MarkTechPost.