Ricursive Intelligence vừa phát hành Bản xem trước Ripple-65B. Ripple-65B Preview là mô hình có trọng lượng mở dày đặc 65B của Ricursive, được đào tạo trước từ đầu để mã hóa tác nhân. Nó là một biến thể có mục đích chung của mô hình độc quyền đằng sau nền tảng thiết kế chip AI của Ricursive. Tuyên bố chính: 80,52 trên Terminal-Bench 2.1, điểm tự báo cáo cao nhất trong số các mẫu xe có trọng lượng mở của Hoa Kỳ. Mọi đối thủ MoE mà nó đánh bại trong bài kiểm tra đó đều mang tổng thông số từ 501B đến 975B. TL;DR

Kích thước: dày đặc 65B (hoạt động 65B), được đào tạo trước trên mã thông báo 12T, bối cảnh lên tới 1M. Chạy trên: BF16 trên GPU trung tâm dữ liệu (250 tok/s trên 2x B200). Bản dựng NVFP4 thử nghiệm nhắm tới NVIDIA DGX Spark. Hiệu suất: Mã hóa tác nhân cấp biên giới cho kích thước của nó; theo sau các mô hình MoE lớn hơn về mã hóa kiến ​​thức và khoa học. Tốt nhất: Terminal-Bench 2.1, 80.5 (tự báo cáo). Tệ nhất: SciCode, 39,4, thấp nhất trong 5 mô hình trong bảng riêng của Ricursive.

Bản xem trước Ripple-65B là gì? Bản phát hành bao gồm 3 điểm kiểm tra: mô hình BF16 được điều chỉnh theo hướng dẫn, phiên bản NVFP4 và mô hình cơ sở BF16. Tất cả đều được phát hành dưới Apache 2.0. Quá trình huấn luyện trước sử dụng kho ngữ liệu chỉ có văn bản, chủ yếu là tiếng Anh và mã, ở độ dài chuỗi 8K. Nhóm Ricursive tuyên bố rằng toàn bộ chi phí R&D là 32 triệu USD. Con số đó bao gồm các thử nghiệm bậc thang, trộn dữ liệu, đánh giá, dữ liệu tổng hợp và các lần chạy cuối cùng. Nhóm Ricursive ước tính rằng chi phí này chỉ bằng 1/10 chi phí của công cụ dẫn đầu về mã hóa tác nhân có trọng lượng mở trước đây. Kiến trúc hoạt động như thế nào? Ricursive đã chọn Máy biến áp dày đặc thay vì Hỗn hợp các chuyên gia để giảm độ phức tạp của cơ sở hạ tầng. Quá trình đào tạo chứa 40% MFU với phân đoạn đơn giản, không có hạt nhân tùy chỉnh và không lượng tử hóa. Mô hình mỏng và sâu: d_model 5120 trên 80 lớp. Nó chuyển từ bố cục giống Llama của Olmo 3 sang thiết kế giống Gemma 3N để đảm bảo sự ổn định. Các lựa chọn chính:

Sự chú ý được cung cấp quá mức dành cho lý luận, được bù đắp bằng nhiều lớp cửa sổ trượt hơn và các cửa sổ nhỏ hơn. Sự chú ý được kiểm soát, NoPE toàn cầu và giá trị còn lại. Cắt kích hoạt FFN, một kỹ thuật cũng được sử dụng trong gpt-oss.

Nhóm Ricursive đã xây dựng công thức thông qua các thử nghiệm bậc thang bắt đầu từ bậc thang của Olmo 3. Nó từ chối những thay đổi không thể duy trì ở quy mô 4B, chẳng hạn như mHC 2 luồng. Bài đăng kỹ thuật báo cáo mức tăng hiệu quả tính toán mã gấp 16 lần ở thang đo 4B. Nó được đào tạo sau như thế nào? Sau đào tạo chạy đào tạo giữa, ngữ cảnh dài, SFT, SFT ngữ cảnh dài và RL hỗn hợp. Các giai đoạn ngữ cảnh dài được đào tạo ở độ dài chuỗi 2M. Ricursive không mua dữ liệu sau đào tạo và xây dựng quy trình tổng hợp của riêng mình. Công thức RL kết hợp việc lấy mẫu tầm quan trọng bị cắt ngắn, căn giữa điểm và hình phạt về độ dài tuyến tính. Ripple đạt 80,5 trên Terminal-Bench 2.1 với 1,4 triệu lượt triển khai. Ricursive đặt con số đó ít hơn khoảng 70 lần so với Beam, vốn đã báo cáo hơn 100 triệu lượt triển khai. Ripple-65B so sánh như thế nào trên điểm chuẩn? Nhóm Ricursive đã chạy các đánh giá bị thiếu nội bộ bằng cách sử dụng OpenCode và Terminus 2 cho SWE-bench Pro v2.0 Hard và DeepSWE 1.1. Điểm số bên dưới là dữ liệu được trình bày của Ricursive.

Terminal-Bench 2.1: 80.5, so với Beam 80.1, Muse Spark Open 76.4, Inkling 63.8, Nemotron 3 Ultra 56.4. SWE-bench Pro v2.0 Hard: 79,1, điểm cao nhất trong bảng Ricursive. SWE-bench đã được xác minh: 76,5, thấp hơn Beam và Inkling. Môn Toán: 98,3 trong AIME 2025 và 90,5 trong HMMT tháng 2 năm 2026. Điểm yếu: SciCode 39.4, DeepSWE 1.1 44.3, MCP Atlas 71.67, GPQA Diamond 85.2.

Nhóm Ricursive cũng chạy lại Terminal-Bench 2.1 với dây nịt Terminus 2 chính thức ở mức 128K. Hầu hết các đối thủ đều tụt hạng ở đó; Beam giảm xuống 70,8. Muse Spark Open tăng lên 78,7, vẫn thấp hơn 80,5 của Ripple.

&&&

Bảng so sánh Tính năngXem trướcRipple-65BChùm phản chiếuMeta Muse Spark OpenThinking Machines InklingNVIDIA Nemotron 3 UltraArchitectureDenseMoEMoEMoEHybrid Mamba-2 LatentMoETTổng thông số65B501B816B975B550BThông số hoạt động65B23B42B41B55BBáo đào tạo lại12T23.8TKhông được tiết lộ45T (mỗi bảng Ricursive)~20TContextLên tới 1M1M (đào tạo giữa)1M1MLên lên 1MLicenApache 2.0Apache 2.0Muse Model LicenseApache 2.0OpenMDW-1.1Phương thức nhậpVăn bảnVăn bản, hình ảnh, video, âm thanhVăn bản, hình ảnh, âm thanhVăn bảnTự lưu trữ sànDGX Spark lớp (NVFP4)Không được tiết lộ700GB VRAM (NVFP4)600GB VRAM (NVFP4)8x B200 hoặc 16x H100Terminal-Bench 2.180.580.176.463.856.4SWE-bench Đã xác minh76.580.9Không được tiết lộ bởi Meta77.670.7GPQA Diamond85.2Không được tiết lộ trong blog89.087.287.0 Điểm Ripple từ thẻ mô hình Ricursive. Đối thủ cạnh tranh ghi điểm từ nguồn riêng của mỗi nhà cung cấp. Tất cả đều tự báo cáo. Các nhà phát triển có thể chạy nó ở đâu? Trọng lượng đang ở trên Ôm Mặt. Danh sách Ricursive Cùng với AI, GMI Cloud và OpenRouter khi ra mắt, với Fireworks sau này. Trang Together AI hiện đánh dấu mô hình này là sắp ra mắt. Trên GPU trung tâm dữ liệu, mô hình đạt 250 tok/s trên 2x B200 ở lô 8, trước khi lượng tử hóa. Điểm kiểm tra NVFP4 thử nghiệm lượng tử hóa các lớp MLP và thu hút sự chú ý vào BF16. Nhóm Ricursive định vị nó cho các thiết bị cục bộ như NVIDIA DGX Spark. Một biến thể DFlash2 cũng được liệt kê. Bài học chính

Mật độ 65B, mã thông báo 12T, bối cảnh 1M, Apache 2.0. 80,5 trên Terminal-Bench 2.1, đứng đầu trong số các hạng cân mở của Hoa Kỳ. R&D đầy đủ trị giá 32 triệu USD, triển khai 1,4 triệu RL. Bản dựng NVFP4 nhắm đến phần cứng cục bộ lớp DGX Spark. Vượt qua các đối thủ MoE lớn hơn trên SciCode, DeepSWE và MCP Atlas.

Hãy xem blog khởi chạy, thẻ mẫu và điểm kiểm tra NVFP4. Ngoài ra, vui lòng theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ML của chúng tôi và Đăng ký Bản tin của chúng tôi. Chờ đợi! bạn có đang dùng điện tín không? bây giờ bạn cũng có thể tham gia cùng chúng tôi trên telegram. Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo HOẶC Trang ôm mặt HOẶC Phát hành sản phẩm HOẶC Hội thảo trên web, v.v.? Kết nối với chúng tôi Bài đăng Ricursive AI phát hành bản xem trước Ripple-65B: Mô hình trọng lượng mở dày đặc 65B đạt điểm 80,5 trên Terminal-Bench 2.1 xuất hiện đầu tiên trên MarkTechPost.