Nace AI đã phát hành Drex Max v1 dưới dạng phiên bản mở. Drex Max là mô hình ra quyết định có khả năng nhất và hiện chạy trên phần cứng của riêng bạn. Bản phát hành có trọng lượng bf16, Q8_0 GGUF, điểm kiểm tra affine Q4 và các nhánh của llama.cpp và Ollama. Đối với các nhà phát triển, trọng lượng mở Drex Max có nghĩa là việc kiểm tra định tuyến, phân loại và chính sách có thể nằm trên máy cục bộ. TL;DR

Kích thước: Tham số 27B dày đặc, cửa sổ 262.144 mã thông báo (16.384 theo mặc định), tối đa 255 tùy chọn cho mỗi câu hỏi. Chạy trên: GPU NVIDIA với Python (H100 bf16 hoặc L40S 48 GB trong 8-bit). Máy Mac Apple Silicon có 24 GB+ (affine Q4) hoặc 48 GB (Q8_0 GGUF). CPU thông qua llama.cpp và Ollama. Hiệu suất: 67,52 trên Chỉ số quyết định công khai 0,4, cao hơn 6,27 điểm so với Drex v2.0 (tự báo cáo). Tốt nhất: Kỹ năng 97,3 trên InfographicVQA. Khu vực công cụ đạt 81,9. Mô hình quyết định hàng đầu hiện có thể chạy ngoại tuyến trên máy Mac.

Drex Max là gì? Drex Max là một mô hình ra quyết định của Nace.AI nhằm trả lời các câu hỏi được đánh máy về một bối cảnh nhất định. Bạn chuyển một trạng thái (văn bản, JSON hoặc hình ảnh) cùng với các câu hỏi được đặt tên. Mô hình trả về xác suất cho mọi tùy chọn trong một lần chuyển tiếp. Không có gì được tạo ra. Câu hỏi có 3 loại: lựa chọn trong số các phương án được đặt tên, có/không và điểm thứ tự. Điều đó làm cho nó phù hợp cho việc định tuyến đại lý, phân loại vé và kiểm tra lan can. Phiên bản được lưu trữ được hiển thị khi định tuyến, phân loại và kiểm tra chính sách. Drex Max hoạt động như thế nào? Thẻ mô hình mô tả đường trục 27B dày đặc với 64 lớp. 48 là các lớp chú ý tuyến tính DeltaNet có cổng chạy từ trái sang phải. 16 lớp còn lại là các lớp chú ý đầy đủ, được đặt ở mỗi lớp thứ tư và chúng không mang tính nhân quả. Mỗi mã thông báo có thể tham gia vào toàn bộ chuỗi. Hình ảnh đi qua tháp tầm nhìn gốc và hiển thị cho mọi câu hỏi trong yêu cầu. Đầu đọc 255 chiều sau đó chuyển trạng thái ẩn cuối cùng thành xác suất tùy chọn. Cấu hình liệt kê loại mô hình qwen3_5 với cửa sổ 262.144 vị trí.

&&&

Drex Max hoạt động như thế nào trên điểm chuẩn? Tất cả số liệu dưới đây đều do Nace AI tự báo cáo,

Chỉ số quyết định 0,4 (văn bản công khai): 67,52. Drex v2.0 đạt 61,25 và Jev 1.13.0 đạt 57,96. Kỹ năng lĩnh vực: Công cụ 81.9, Ngôn ngữ 72.2, Khả năng hồi tưởng 68.8, Kiến thức và lý luận 57.1, Nghệ thuật 53.4. Chỉ số tầm nhìn công cộng: 73,92 trên 11 điểm chuẩn và 12.210 hàng. Chỉ số quyết định phân tích nhân tạo: 64, mà Nace cho biết đứng thứ 4 trên 18. JevBench: 92,2% (213/231). Băng ghế quyết định v4: 94,30% (1010/1071).

Tập dữ liệu kết quả bao gồm 140.620 yêu cầu. Yêu cầu chưa được trả lời được tính là sai. Làm thế nào để bạn chạy Drex Max cục bộ? Tài liệu Nace 5 thời gian chạy. Tất cả đều phục vụ cùng một API POST /v1/systemone. Thời gian chạyPhần cứngCheckpointImagesPythonNVIDIA GPUbf16 (~49 GB) hoặc 8-bit (~26 GB)Yesllama.cpp forkApple Metal, CPUQ8_0 GGUF (27,25 GB)KhôngOllama forkApple Metal, CPUQ8_0 GGUFNoKapitsa v0.2.25+Apple SiliconQ8_0 GGUF hoặc affine Q4NoMLXApple Siliconaffine Q4 (14,45 GB)Không Điểm kiểm tra affine Q4 nhắm mục tiêu vào máy Mac có 24 GB trở lên. Q8_0 GGUF cần 48 GB. Trên máy Mac 48 GB, Nace khuyến nghị –context 2048 cho Kapitsa. Người dùng Ollama đặt num_gpu 40 để giảm tải 40 lớp cho Metal. Đặt num_gpu 0 sẽ chạy nó trên CPU. Ngã ba Ollama cần một dòng quyết định KHẢ NĂNG trong Modelfile. Lượng tử hóa được duy trì trong các thử nghiệm của Nace. Trên Apple M5 Pro 48 GB, Q8_0 GGUF khớp với H100 bf16 trong khoảng 0,02 cho mỗi xác suất. Affine Q4 nằm trong khoảng 0,0329 của Q8_0, không có sự thay đổi lựa chọn nào. Drex Max so với các mô hình quyết định khác Drex Max v1Drex v2.0Drex v1.5Jev 1.13.0Thông số27B dày đặc35B MoE, ~3B hoạt động9BKhông được xuất bảnBối cảnh tối đa262,144131,072131,072Không được tiết lộĐầu vàoVăn bản, JSON, hình ảnhVăn bản (tháp tầm nhìn bị rơi)Văn bảnKhông được tiết lộTrọng lượngMở, Nace.AI Open RAIL-MOpen, Nace.AI Open RAIL-MOpen, Nace.AI Open RAIL-MCĐã đóng, được lưu trữ Tệp cục bộ nhỏ nhấtAffine Q4, 24 GB+ MacQ8_0, 36,9 GBQ8_0, ~9,5 GBKhông áp dụngChỉ số quyết định công khai67,52 (v0.4)61,25 (v0.3.1)58,08 (v0.3.1)57,96JevBench92,2%85,7%Không được tiết lộ86,6%Chỉ số quyết định AA6458Không được liệt kê58Giá lưu trữ$0,03 / 1 nghìn quyết định (ra mắt)$0,06 / 1 nghìn quyết định$0,04 / 1 nghìn quyết định$42 / 1 triệu nhiệm vụ Nhóm Nace AI tuyên bố rằng Decision Index 0.4 sử dụng bộ công khai tương tự như 0.3.1. Bài học chính

Trọng số Drex Max v1 hiện được công khai dưới Nace.AI Open RAIL-M. Nó đạt 67,52 trên Chỉ số Quyết định 0,4, trên Drex v2.0 (61,25). Bản dựng 4 bit chạy trên máy Mac Apple Silicon 24 GB thông qua Kapitsa hoặc MLX. Q8_0 trên M5 Pro khớp với H100 bf16 trong khoảng 0,02. Đường dẫn CPU và Mac cục bộ hiện chỉ là văn bản.

Kiểm tra trọng lượng mô hình, Q8_0 GGUF, mã và tài liệu, Tweet và bảng điều khiển đám mây.

Cảm ơn nhóm Nace AI đã dẫn dắt tư tưởng/nguồn lực cho bài viết này. Bài viết này được tài trợ bởi Nace AI. Bài đăng Nguồn mở Nace AI Drex Max v1: Mô hình quyết định 27B chạy cục bộ trên Apple Silicon xuất hiện đầu tiên trên MarkTechPost.