Nhóm Frontier Red của Anthropic đã phát hành FlashProve, một nguyên mẫu nghiên cứu mã nguồn mở cho những suy luận có thể chứng minh được. FlashProve là một hệ thống zkSNARK của Anthropic nhằm chứng minh phản hồi đến từ một mô hình đã cam kết. Bằng chứng không tiết lộ gì về trọng lượng của mô hình. Trên Llama 4 Maverick, một mô hình hỗn hợp các chuyên gia 400B, nó chứng minh khoảng 110 mã thông báo/giây trên 1 H100. Đối với các nhà phát triển, điều này nhằm vào một lỗ hổng thực sự: ngày nay bạn không thể kiểm tra xem mô hình nào thực sự đã trả lời lệnh gọi API của bạn. TL;DR

Kích thước: Chứng minh mô hình MoE 400B (~17B hoạt động trên mỗi mã thông báo); bối cảnh giới hạn ở mức 1.024 mã thông báo cho mỗi yêu cầu. Chạy trên: Prover cần 1 H100 80 GB, 24 lõi CPU và RAM chủ ~290 GB. Trình xác minh chạy trên CPU, không có GPU. Hiệu suất: Nhanh hơn nhiều so với các hệ thống zkML nguồn mở trước đây trên cùng mô hình 400B. Tốt nhất: 110 token/giây chứng minh trên 1 H100, với 18,78 MB bằng chứng được kiểm tra trong 17 giây. Tệ nhất: Việc chứng minh tốn ~70 đến 95 lần thời gian GPU của suy luận vLLM đơn giản.

Suy luận có thể chứng minh giải quyết được vấn đề gì? Người dùng truy vấn một mô hình không thể xác minh mô hình nào tạo ra phản hồi. Dịch vụ định tuyến có thể chuyển sang mô hình rẻ hơn. Kẻ tấn công có thể giả mạo luồng mã thông báo. Chỉ đánh giá từ chất lượng đầu ra là không đáng tin cậy. Anthropic liệt kê 4 trường hợp sử dụng:

Cơ quan quản lý có thể xác nhận phần cứng phục vụ suy luận, hỗ trợ các quy tắc nhịp độ AI. Phòng thí nghiệm có thể phát hiện các máy chủ suy luận bị giả mạo. Người dùng có thể xác minh nguồn gốc văn bản. Cơ quan quản lý chỉ có thể thực thi việc phân phát các mô hình đã được phê duyệt.

FlashProve hoạt động như thế nào? FlashProve có người chứng minh (nhà cung cấp mô hình) và người xác minh (người dùng). Nó diễn ra theo 2 giai đoạn:

Ngoại tuyến: Nhà cung cấp đưa ra cam kết, một dấu vân tay ngắn ràng buộc một bộ trọng số chính xác. Quá trình này mất khoảng 39 phút và đáp ứng khoảng 16 triệu yêu cầu. Trực tuyến: Đối với mỗi yêu cầu, GPU tạo ra bằng chứng cho thấy mô hình đã cam kết đã tạo ra các mã thông báo đó.

Hệ thống chứng minh biên dịch một bằng chứng tiên tri tương tác thành một bằng chứng mật mã bằng cách sử dụng các hàm băm. Anthropic cho biết điều này mang lại sự bảo mật sau lượng tử. Đó là cùng một họ được sử dụng bởi các mạng L2 chứng minh tính hợp lệ như Starknet. Ba lựa chọn kỹ thuật thúc đẩy tốc độ. Công việc của Prover có quy mô với các tham số hoạt động ~17B, không phải tất cả 400B. Các yêu cầu được chứng minh theo đợt sau khi thực tế, giống như điền trước. Trọng lượng truyền từ bộ nhớ máy chủ nên chỉ cần một GPU 80 GB là đủ. Nó nhanh đến mức nào? Điểm chuẩn Anthropic đã đo trọng lượng Maverick 4 bit công khai trên 1 H100 với 24 lõi CPU. Theo hướng dẫn hiệu suất repo:

Lô 24: 111,23 mã thông báo/giây, ~221 đến 226 giây mỗi lô. Lô 1: 17,41 token/giây. Lô 64: 123,31 mã thông báo/giây, được gắn cờ là không đáng tin cậy trên thẻ 80 GB. Kích thước bằng chứng: 18,78 MB. Khách hàng tải xuống ~6,5 MB một lần cho mỗi cam kết. Xác minh: 17 giây trên 24 luồng, 21 giây trên 1 luồng.

Đối với vLLM chạy FP8 Maverick trên 8 H100, chứng tỏ chi phí GPU mỗi lô gấp khoảng 72 lần. Ở mức tải thử nghiệm cao nhất của vLLM, khoảng cách là khoảng 94 lần.

&

FlashProve so sánh với các hệ thống zkML khác như thế nào? Số liệuFlashProveAttestableVerInfDeepProvezkLLMMô hình đã được chứng minhLlama 4 Maverick (400B MoE)Gemma 4 31B (dày đặc)Llama 4 Maverick (400B MoE)GPT-2, Gemma 3LLaMA-2-13BThông lượng110 tok/s53 đến 77 tok/s0,02 tok/s (1.000 token trong 14,3 giờ)~2,9 tok/s (GPT-2), ~1,4 tok/s (Gemma 3)Suy luận đầy đủ trong vòng dưới 15 phútPhần cứng1 H100 + 24 lõi CPU1 máy H1001 DGX Spark1; 31 tok/s được phân phốiGPU (CUDA)Kích thước bằng chứng18,78 MB4,35 đến 7,92 MiB93,6 GBKhông được tiết lộDưới 200 kBThời gian xác minh17 giây (24 luồng)157 đến 648 ms17,7 giờ (20 lõi)1 đến 3,7 giâyKhông được tiết lộNgữ cảnh1.024 mã thông báoLên tới 16K mã thông báo1.000 mã thông báoKhông được tiết lộKhông được tiết lộMã / licenseOpen, Apache 2.0Không phải nguồn mởOpen, MITOpen source trên LagrangePaper (CCS 2024) Kiểm tra an ninh như thế nào? Mã mật mã rất dễ vỡ nên Anthropic đã chính thức hóa giao thức trong Lean. Nó chứng tỏ sự đầy đủ, đúng đắn và không có kiến ​​thức. README cho biết nhà cung cấp gian lận đã bị bắt ngoại trừ với xác suất khoảng q/2^124 + 2^-101. FlashProve cung cấp 2 trình xác minh. Trình xác minh C++ nhanh được sử dụng hàng ngày nhưng không có bảo đảm chính thức. Trình xác minh Lean chậm hơn được chứng minh là chỉ chấp nhận những gì mà định lý về tính đúng đắn chấp nhận. Nhóm nhân chủng học ghi nhận Claude đã giúp tối ưu hóa hệ thống. Bài học chính

FlashProve chứng minh mô hình 400B MoE ở mức ~110 token/giây trên 1 H100. Bằng chứng là 18,78 MB và xác minh trên CPU trong 17 giây. Chi phí chứng minh ~70 đến 95 lần thời gian suy luận vLLM của GPU. Các thuộc tính bảo mật được chính thức hóa trong Lean; trọng lượng vẫn được giấu kín. Hiện tại, giới hạn ở 1.024 mã thông báo, giải mã tham lam và mô hình MoE.

Xem bài nghiên cứu, báo cáo kỹ thuật, thông số giao thức và kho lưu trữ GitHub. Ngoài ra, vui lòng theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ML của chúng tôi và Đăng ký Bản tin của chúng tôi. Chờ đợi! bạn có đang dùng điện tín không? bây giờ bạn cũng có thể tham gia cùng chúng tôi trên telegram. Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo HOẶC Trang ôm mặt HOẶC Phát hành sản phẩm HOẶC Hội thảo trên web, v.v.? Kết nối với chúng tôi Bài đăng Anthropic phát hành FlashProve: Bằng chứng mật mã cho thấy phản hồi đến từ trọng lượng đã cam kết xuất hiện đầu tiên trên MarkTechPost.