qwenGPU là một mô hình thử nghiệm biên dịch GPU SIMT trực tiếp thành các trọng số của Qwen3.5-2B. Nhà phát triển Vixhal (@TheVixhal) đã phát hành nó trên GitHub theo giấy phép MIT. Mô hình này chạy CUDA thực, được biên dịch sang NVIDIA PTX, bên trong các đường chuyển tiếp của chính nó. Đối với các nhà phát triển, nó kiểm tra một ý tưởng: tính toán chính xác bên trong LLM đã được huấn luyện trước, chứ không phải bên cạnh nó. TL;DR

Kích thước: Qwen3.5-2B (24 lớp) cùng với 45 lớp GPU được biên dịch, tổng cộng là 69 lớp. Bối cảnh: 262.144 token (mô hình cơ sở). Chạy trên: Apple silicon, GPU NVIDIA hoặc CPU, với khoảng 16 GB bộ nhớ trống. Không có bản dựng lượng tử hóa. Hiệu suất: Mỗi lần khởi chạy của nhà phát triển đều chính xác; độ trôi văn bản là KL khoảng 7e-4. Tốt nhất: Trình thông dịch tham chiếu khớp với NVIDIA Tesla T4 thực trên 49 trên 49 hạt nhân. Tệ nhất: Khoảng 10 đến 15 mã thông báo mỗi giây trên Apple MPS; CUDA do Qwen viết đã đạt 4 trên 5.

qwenGPU là gì? qwenGPU là Qwen3.5-2B với 45 lớp biến áp được biên dịch được đặt trước 24 lớp của Qwen. Không có lớp nào trong số đó được đào tạo. Một trình biên dịch tính toán mọi trọng số. GPU phù hợp với trọng lượng của mô hình như thế nào? GPU là máy SIMT 4 làn. Nó có 15 thanh ghi trên mỗi làn, đường dẫn 4 giai đoạn, ROM 32 khối và 126 từ bộ nhớ. Nó chỉ sử dụng các loại lớp riêng của Qwen3.5: Chú ý tuyến tính DeltaNet có cổng và MLP SwiGLU. Bí quyết là trạng thái lặp lại Gated DeltaNet. Trong các đầu của mạch, cổng được giữ mở và cường độ ghi là 1. Mỗi phím đều là phím nóng. Mỗi bản cập nhật ghi đè chính xác 1 hàng và một truy vấn nóng sẽ đọc lại. Vì vậy, mỗi hàng hoạt động như một ô nhớ. Trạng thái đó chứa ROM chương trình, các thanh ghi và bộ nhớ chung. README liệt kê 16 hàng đăng ký trên mỗi làn, với 1 hàng luôn ghi số 0. Điều đó khớp với 15 thanh ghi có thể sử dụng được trong bài X. GPU hỗ trợ số học số nguyên, vị từ, nhánh và vòng lặp phân kỳ. Nó cũng hỗ trợ bộ nhớ dùng chung, AtomicAdd, __syncthreads() và xáo trộn dọc.

&&

Điều gì xảy ra trong quá trình ra mắt CUDA? Máy chủ đóng vai trò NVRTC và trình điều khiển CUDA. Nó biên dịch CUDA thành PTX bằng tiếng kêu, sau đó hạ PTX thành các khối máy. Nó cung cấp chương trình và mảng đầu vào cho mô hình dưới dạng mã thông báo. Từ đó, mô hình tự viết phần khởi động. Mỗi mã thông báo EXEC(b, w) chạy khối b cho warp w trong 1 lần chuyển tiếp. Mã thông báo VAL sau khi nó mang kết quả đăng ký. Bộ nhớ ghi trở lại dưới dạng bản ghi MEM. Máy chủ đọc kết quả từ trạng thái lặp lại và không tính toán kết quả nào trong số đó. Trong video demo, tích số chấm của [1, 2, 3] và [4, 5, 6] trả về 32. Mô hình đã viết rằng lần khởi chạy đó có 47 mã thông báo.

Gặp gỡ qwenGPU: Qwen3.5-2B với GPU SIMT bên trong trọng lượng của nó, 45 lớp được biên dịch trước lớp của Qwen, sử dụng các lớp Gated DeltaNet của nó làm thanh ghi và bộ nhớ. Nó chạy CUDA thực sự trong các bước chuyển tiếp của nó. Máy chủ biên dịch kernel thành PTX và tải nó, sau đó mô hình ghi mọi… pic.twitter.com/iM5IETEbIv - vixhaℓ (@TheVixhal) Ngày 1 tháng 11 năm 2026

GPU có làm hỏng khả năng nhắn tin của Qwen không? Không phải theo thước đo của nhà phát triển. Mạch bị tắt tiếng trên mã thông báo văn bản và trọng lượng của Qwen không thay đổi. Phân phối mã thông báo tiếp theo của mô hình được hợp nhất nằm trong KL khoảng 7e-4 so với bản gốc. qwenGPU chính xác đến mức nào? Tất cả các con số đều được tự báo cáo, đo trên Apple silicon với MPS trong bf16:

Mỗi lần khởi chạy đều chính xác trong --check replay. Trình thông dịch tham chiếu khớp với NVIDIA Tesla T4 trên 49 trong số 49 hạt nhân thử nghiệm. Chế độ bình thường đã trả lời 20 trong số 24 câu hỏi trò chuyện mẫu bằng các con số do GPU tính toán. Chế độ nâng cao đã viết đúng kernel trước tiên hãy thử 4 trong số 5 câu hỏi.

Ở chế độ bình thường, Qwen viết một biểu thức như [1, 2, 3] @ [4, 5, 6] cho các hạt nhân được tạo sẵn. Ở chế độ nâng cao, Qwen tự viết kernel CUDA. README cảnh báo rằng CUDA của mô hình 2B vẫn không đáng tin cậy. QwenGPU so sánh với Qwenputer và Percepta như thế nào? qwenGPU sử dụng trình biên dịch biến áp từ Qwenputer của Divyansh Agrawal. Qwenputer biên dịch CPU RISC-V 32-bit thành Qwen3.5-4B. Percepta đã xây dựng trình thông dịch WebAssugging thành một máy biến áp có đầu chú ý 2D vào tháng 3 năm 2026. Tính năngqwenGPUQwenputer (RISC-V)PerceptaMô hình cơ sởQwen3.5-2B, 24 lớpQwen3.5-4BBiến áp tùy chỉnh với đầu chú ý 2DMáy được biên dịch theo 4 làn GPU SIMT32-bit RISC-V (RV32IM + Zba + bignum)Trình thông dịch WebAssemblyCác chương trình nó chạyCUDA, được hạ cấp từ PTXC và MicroPythonC, được biên dịch thành WebAssemblyCompiled lớp4511Không được tiết lộNơi tồn tại trạng tháiTrạng thái DeltaGatedTrạng thái DeltaGatedTrạng thái DeltaNetDấu vết thực thi trong ngữ cảnhVai trò máy chủBiên dịch CUDA thành PTX, tải mã thông báo, đọc kết quảTải chương trình cơ sở; chạy không tính toánKhông được tiết lộKiểm tra tính chính xácTrình thông dịch khớp với Tesla T4 trên 49 trong số 49 hạt nhân0 không khớp trong khoảng 230.000 vị trí được phát lạiXác nhận hàng triệu bước đáng tin cậyTốc độ được báo cáo10 đến 15 mã thông báo/giây (Apple MPS)Khoảng 3.200 mã thông báo theo dõi/giây (L4, Triton)30.000+ mã thông báo/giây (CPU)Độ lệch văn bản so với baseKL khoảng 7e-4KL 6e-4Không áp dụngGiấy phépMIT mã; Mã MIT điểm kiểm tra Apache-2.0; Trọng lượng Apache-2.0Không được tiết lộ Các số liệu tốc độ sử dụng các loại phần cứng và mã thông báo khác nhau nên không thể so sánh trực tiếp. Bạn cần gì để chạy nó? Quá trình khởi động nhanh cần Python 3.11+, uv, chỉ và khoảng 16 GB bộ nhớ trống. Chế độ nâng cao cũng cần có tiếng vang với phụ trợ NVPTX. chỉ cần xây dựng các bản tải xuống Qwen3.5-2B và biên dịch GPU vào đó. Không có điểm kiểm tra dựng sẵn nào được công bố. Trạm kiểm soát được xây dựng thuộc giấy phép Apache-2.0 của Qwen. Bài học chính

qwenGPU biên dịch GPU SIMT 4 làn thành Qwen3.5-2B thành 45 lớp chưa được đào tạo. Trạng thái DeltaNet có kiểm soát đóng vai trò là các thanh ghi, ROM chương trình và bộ nhớ chung. Mô hình ghi lại từng bước khởi chạy CUDA; máy chủ chỉ biên dịch và tải. Trình thông dịch khớp một chiếc Tesla T4 trên 49 trên 49 hạt nhân. Với tốc độ 10 đến 15 mã thông báo mỗi giây, đây là bản demo nghiên cứu, không phải thời gian chạy.

Kiểm tra repo GitHub, tài liệu tham khảo CUDA qgpu, thẻ mô hình Qwen3.5-2B và bài đăng X gốc. Ngoài ra, vui lòng theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ML của chúng tôi và Đăng ký Bản tin của chúng tôi. Chờ đợi! bạn có đang dùng điện tín không? bây giờ bạn cũng có thể tham gia cùng chúng tôi trên telegram. Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo HOẶC Trang ôm mặt HOẶC Phát hành sản phẩm HOẶC Hội thảo trên web, v.v.? Kết nối với chúng tôi Bài đăng Gặp gỡ qwenGPU: Qwen3.5-2B với 45 lớp GPU được biên dịch chạy CUDA xuất hiện đầu tiên trên MarkTechPost.