Nhóm WeChat Vision của Tencent đã phát hành WeVisOne-VL, một mô hình ngôn ngữ tầm nhìn mở ở kích thước 2B và 4B. Mô hình ngôn ngữ tầm nhìn WeVisOne-VL xử lý việc phát hiện, tham chiếu, đếm, trỏ, OCR, phân đoạn và sắp xếp alpha trong một mô hình. Đầu ra pixel đến từ bộ giải mã tham số 9,6M, do đó không cần SAM riêng. Nó cũng trả lời “Không” khi không có đối tượng được truy vấn. Đối với các nhà phát triển, điều đó có thể thay thế máy dò, công cụ OCR và bộ phân đoạn bằng một mô hình. TL;DR

Kích thước: 2B (thông số 2,44B) và 4B (thông số 4,83B) trên Ôm mặt và bộ giải mã pixel thông số 9,6M. Được đào tạo với tối đa 8.192 mã thông báo ngữ cảnh; độ dài bối cảnh triển khai không được tiết lộ. Chạy trên: Một GPU duy nhất thông qua Transformers hoặc vLLM trong BF16. Gói này cũng liệt kê các thiết bị NPU và CPU. Nhu cầu VRAM không được tiết lộ. Cộng đồng GGUF đã chạy các tác vụ cấp đối tượng trên RTX 2060 6 GB. Hiệu suất: Đánh bại các đường cơ sở VLM có quy mô tương tự trong các bảng của Tencent trên hầu hết hơn 30 điểm chuẩn (tự báo cáo). Tốt nhất: Trung bình 71,3 F1 khi phát hiện mật độ dày đặc Dense200, so với 58,7 đối với LocateAnything-3B. Tệ nhất: Tỷ lệ từ chối 52,6% trên PR-Bench, rất nhiều truy vấn không có mục tiêu vẫn nhận được hộp.

WeVisOne-VL là gì? WeVisOne-VL (“WeChat Vision All-in-One”) là mô hình tập trung vào nhận thức của Tencent được xây dựng trên Qwen3-VL. Nó nhắm mục tiêu bản địa hóa chi tiết hơn là trò chuyện mở. Người dùng chọn mức độ chi tiết đầu ra: điểm, hộp, mặt nạ nhị phân hoặc bảng alpha liên tục. WeVisOne-VL hoạt động như thế nào? Mọi tác vụ đều được thực hiện dưới dạng dự đoán mã thông báo tiếp theo có cấu trúc. Mô hình thêm mã thông báo tọa độ cho các hộp và điểm được chuẩn hóa. Một mục tiêu vắng mặt sẽ tạo ra Không thay vì một hộp được đoán. Đối với các tác vụ pixel, mô hình sẽ phát ra mã thông báo sau mỗi hộp được dự đoán. Trạng thái ẩn của nó trở thành một truy vấn cho bộ giải mã pixel, theo thẻ mô hình. Bộ giải mã có 3 phần:

Bộ điều hợp tính năng trực quan: sử dụng lại các tính năng ViT Qwen3-VL đa cấp thay vì bộ mã hóa hình ảnh thứ hai. Bộ giải mã truy vấn có hướng dẫn theo hộp: 6 khối chú ý chéo có thể biến dạng được sắp xếp theo trạng thái và hộp. Đầu dự đoán dày đặc: tinh chỉnh đầu ra ở S/4, S/2 và S/1 thành mặt nạ hoặc mờ có độ phân giải đầy đủ.

Nó được đào tạo như thế nào? Một công cụ dữ liệu dựa trên biểu đồ tri thức đã chú thích trên 100 triệu hình ảnh với khoảng 3,6B hộp. SAM3, Rex-Omni và một máy dò nội bộ đã đề xuất các khu vực và Qwen3-VL đã xác minh chúng. Đào tạo sử dụng 3 giai đoạn SFT. Các định dạng đầu ra được căn chỉnh ở Giai đoạn 1 trên các ví dụ 90M. Giai đoạn 2 đã nâng số lượng đầu vào lên 1.960 mã thông báo trực quan và tối đa 500 hộp cho mỗi phản hồi. Giai đoạn 3 đã huấn luyện bộ giải mã pixel, sau đó chuyên môn hóa nó để làm mờ trên 130 triệu mẫu. Giai đoạn GRPO cuối cùng sử dụng 178K mẫu được lọc không chắc chắn, như được mô tả trong bài nghiên cứu. WeVisOne-VL hoạt động như thế nào trên điểm chuẩn? Tất cả các số bên dưới đều là số tự báo cáo, sử dụng giải mã tham lam và tối đa 1.960 mã thông báo trực quan cho mỗi hình ảnh. Tính năng phát hiện, giới thiệu và sử dụng OCR F1 trung bình trên IoU từ 0,5 đến 0,95.

Phát hiện: 55,3 F1 trên LVIS và 71,3 trên Dense200 đối với model 4B. Giới thiệu: 81,8 F1 trong bài kiểm tra RefCOCOg, so với 77,6 cho LocateAnything-3B. Từ chối: 96,4% trên WeRef-Bench nội bộ của Tencent (2.880 truy vấn), so với 73,0%. Đếm: 89,6% khớp chính xác trong bài kiểm tra PixMo-Count, so với 82,8%. OCR: 52,0 F1 trên TotalText, trước chuyên gia PP-OCRv5 ở mức 25,7. Phân đoạn: 71,2 gIoU trên giá trị ReasonSeg, so với 65,0 cho LISA-13B. Matting: 7,3 MAD trên lời nhắc hộp P3M-500-NP, so với 15,4 cho SAM2-Matting (SAM3). Thấp hơn là tốt hơn.

Mô hình 2B bám sát mô hình 4B trong hầu hết các nhiệm vụ. Nó vẫn đạt điểm số thảm theo gợi ý trong hộp tốt hơn trên P3M-500-NP, ở mức 6,6 MAD.

&

WeVisOne-VL so với Qwen3-VL, Rex-Omni và LocateAnything Tính năngWeVisOne-VL-4BQwen3-VL-4B-InstructRex-OmniLocateAnything-3BDeveloperTencent WeChat VisionAlibaba QwenIDEA ResearchNVIDIASize4.83B (danh sách HF)4B3B (thẻ)3B (thẻ)Mô hình cơ sởQwen3-VLKhông áp dụngQwen2.5-VL-3B-InstructQwen2.5-3B-Instruct + MoonViT-SO-400MLicenceApache 2.0Apache 2.0IDEA License 1.0NVIDIA phi thương mạiMặt nạ / mờ gốcCó (bộ giải mã 9.6M)Không có trong thẻ mô hìnhKhông có trong thẻ mô hìnhKhông có trong thẻ mô hìnhNgữ cảnhKhông được tiết lộ (8.192 trong đào tạo)Bản địa 256KKhông được tiết lộKhông được tiết lộLVIS F1 Mean55.344.046.950.7Dense200 F1 Mean71.315.258.358.7Thử nghiệm RefCOCOg F1 Mean81.874.374.377.6RefCOCOg-Rej từ chối67,4%18,8%0,5%0,6%PointBench71.957.169.956.9TotalText F1 Mean52.033.040.643.3 Bạn chạy WeVisOne-VL như thế nào? Trọng lượng của mẫu 2B và 4B nằm ở phần Ôm Mặt. Gói wevisone_vl bao gồm các phần phụ trợ của Transformers và vLLM. Các nhiệm vụ bao gồm phát hiện, giới thiệu, điểm, count_box, ocr, phân đoạn và làm mờ. từ wevisone_vl nhập WeVisOneVL model = WeVisOneVL("tencent/WeVisOne-VL-4B", backend="transformers") # hoặc "vllm" result = model.predict(image, task="matting", query="person")

Các bản demo được lưu trữ đang hoạt động cho 2B và 4B. Tencent cũng có mã nguồn mở Mask2Alpha, công cụ chú thích mờ từ công cụ dữ liệu của mình. Mã tinh chỉnh vẫn nằm trong danh sách TODO. Bản dựng GGUF không thể tạo mặt nạ vì bộ giải mã cần các tính năng hình ảnh gốc. Bài học chính

1 mô hình bao gồm phát hiện, OCR, đếm, trỏ, phân đoạn và làm mờ. Bộ giải mã tham số 9,6M thay thế SAM cho mặt nạ và bảng alpha. 4B đạt 71,3 điểm F1 trên Dense200, cao hơn LocateAnything-3B 12,6 điểm. Trọng lượng Apache 2.0, không giống như LocateAnything-3B phi thương mại.

Hãy xem trang Paper, GitHub repo, Model Weights và Project. Ngoài ra, vui lòng theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ML của chúng tôi và Đăng ký Bản tin của chúng tôi. Chờ đợi! bạn có đang dùng điện tín không? bây giờ bạn cũng có thể tham gia cùng chúng tôi trên telegram. Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo HOẶC Trang ôm mặt HOẶC Phát hành sản phẩm HOẶC Hội thảo trên web, v.v.? Kết nối với chúng tôi Bài đăng Tencent WeVisOne-VL Hợp nhất Phát hiện, OCR, Phân đoạn và Làm mờ xuất hiện đầu tiên trên MarkTechPost.