Google Research đã phát hành Agile Deliberation, một khuôn khổ con người trong vòng lặp để xây dựng các bộ phân loại hình ảnh xung quanh các khái niệm chủ quan. Hãy nghĩ đến 'thực phẩm lành mạnh', 'tác phẩm nghệ thuật truyền cảm hứng' hoặc câu click trong việc kiểm duyệt nội dung. Hầu hết các công cụ đều giả định người dùng đã biết ranh giới khái niệm. Sự cân nhắc linh hoạt cho rằng họ không làm như vậy và giúp họ tìm thấy nó. TL;DR

Khung: Nó nhắc Gemini 2.5 Pro và Gemini 2.5 Flash thông qua API mà không cần tinh chỉnh. Chạy trên: Sổ tay Jupyter hoặc Colab. Việc truy xuất sử dụng phần nhúng CLIP và chỉ mục FAISS trên CPU hoặc GPU. Chỉ mục demo bắt đầu vào khoảng 260 MB. Hiệu suất: Trung bình đạt 10,5 điểm F1 trên Gemini 2.5 Flash không chụp, trên 2 ý tưởng và 18 phiên trực tiếp. Tốt nhất: Được trả tiền để chơi F1 với số lần bắn 0,59 so với 0,48, với độ chính xác tăng 22 điểm (0,35 đến 0,57). Tệ nhất: Thu hồi giảm 17 điểm khi chơi trả phí (0,80 đến 0,63) và 15 điểm đối với thực phẩm lành mạnh.

Sự cân nhắc linh hoạt là gì? Thảo luận linh hoạt là một khuôn khổ của Google Research nhằm biến một khái niệm mơ hồ thành một định nghĩa có cấu trúc bằng văn bản. Định nghĩa đó thực hiện hai công việc. Đây là chính sách mà con người có thể đọc được và là lời nhắc văn bản cho trình phân loại VLM. Mỗi vòng giữ lại định nghĩa ứng viên có F1 tốt nhất trên nhãn của người dùng. Thiết kế này đến từ các cuộc phỏng vấn với một nhóm chuyên gia kiểm duyệt nội dung. Các chuyên gia trước tiên đã xác định phạm vi của một khái niệm, sau đó tinh chỉnh nó trên các hình ảnh đường biên. Việc tìm kiếm những hình ảnh đó là một phần chậm chạp. Phạm vi khái niệm hoạt động như thế nào? Giai đoạn 1 chia khái niệm thành tối đa 3 khái niệm đơn vị, sử dụng chuỗi nhắc với Gemini 2.5 Pro. Mỗi đơn vị có các khái niệm phụ tích cực và tiêu cực ứng viên, được hiển thị cùng với các hình ảnh được truy xuất. Đối với thực phẩm lành mạnh, điều tích cực có thể là salad hoặc bát ngũ cốc. Tiêu cực có thể là thực phẩm đã qua chế biến hoặc nguyên liệu thô, chưa được chuẩn bị trước. Người dùng giữ, lật hoặc đánh rơi từng cái. Làm thế nào để lặp lại khái niệm tìm thấy hình ảnh đường biên? Giai đoạn 2 bỏ qua việc lấy mẫu độ không đảm bảo cổ điển. Trình phân loại là một VLM tổng hợp được nhắc nhở, do đó điểm tin cậy của nó thường không được hiệu chỉnh. Thay vào đó, hệ thống tìm kiếm những hình ảnh có ý nghĩa ranh giới. Quy trình chạy theo 4 bước:

Gemini 2.5 Flash viết các truy vấn gần ranh giới, chẳng hạn như 'salad với sốt mayo đậm'. Mỗi truy vấn lấy từ 50 đến 100 hình ảnh. Hình ảnh được loại bỏ trùng lặp, mã hóa và nhóm thành các cụm bằng cách học từ điển. Một tên cướp đa vũ trang UCB chọn cụm tiếp theo. Nó ưu tiên các cụm nơi người dùng sửa mô hình hoặc để lại phản hồi phong phú. Một VLM tóm tắt mỗi hình ảnh trong 1 câu. Người dùng nhìn thấy ít nhất 5 hình ảnh có chung 1 điểm mơ hồ.

Người dùng dán nhãn cho từng hình ảnh và thêm ghi chú ngắn về những bất đồng. LLM biến những ghi chú đó thành định nghĩa ứng viên. Một bản cập nhật tham lam giữ lại điểm cao nhất. Nó được đánh giá như thế nào? Các khái niệm chủ quan không có nền tảng cố định nên nhóm Google đã bỏ qua các điểm chuẩn tĩnh. Nó chạy 18 phiên trực tiếp, mỗi phiên khoảng 90 phút. 9 người tham gia không có kinh nghiệm kiểm duyệt chuyên nghiệp đã thực hiện 2 buổi mỗi người. Một phiên sử dụng Cân nhắc Agile, phiên còn lại sử dụng cân nhắc thủ công. Mỗi người tham gia dành khoảng 45 phút để xác định một khái niệm, sau đó dán nhãn cho 200 hình ảnh thử nghiệm được đưa ra. Hai khái niệm này là 'trả tiền để chơi' clickbait và 'thực phẩm lành mạnh'. Quá trình truy xuất lần lượt chạy trên tập dữ liệu hình ảnh 100M độc quyền và WebLI. Điểm chuẩn cho thấy điều gì? F1 (Nhóm thảo luận nhanh nhẹn)Cộng tác viên làm mẫu không bắn Nguồn: Bảng 1 của bài báo CVPR 2026. F1 tính trung bình trên số người tham gia. So sánh nó với các phương pháp phân loại chủ quan khác như thế nào? Tính năngCộng tác viên mô hình hóa AgileMô hình hóa AgileZero-shot VLMVenueCVPR 2026CVPR 2024ICCV 2023Cơ sở trong bài viếtÝ tưởng cốt lõiThảo luận trên hình ảnh ranh giới ngữ nghĩa, sau đó tự động tối ưu hóa lời nhắc Tác nhân LLM phân tách khái niệm và dữ liệu tự động gắn nhãn hình ảnh của người dùng trong vòng lặp thời gian thựcPhân loại từ mô tả ban đầuNỗ lực của con ngườiKhoảng 45 phút ghi nhãn và phản hồiKhoảng 100 nhãn cộng với trò chuyện (so với trò chuyện) khoảng 2.000)Dưới 30 phút trong nghiên cứu 14 người1 mô tả khái niệmXử lý các định nghĩa đang phát triểnCóKhông (tĩnh)Không (tĩnh)KhôngPhân loạiĐược nhắc nhở Gemini 2.5 FlashTrình phân loại chưng cất nhẹKhông được tiết lộĐược nhắc nhở Gemini 2.5 FlashF1, trả tiền để chơi0.590.53Không được kiểm tra0.48F1, thực phẩm lành mạnh0.580.50Không được kiểm tra0.48MãApache 2.0, GitHubKhông được tiết lộKhông API Gemini được tiết lộ

&&

Làm thế nào các nhà phát triển có thể chạy nó? Kho lưu trữ gửi Demo.ipynb trình bày ví dụ về thực phẩm lành mạnh. Nó cần khóa API Gemini và mặc định là gemini-2.5-pro và gemini-2.5-flash. Tập lệnh thiết lập xây dựng chỉ mục FAISS trên các phần nhúng LAION-400M CLIP. 2 phân đoạn mặc định chiếm khoảng 260 MB. Tất cả 100 phân đoạn mất khoảng 13 GB. Bài học chính

Agile Deliberation giúp người dùng khám phá ranh giới của một khái niệm chủ quan chứ không chỉ dán nhãn cho nó. Nó tìm thấy các hình ảnh đường biên theo ý nghĩa chứ không phải bằng độ tin cậy của bộ phân loại. Trung bình F1 tăng 10,5 điểm so với Gemini 2.5 Flash không bắn được. Người dùng cho biết nỗ lực và căng thẳng thấp hơn đáng kể so với chỉnh sửa nhanh chóng thủ công. Mã được mở trên GitHub, với sổ ghi chép demo dựa trên Gemini.

Hãy xem bài viết, phiên bản arXiv, GitHub repo và blog Google Research. Ngoài ra, vui lòng theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ML của chúng tôi và Đăng ký Bản tin của chúng tôi. Chờ đợi! bạn có đang dùng điện tín không? bây giờ bạn cũng có thể tham gia cùng chúng tôi trên telegram. Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo HOẶC Trang ôm mặt HOẶC Phát hành sản phẩm HOẶC Hội thảo trên web, v.v.? Kết nối với chúng tôi Bài đăng Nghiên cứu AI của Google phát hành Khung cân nhắc linh hoạt cho Bộ phân loại hình ảnh vùng xám xuất hiện đầu tiên trên MarkTechPost.