Vercel Labs đã phát hành máy tính để bàn tác nhân, một CLI mã nguồn mở dành cho máy tính tác nhân AI sử dụng trên macOS, Windows và Linux. Agent-desktop đọc từng ứng dụng thông qua cây trợ năng của hệ điều hành chứ không phải qua ảnh chụp màn hình. Một tác nhân nhận được ảnh chụp nhanh JSON kèm theo tham chiếu cho mọi phần tử mà nó có thể hành động. Phiên bản 1.0.2 được phát hành vào ngày 30 tháng 10 năm 2026, dưới Apache-2.0. Đối với các nhà phát triển, bất kỳ tác nhân mã hóa nào có khả năng shell giờ đây đều có thể điều khiển các ứng dụng gốc mà không cần mô hình tầm nhìn. TL;DR

Thư viện: Rust CLI và thư viện C. 60 tên lệnh, 56 tên hoạt động. Chạy trên: macOS 13+, Windows 10 1809+ hoặc Server 2019+, Ubuntu 24.04+, trên x64 và ARM64. CPU đơn giản, không có GPU. Hiệu suất: Hành động giới thiệu mang tính quyết định, an toàn khi thử lại. Chưa có điểm chuẩn sử dụng máy tính độc lập nào. Tốt nhất: Ít hơn 78% đến 96% mã thông báo trên các ứng dụng Electron dày đặc thông qua việc truyền tải khung (tự báo cáo).

Máy tính để bàn đại lý là gì? Agent-desktop là thư viện Rust CLI và C của Vercel Labs để đọc và vận hành các ứng dụng trên máy tính để bàn. Đó là công cụ mà đại lý gọi tới chứ không phải đại lý. Nó không nhúng LLM và không có GUI. Mỗi lệnh in một phong bì JSON và thoát. Vòng lặp quan sát, hành động và xác minh vẫn nằm trong tác nhân của bạn. Agent-desktop hoạt động như thế nào? Mỗi lệnh chảy qua một chuỗi cố định. Thư viện CLI hoặc C gọi Agent-desktop-core, chỉ tiếp cận hệ điều hành thông qua đặc điểm PlatformAdapter. Sau đó, một thùng nền tảng sẽ giao tiếp với API khả năng truy cập gốc:

macOS: API AX Windows: Tự động hóa giao diện người dùng Linux: AT-SPI

Core không bao giờ nhập thùng nền tảng. Mỗi nhị phân được biên dịch để điều khiển chính xác một hệ điều hành. Ảnh chụp nhanh và giới thiệu Ảnh chụp nhanh chỉ định các giới thiệu đủ điều kiện, chẳng hạn như @s8f3k2p9:e8. ID ảnh chụp nhanh bên trong ref giúp nó tự mô tả. @e8 trần bị từ chối với INVALID_ARGS. Khi giao diện người dùng thay đổi, một hành động sẽ trả về STALE_REF hoặc AMBIGUOUS_TARGET. Sau đó, đại lý sẽ chụp một ảnh chụp nhanh mới. Mỗi lỗi đều có một cách xử lý. Đại lý chỉ nên thử lại khi thông báo an toàn. Độ phân giải tham chiếu rất nghiêm ngặt và không đóng được thay vì đoán. Bộ xương và khoan xuống Các ứng dụng dày đặc có thể hiển thị hàng nghìn nút trợ năng. Ảnh chụp nhanh --skeleton chỉ đọc sâu 3 cấp độ. Cắt các thùng chứa báo cáo số lượng trẻ em và nhận được một bản giới thiệu khoan. snapshot --root sau đó đọc một vùng vào cùng một ảnh chụp nhanh. Nhà xây dựng đã báo cáo mức cắt giảm mã thông báo từ 78% đến 96% so với các bãi chứa toàn cây trong Slack, VS Code và Notion. Trong Apple Maps, anh ấy đã báo cáo rằng 3.811 mã thông báo mỗi lần xem giảm xuống còn 273. Một nhiệm vụ mô phỏng gồm 52 bước đã giảm từ 198k xuống còn 31k mã thông báo. Đây là những số liệu tự báo cáo, không phải là một chuẩn mực độc lập. Không đầu theo mặc định Các hành động tham chiếu sẽ đi qua API trợ năng mà không cần di chuyển con trỏ hoặc lấy tiêu điểm. Đó là điều cho phép các đại lý hoạt động trong khi bạn tiếp tục sử dụng máy. Cờ --head toàn cầu cho phép nhập liệu vật lý khi cần thiết. Mọi hành động giới thiệu cũng tự động chờ tối đa 5.000 mili giây để có được mục tiêu ổn định, được bật và hiển thị. Theo dõi một bước lệnh

Lập bản đồ, khoan, hành động, xác minh. Bấm vào một bước. Đầu ra ví dụ được cắt bớt khỏi các tài liệu chính thức (Máy tính Gnome).

1 bộ xương 2 mũi khoan 3 Đạo luật 4 Xác minh

Bước tiếp theo →

Các con số do người xây dựng báo cáo về hoạt động khoan khung xương, bên cạnh chi phí chụp màn hình được ghi lại của Anthropic.

Apple Maps, mã thông báo cho mỗi giao diện (tự báo cáo) Chụp nhanh toàn cửa sổ 3.811 3.811 Xương rồi khoan 273 Nhiệm vụ mô phỏng 52 bước, tổng số token (tự báo cáo) Full cửa sổ mỗi bước 198k 198k Xương rồi khoan 31k 31k Tham khảo: sử dụng máy tính dựa trên pixel Ảnh chụp màn hình sử dụng máy tính của một Claude (tài liệu Anthropic) ~1.000 đến 1.800 ~ tối đa 1,8k

↻ Phát lại Builder cũng báo cáo mức tiết kiệm từ 78% đến 96% đối với Slack, VS Code và Notion. Chưa có điểm chuẩn độc lập nào.

60 tên lệnh giống nhau ở mọi nơi. Nhấp vào một nền tảng cho các yêu cầu.

macOS AX API macOS 13+, Intel hoặc Apple Silicon. Cấp quyền truy cập với quyền --guide . Bề mặt vỏ vẫn được lên kế hoạch. Tự động hóa giao diện người dùng Windows Windows 10 1809+ hoặc Server 2019+, x64 hoặc ARM64. Không cấp quyền cho các ứng dụng ở cấp độ toàn vẹn của thiết bị đầu cuối của bạn. Các ứng dụng có tính toàn vẹn cao hơn sẽ từ chối đầu vào. Linux AT-SPI Ubuntu 24.04+, tầng glibc 2.35, x86_64 hoặc aarch64. Cần at-spi2-core . Lớp phủ đầu vào chuột và con trỏ cần X11.

một lần cài đặt cho cả 3

cài đặt npm -g đại lý-máy tính để bàn kỹ năng máy tính để bàn của tác nhân có được máy tính để bàn

Nơi nó rơi ngắn. Nhấp để mở rộng.

! Không có cây, không có tầm nhìn Nó đọc cây khả năng truy cập và không bao giờ khớp với pixel. Giao diện người dùng không xuất bản cây sẽ không hiển thị với nó. ! Song song, với hợp đồng thuê Con trỏ đa tác nhân chỉ dùng để trình bày. Hợp đồng thuê tương tác trên toàn máy vẫn tuần tự hóa đầu vào vật lý. Hành động ngữ nghĩa không có đầu tránh hoàn toàn con trỏ. ! Ứng dụng Electron lạnh chậm Một ứng dụng Chrome hoặc Electron lạnh có thể mất 10 đến 25 giây để hiển thị cây web của nó. ! Dữ liệu riêng tư trong đầu ra Ảnh chụp nhanh, đọc bảng nhớ tạm và ảnh chụp màn hình có thể chứa nội dung riêng tư trên màn hình. Giữ chúng ra khỏi nhật ký công cộng.

Nguồn: github.com/vercel-labs/agent-desktop · Agent-browser.dev/desktop · Tài liệu nhân học © Marktechpost

(hàm(){ var R=document.getElementById('mtp-ad'); hàm rs(){try{parent.postMessage({mtpH:R.offsetHeight+40},'')}catch(e){}} var tabs=R.querySelectorAll('.tab'),panes=R.querySelectorAll('.pane'); tabs.forEach(function(t){t.onclick=function(){tabs.forEach(function(x){x.classList.remove('on')});panes.forEach(function(x){x.classList.remove('on')});t.classList.add('on');var p=R.querySelector('[data-p="'+t.dataset.t+'"]');p.classList.add('on');if(t.dataset.t==='2')bars();setTimeout(rs,60);}}); / chuỗi / var L=R.querySelectorAll('#ad-chain .layer'),ci=-1,tm=null; function lite(i){L.forEach(function(x,j){x.classList.toggle('lit',j===i)})} R.querySelector('#ad-step').onclick=function(){clearInterval(tm);ci=(ci+1)%L.length;lite(ci)}; R.querySelector('#ad-play').onclick=function(){clearInterval(tm);ci=-1;tm=setInterval(function(){ci++;if(ci>=L.length){clearInterval(tm);L.forEach(function(x){x.classList.add('lit')});return}lite(ci)},450)}; / vòng lặp / var S=[ [' # 1. ánh xạ một cửa sổ dày đặc: độ sâu được kẹp vào 3 \n ảnh chụp nhanh tác nhân-máy tính để bàn --app gnome-computer --skeleton -i --compact\n\n{ "snapshot_id": "s2txcl95uvubmn" , "ref_count": 2,\n "children": [\n { "role": "group", "ref_id": "@s2txcl95uvubmn:e1" , "children_count": 2 },\n { "role": "group", "ref_id": "@s2txcl95uvubmn:e2" , "children_count": 1 } ] }','Chỉ đọc các cấp cao nhất. Các hộp đựng đã cắt mang theo số lượng trẻ em và một mũi khoan ref.'], [' # 2. đi sâu vào một vùng bằng ref \n ảnh chụp nhanh tác nhân-máy tính để bàn --root @s2txcl95uvubmn:e1 -i --compact\n\n{ "snapshot_id": "s2txcl95uvubmn" , "ref_count": 33,\n "children": [\n { "role": "button", "name": "C", "ref_id": "@s2txcl95uvubmn:e8" },\n { "role": "button", "name": "7", "ref_id": "@s2txcl95uvubmn:e11" ,\n "available_actions": ["Click","SetFocus"] } ] }','Giới thiệu mới tham gia cùng một ảnh chụp nhanh. Chi phí tính theo khu vực chứ không phải toàn bộ cửa sổ.'], [' # 3. hành động theo một giới thiệu đủ điều kiện: không đầu, con trỏ vẫn được đặt \n nhấp chuột vào máy tính để bàn tác nhân @s2txcl95uvubmn:e11\n\n # một giới thiệu trần bị từ chối \n tác nhân-máy tính để bàn c lick @e11\n{ "ok": false, "error": { "code": "INVALID_ARGS" } }','Auto-wait giữ hành động lên tới 5.000 ms cho đến khi mục tiêu hiển thị, được bật và ổn định.'], [' # 4. xác minh: thành công không chứng tỏ giao diện người dùng đã thay đổi \n Agent-desktop wait --element @s2txcl95uvubmn:e6 --predicate value --value 7\n\n # cũ sau khi thực hiện lại? \n{ "code": "STALE_REF" ,\n "disposition": { "delivery": "not_delivered", "retry": "safe" } }','Lỗi cho biết việc thử lại có an toàn hay không. Trên STALE_REF, chụp nhanh lại và thử lại.']]; var si=0,code=R.querySelector('#ad-code'),note=R.querySelector('#ad-note'),st=R.querySelectorAll('.st'); hàm show(i){si=i;st.forEach(function(x,j){x.classList.toggle('on',j===i)});code.style.opacity=0;setTimeout(function(){code.innerHTML=S[i][0];note.textContent=S[i][1];code.style.opacity=1;rs()},150)} code.style.transition='độ mờ .15s'; st.forEach(function(x){x.onclick=function(){show(+x.dataset.s)}}); R.querySelector('#ad-next').onclick=function(){show((si+1)%4)}; hiển thị(0); / thanh / hàm bar(){var f=R.querySelectorAll('#ad-bars .fill');f.forEach(function(x){x.style.transition='none';x.style.width='0'});void R.offsetWidth;setTimeout(function(){f.forEach(function(x,i){x.style.transition='width 1.1s cub-bezier(.2,.8,.2,1) '+(i0.12)+'s';x.style.width=x.dataset.w+'%'})},30)} R.querySelector('#ad-replay').onclick=bars; /* phần mở rộng */ R.querySelectorAll('.oc,.li').forEach(function(x){x.onclick=function(){x.classList.toggle('on');setTimeout(rs,380)}}); window.addEventListener('load',rs);setTimeout(function(){R.querySelector('#ad-play').click()},700);window.addEventListener('resize',rs);setTimeout(rs,300); })();

" style="width:100%;max-width:880px;height:600px;border:0;display:block;margin:0 auto;background:transparent;" loading="lazy">

Nó so sánh như thế nào với việc sử dụng máy tính dựa trên pixel? Các công cụ sử dụng máy tính phía mô hình hoạt động từ ảnh chụp màn hình và tọa độ pixel. Tài liệu của Anthropic cho biết mỗi ảnh chụp màn hình có giá khoảng 1.000 đến 1.800 mã thông báo đầu vào. Định nghĩa bộ công cụ của nó bổ sung thêm khoảng 4.500 mã thông báo đầu vào cho mỗi yêu cầu. Tương tự, công cụ của OpenAI trả về các hành động nhấp, nhập và cuộn mà mã của bạn thực thi. Agent-desktop không phân biệt mô hình và trả về cấu trúc chứ không phải hình ảnh. UFO2 của Microsoft cũng sử dụng Tự động hóa giao diện người dùng nhưng được cung cấp dưới dạng tác nhân Windows đầy đủ. Featureagent-desktop (Vercel Labs)Sử dụng máy tính ClaudeOpenAI sử dụng máy tính Microsoft UFO²LoạiCông cụ thư viện CLI + CBộ công cụ khách APICông cụ APIKhung tác nhân đầy đủCách nó nhìn thấy cây khả năng truy cập UIOSẢnh chụp màn hìnhẢnh chụp màn hình hoặc mã (PyAutoGUI, Playwright)UIA + kết hợp trực quanMô hình đi kèmKhông có, bất kỳ tác nhân nào Mô hình ClaudeMở mô hình AI Mô hình AI có thể định cấu hình LLMPlatformsmacOS, Windows, LinuxBất kỳ môi trường nào bạn lưu trữ (tham khảo: Linux Docker)Trình duyệt hoặc máy tính để bàn của bạn máy chủWindows (UFO²)Di chuyển con trỏ của bạnKhông, không có đầu theo mặc địnhCó, lần nhấp pixelCó, lần nhấp pixelGUI + hành động API Chi phí mã thông báo cho mỗi lần nhìn273 (Bộ xương Apple Maps, tự báo cáo)~1.000 đến 1.800 cho mỗi ảnh chụp màn hìnhKhông được tiết lộKhông được tiết lộGiấy phépApache-2.0API độc quyềnAPI độc quyềnMITGiáMiễn phíGiá mã thông báo tiêu chuẩnGiá mã thông báo tiêu chuẩnMiễn phí (cộng với chi phí LLM) Làm thế nào để bạn cài đặt và sử dụng máy tính để bàn tác nhân? Cài đặt với npm install -g Agent-desktop. Bun, Yarn và pnpm cũng hoạt động. Gói này bao gồm các tệp nhị phân gốc cho x64 và ARM64.

macOS: cấp quyền Trợ năng với quyền của máy tính để bàn --guide. Windows: không cần cấp phép cho các ứng dụng ở cấp độ toàn vẹn của thiết bị đầu cuối của bạn. Linux: cần phiên đồ họa với at-spi2-core.

Tổng đài viên tìm hiểu công cụ từ các tài liệu đi kèm thông qua các kỹ năng trên máy tính để bàn của tổng đài viên có được trên máy tính để bàn. Một kỹ năng cũng được liệt kê trên Skills.sh. Thư viện C cho phép các máy chủ Python, Swift, Go, Ruby và Node gọi nó trong quá trình xử lý. Đối với nội dung web Electron, khởi chạy --cdp sẽ mở cổng DevTools cho trình duyệt tác nhân. Bài học chính

máy tính để bàn tác nhân cung cấp cho bất kỳ máy tính tác nhân nào quyền sử dụng thông qua cây khả năng truy cập hệ điều hành. Nó chạy trên macOS, Windows và Linux, x64 và ARM64, dưới Apache-2.0. Hành động giới thiệu không đầu không bao giờ di chuyển con trỏ của bạn hoặc lấy cắp tiêu điểm. Ảnh chụp nhanh Skeleton cắt giảm mã thông báo từ 78% đến 96% (tự báo cáo). Các ứng dụng không có cây trợ năng vẫn nằm ngoài tầm với.

Kiểm tra gói GitHub, tài liệu và gói npm. Ngoài ra, vui lòng theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit 150k+ML của chúng tôi và Đăng ký Bản tin của chúng tôi. Chờ đợi! bạn có đang dùng điện tín không? bây giờ bạn cũng có thể tham gia cùng chúng tôi trên telegram. Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo HOẶC Trang ôm mặt HOẶC Phát hành sản phẩm HOẶC Hội thảo trên web, v.v.? Kết nối với chúng tôi Bài đăng Máy tính để bàn tác nhân mã nguồn mở Vercel Labs dành cho việc sử dụng máy tính của tác nhân xuất hiện đầu tiên trên MarkTechPost.