Mùa hè này, hàng trăm đặc vụ OpenAI đã cố gắng gian lận trong bài kiểm tra an ninh mạng. Họ đã thoát ra khỏi môi trường thử nghiệm của mình và tấn công thành công Hugging Face, một trang web mà họ tin rằng nắm giữ manh mối về cách họ được xếp loại. Cùng lúc đó, một đại lý OpenAI khác đã truy cập các tệp riêng tư từ một trang web của chính phủ Úc. Đó là một vấn đề không chỉ giới hạn ở OpenAI. Trong những tháng kể từ đó, Anthropic, Google và Meta cũng đã tiết lộ những sự cố trong đó các đặc vụ của họ đã đi sai hướng. Và điều đáng lo ngại là trong nhiều trường hợp, các đặc vụ đã trốn tránh chính các nhà nghiên cứu và đội an toàn được giao nhiệm vụ theo dõi họ. Các tác nhân AI đang thực hiện các hành động trái phép và các công ty xây dựng và điều hành chúng chủ yếu dựa vào may mắn và nhận thức muộn màng để giảm thiểu mọi tác động có hại. Họ phải làm nhiều hơn nữa để đảm bảo an toàn. Đó là lý do tại sao các cơ quan quản lý của EU và các cơ quan của Hoa Kỳ đang kêu gọi các nhà phát triển và triển khai đại lý giám sát các đại lý trong thời gian thực một cách chính đáng. Nhưng những quy tắc này giả định rằng các công ty có thể biết các đại lý của họ đang làm gì và tại sao - trong khi trên thực tế, họ thiếu khả năng hiển thị đầy đủ. Hãy tưởng tượng một ngân hàng tuyển dụng một nghìn nhân viên mới có thể truy cập vào tài khoản khách hàng và thông tin nhạy cảm, nhưng thẻ ID của nhân viên thay đổi hàng ngày, không rõ liệu người quản lý có từng xem xét hoặc ủy quyền công việc của họ hay không và không ai ghi lại những thay đổi mà nhân viên thực hiện đối với quy trình phê duyệt. Sự thiếu khả năng hiển thị đó là tình trạng của chúng tôi với các đại lý ngày nay. Khi các tác nhân được triển khai trên các lĩnh vực quan trọng, từ tài chính, chính phủ đến y học, chúng ta phải có khả năng giám sát chúng theo thời gian thực để ngăn chặn những hậu quả tàn khốc có thể xảy ra trên diện rộng. Và mặc dù sự an toàn phụ thuộc vào việc giám sát, nhưng việc giám sát đòi hỏi khả năng quan sát: khả năng nắm bắt những gì hệ thống đã làm, xử lý nó thành tín hiệu và trình bày chúng cho con người hoặc hệ thống giám sát tự động. Nói cách khác, chúng ta cần biết tác nhân đã làm gì và tại sao nó lại làm như vậy. Và như nghiên cứu gần đây của chúng tôi cho thấy, các khung tác nhân hiện tại—phần mềm chạy các tác nhân—không Chúng tôi tạo ra các bản ghi quan trọng quan trọng một cách đáng tin cậy mà chúng tôi cần để đảm bảo rằng các tác nhân được triển khai an toàn. Các tác nhân đưa ra những loại vấn đề mới mà riêng AI tạo ra thì không. Chúng thừa hưởng tính không thể đoán trước của LLM mà chúng được xây dựng, nhưng trong đó hệ thống AI tổng hợp tạo ra một đầu ra duy nhất để con người thực hiện, thì tác nhân sẽ thực hiện các nhiệm vụ dài hơn—nó lập kế hoạch, chọn công cụ, tạo ra các tác nhân phụ và thực hiện hành động. Vì vậy, lộ trình của một đại lý có thể hình thành theo vô số cách khác nhau và không có cuộc thử nghiệm nào trước khi ra mắt có thể lường trước đầy đủ các rủi ro. Điều này khiến việc quan sát các đặc vụ trong khi họ làm việc càng trở nên khó khăn hơn và thậm chí còn quan trọng hơn. Cùng với các đồng nghiệp từ học viện, xã hội dân sự và ngành công nghiệp, chúng tôi đã nghiên cứu bốn khung tác nhân được sử dụng rộng rãi nhất để xem chúng thực sự phát ra những tín hiệu nào. Chúng tôi đã tìm thấy những lỗ hổng lớn khiến khó đạt được các mục tiêu an toàn quan trọng, chẳng hạn như phát hiện các hành vi vi phạm chính sách, hành động trái phép và thậm chí cả những sai sót trong giám sát của con người. Các yêu cầu chính về khả năng quan sát bị thiếu—chẳng hạn như ID tác nhân tồn tại theo thời gian và hồ sơ về những nhiệm vụ của tác nhân được con người phê duyệt. Điều này khiến khó có thể biết được đại lý nào đã làm gì hoặc đánh giá liệu họ có đang thực hiện các hành động trái phép hay không. Tin tốt là những khoảng trống này, một khi được xác định, có thể được đóng lại. Làm như vậy bắt đầu bằng việc thu thập hai loại hồ sơ: những loại hồ sơ tiết lộ những gì đã xảy ra trong quá trình hoạt động của đại lý và cách đại lý đưa ra quyết định của mình. Bản ghi “điều gì đã xảy ra” xác định tác nhân (trong khi vẫn đảm bảo quyền riêng tư) và ghi lại cách con người can thiệp cũng như liệu các quyền hoặc “bộ nhớ” của tác nhân có thay đổi hay không, trong khi bản ghi “quyết định” cho thấy lý do và mức độ tin cậy của tác nhân đối với các hành động mà nó thực hiện. Lấy ví dụ, các đại lý làm việc để xử lý các khoản vay thế chấp của ngân hàng. Hệ thống sẽ kiểm tra đơn đăng ký và đề xuất từ ​​chối nó, sau đó nhân viên cho vay sẽ ký vào quyết định. Trong cuộc kiểm toán sau này, hoặc thậm chí trong thời gian thực, ngân hàng hoặc cơ quan quản lý cần có khả năng tái tạo lại đại lý nào đã thực hiện cuộc gọi, nhân viên nào phê duyệt. ved nó, và họ mất bao lâu. Và ngân hàng cũng phải phân tích hồ sơ về cách đại lý đưa ra quyết định từ chối để đảm bảo họ không sử dụng thông tin ngoài giới hạn, chẳng hạn như thông tin chi tiết về khu vực lân cận của người nộp đơn. Việc ghi lại “điều gì đã xảy ra” và “cách người đại diện quyết định” đòi hỏi những cách tiếp cận khác nhau, nhưng cả hai đều khả thi. Việc thiếu hồ sơ “những gì đã xảy ra” hiện nay chủ yếu là sự cố hệ thống phần mềm có thể được giải quyết thông qua OpenTelemetry, một tiêu chuẩn về khả năng quan sát mở được duy trì bởi các kỹ sư trong toàn ngành và bởi các khung đại lý áp dụng nó. OpenTelemetry đã ra mắt một nhóm làm việc soạn thảo các định dạng dùng chung cho các tác nhân truy tìm, nhưng chúng vẫn chưa được hoàn thiện. Nhóm nên khẩn trương kết hợp các tiêu chuẩn để duy trì danh tính tác nhân liên tục và để ghi lại các can thiệp của con người cũng như những thay đổi đối với quyền hoặc bộ nhớ của tác nhân. Và điều này phải được thực hiện trước khi các hệ thống này có thể mở rộng quy mô, đồng thời chú ý đến các tác động về quyền riêng tư của ID tác nhân liên kết với người thật. Việc bảo quản hồ sơ “do đại lý quyết định” khó khăn hơn. Vấn đề này đặt ra các câu hỏi nghiên cứu mở cho các nhà cung cấp mô hình và nhà nghiên cứu: Liệu cách lý luận từng bước mà một mô hình hiển thị, được gọi là chuỗi suy nghĩ, có phản ánh cách mô hình thực sự đưa ra quyết định không? Và liệu chúng ta có những cách đáng tin cậy để đo lường mức độ tin cậy của người đại diện đối với quyết định đó không? Những câu hỏi này cần có câu trả lời trước khi bất kỳ ai đặt ra tiêu chuẩn về cách sử dụng các hồ sơ có khả năng quan sát đó. Không một tổ chức hoặc lĩnh vực nào có thể tự mình thu hẹp khoảng cách về khả năng quan sát, nhưng cùng nhau, họ có thể hỗ trợ cơ sở hạ tầng cần thiết để ngăn chặn các sự cố nguy hiểm và hỗ trợ an toàn. Các nhà phát triển AI xây dựng khung tác nhân, như OpenAI, Anthropic, CrewAI và LangChain, phải tích hợp các tín hiệu đo từ xa ghi lại danh tính liên tục của tác nhân, mọi sự can thiệp của con người cũng như mọi thay đổi đối với quyền và bộ nhớ của tác nhân. Trong khi đó, các doanh nghiệp áp dụng các khuôn khổ đại lý này có vai trò ảnh hưởng đến đặt nằm; các doanh nghiệp trong các ngành được quản lý, như ngân hàng và bệnh viện, có thể gây áp lực lên các nhà phát triển đại lý để cung cấp những hồ sơ có thể quan sát còn thiếu này khi chưa có tiêu chuẩn. Doanh nghiệp cũng phải xác định các chính sách, quyền và vai trò đặt ra những gì nhân viên có thể thực hiện một cách an toàn, vì chỉ riêng phép đo từ xa không thể đánh giá liệu nhân viên có vi phạm các quy tắc cụ thể hay không. Cuối cùng, các cơ quan quản lý và viện nghiên cứu tiêu chuẩn AI phải chỉ định các hồ sơ có thể quan sát cần thiết cho việc triển khai AI ở mức độ cao trong khi để lại các chi tiết kỹ thuật cho ngành. Chúng tôi đã thấy động lực ban đầu ở đây: Sáng kiến ​​tiêu chuẩn đại lý của NIST ở Hoa Kỳ đang nghiên cứu về nhận dạng đại lý, một trong những lỗ hổng nổi bật nhất mà chúng tôi nhận thấy trong nghiên cứu của mình. Không ngân hàng nào lại để hàng nghìn nhân viên không có huy hiệu sử dụng tài khoản của khách hàng và hy vọng xâu chuỗi lại những gì đã xảy ra khi có sự cố xảy ra. Tuy nhiên, đó là cách chúng tôi đang triển khai các tác nhân AI. Làm cho hành vi của họ có thể quan sát được là bước đầu tiên để khắc phục điều này. Và bằng cách xây dựng hệ sinh thái chính sách và quy định giúp chúng ta có thể hành động theo những gì chúng ta thấy, chúng ta có thể buộc các tổ chức phải chịu trách nhiệm. Cho đến lúc đó, mọi nhiệm vụ chúng tôi giao cho đại lý cũng sẽ chuyển giao cho đại lý của chúng tôi. Madhulika Srikumar là Giám đốc Chương trình An toàn AI tại Quan hệ đối tác về AI, một quan hệ đối tác phi lợi nhuận toàn cầu của các tổ chức xã hội dân sự, học thuật và công nghiệp hàng đầu, thúc đẩy các phương pháp hay nhất trong quản trị AI. Claire Leibowicz là Giám đốc AI, Trust và Society tại Partnership on AI và là nghiên cứu sinh tiến sĩ tại Đại học Oxford.