**Microsoft cho rằng AI tác nhân có thể gây nguy hiểm ngay cả khi không bị tấn công, vì vậy mọi mô hình - kể cả của chính hãng - đều cần được giám sát.**

Microsoft đưa AI vào ngày càng nhiều sản phẩm, nhưng công ty chính thống lại cảnh báo doanh nghiệp không nên mặc định tin tưởng những hệ thống này. Theo công ty, một AI không cần thiết phải tấn công hay "nổi loạn" vẫn có thể gây hậu quả nghiêm trọng khi được trao quá nhiều quyền.

" Các mô hình AI tiên tiến, bất kể đến từ đâu, đều không thể được tin tưởng", Hayete Gallot, Phó chủ tịch điều hành Microsoft Security, viết trong một bài đăng ngày 19/10. Cụm từ "bất kể kể từ đâu" đồng nghĩa các mô hình và tác nhân do Microsoft cung cấp cũng không nằm ngoài nguyên tắc này.

Tuyên bố có tính nhất quán trong chiến lược đưa ra Copilot và AI tác nhân trên Windows, Microsoft 365 cùng nhiều sản phẩm doanh nghiệp. Tuy nhiên, Microsoft không chọn AI vốn độc ác hoặc luôn tìm cách chống lại con người. Vấn đề nằm ở cách các mô hình được huấn luyện và quyền hạn mà chúng được trao đổi sau khi phát triển khai thác.

AI mô hình được tối ưu hóa để hoàn thành mục tiêu. Trong quá trình đó, họ có thể tìm thấy cách đạt được kết quả không đúng với ý định cấm đầu, hiện tượng thường được gọi là "hack phần thưởng", đồng thời không tự động hiểu được quy tắc nội bộ, văn hóa hay cách dự đoán của một tổ chức.

AI hoạt động còn lại chatbot thông thường khác có khả năng thực hiện hành động. Thay vì tạo ra câu trả lời sai, chúng tôi có thể đọc dữ liệu, chạy công cụ, thay đổi cấu hình, gửi thông tin hoặc đưa ra quyết định trong các quy trình quan trọng.

Microsoft biết nhiều tác nhân đã được cấp quyền quá rộng và có thể truy cập dữ liệu, thiết bị, dịch vụ đám mây cùng hệ thống nội bộ. Khi bối cảnh thay đổi, chúng tôi có thể phản ứng lại dự kiến, phân phối hợp lý với các tác nhân khác hoặc đơn vị lựa chọn con đường không phù hợp để hoàn thành nhiệm vụ dù chưa hề bị hacker sử dụng quyền.

Công ty gọi những hệ thống này là "agent Insiders", có thể hiểu là các tác nhân nội bộ. Ý tưởng này đặt AI vào cùng một nhóm rủi ro với tài khoản nhân viên hoặc phần mềm đã có quyền truy cập bên trong tổ chức: không nhất thiết mang ý đồ xấu, nhưng vẫn phải được giám sát và giới hạn quyền.

Lời cảnh báo không có nghĩa là người dùng phổ thông cần phải sử dụng liên tục Copilot hay các chatbot khác. Nó chủ yếu hướng tới những AI có khả năng tự hành động trong doanh nghiệp, đặc biệt khi chúng được phép tiếp cận dữ liệu nhạy cảm và thực hiện nhiệm vụ mà không cần xác định ở từng bước.

**Microsoft muốn sử dụng AI để giám sát AI**

Giải pháp được Microsoft xuất bản là không có giao thức kiểm soát toàn bộ công việc cho nhà cung cấp mô hình chính. Hệ thống cung cấp trí tuệ và hệ thống quyết định AI được phép làm những gì cần thiết lập độc lập, tương tự như một đơn vị kiểm tra đơn vị không nên tự đánh giá giá chính.

Microsoft muốn sử dụng các "Guardian Agents" để theo dõi hoạt động của các AI khác liên tục. Các nhân viên giám sát sẽ đánh giá rủi ro trước khi diễn đàn, thu hẹp quyền truy cập hoặc yêu cầu người duyệt nếu nhận thấy quyết định có khả năng gây nguy hiểm.

Cơ chế này là một thành phần của Project Perception, nền tảng bảo mật được Microsoft giới thiệu trước đó. Hệ thống thu thập tín hiệu từ danh tính, dữ liệu, thiết bị đầu cuối, mạng, đám mây và môi trường chạy để xác định AI nào đang hoạt động, chúng đang truy cập thứ gì và mức độ rủi ro của quá trình điều chỉnh hành động.

Microsoft mô tả cách tiếp cận này là sử dụng các biện pháp kiểm soát có quy tắc rõ ràng để quản lý một hệ thống AI có hành vi khó dự đoán. Con người vẫn giữ vai trò điều chỉnh cố gắng, đánh giá kết quả và điều chỉnh chính sách, trong khi AI đảm bảo việc theo dõi tốc độ mà nhân viên bảo mật khó duy trì liên tục.

Công ty cũng cho rằng công nghệ chuyên ngành cần minh bạch hơn về quy trình đưa ra quyết định của mô hình. Chỉ khảo sát dữ liệu đầu vào và kết quả cuối cùng có thể chưa đủ để xác định vì sao một công cụ cụ thể hoặc một tác nhân lựa chọn hành động phù hợp với mục tiêu ban đầu hay không.