Trong khi nhiều sự chú ý tập trung vào thông tin tài chính cập nhật mà Anthropic tiết lộ trong bản sửa đổi S-1A vào thứ Hai (doanh thu đang tăng vọt nhưng chi phí cũng vậy), phòng thí nghiệm AI đã tung ra một quả bom nhỏ khác dưới dạng bản in đẹp.

Hồ sơ dường như cảnh báo rằng công ty đang trên đà tạo ra một mô hình có khả năng tự cải thiện đệ quy (RSI).

RSI là thời điểm mà AI phát triển khả năng tự đào tạo rất tốt đến mức nó tạo ra sự tăng tốc đáng kể về khả năng của AI. Đối với những kẻ hủy diệt AI, RSI đại diện cho một trận đại hồng thủy không thể quay trở lại, trong đó AI tự xây dựng mình thành một thứ gì đó đủ mạnh để vượt ra khỏi tầm kiểm soát của con người và có thể thờ ơ với những thiệt hại mà nó gây ra trong khi đạt được mục tiêu của mình.

Đối với những người đam mê AI, RSI hoặc một số phiên bản AI đáng tin cậy sử dụng chính nó để cải thiện, thể hiện lời hứa của công nghệ, nơi nó trở thành một công cụ mang lại năng suất không thể tưởng tượng được, khám phá khoa học, v.v.

Anthropic dường như tin rằng RSI vừa là một lời hứa vừa là một mối nguy hiểm. Trong S-1, họ nói rằng họ sử dụng AI trong hoạt động R&D của mình, nhưng cảnh báo: "Sử dụng AI để giúp xây dựng AI có năng lực hơn cũng có thể gây ra rủi ro đáng kể về an toàn, đặc biệt nếu nó đẩy nhanh tốc độ tiến bộ một cách đáng kể. Đây là một trong những lĩnh vực được bao phủ bởi Chính sách mở rộng có trách nhiệm của chúng tôi, trong đó đặt ra các kế hoạch giám sát và giảm thiểu rủi ro khi chúng tôi tiếp cận cái được gọi là 'tự cải thiện đệ quy'."

Khi thuật ngữ RSI trở nên phổ biến vào đầu năm nay, nhiều người tin rằng đó là một từ thông dụng hoặc tốt nhất là một mục tiêu quá khó để đạt được, xác định hoặc chứng minh.

Nhưng vào thứ Hai, Anthropic đã thêm các tuyên bố mới vào phần Yếu tố rủi ro, cho biết 1) họ đã sử dụng AI để phát triển các mô hình mới có những bước nhảy vọt về khả năng mà nó không nhận ra vào thời điểm đó 2) nó có thể sớm đáp ứng định nghĩa nội bộ của riêng mình về RSI (nhấn mạnh mạnh mẽ của chúng tôi bên dưới):

Ngoài ra, việc chúng tôi ngày càng sử dụng hệ thống AI để tăng tốc nghiên cứu và phát triển của chính mình có thể khiến khả năng của các mô hình của chúng tôi tiến bộ nhanh hơn khả năng phát triển, xác thực và thực hiện các biện pháp an toàn, liên kết và bảo mật tương ứng của chúng tôi. Kết quả là, trước đây chúng tôi chưa xác định được và trong tương lai có thể không xác định được sự tăng tốc đáng kể trong tốc độ phát triển của chúng tôi cho đến sau khi nó xảy ra.

Ví dụ: ước tính nội bộ của chúng tôi và kỳ vọng của chúng tôi về các mô hình trong tương lai, thay vì các mô hình hiện tại, cho thấy rằng chúng tôi có thể sắp đáp ứng được định nghĩa trong Chính sách mở rộng có trách nhiệm của chúng tôi về “tiến độ được tăng tốc đáng kể nhờ AI”. Chúng tôi chưa chỉ định bất kỳ mô hình hiện tại nào vượt quá ngưỡng này và chúng tôi tiếp tục đánh giá dữ liệu cơ bản.

Tuy nhiên, Anthropic cũng cho biết trong hồ sơ rằng chưa có mô hình nào của họ vượt qua ngưỡng RSI này và nó hứa hẹn sẽ giữ con người tham gia vào quá trình R&D trong tương lai gần. "Chúng tôi không lường trước được khả năng sử dụng Claude một cách an toàn để thiết kế và xây dựng các thế hệ mô hình biên giới kế tiếp một cách tự chủ mà không có sự giám sát hoặc hiểu biết có ý nghĩa của con người, nếu và khi điều đó trở nên khả thi về mặt kỹ thuật. Theo đó, chúng tôi đang xem xét cập nhật Chính sách mở rộng có trách nhiệm của mình để giúp con người kiểm soát việc phát triển mô hình biên giới tại Anthropic."

Những người hoài nghi có thể chỉ ra rằng S-1 có chức năng vừa là tiết lộ vừa là tiếp thị, và những tuyên bố về việc ở gần một mô hình mạnh đến mức nó có thể tự xây dựng có thể thuộc loại thứ hai.

Tuy nhiên, không nghi ngờ gì rằng khả năng của Claude, đặc biệt là về mã hóa, toán học và an ninh mạng đã phát triển vượt bậc trong năm nay. Nếu Anthropic cho rằng khả năng xảy ra RSI là rất gần, có lẽ chúng ta nên tin vào điều đó và hành động - có thể là quản lý - cho phù hợp.