Tôi giao một nhóm đặc vụ AI phụ trách một đội bóng đá giả tưởng. Họ không tốt hơn con người—Tuy nhiên

Tóm lược nhanh
Tổng hợp và đối chiếu bởi gemini-2.0-flash-thinking-exp
“Tôi đã tham khảo quả cầu pha lê được hỗ trợ bởi AI của mình và nó cho tôi biết rằng các mô hình biên”
Các điểm cốt lõi
- 1.Tôi đã tham khảo quả cầu pha lê được hỗ trợ bởi AI của mình và nó cho tôi biết rằng các mô hình biên giới sẽ đưa ra dự đoán tốt hơn rất nhiều trong tương lai gần.
- 2.Chỉ cần hỏi đội bóng tưởng tượng Premier League của tôi.
- 3.Một vài tuần trước, tôi đã triển khai một nhóm nhỏ đặc vụ AI để xây dựng và quản lý một danh sách thử nghiệm.
Tôi đã tham khảo quả cầu pha lê được hỗ trợ bởi AI của mình và nó cho tôi biết rằng các mô hình biên giới sẽ đưa ra dự đoán tốt hơn rất nhiều trong tương lai gần. Chỉ cần hỏi đội bóng tưởng tượng Premier League của tôi.
Một vài tuần trước, tôi đã triển khai một nhóm nhỏ đặc vụ AI để xây dựng và quản lý một danh sách thử nghiệm. Với sự gia tăng của các tác nhân AI trong hầu hết mọi khía cạnh của cuộc sống chúng ta, tôi muốn biết liệu một đàn bot có thể tập hợp một đội chiến thắng hay không.
Lần đầu tiên tôi xem xét tiềm năng của AI ở đây là vài năm trước, khi thử nghiệm với một công cụ từ Viện Turing của Vương quốc Anh để chọn các đội sau khi lập mô hình dữ liệu giải đấu giả tưởng trước đó. Các đề xuất của nó rất thú vị - nó không kết hợp thông tin thực tế, chẳng hạn như chấn thương của một cầu thủ hoặc sự thay đổi trong ban lãnh đạo của một đội.
Lần này, khi đang trên chuyến bay thăm gia đình, tôi đã nhờ Codex giúp đỡ. Đầu tiên, tôi cung cấp cho người mẫu một vài tài liệu nghiên cứu có liên quan. Sau đó, tôi yêu cầu nó xây dựng một hệ thống khai thác—các hướng dẫn và mã hướng dẫn các tác nhân khác nhau thực hiện các bước khác nhau—để kiểm tra tin tức gần đây và chạy mô hình để đưa ra dự đoán.
Nó nhanh chóng đưa ra một thiết lập dường như có thể đối chiếu và phân tích nhiều thông tin hơn tôi từng có. Tuy nhiên, tôi đã rất ngạc nhiên trước những đề xuất ban đầu của nhóm thật ngớ ngẩn. Để Erling Haaland ngồi dự bị? Thật sao, Codex?
Sau đó tôi yêu cầu Codex thành lập một nhóm đặc vụ làm những công việc khác nhau: một số đọc tin tức và bài đăng trên blog; những người khác đã phân tích kết quả gần đây; nhiều hơn nữa là chạy các mô hình; và một nhóm chỉ trích các đề xuất. Điều này dường như cải thiện đáng kể các đề xuất. Tôi đã cố gắng tăng số lượng đại lý lên hơn 100, hy vọng điều này sẽ làm cho hệ thống vẫn thông minh hơn, nhưng nó không thay đổi nhiều ngoài việc tăng hóa đơn API của tôi.
Tuy nhiên, sự cải thiện so với vài năm trước là rất đáng chú ý. Theo Haifeng Xu, nhà khoa học máy tính tại Đại học Chicago, người nghiên cứu việc sử dụng AI trong các tình huống thị trường, các mô hình mới hơn thậm chí có thể đưa ra dự đoán tốt hơn vì chúng có thể tiếp thu và phân tích lượng thông tin khổng lồ trong thế giới thực cũng như có thể điều phối các hệ thống phức tạp hơn để đưa ra dự đoán của mình.
Xu nói với tôi: “AI ngày càng thông minh hơn trong việc hiểu biết thế giới. Tôi cảm thấy đó là lý do cơ bản khiến chúng ngày càng được cải thiện”.
Cuối năm ngoái, Xu đã ngạc nhiên trước sự phổ biến ngày càng tăng của các thị trường dự đoán như Kalshi và Polymarket. Anh tự hỏi làm thế nào những mô hình thương mại tốt nhất có thể bán được trên những thị trường đó, vì vậy, cùng với một số đồng nghiệp, anh bắt đầu thử nghiệm kỹ năng dự báo của họ.
Ví dụ, họ yêu cầu người mẫu đoán xem ai sẽ giành chức vô địch NBA và Tổng thống Trump sẽ gặp ai.
Xu nói với tôi: “Rất nhanh chóng, chúng tôi bắt đầu nhận ra rằng các mô hình đã hoạt động rất tốt. Ông nói rằng các người mẫu đôi khi có thể làm tốt hơn người bình thường mà không cần bất kỳ hướng dẫn hay hướng dẫn đặc biệt nào. Trong thử nghiệm của họ, GPT-5 là công cụ đưa ra dự đoán tốt nhất, tiếp theo là Grok 4, Claude Sonnet, Gemini và Llama.
Nhóm tiếp tục phát triển Prophet Arena, một tiêu chuẩn đo lường khả năng đưa ra dự đoán của mô hình. Đây là một trong số các tiêu chuẩn được thiết kế để kiểm tra khả năng dự đoán tương lai của AI; một dự đoán khác, Đấu trường dự đoán, từ các nhà nghiên cứu tại Đại học Harvard và một công ty tên là Arcada Labs, gần đây đã trao cho các mô hình biên giới 10.000 đô la để đặt cược vào các thị trường dự đoán trong 57 ngày. Các mô hình liên tục thua lỗ trong thử nghiệm của mình, nhưng các nhà nghiên cứu đã thấy bằng chứng cho thấy chúng cải thiện liên tục theo thời gian.
Xu nói với tôi rằng AI có thể đưa ra dự đoán một cách hiệu quả nhất bằng cách sử dụng bộ khai thác tùy chỉnh và lưu ý rằng việc giao cho các tác nhân có nhiệm vụ riêng – chẳng hạn như đọc tin tức, thu thập dữ liệu khác và phân tích toàn bộ hệ thống – dường như là cách tiếp cận hiệu quả nhất.
Điều thú vị là AI vẫn thường tụt hậu so với các chuyên gia rất lành nghề được gọi là siêu dự báo. Xu giải thích rằng, mặc dù con người không thể tiếp thu nhiều thông tin nhưng sự hiểu biết của họ về thế giới thực - tức là về động lực đằng sau một câu chuyện tin tức - lại sâu sắc hơn.
Điều đó nói lên rằng, ngày càng có nhiều bằng chứng cho thấy khả năng siêu dự báo của con người đang bị xói mòn. Một cuộc thi mang tên Metaculus Cup gần đây đã cho thấy AI đôi khi có thể đánh bại cả những người dự đoán giỏi nhất của con người. Và một tiêu chuẩn có tên là PredictBench có thể cung cấp thêm bằng chứng cho thấy AI có thể sánh ngang với các kỹ năng của con người khi kết quả của một cuộc thi đang diễn ra sớm kết thúc. Trên thực tế, tôi nghĩ chúng ta có thể mong đợi các phòng thí nghiệm lớn chuyển sự chú ý của họ sang việc dự đoán tương lai như một cách mới mạnh mẽ để đo lường sự tiến bộ trong trí tuệ máy móc.
Tất cả những thử nghiệm dự đoán này dường như gợi ý rằng, giống như toán học, mã hóa và luật, các ngành dựa trên giao dịch có thể sớm bị AI hỗ trợ. Có lẽ những nhà giao dịch giỏi nhất của con người sẽ đảm nhận một loại vai trò mới: giám sát và điều phối các tác nhân AI có khả năng dự đoán tương lai tốt hơn nhiều so với khả năng của họ.
Hiện tại, các đề xuất AI của tôi dường như vẫn chưa ấn tượng lắm. Nhóm của nó đã không vượt qua mức trung bình trong những tuần qua. Tôi chắc chắn sẽ không sử dụng bất kỳ đề xuất nào của nó trong các lựa chọn của riêng mình.
Nhưng AI chắc chắn sẽ trở nên tốt hơn, có lẽ sẽ sớm khiến việc thống trị giải đấu giả tưởng trở nên quá dễ dàng. Tuy nhiên, tôi hy vọng điều đó sẽ không xảy ra vì nó sẽ làm hỏng niềm vui khi cố gắng giành được quyền khoe khoang bằng cách tự mình chiến thắng.
Đây là ấn bản của Bản tin Phòng thí nghiệm AI của Will Knight. Đọc các bản tin trướctại đây.
Bình luận
Quay lại đầu trang


