OpenAI lần đầu tiên đã cung cấp rộng rãi mô hình API Quyết định cho người dùng, tham gia vào thị trường trí thông minh nhanh, rẻ mà gần đây đã tạo ra TypeSafe, một công ty khởi nghiệp được thành lập bởi một cựu nhà nghiên cứu tại phòng thí nghiệm biên giới, một công ty trị giá 7,6 tỷ USD.

Mô hình Jev của TypeSafe đã tạo một danh mục dành cho các mô hình deep learning hoạt động như những bộ phân loại siêu hạng: Với một bộ tùy chọn, chúng có thể nhanh chóng đưa ra lựa chọn và đưa ra đánh giá về độ tin cậy trong quyết định của mình. Các nhà phát triển phần mềm nhanh chóng nhận thấy rằng những quyết định này hoặc các mô hình Hệ thống Một có thể thay thế LLM trong nhiều quy trình công việc khác nhau, hoạt động nhanh hơn và với chi phí thấp hơn đáng kể.

Nikunj Handa, trưởng nhóm sản phẩm API của OpenAI, nói với TechCrunch rằng các đồng nghiệp của anh ấy đã nhìn thấy Jev và nói "ồ, chúng tôi có khoảng một triệu trường hợp sử dụng cho việc này." Nhóm của Handa đã gấp rút đưa ra phiên bản của riêng họ: Thay vì xây dựng một mô hình quyết định được hiệu chỉnh cụ thể, nhóm đã sử dụng ChatGPT Luna và cấu hình lại nó để tăng tốc độ suy luận và giảm chi phí.

Handa cho biết: “Điểm mở khóa lớn nhất với Decisions API là tốc độ, thu nhỏ mọi thứ từ một xuống ba giây xuống còn 100, 120, 180 mili giây”. "Trong tương lai, chúng tôi có thể sẽ được đào tạo cụ thể để làm cho các mô hình của chúng tôi trở nên tốt hơn theo những cách này. Nhưng hiện tại, chỉ có Luna già mới hoàn thành công việc."

Được công bố tại ngày phát triển của công ty vào ngày 29 tháng 9, API Quyết định đã có sẵn cho tất cả khách hàng vào thứ Năm. OpenAI đã thêm các phương thức giọng nói và hình ảnh mới vào phiên bản công khai, đồng thời nỗ lực đảm bảo độ trễ thấp hơn ở các khu vực trên thế giới bằng cách nhắm mục tiêu các tài nguyên suy luận của nó theo địa lý.

Trong các thử nghiệm ban đầu với các khách hàng như Box, Datadog, Ramp và Speak, các kỹ sư đã sử dụng API để thay thế LLM của OpenAI với thông lượng cao hơn. Andrew Hsu, CTO tại Speak, công ty xây dựng các gia sư ngôn ngữ AI, cho biết API Quyết định cho phép công ty cắt giảm thời gian giữa các hành động từ 1,4 giây xuống còn 0,13 giây. OpenAI cũng sử dụng sản phẩm này để cải thiện khả năng phản hồi của trợ lý giọng nói Dots của họ.

Tuy nhiên, vẫn chưa rõ chính xác điều gì tạo nên một mô hình đưa ra quyết định tốt, ngoài “nó phù hợp với bạn” - việc tối ưu hóa thông tin, chi phí, hiệu chuẩn và tốc độ dường như khác nhau tùy theo khối lượng công việc. Giám đốc điều hành TypeSafe Diogo Almeida không tin tưởng vào các điểm chuẩn và kêu gọi mọi người thử nghiệm các mô hình trong công việc của họ, nhưng ngay cả TypeSafe cũng đã công bố bảng xếp hạng của riêng mình vào tuần trước cùng với việc phát hành mẫu Jev mới nhất, bao gồm các tính năng mới bao gồm hỗ trợ hình ảnh và câu lệnh if thông minh.

Các điểm chuẩn công khai như Chỉ số AIM System One và Chỉ số Quyết định Phân tích Nhân tạo có xu hướng thiên về D1 Ultra, một mô hình quyết định mới mà Liquid phát hành vào tuần trước và Elephant-1 của Base Lab. Mô hình Jev mới nhất vẫn có tính cạnh tranh trên cả hai chỉ số, ở vị trí thứ bảy và thứ ba, trong khi Mô hình quyết định của OpenAI lần lượt tụt xuống thứ tám và mười bốn. Tuy nhiên, hiện tại, các dịch vụ của TypeSafe đang được truy vấn rộng rãi nhất trên OpenRouter.

Tuy nhiên, điểm chuẩn Jev thú vị nhất là JevMan, một điểm chuẩn trong đó các mô hình quyết định chơi PacMan; mẫu Jev mới nhất đứng đầu bảng xếp hạng đó. Felix Wunderlich, giám đốc tăng trưởng tại Opper AI, công ty xây dựng điểm chuẩn, cho biết trò chơi cổ điển "là một thử nghiệm thú vị vì nó đưa ra các quyết định nhanh chóng, có tính đặt cược cao không ngừng nghỉ. Tại mỗi điểm giao nhau, mô hình phải quyết định sẽ đi đâu trong vài trăm mili giây."

Handa nói với TechCrunch rằng mô hình được cho là có khả năng cao hơn của OpenAI có thể có lợi thế ở đa phương thức — để phân loại hình ảnh, “Luna cực kỳ mạnh mẽ và đã cho thấy khả năng hiệu chỉnh tốt hơn”, Handa nói với TechCrunch, đồng thời cho biết thêm rằng khách hàng của OpenAI muốn API Quyết định linh hoạt hơn trong việc sử dụng hình ảnh làm đầu ra.

Handa cũng nhận thấy tốc độ tăng thêm cho phép các trường hợp sử dụng mới: “Chúng ta có thể đạt được điều này như bạn biết trong 60 mili giây không, và sau đó bạn có thể tưởng tượng một API giống như lệnh gọi like cho từng khung hình như một video?”

Khi những dịch vụ này ngày càng nhanh hơn và rẻ hơn, chúng ta có thể mong đợi chúng sẽ xứng đáng với tên gọi của Jev, một nhà kinh tế học đã giải thích cách sử dụng tài nguyên hiệu quả hơn khiến nó trở nên phổ biến hơn. Hoặc, như Handa nhận thấy, sẽ có một “tập hợp các trường hợp sử dụng điên rồ” đang mở rộng ẩn nấp cho đến khi các mô hình quyết định tiết lộ chúng.