Khi nhà phát triển giao cho tác nhân AI một nhiệm vụ mã hóa, tác nhân sẽ thực hiện nhiều hơn một lần trả lời. Nó lập kế hoạch, tạo mã, chạy thử nghiệm và lặp lại quy trình để sửa lỗi. Một tác vụ có thể sử dụng số lượng mã thông báo nhiều hơn từ 10 đến 50 lần so với lời nhắc trò chuyện cơ bản. Tác nhân càng hữu ích thì càng thực hiện được nhiều cuộc gọi. Với việc định giá theo mã thông báo, quy trình công việc tạo ra nhiều giá trị nhất cũng có thể trở nên đắt nhất. Áp lực tài chính đã hiện rõ. Uber được cho là đã cạn kiệt toàn bộ ngân sách AI năm 2026 vào tháng 4 sau khi mở rộng việc sử dụng Mã Claude. GitHub Copilot đã chuyển từ định giá cố định sang tín dụng theo đồng hồ đo. Gartner dự đoán rằng chi phí mã thông báo mã hóa AI sẽ vượt mức lương trung bình của nhà phát triển vào năm 2028.

Phản ứng tự nhiên là giới hạn mức sử dụng, giới hạn chỗ ngồi và phê duyệt trước khi các nhà phát triển triển khai đại lý. Tuy nhiên, các giới hạn chung có thể hạn chế giá trị mang lại của quy trình làm việc. Họ cũng tối ưu hóa sai số. Chi phí trên mỗi token đo lường mức tiêu thụ chứ không phải kết quả. Một số chi tiêu phản ánh sự lãng phí, bao gồm cả việc thử lại và lặp lại. Một số đại diện cho công việc của phần mềm vận chuyển. Đồng hồ đo không thể phân biệt chúng và giới hạn chi tiêu cũng không thể. Đo lường phần mềm được vận chuyển Một thước đo tốt hơn là chi phí cho mỗi yêu cầu kéo được hợp nhất: tổng chi phí phát triển được AI hỗ trợ chia cho số lượng thay đổi đã vượt qua quá trình xem xét và được hợp nhất. Theo dõi việc làm lại và các lỗi cùng với nó để những thay đổi rẻ hơn không che giấu chất lượng thấp hơn. Nếu chi phí đó giảm khi mức sử dụng AI tăng lên mà không ảnh hưởng đến chất lượng, thì các nhà phát triển đang chuyển đổi mức tiêu thụ nhiều hơn thành phần mềm hữu ích. Câu hỏi không phải là họ sử dụng bao nhiêu token mà là khoản đầu tư tạo ra bao nhiêu công việc đã hoàn thành. Việc cải thiện phương trình đó đòi hỏi hai thay đổi: dự trữ suy luận tốn kém cho các nhiệm vụ cần đến nó và giảm chi phí cho công việc thường ngày. Ghép mô hình với nhiệm vụ Mã hóa tác nhân không yêu cầu mô hình mạnh nhất ở mỗi bước. Sử dụng mô hình biên giới hoặc mô hình hàng đầu tại chỗ khi chính sách yêu cầu, để lập kế hoạch khó khăn và lập luận mới. Định tuyến công việc phù hợp, bao gồm tạo mã, tạo thử nghiệm và tái cấu trúc lặp đi lặp lại, tới các mô hình trọng lượng mở mà bạn tự vận hành. Một cổng có thể định tuyến các yêu cầu theo độ phức tạp của nhiệm vụ, độ nhạy của dữ liệu, chi phí và độ trễ. Điều này dự trữ suy luận cao cấp cho những khoảnh khắc biện minh cho nó thay vì áp dụng mức giá cao cấp cho toàn bộ quy trình làm việc. Đo ngoại lệ, không phải khối lượng công việc. Các mẫu xe có trọng lượng mở làm cho sự phân chia này ngày càng thiết thực hơn. Các điểm chuẩn về kỹ thuật phần mềm cho thấy rằng các mẫu máy có trọng lượng mở hàng đầu có thể đạt được hiệu suất vượt trội trong một số nhiệm vụ. Điều đó không thiết lập sự tương đương trên mọi kho lưu trữ hoặc quy trình công việc. Đánh giá các ứng viên dựa trên mã, bài kiểm tra và chấp nhận của riêng bạn tiêu chuẩn trước khi phân công công việc sản xuất. Thay đổi tính kinh tế của việc sử dụng nhiều lần Tiếp theo, quyết định ai sở hữu năng lực. Với suy luận thuê, mỗi cuộc gọi sẽ thêm vào hóa đơn. Với năng lực sở hữu, phần lớn chi phí được cam kết trả trước, do đó, mỗi cuộc gọi bổ sung sẽ rẻ hơn khi mức sử dụng tăng lên. Tính kinh tế rất đơn giản: việc định giá mỗi mã thông báo khiến việc sử dụng nhiều trở nên đắt đỏ hơn, trong khi năng lực sở hữu sẽ trở nên hiệu quả hơn khi các nhóm sử dụng nó nhiều hơn. Tuy nhiên, quyền sở hữu không phải là miễn phí. Tất cả quyền lực, hoạt động, bảo trì và khấu hao đều phải được xem xét. Con số quan trọng là chi phí được tải đầy đủ cho mỗi yêu cầu kéo được hợp nhất. Năng lực sở hữu cũng mang lại một loại giá trị không bao giờ xuất hiện trên hóa đơn: kiểm soát mã nhạy cảm. Khi việc tạo và thử nghiệm mã chạy tại chỗ, mã độc quyền vẫn nằm trong doanh nghiệp. Chỉ những lời nhắc lập kế hoạch đã được phê duyệt và các trường hợp ngoại lệ được quản lý mới được chuyển đến các mô hình bên ngoài, thông qua một cổng mà tổ chức kiểm soát. Điều đó mở ra các kho lưu trữ nhạy cảm, nơi bảo mật thường cản trở việc áp dụng và là nơi mà những lợi ích lớn nhất đang chờ đợi. Thử nghiệm mô hình hoạt động Tại HPE, nền tảng AI lai định tuyến khối lượng công việc thông thường từ hơn 150 ứng dụng nội bộ đến các mô hình có trọng lượng mở chạy tại cơ sở, bao gồm cả trên HPE Private Cloud AI. Kết quả: giá token giảm từ 30 đến 50%. Đó là điểm lai. Với HPE Private Cloud AI, việc sở hữu khả năng suy luận của bạn không có nghĩa là từ bỏ các mô hình tiên tiến. Chạy âm lượng theo dung lượng bạn sở hữu và để một cổng gửi tác phẩm khó nhất. Dữ liệu cũng cho thấy mức sử dụng, chứ không phải số lượng nhân viên được cấp phép, sẽ thúc đẩy chi tiêu. 5% người dùng hàng đầu tạo ra phần lớn mức tiêu thụ và mức sử dụng nhiều nhất gấp khoảng 450 lần so với mức sử dụng nhẹ nhất trên cùng một giấy phép. Nếu người sử dụng thành thạo tăng từ thiểu số lên một nửa lực lượng lao động, chi tiêu hàng tháng có thể tăng khoảng 4,4 lần với số lượng nhân viên cố định. Sự kết hợp của bạn sẽ khác nhau, đó chính xác là lý do tại sao bạn cần phải đo lường nó. HPE theo dõi hai số liệu và khuyến nghị khách hàng cũng làm như vậy. Đầu tiên, nó theo dõi chi phí cho mỗi nhà phát triển đang hoạt động, bởi vì việc tính trung bình của ause trên tất cả các giấy phép sẽ che giấu mức chi tiêu của người dùng thành thạo. Thứ hai, nó theo dõi chi phí cho mỗi yêu cầu kéo hợp nhất vì nó kết nối chi tiêu AI với phần mềm được vận chuyển. Căn cứ cả hai chi phí trước khi thay đổi cơ sở hạ tầng. Sau đó thực hiện một chu trình phát triển hoàn chỉnh dựa trên năng lực sở hữu. Nếu cả hai số liệu không cải thiện khi mức sử dụng tăng lên thì mô hình hiện tại của bạn vẫn có thể là lựa chọn tốt hơn. Xây dựng để áp dụng, không phải phân phối Năng lực sở hữu không dành cho tất cả mọi người. Mức sử dụng thấp hoặc không thể đoán trước sẽ ưu tiên các API, không có vốn gắn liền với cơ sở hạ tầng nhàn rỗi. Quyền sở hữu sẽ được đền đáp khi nhu cầu duy trì khiến nó luôn bận rộn. Hầu hết các doanh nghiệp sẽ chạy các API kết hợp: biên giới cho công việc đòi hỏi khắt khe hoặc không liên tục, có năng lực sở hữu cho khối lượng lặp lại. Cổng được quản lý quyết định những gì rời khỏi tòa nhà, do đó bạn có được các mô hình biên giới mà không từ bỏ chủ quyền đối với mã của mình. Khi các nhà phát triển dựa nhiều hơn vào các tác nhân mã hóa, mức sử dụng sẽ tiếp tục tăng. Sự lựa chọn thực sự là liệu sự tăng trưởng đó xuất hiện dưới dạng chi phí biến đổi lớn hơn hay do nhiều phần mềm được vận chuyển theo năng lực mà bạn sở hữu. Các công ty dẫn đầu quá trình phát triển có sự hỗ trợ của AI sẽ không hạn chế việc áp dụng để kiểm soát chi phí. Họ sẽ xây dựng một mô hình hoạt động trong đó việc sử dụng AI nhiều hơn sẽ cải thiện tính kinh tế thay vì làm suy yếu chúng.

Để tìm hiểu thêm về HPE Private Cloud AI, vui lòng truy cập HPE. Nội dung này được sản xuất bởi HPE. Nó không được viết bởi ban biên tập của MIT Technology Review.