Tác nhân AI làm được nhiều việc hơn là tạo ra câu trả lời. Họ tìm kiếm thông tin, truy vấn cơ sở dữ liệu, viết và kiểm tra mã và thực hiện hành động. Mỗi bước trong số đó đều phụ thuộc vào CPU, với các tác nhân di chuyển giữa lý luận GPU và thực thi CPU trong suốt một tác vụ. Khi các doanh nghiệp đưa nhiều nhân viên làm việc hơn, các nhà máy AI cần CPU có thể thực hiện các bước đó một cách nhanh chóng và hỗ trợ nhiều nhân viên cùng một lúc, tất cả đều nằm trong giới hạn nguồn điện sẵn có. Điều này có nghĩa là gì: Các nhà cung cấp cơ sở hạ tầng AI cần hỗ trợ nhiều đại lý hơn mà không khiến mỗi người phải chờ đợi lâu hơn để hoàn thành công việc. Và quan trọng hơn, các nhà máy AI bị hạn chế về năng lượng. Điều này có nghĩa là người vận hành cần chọn cơ sở hạ tầng giúp tối đa hóa công việc được thực hiện trên mỗi watt. Tại sao lại quan trọng: NVIDIA Vera mang lại cả hiệu năng nhanh và công suất cao trên mỗi watt trong một CPU. Điều đó mang lại cho nhà cung cấp một CPU cho nhiều khối lượng công việc của tác nhân, thay vì phải trộn và kết hợp các bộ phận x86 nhanh và dày đặc để cân bằng tốc độ và công suất. Dữ liệu chứng minh điều đó: Khi so sánh trung tâm dữ liệu 100 megawatt, NVIDIA nhận thấy rằng một CPU Vera duy nhất hoạt động tốt hơn CPU x86 nhanh nhất và CPU x86 tiết kiệm năng lượng nhất.

Vera mang đến tốc độ tác nhân dẫn đầu ngành đồng thời cho phép số tác nhân trên mỗi watt nhiều hơn 1,6 lần so với CPU x86 nhanh nhất. Vera mang đến tốc độ xử lý nhanh hơn gấp 2 lần với hiệu suất sử dụng năng lượng hàng đầu so với CPU x86 tiết kiệm năng lượng nhất.

Các đối tác đã đưa Vera vào làm việc. Những người dùng đầu tiên nhận thấy hiệu suất vượt trội tương tự trong các thử nghiệm kiểu sản xuất:

Sự bối rối: Chạy các tác vụ mã hóa tác nhân nhanh hơn 1,5 lần với Vera so với trên CPU truyền thống. Perplexity có kế hoạch triển khai Vera trong hệ thống sản xuất sắp tới. DeepInfra: Cung cấp tốc độ lên tới 2,2 lần của bộ xử lý x86 tốt nhất về điều phối tác tử cho khối lượng công việc của tác nhân sản xuất, đạt tốc độ nhanh nhất trong bốn kiến ​​trúc đã được thử nghiệm. ClickHouse: Hệ nhị phân tiêu chuẩn, không có điều chỉnh dành riêng cho Vera, được chia tỷ lệ gần như tuyến tính trên 176 lõi và đứng đầu bảng xếp hạng phần cứng ClickBench. DuckLabs: Đạt được khoảng 1,5 lần hiệu năng TPC-H SF1000 trung bình của mức cơ bản Intel Xeon 6. Daytona: Đưa 1.000 hộp cát đại lý lên mạng trong 10,8 giây và đạt được 12,7 công việc hoàn thành mỗi giây ở 2.000 hộp cát đồng thời, sử dụng Vera so với 88,4 giây với x86. Phương thức: Đạt được thông lượng hộp cát lên tới gấp 2 lần trên mỗi lõi so với phần cứng x86 tương đương, với lợi ích tăng lên khi chịu tải nặng.

Tìm hiểu thêm về CPU NVIDIA Vera.