Liqid công bố dịch vụ dùng chung bộ nhớ cho máy chủ suy luận AI

Tóm lược nhanh
“Tại SC26, Liqid công bố dịch vụ dùng chung bộ nhớ được quản lý và trình bày cách phân bổ...”
Ý chính
- 1.Theo bài viết, nhiều máy chủ AI được bán với tỷ lệ GPU và bộ nhớ cố định trong suốt vòng đời máy. Đồng sáng lập kiêm giám đốc công nghệ Liqid Sumit Puri cho rằng cấu hình này khó phù hợp khi mô hình sẽ được triển khai trong tương lai chưa xác định.
- 2.Puri mô tả hướng tiếp cận của Liqid là gom GPU và bộ nhớ thành các nhóm tài nguyên trong rack, rồi phân bổ chúng cho máy chủ tùy theo mô hình hoặc khối lượng công việc. Đây là mô tả về định hướng của công ty, không phải kết quả đo hiệu năng.
- 3.Liqid đánh giá hiệu quả suy luận bằng số token tạo ra mỗi giây, mỗi watt và mỗi đô la, trong đó chi phí trên mỗi token là thước đo được nhấn mạnh nhất.
- 4.Tại SC26, Liqid công bố Liqid as a Service dưới dạng dịch vụ được quản lý hoàn toàn cho một khách hàng thuê riêng. Bài viết cũng cho biết công ty đang hướng tới các thiết bị có cấu hình sẵn.
- 5.Liqid tài trợ cho buổi phỏng vấn trên theCUBE mà bài viết dựa vào. Đơn vị phát sóng cho biết nhà tài trợ không kiểm soát nội dung biên tập.
Tại SC26, Liqid công bố dịch vụ dùng chung bộ nhớ được quản lý và trình bày cách phân bổ GPU cùng bộ nhớ theo nhu cầu của từng mô hình AI. Công ty muốn thay thế cách gắn cố định hai loại tài nguyên này trong máy chủ.
Chi tiết sản phẩm & Tính năng nổi bật
Theo bài viết, nhiều máy chủ AI được bán với tỷ lệ GPU và bộ nhớ cố định trong suốt vòng đời máy. Đồng sáng lập kiêm giám đốc công nghệ Liqid Sumit Puri cho rằng cấu hình này khó phù hợp khi mô hình sẽ được triển khai trong tương lai chưa xác định.
Puri mô tả hướng tiếp cận của Liqid là gom GPU và bộ nhớ thành các nhóm tài nguyên trong rack, rồi phân bổ chúng cho máy chủ tùy theo mô hình hoặc khối lượng công việc. Đây là mô tả về định hướng của công ty, không phải kết quả đo hiệu năng.
Liqid đánh giá hiệu quả suy luận bằng số token tạo ra mỗi giây, mỗi watt và mỗi đô la, trong đó chi phí trên mỗi token là thước đo được nhấn mạnh nhất.
Tại SC26, Liqid công bố Liqid as a Service dưới dạng dịch vụ được quản lý hoàn toàn cho một khách hàng thuê riêng. Bài viết cũng cho biết công ty đang hướng tới các thiết bị có cấu hình sẵn.
Liqid tài trợ cho buổi phỏng vấn trên theCUBE mà bài viết dựa vào. Đơn vị phát sóng cho biết nhà tài trợ không kiểm soát nội dung biên tập.
Đánh giá thực tế & Góc nhìn chuyên môn
Nếu có thể cấp bộ nhớ theo nhu cầu ứng dụng như Puri đề xuất, một cụm máy chủ có thể tránh dành sẵn cùng một lượng bộ nhớ cho mọi cấu hình. Mức tiết kiệm thực tế vẫn phụ thuộc vào nhu cầu đồng thời của các máy chủ.
Với suy luận AI, lợi ích kinh tế cần được đánh giá cùng tác động của việc chia sẻ tài nguyên đến tốc độ tạo token và điện năng tiêu thụ. Chỉ giảm lượng bộ nhớ cấp cho từng máy chủ chưa đủ để chứng minh chi phí trên mỗi token thấp hơn.
Giá bán, thời điểm ra mắt & Điều cần theo dõi
Nguồn không đưa ra phép đo độc lập hoặc số liệu đối chiếu về chi phí trên mỗi token, độ trễ và điện năng khi dùng cấu hình chia sẻ tài nguyên.
Nguồn chưa nêu giá dịch vụ, thời điểm cung cấp rộng rãi hoặc quy mô triển khai thực tế của Liqid as a Service.







