Bộ nhớ Google Cloud di chuyển lên phía trước ngăn xếp AI khi các doanh nghiệp đạt đến mức sử dụng GPU tối đa

Trong hai năm qua, đầu tư AI của doanh nghiệp đã bị chi phối bởi một cuộc trò chuyện: tính toán. Các tổ chức chạy đua để đảm bảo việc phân bổ GPU, đàm phán các thỏa thuận cơ sở hạ tầng và xây dựng nền tảng máy học với tốc độ nhanh chóng. Điều mà nhiều người chỉ phát hiện ra sau khi thực tế là nút thắt mà họ nghĩ rằng họ đang giải quyết không phải là nút thắt duy nhất trong phòng. Lưu trữ hiện đang hạn chế các công cụ tăng tốc mà các doanh nghiệp đã đấu tranh để có được.

Trong tập mới nhất của podcast AppDevANGLE, tôi đã nói chuyện với Ronen Schwartz, phó chủ tịch sản phẩm của Google Cloud Storage tại Google LLC, về lý do tại sao lưu trữ lại lặng lẽ trở thành hạn chế xác định trong cơ sở hạ tầng AI của doanh nghiệp và kiến ​​trúc được xây dựng có mục đích cho khối lượng công việc AI thực sự trông như thế nào. Cuộc trò chuyện đề cập đến một vấn đề thực tế, có thể đo lường được và phần lớn vẫn chưa được thừa nhận trong hầu hết các cuộc thảo luận về chiến lược AI.

“Bộ nhớ vừa được nâng cấp,” Schwartz nói. “Thay vì đứng ở vị trí phụ trợ với vai trò hỗ trợ, nó sẽ tiến lên phía trước như một phần quan trọng trong quá trình thực thi máy gia tốc.”

Thuế ẩn khi đầu tư GPU

Tính kinh tế của vấn đề này là trực tiếp. Như Schwartz đã nói, máy gia tốc là hạng mục đắt nhất của doanh nghiệp. Mỗi giây họ nhàn rỗi chờ đợi dữ liệu là tiền bị mất - không phải trong một số tính toán hiệu quả về mặt lý thuyết mà là sự lãng phí ngay lập tức, có thể theo dõi được. Tuy nhiên, khi các nhóm cuối cùng có quyền truy cập vào TPU hoặc GPU của họ, đường dẫn phân phối dữ liệu thường không nhận được sự chú ý như lớp điện toán.

"Tôi đã nói chuyện với nhiều khách hàng và điều tôi nghe được là nhóm đã phải đấu tranh rất lâu để có được TPU, GPU của họ và có được bộ tăng tốc. Và một khi đã có được chúng, họ thực sự không phải lúc nào cũng có thể đạt được kết quả đầu ra mà họ cần. Điều này thường dẫn đến việc không suy nghĩ đầy đủ về đường dẫn phân phối dữ liệu."

Đây không phải là một kịch bản ngoài lề. Schwartz đã mô tả một mô hình trong đó các tổ chức chỉ xác định nút cổ chai lưu trữ sau khi nó xảy ra — khi các chỉ số sử dụng GPU không đạt mục tiêu và thời gian đào tạo vượt quá dự kiến. Đến lúc đó, chi phí đầu tư không đúng mức vào kiến ​​trúc lưu trữ đã được tính vào dự án.

Đào tạo, suy luận và tác nhân: Ba vấn đề lưu trữ riêng biệt

Một trong những hiểu biết rõ ràng nhất từ ​​cuộc trò chuyện là AI không phải là một khối lượng công việc duy nhất và việc coi nó như một khối lượng công việc sẽ tạo ra những khoảng trống phức tạp trong kiến ​​trúc lưu trữ. Schwartz đã mô tả khối lượng công việc đào tạo, suy luận và tác nhân có “nhịp tim” khác nhau về cơ bản với các mẫu chuyển động dữ liệu riêng biệt mà mỗi mẫu yêu cầu thiết kế có mục tiêu.

Việc đào tạo đòi hỏi số lần đọc tuần tự lớn, nhưng điểm áp lực quan trọng không kém là quản lý điểm kiểm tra. Cứ khoảng 15 phút một lần, cụm đào tạo phải tạm dừng và viết một điểm kiểm tra nhiều terabyte để bảo vệ công việc đã hoàn thành trước những lỗi có thể xảy ra. Schwartz cho biết: “Việc lưu trữ chậm ở vị trí đó sẽ đóng băng toàn bộ cụm GPU. Ông lưu ý rằng công nghệ lưu trữ đối tượng Rapid của Google có thể viết các điểm kiểm tra nhanh hơn ba lần và khôi phục chúng nhanh hơn năm lần so với lưu trữ đối tượng tiêu chuẩn và sự khác biệt này có ý nghĩa quan trọng ở quy mô lớn. Ông lấy Torin, một công ty xe tự hành, làm ví dụ: hàng triệu điểm dữ liệu cảm biến được lưu trữ để đào tạo các mẫu xe, trong đó hiệu suất của điểm kiểm tra không phải là trường hợp đặc biệt mà là yêu cầu vận hành cốt lõi.

Suy luận đưa ra một ràng buộc hoàn toàn khác, đó là sự tương tác theo thời gian thực, nhạy cảm với độ trễ trong đó thời gian phản hồi ảnh hưởng trực tiếp đến trải nghiệm người dùng và tính kinh tế của mã thông báo. Lớp khối lượng công việc của tác nhân dựa trên nhóm nhu cầu thứ ba: không gian làm việc chung, tính ổn định trạng thái giữa các tác nhân, truy xuất có độ trễ thấp và nhu cầu hỗ trợ cả quy trình tác nhân tồn tại trong thời gian ngắn và dài hạn có thể ngủ đông và kích hoạt lại theo yêu cầu.

"AI không phải là một khối lượng công việc. Thực sự, chuyển động của dữ liệu trông hoàn toàn khác nhau. Nó giống như những nhịp tim khác nhau tùy thuộc vào vị trí của bạn trong vòng đời."

Kiến trúc có nguồn gốc từ Colossus làm cơ sở hạ tầng doanh nghiệp

Lập luận về sự khác biệt của Google tập trung vào độ tin cậy của cơ sở hạ tầng được xây dựng qua nhiều năm chạy khối lượng công việc AI siêu quy mô trong nội bộ trước khi cung cấp các khả năng tương tự ra bên ngoài. Schwartz đã trích dẫn các số liệu hiệu suất cụ thể: 15 terabyte mỗi giây trên bộ lưu trữ đối tượng Rapid và 10 terabyte mỗi giây trên các cụm do Google Cloud quản lý, mà ông mô tả là những con số dẫn đầu ngành đã được xác minh.

Nền tảng kỹ thuật bao gồm định vị theo vùng hoặc đặt dữ liệu gần các cụm GPU và TPU để giảm thiểu thời gian một byte di chuyển đến bộ tăng tốc. Schwartz mô tả đây là khả năng đầu tiên đưa ra thị trường, đòi hỏi phải xem xét lại các giả định được đưa vào thiết kế lưu trữ truyền thống, trong đó phân phối đa vùng hoặc đa vùng là mục tiêu mặc định. Đối với khối lượng công việc AI, khoảng cách gần với máy gia tốc được ưu tiên. Công nghệ Nhóm nhanh của Google giúp giảm các bước xử lý trong đường dẫn lưu trữ, cho phép một nhóm duy nhất cung cấp thông lượng hơn 15 terabyte mỗi giây với sự hỗ trợ cho 20 triệu truy vấn mỗi giây ở độ trễ dưới một phần nghìn giây.

"Đó là bởi vì nó được xây dựng trên cơ sở hạ tầng của Google, cơ sở đã được sử dụng nội bộ lâu hơn bất kỳ ai khác để hỗ trợ các máy gia tốc và hiệu suất của chúng. Nhưng đó cũng là vì Google đang hợp tác với 9 trong số 10 công ty có mô hình biên giới AI hàng đầu thế giới." Kiến trúc lưu trữ có thể cải thiện rõ rệt việc sử dụng GPU có thể cung cấp khả năng lặp lại nhanh hơn thông qua việc tính toán ít nhàn rỗi hơn và chi phí hiệu quả cho mỗi lần chạy đào tạo thấp hơn.

Chuẩn bị sẵn sàng cho tác nhân dữ liệu phi cấu trúc

Khía cạnh tác nhân của cuộc trò chuyện đã tiết lộ một điểm chưa được đánh giá đúng mức về mức độ sẵn sàng của AI của doanh nghiệp. Đại lý yêu cầu nhiều hơn việc duyệt web và truy vấn cơ sở dữ liệu; họ cần quyền truy cập vào dữ liệu phi cấu trúc trên quy mô lớn, bao gồm hình ảnh, video, tài liệu và tệp PDF đại diện cho phần lớn tài sản dữ liệu thực của hầu hết các tổ chức. Nếu không có cách nào để làm cho nội dung đó có thể truy cập được về mặt ngữ nghĩa, các tác nhân sẽ hoạt động với một cái nhìn hạn chế và thường không mang tính đại diện về kiến ​​thức doanh nghiệp.

Phản hồi của Google là cái mà Schwartz gọi là Sáng kiến ​​lưu trữ thông minh, dựa trên khả năng Làm giàu đối tượng mới ra mắt gần đây. Khi một tệp hoặc hình ảnh được đưa vào vùng lưu trữ, các mô hình AI của Google sẽ tự động trích xuất nội dung và đính kèm siêu dữ liệu có cấu trúc vào đối tượng — tính bằng giây và ở quy mô lớn. Kết quả là những gì chưa được cấu trúc trước đây sẽ có thể được các tác nhân truy vấn mà không cần sự can thiệp thủ công hoặc quy trình xử lý tiếp theo.

“Một tác nhân giờ đây có thể tương tác với những gì từng được gọi là dữ liệu phi cấu trúc vì thực tế họ hiểu rất rõ về nội dung.” Lớp lưu trữ cũng được tích hợp vào đám mây dữ liệu tác nhân rộng hơn và kiến ​​trúc hồ không biên giới của Google, cho phép các tác nhân tiếp cận dữ liệu được lưu trữ bên ngoài môi trường của Google.

Đối với cơ sở hạ tầng tác nhân trên quy mô lớn, Schwartz đã mô tả các khối tác nhân Filestore chuyên dụng được tích hợp trực tiếp vào Google Kubernetes Engine và môi trường hộp cát tác nhân, được thiết kế đặc biệt để xử lý các yêu cầu về chi phí, tốc độ phản hồi và chia sẻ dữ liệu khi chạy hàng nghìn hoặc hàng triệu tác nhân cùng một lúc.

Google Cloud Storage dành cho AI: Điểm mấu chốt

Sự thay đổi thị trường rộng hơn ở đây mang tính kiến ​​trúc chứ không phải tăng dần. Cơ sở hạ tầng AI dành cho doanh nghiệp đã được xây dựng theo lớp (đầu tiên là tính toán, sau đó là khung, sau đó là dữ liệu) và việc lưu trữ thường được coi là hộp kiểm mua sắm thay vì biến hiệu suất. Trình tự đó đang tỏ ra tốn kém. Khi các mục tiêu sử dụng GPU trở thành các KPI có thể đo lường được và ngân sách hoạt động AI phải đối mặt với sự giám sát chặt chẽ hơn, lớp lưu trữ đang được đánh giá lại theo cách chưa từng có trong nhiều năm.

Điều mà vị trí của Google minh họa là trải nghiệm vận hành siêu quy mô ở lớp lưu trữ chuyển trực tiếp thành lợi thế của doanh nghiệp — không phải như một tuyên bố tiếp thị mà là sự khác biệt có thể đo lường được về tốc độ điểm kiểm tra, thông lượng, độ trễ và khả năng phản hồi của tác nhân. Các công ty đang thực hiện đào tạo và suy luận mô hình biên giới trên quy mô lớn đã buộc phải giải quyết những vấn đề này; các nhóm doanh nghiệp hiện đang gặp phải chúng lần đầu tiên.

Đối với các kỹ sư nền tảng, nhóm cơ sở hạ tầng ML và kiến ​​trúc sư doanh nghiệp, ý nghĩa này rất cụ thể: Các quyết định về kiến ​​trúc lưu trữ được đưa ra trong quá trình xây dựng nền tảng AI ban đầu sẽ hạn chế hoặc kích hoạt hiệu suất cho mọi khối lượng công việc tiếp theo. Việc xem xét lại những quyết định đó sau khi nút thắt cổ chai xuất hiện sẽ tốn kém hơn đáng kể so với việc giải quyết chúng trong giai đoạn thiết kế.

Thị trường đang hướng tới một thời điểm mà các cuộc thảo luận về cơ sở hạ tầng AI thường xuyên coi lưu trữ là cấp chính chứ không phải là cấp độ sau. Các tổ chức nhận ra sự thay đổi đó sớm sẽ thu được nhiều giá trị hơn đáng kể từ các khoản đầu tư tăng tốc mà họ đã thực hiện.

Để nghe toàn bộ cuộc trò chuyện với Ronen Schwartz, hãy xem tập mới nhất của podcast AppDevANGLE. Để tìm hiểu thêm về cách Google Cloud Storage có thể hỗ trợ nhu cầu ngày càng tăng của AI dành cho doanh nghiệp, hãy khám phá các giải pháp lưu trữ của Google hoặc kết nối với nhóm Google Cloud để thảo luận về phương pháp phù hợp với khối lượng công việc của tổ chức bạn.

Đây là cuộc phỏng vấn đầy đủ của CUBE Research với Ronen Schwartz của Google:

#####Hình ảnh: SiliconANGLE

Lời nhắn từ John Furrier, đồng sáng lập SiliconANGLE:

Hãy ủng hộ sứ ​​mệnh của chúng tôi là giữ cho nội dung luôn mở và miễn phí bằng cách tương tác với cộng đồngCUBE. Tham gia Mạng lưới cựu sinh viên đáng tin cậy của theCUBE, nơi các nhà lãnh đạo công nghệ kết nối, chia sẻ thông tin và tạo ra cơ hội.

• Hơn 15 triệu người xem video theCUBE, hỗ trợ các cuộc trò chuyện trên AI, đám mây, an ninh mạng và hơn thế nữa
• 11,4k+ cựu sinh viên theCUBE — Kết nối với hơn 11.400 nhà lãnh đạo doanh nghiệp và công nghệ đang định hình tương lai thông qua mạng lưới dựa trên đáng tin cậy duy nhất

Bạn có phải là khách hàng của AWS không? Hỗ trợ tài chính cho SiliconANGLE bằng cách mua dịch vụ AWS của bạn từ trang và liên kết cổng thông tin Marketplace của chúng tôi: https://siliconangle.com/aws-marketplace/

Giới thiệu về SiliconANGLE Media

Được thành lập bởi những người có tầm nhìn xa về công nghệ John Furrier và Dave Vellante, SiliconANGLE Media đã xây dựng một hệ sinh thái năng động gồm các thương hiệu truyền thông kỹ thuật số hàng đầu trong ngành với hơn 15 triệu chuyên gia công nghệ ưu tú. TheCUBE AI Video Cloud độc quyền mới của chúng tôi đang tạo bước đột phá trong tương tác với khán giả, tận dụng mạng thần kinh theCUBEai.com để giúp các công ty công nghệ đưa ra quyết định dựa trên dữ liệu và luôn dẫn đầu trong các cuộc hội thoại trong ngành.