AI quy mô rack: Dell và AMD đang xây dựng cơ sở hạ tầng như thế nào

Dell Technologies Inc. và đối tác Advanced Micro Devices Inc. phải đối mặt với những áp lực cạnh tranh tương tự. Cả hai cường quốc công nghệ đều hoạt động trong môi trường kinh doanh nơi thành công hiện được đo lường trên các đơn vị xử lý trung tâm, đơn vị xử lý đồ họa, hệ thống quy mô giá đỡ, dung lượng bộ nhớ, băng thông mạng và mã thông báo trên mỗi đô la.

Áp lực cạnh tranh dựa trên các biện pháp đó nhấn mạnh điều mà CUBE Research đã gọi là “Tốc độ kỹ thuật”. Kể từ sự kiện Dell Technologies World vào tháng 5, AMD và Dell đã không hề chậm lại tốc độ hợp tác và thông báo.

AMD và Dell đang nỗ lực xây dựng cơ sở hạ tầng AI dành cho doanh nghiệp có thể bắt kịp tốc độ thay đổi của khối lượng công việc và yêu cầu của khách hàng.

Dave Vellante của CUBE Research cho biết: “Trong cơ sở hạ tầng AI, người chiến thắng có thể không phải là công ty có điểm chuẩn tốt nhất trong ngày diễn thuyết quan trọng”. “Nhiều khả năng đó sẽ là công ty có hệ thống kỹ thuật học hỏi, xác nhận và cải thiện toàn bộ nền tảng nhanh hơn bất kỳ ai khác.”

Tính năng này là một phần trong kế hoạch khám phá những thay đổi kiến ​​trúc của SiliconANGLE Media nhằm cung cấp năng lượng cho AI ở cấp độ sản xuất, liên tục. Hãy nhớ xem “Sự kiện nền tảng dữ liệu Dell AI: Từ tham vọng đến AI ở quy mô” của CUBE và phạm vi đưa tin trước đây của nó về Thế giới công nghệ Dell năm nay. (* Tiết lộ bên dưới.)

Hợp nhất quy mô giá đỡ

Nền tảng của mối quan hệ giữa Dell và AMD là danh mục máy chủ PowerEdge của gã khổng lồ máy chủ. Dell đã mở rộng dòng máy chủ PowerEdge của mình vào tháng 5 và tiếp theo đó là các chi tiết bổ sung xung quanh việc tích hợp bộ xử lý AMD.

Hai công ty đã theo đuổi một chiến lược được thiết kế để tạo điều kiện thuận lợi cho việc hợp nhất máy chủ khi AI tác nhân thúc đẩy nhu cầu điện toán cho mục đích chung tăng cao. Các đại lý phụ thuộc nhiều vào CPU, tuy nhiên các trung tâm dữ liệu không có nhiều chỗ để thêm máy chủ trong các phòng đã được xếp sẵn GPU.

Theo Pradyumna Narendra, nhà lập kế hoạch sản phẩm và cố vấn cấp cao của Dell, các hệ thống được hỗ trợ bởi bộ xử lý AMD sẽ mang lại hiệu suất tăng 70% từ thế hệ này sang thế hệ khác và có thể kết hợp 13 máy chủ từ thế hệ PowerEdge thứ 14 của Dell thành một.

Ông nói với CUBE: “Cứ thay thế 10 đến 13 máy chủ, bạn sẽ nhận lại được rất nhiều năng suất vì giờ đây bạn có thể làm điều đó với một máy chủ”. “Khi bạn mở rộng điều đó trên các trung tâm dữ liệu, điều đó giống như một hiệu ứng tăng tốc mà bạn có thể tận dụng được.”

Dell và AMD cũng phải đáp ứng nhiều trường hợp sử dụng AI và nhu cầu tính toán đi kèm. Theo Narendra, máy chủ ba ngăn của Dell yêu cầu ít năng lượng làm mát hơn so với máy chủ hai ngăn tương đương, cho phép khách hàng dồn nhiều sức mạnh tính toán hơn vào mỗi giá đỡ.

Ông giải thích: “Bằng cách triển khai các máy chủ có gói lớn hơn một chút, bạn cung cấp nhiều mật độ hơn ở cấp độ giá đỡ, điều này đôi khi có vẻ phản trực giác”. "Khi AI tăng tốc, suy luận và AI tác nhân xung quanh nó sẽ tăng tốc và phát triển nhanh hơn. Khi các trường hợp sử dụng này mở rộng quy mô, bạn sẽ nhận được sự tăng trưởng theo cấp số nhân về nhu cầu điện toán."

Triển khai và xác thực mô-đun

Ngoài việc hợp nhất máy chủ, Dell và AMD còn không ngừng nâng cao giải pháp mô-đun để đơn giản hóa việc triển khai và mở rộng quy mô AI: Nền tảng AI của Dell với AMD.

Giải pháp AI doanh nghiệp tại chỗ tích hợp bộ tăng tốc AMD Instinct và bộ xử lý EPYC với máy chủ Dell PowerEdge, mạng PowerSwitch và bộ lưu trữ PowerScale để đào tạo mô hình, tinh chỉnh và suy luận thông lượng cao. Nền tảng này được thiết kế để cho phép khách hàng bắt đầu với các cấu hình đáp ứng khối lượng công việc hiện tại và mở rộng mật độ điện toán và GPU theo thời gian mà không cần tái cấu trúc.

Varun Chhabra, phó chủ tịch cấp cao của nhóm giải pháp cơ sở hạ tầng và tiếp thị sản phẩm tại Dell, cho biết trong một cuộc thảo luận với theCUBE: "Những gì chúng tôi nhận thấy là khách hàng muốn các giải pháp mô-đun. Họ muốn nghĩ về [giải pháp] trên toàn bộ nền tảng". "Tính toán, lưu trữ, kết nối mạng [và] GPU. Khung phần mềm trên đó, các mô hình: Tất cả chúng đã được thử nghiệm chưa? Tất cả chúng đã được xác thực chưa?"

Dell đã tích hợp ngăn xếp phần mềm AMD ROCm vào nền tảng để hỗ trợ đào tạo, tinh chỉnh và phục vụ các mô hình ngôn ngữ lớn tại chỗ. Theo Chhabra, nền tảng mô-đun cho phép khách hàng bắt đầu với việc triển khai nhỏ hơn và mở rộng trên cùng một cơ sở hạ tầng.

Ông nói: “Bạn có thể bắt đầu từ quy mô nhỏ với các đơn vị lưu trữ, tính toán, kết nối mạng có thể kết hợp này, được tích hợp sẵn với CPU AMD Instinct và EPYC với phần mềm ROCm cũng như hệ sinh thái mở nằm trên đó”. “Chúng tôi kiểm tra, xác thực và khách hàng có thể sử dụng nó và khi họ bắt đầu thấy giá trị của nó, họ biết rằng họ có thể mở rộng quy mô theo cách mô-đun với cùng một khuôn khổ.”

Tận dụng lợi ích của PCIe

Dell đã công bố hỗ trợ GPU AMD Instinct MI350P PCI Express trong các máy chủ PowerEdge XE7745 và R7725 bắt đầu từ tháng 7, mang đến cho các doanh nghiệp một tùy chọn khác để mở rộng quy mô triển khai AI tổng quát và tổng quát. Nó cũng thể hiện sự gia tăng quan trọng về băng thông bộ nhớ, điều quan trọng đối với độ trễ theo thời gian của mã thông báo đầu tiên.

MI350P cung cấp 144 gigabyte bộ nhớ HBM3E, có thể là điểm khác biệt chính cho hiệu suất suy luận, theo Mike Darby, giám đốc cấp cao về phát triển kinh doanh, GPU Trung tâm dữ liệu Instinct, tại AMD, trong lần xuất hiện trên CUBE.

Ông nói: “Nó có rất nhiều bộ nhớ, nhưng nó cũng là HBM3E, vì vậy [nó có] một lượng băng thông đáng kinh ngạc”. “Trường hợp sử dụng chính là suy luận: Tất cả là về độ trễ đó, thời gian tạo ra mã thông báo đầu tiên [và] trải nghiệm người dùng, để khoảng chú ý của bạn không di chuyển sang nơi khác trong khi bạn đang chờ phản hồi của mình.”

Sự hợp tác của AMD và Dell về tích hợp PCIe có một góc độ khác đáng xem. GPU dựa trên PCIe của AMD hỗ trợ triển khai làm mát bằng không khí, cung cấp cho người dùng lộ trình triển khai AI trong cơ sở hạ tầng trung tâm dữ liệu hiện có.

Khi ngành công nghệ gặp phải sự phản đối trong những tháng gần đây đối với việc xây dựng các trung tâm dữ liệu lớn trên khắp Hoa Kỳ, mối lo ngại tập trung vào tác động môi trường và việc sử dụng hệ thống làm mát bằng nước. Ngoài ra, Dell nhận thấy rằng, khi triển khai các máy chủ PowerEdge thế hệ tiếp theo, một số khách hàng doanh nghiệp vẫn chưa sẵn sàng áp dụng hệ thống làm mát bằng chất lỏng trong các trung tâm dữ liệu.

Robert Hormuth, phó chủ tịch tập đoàn về kiến ​​trúc và chiến lược cho Nhóm Giải pháp Trung tâm Dữ liệu tại AMD, cho biết: “Khi làm việc với Dell, chúng tôi đã thêm thẻ PCI vào lộ trình làm mát bằng không khí cho GPU Instinct để nó phù hợp với nhiều máy chủ Dell PowerEdge hơn dành cho doanh nghiệp rộng lớn hơn”. “Không phải ai cũng áp dụng làm mát bằng chất lỏng trực tiếp.”

Hợp tác trong thị trường mở

Sự hợp tác của Dell với AMD trong năm nay đã mở rộng ra ngoài việc công bố sản phẩm chung. Vào tháng 6, hai công ty đã công bố hợp tác với Đại học Cambridge để thành lập Phòng thí nghiệm đổi mới AI có chủ quyền (SAIL) tại Vương quốc Anh.

Sự hợp tác này được thiết kế để giúp thúc đẩy thế hệ cơ sở hạ tầng AI tiếp theo và những đột phá khoa học do AI cung cấp. Nó được xây dựng trên cơ sở hạ tầng nghiên cứu AI mở rộng của Cambridge, bao gồm siêu máy tính Zenith AI, được hỗ trợ bởi bộ xử lý AMD EPYC thế hệ thứ năm và bộ tăng tốc GPU AMD Instinct MI355X được tích hợp vào cơ sở hạ tầng của Dell.

Dell và AMD cũng đã hợp tác trong những tháng gần đây trong một sáng kiến ​​viễn thông với AT&T Inc. Dữ liệu viễn thông là một bước tiến lớn khi nói đến AI, với việc AT&T đã xử lý hơn một nghìn tỷ mã thông báo để đào tạo các mô hình. AMD đã cung cấp nền tảng phần cứng hiệu suất cao cho cả khối lượng công việc đào tạo và suy luận liên quan đến các mô hình OTel 2.0 được phát triển thông qua sáng kiến ​​Open Telco AI.

Dell đã tích hợp công nghệ này với các máy chủ được tối ưu hóa bằng AI cho môi trường viễn thông để tạo nền tảng cấp sản xuất cho các nhà khai thác trên các môi trường mạng thực tế, sử dụng nhiều dữ liệu. Cơ sở hạ tầng đào tạo của OTel 2.0 sử dụng máy chủ PowerEdge XE9785 của Dell được cấu hình với tám GPU MI355X.

Liên minh giữa Dell và AMD nêu bật bước phát triển quan trọng trong thị trường cơ sở hạ tầng AI đang phát triển: Có rất nhiều cơ hội cạnh tranh. Cả Dell và AMD dường như đều cam kết xây dựng danh mục sản phẩm mang đến cho doanh nghiệp những lựa chọn về giải pháp xử lý AI.

Velllante nói: “AMD đã không giới thiệu các sản phẩm mới của mình… như một ‘sự thay thế đáng nể’. "Nó khẳng định sự dẫn đầu hoàn toàn về CPU, GPU, hiệu suất ở quy mô giá, dung lượng bộ nhớ, băng thông mạng và mã thông báo trên mỗi đô la. Nó mở rộng lập luận trên AI doanh nghiệp, robot, suy luận có độ trễ cực thấp và hệ sinh thái đối tác đang mở rộng nhanh chóng."

(* Tiết lộ: TheCUBE là đối tác truyền thông trả phí cho Sự kiện Nền tảng Dữ liệu AI của Dell. Cả Dell, nhà tài trợ đưa tin về sự kiện của theCUBE và các nhà tài trợ khác đều không có quyền kiểm soát biên tập đối với nội dung trên theCUBE hoặc SiliconANGLE.)

Ảnh: SiliconANGLE/ChatGPT

Lời nhắn từ John Furrier, đồng sáng lập SiliconANGLE:

Hãy ủng hộ sứ ​​mệnh của chúng tôi là giữ cho nội dung luôn mở và miễn phí bằng cách tương tác với cộng đồngCUBE. Tham gia Mạng lưới cựu sinh viên đáng tin cậy của theCUBE, nơi các nhà lãnh đạo công nghệ kết nối, chia sẻ thông tin và tạo ra cơ hội.

• Hơn 15 triệu người xem video theCUBE, hỗ trợ các cuộc trò chuyện trên AI, đám mây, an ninh mạng và hơn thế nữa
• 11,4k+ cựu sinh viên theCUBE — Kết nối với hơn 11.400 nhà lãnh đạo doanh nghiệp và công nghệ đang định hình tương lai thông qua mạng lưới dựa trên đáng tin cậy duy nhất

Bạn có phải là khách hàng của AWS không? Hỗ trợ tài chính cho SiliconANGLE bằng cách mua dịch vụ AWS của bạn từ trang và liên kết cổng thông tin Marketplace của chúng tôi: https://siliconangle.com/aws-marketplace/

Giới thiệu về SiliconANGLE Media

Được thành lập bởi những người có tầm nhìn xa về công nghệ John Furrier và Dave Vellante, SiliconANGLE Media đã xây dựng một hệ sinh thái năng động gồm các thương hiệu truyền thông kỹ thuật số hàng đầu trong ngành với hơn 15 triệu chuyên gia công nghệ ưu tú. TheCUBE AI Video Cloud độc quyền mới của chúng tôi đang tạo bước đột phá trong tương tác với khán giả, tận dụng mạng lưới thần kinh theCUBEai.com để giúp các công ty công nghệ đưa ra quyết định dựa trên dữ liệu và luôn dẫn đầu trong các cuộc hội thoại trong ngành.