Salesforce triển khai định tuyến suy luận xuyên vùng trên Amazon SageMaker AI

Tóm lược nhanh
“Salesforce ứng dụng hệ thống định tuyến suy luận xuyên vùng mới của Amazon SageMaker AI để...”
Ý chính
- 1.Đội ngũ Agentforce Foundation tại Salesforce phục vụ các mô hình tự phát triển và mã nguồn mở cho nhiều sản phẩm trên hơn 30 khu vực toàn cầu và hàng trăm tài khoản AWS.
- 2.Bộ định tuyến suy luận hoạt động như một tài nguyên khu vực trong tài khoản, cho phép các ứng dụng gọi một điểm cuối duy nhất và tự động chuyển hướng yêu cầu sang các điểm cuối khỏe mạnh ở vùng hoặc tài khoản khác khi vùng cục bộ gặp sự cố.
- 3.Trong quá trình thử nghiệm chuyển đổi dự phòng khi vùng cục bộ bị bão hòa, bộ định tuyến bắt đầu chuyển hướng lưu lượng sang vùng khác khoảng hai phút sau khi các lỗi xuất hiện, đạt khoảng 78% lưu lượng thăm dò tại vùng từ xa mà không gây ra lỗi nào.
Salesforce ứng dụng hệ thống định tuyến suy luận xuyên vùng mới của Amazon SageMaker AI để phân phối tải mô hình trên hơn 30 khu vực toàn cầu. Giải pháp này giúp quản lý tình trạng thiếu hụt năng lực xử lý một cách tự động mà vẫn duy trì các cam kết về lưu trữ dữ liệu.
Thông tin trọng tâm & Diễn biến chính
Đội ngũ Agentforce Foundation tại Salesforce phục vụ các mô hình tự phát triển và mã nguồn mở cho nhiều sản phẩm trên hơn 30 khu vực toàn cầu và hàng trăm tài khoản AWS.
Bộ định tuyến suy luận hoạt động như một tài nguyên khu vực trong tài khoản, cho phép các ứng dụng gọi một điểm cuối duy nhất và tự động chuyển hướng yêu cầu sang các điểm cuối khỏe mạnh ở vùng hoặc tài khoản khác khi vùng cục bộ gặp sự cố.
Trong quá trình thử nghiệm chuyển đổi dự phòng khi vùng cục bộ bị bão hòa, bộ định tuyến bắt đầu chuyển hướng lưu lượng sang vùng khác khoảng hai phút sau khi các lỗi xuất hiện, đạt khoảng 78% lưu lượng thăm dò tại vùng từ xa mà không gây ra lỗi nào.
Phân tích chuyên sâu & Tác động
Việc chuyển từ bộ định tuyến cổng nội bộ tự xây dựng sang dịch vụ quản lý trên SageMaker AI giúp giảm bớt gánh nặng vận hành thủ công như tự viết logic kiểm tra sức khỏe và chuyển đổi vùng. Cơ chế này tách biệt hoàn toàn các yêu cầu bắt buộc giữ lại dữ liệu tại chỗ, đảm bảo tuân thủ quy định pháp lý.
Hệ thống phản hồi lại độ trễ thực tế và trạng thái lỗi thay vì chỉ dựa vào độ trễ cao hay các tín hiệu đơn lẻ. Điều này ngăn chặn tình trạng chuyển đổi vùng không cần thiết khi phản hồi chậm xuất phát từ văn bản đầu vào dài thay vì sự cố hạ tầng.
Triển vọng & Các yếu tố cần theo dõi
Bài viết chưa đề cập đến hiệu năng cụ thể và chi tiết về hành vi của hệ thống khi duy trì trạng thái quá tải tại vùng cục bộ trong thời gian dài hơn.







