Amazon SageMaker AI ra mắt tính năng định tuyến suy luận đa vùng

Tóm lược nhanh
“Amazon SageMaker AI vừa giới thiệu tính năng định tuyến suy luận đa vùng, cho phép ứng dụng...”
Ý chính
- 1.Hệ thống sử dụng tài nguyên bộ định tuyến suy luận mới để ưu tiên xử lý yêu cầu tại khu vực cục bộ và tự động chuyển hướng khi điểm đích gặp lỗi.
- 2.Bộ định tuyến đánh giá sức khỏe của từng điểm đích thông qua các yêu cầu gần đây và phân loại thành trạng thái khỏe mạnh, quá tải hoặc suy giảm.
- 3.Tính năng này được cung cấp miễn phí cước định tuyến, trong khi người dùng vẫn chi trả chi phí chuẩn cho các điểm cuối và thành phần suy luận.
Amazon SageMaker AI vừa giới thiệu tính năng định tuyến suy luận đa vùng, cho phép ứng dụng gọi một điểm duy nhất để chuyển hướng yêu cầu khi một khu vực gặp sự cố thiếu hụt GPU. Giải pháp tự động điều phối lưu lượng giữa các điểm cuối và thành phần suy luận mà không yêu cầu thay đổi cấu hình gốc.
Chi tiết sản phẩm & Tính năng nổi bật
Hệ thống sử dụng tài nguyên bộ định tuyến suy luận mới để ưu tiên xử lý yêu cầu tại khu vực cục bộ và tự động chuyển hướng khi điểm đích gặp lỗi.
Bộ định tuyến đánh giá sức khỏe của từng điểm đích thông qua các yêu cầu gần đây và phân loại thành trạng thái khỏe mạnh, quá tải hoặc suy giảm.
Tính năng này được cung cấp miễn phí cước định tuyến, trong khi người dùng vẫn chi trả chi phí chuẩn cho các điểm cuối và thành phần suy luận.
Đánh giá thực tế & Góc nhìn chuyên môn
Việc tích hợp bộ định tuyến tập trung giúp loại bỏ mã nguồn tùy chỉnh phức tạp vốn trước đây do các nhóm kỹ thuật tự xây dựng để xử lý chuyển vùng thủ công.
Cơ chế kiểm soát hạn mức lưu lượng chéo vùng giúp bảo vệ các điểm cuối tiếp nhận khỏi tình trạng quá tải do lượng truy cập tràn từ khu vực khác đổ về.
Giá bán, thời điểm ra mắt & Điều cần theo dõi
Hiệu năng thực tế và độ trễ mạng phát sinh khi định tuyến yêu cầu giữa các khu vực địa lý có khoảng cách xa chưa được thử nghiệm chi tiết ngoài các kịch bản mẫu.
Mức độ tiêu thụ tài nguyên bổ sung của các dịch vụ giám sát CloudWatch khi bật toàn bộ nhật ký sự kiện dữ liệu chưa được định lượng cụ thể.







