AssemblyAI tối ưu hóa chi phí xử lý giọng nói trên AWS nhờ máy chủ Spot

Tóm lược nhanh
“Công ty xây dựng hạ tầng nhận diện giọng nói AssemblyAI đã cắt giảm được 70 phần trăm chi...”
Các điểm cốt lõi
- 1.Hệ thống kết hợp máy chủ Spot và máy chủ theo nhu cầu trên dịch vụ Amazon ECS để chạy hàng nghìn phiên bản GPU phục vụ các mô hình chuyển đổi giọng nói.
- 2.Kiến trúc tận dụng nhiều dòng máy chủ GPU khác nhau gồm g4dn, g5 và g6 để mở rộng nguồn cung cấp dung lượng và giảm thiểu tỷ lệ gián đoạn.
- 3.Cơ chế hàng đợi Amazon SQS và hàm xử lý sự kiện giúp tự động hoàn trả các tác vụ đang chạy về hàng đợi khi máy chủ Spot bị thu hồi.
- 4.Giải pháp này giúp doanh nghiệp tiết kiệm 70 phần trăm chi phí điện toán so với việc chỉ sử dụng các máy chủ chạy theo nhu cầu thông thường.
Công ty xây dựng hạ tầng nhận diện giọng nói AssemblyAI đã cắt giảm được 70 phần trăm chi phí tính toán nhờ kết hợp máy chủ ảo dung lượng Spot của Amazon với bộ điều phối ECS.
Bối cảnh và chi tiết công nghệ
Hệ thống kết hợp máy chủ Spot và máy chủ theo nhu cầu trên dịch vụ Amazon ECS để chạy hàng nghìn phiên bản GPU phục vụ các mô hình chuyển đổi giọng nói.
Kiến trúc tận dụng nhiều dòng máy chủ GPU khác nhau gồm g4dn, g5 và g6 để mở rộng nguồn cung cấp dung lượng và giảm thiểu tỷ lệ gián đoạn.
Cơ chế hàng đợi Amazon SQS và hàm xử lý sự kiện giúp tự động hoàn trả các tác vụ đang chạy về hàng đợi khi máy chủ Spot bị thu hồi.
Giải pháp này giúp doanh nghiệp tiết kiệm 70 phần trăm chi phí điện toán so với việc chỉ sử dụng các máy chủ chạy theo nhu cầu thông thường.
Đánh giá tác động và góc nhìn chuyên môn
Việc phân tán rủi ro qua nhiều dòng máy chủ đồ họa khác nhau giúp hệ thống duy trì độ ổn định ngay cả khi một dòng linh kiện gặp áp lực về nguồn cung.
Mô hình tách biệt giữa quá trình tiếp nhận yêu cầu và quá trình xử lý thực tế tạo nền tảng vững chắc để ứng phó với việc bị thu hồi máy chủ đột xuất.
Xu hướng tiếp theo và điều cần theo dõi
Tài liệu chưa cung cấp chi tiết về tỷ lệ phần trăm cụ thể các tác vụ phải chuyển vào hàng đợi thư rác khi gặp sự cố cạn kiệt lượt thử lại.
Thời gian xử lý trung bình của từng tệp âm thanh cụ thể trong điều kiện tải cao chưa được nêu rõ chi tiết.







