AWS chia sẻ cách gom nhật ký Amazon Bedrock để theo dõi token trên nhiều tài khoản

Tóm lược nhanh
“AWS công bố một thiết kế mẫu giúp tập hợp nhật ký các lần gọi mô hình Amazon Bedrock từ...”
Các điểm cốt lõi
- 1.AWS cho biết đã xây dựng hồ dữ liệu tập trung cho nhật ký gọi mô hình Bedrock và cung cấp mẫu CloudFormation, mã Lambda cùng truy vấn SQL trong kho mã mẫu.
- 2.Theo thiết kế của AWS, các tài khoản nguồn chuyển tiếp nhật ký qua CloudWatch đến tài khoản trung tâm. Tại đó, dữ liệu đi qua Amazon Data Firehose và được đưa vào một bảng để truy vấn bằng Athena.
- 3.Khi tính năng ghi nhật ký được bật, Bedrock có thể lưu mô hình được gọi, tài khoản, danh tính IAM, số token đầu vào và đầu ra, cùng nội dung yêu cầu và phản hồi.
- 4.Việc triển khai các mẫu hạ tầng chưa tự bật ghi nhật ký. AWS hướng dẫn kích hoạt thiết lập này riêng trong từng tài khoản nguồn.
- 5.AWS nêu khả năng kết hợp dữ liệu đã xử lý với Báo cáo chi phí và sử dụng của AWS để xem chi tiêu theo ngày. Ví dụ truy vấn của hãng dùng ARN của danh tính IAM làm khóa nối.
AWS công bố một thiết kế mẫu giúp tập hợp nhật ký các lần gọi mô hình Amazon Bedrock từ nhiều tài khoản để truy vấn tại một nơi. Thiết kế này cho phép các nhóm xem lượng token và nội dung từng lần gọi, nhưng cần được triển khai và bật ghi nhật ký trong từng tài khoản nguồn.
Bối cảnh và chi tiết công nghệ
AWS cho biết đã xây dựng hồ dữ liệu tập trung cho nhật ký gọi mô hình Bedrock và cung cấp mẫu CloudFormation, mã Lambda cùng truy vấn SQL trong kho mã mẫu.
Theo thiết kế của AWS, các tài khoản nguồn chuyển tiếp nhật ký qua CloudWatch đến tài khoản trung tâm. Tại đó, dữ liệu đi qua Amazon Data Firehose và được đưa vào một bảng để truy vấn bằng Athena.
Khi tính năng ghi nhật ký được bật, Bedrock có thể lưu mô hình được gọi, tài khoản, danh tính IAM, số token đầu vào và đầu ra, cùng nội dung yêu cầu và phản hồi.
Việc triển khai các mẫu hạ tầng chưa tự bật ghi nhật ký. AWS hướng dẫn kích hoạt thiết lập này riêng trong từng tài khoản nguồn.
AWS nêu khả năng kết hợp dữ liệu đã xử lý với Báo cáo chi phí và sử dụng của AWS để xem chi tiêu theo ngày. Ví dụ truy vấn của hãng dùng ARN của danh tính IAM làm khóa nối.
Đánh giá tác động và góc nhìn chuyên môn
Việc đặt số token cạnh mô hình, tài khoản và nội dung yêu cầu có thể giúp nhóm vận hành tìm các lời nhắc tốn nhiều token để xem xét lại. Tuy nhiên, số token tự nó không cho biết một phản hồi có hữu ích hay không.
Tập trung toàn bộ lời nhắc và phản hồi cũng tạo ra một kho dữ liệu nhạy cảm. AWS cho biết mẫu thiết kế mã hóa dữ liệu lưu trữ và kiểm soát quyền truy cập bằng IAM, đồng thời cảnh báo lời nhắc có thể chứa thông tin cá nhân.
Xu hướng tiếp theo và điều cần theo dõi
Tài liệu được cung cấp không nêu chi phí vận hành hoặc hiệu năng của hồ dữ liệu khi áp dụng ở quy mô lớn.
Tài liệu cũng chưa làm rõ mức độ chính xác của việc quy chi phí cho từng lần gọi khi kết hợp nhật ký với báo cáo chi phí.







