AIINEWS

AIINEWS

Báo cáo chuyên sâu về Trí tuệ nhân tạo và Công nghệ toàn cầu

Cách Amazon Bedrock cắt giảm chi phí token và độ trễ cho tác nhân AI xử lý JSON

Ban biên tập AIINEWS•ai-guides
18 tháng 11, 2026•2 phút đọc
Cách Amazon Bedrock cắt giảm chi phí token và độ trễ cho tác nhân AI xử lý JSON

Tóm lược nhanh

“Đội ngũ phát triển tại AWS áp dụng ba chiến lược kết hợp để giảm 71% lượng token và hạ 80%...”

Ý chính

  • 1.Đội ngũ phát triển đã xây dựng tác nhân tối ưu hóa lịch trình huấn luyện phi hành đoàn sử dụng hơn 40 công cụ để xác minh phân công theo quy tắc nghiệp vụ.
  • 2.Ba chiến lược tối ưu bao gồm lưu trữ trạng thái phiên bản gọn nhẹ cùng hiện vật lớn trên Amazon S3, phân trang kết quả danh sách theo nhu cầu, và nén các từ điển có kích thước lớn.
  • 3.Trong các bài kiểm tra chuẩn với tập dữ liệu mẫu 23 megabyte, các phương pháp này đã giảm tổng lượng token tiêu thụ khoảng 71% và cắt giảm độ trễ trung bình tới 80%.

Đội ngũ phát triển tại AWS áp dụng ba chiến lược kết hợp để giảm 71% lượng token và hạ 80% độ trễ cho một tác nhân AI quản lý lịch trình bay trên nền tảng Amazon Bedrock AgentCore. Giải pháp này giúp hệ thống xử lý các tệp dữ liệu JSON lớn mà không làm phình to ngữ cảnh của mô hình ngôn ngữ lớn.

Thông tin trọng tâm & Diễn biến chính

Đội ngũ phát triển đã xây dựng tác nhân tối ưu hóa lịch trình huấn luyện phi hành đoàn sử dụng hơn 40 công cụ để xác minh phân công theo quy tắc nghiệp vụ.

Ba chiến lược tối ưu bao gồm lưu trữ trạng thái phiên bản gọn nhẹ cùng hiện vật lớn trên Amazon S3, phân trang kết quả danh sách theo nhu cầu, và nén các từ điển có kích thước lớn.

Trong các bài kiểm tra chuẩn với tập dữ liệu mẫu 23 megabyte, các phương pháp này đã giảm tổng lượng token tiêu thụ khoảng 71% và cắt giảm độ trễ trung bình tới 80%.

Phân tích chuyên sâu & Tác động

Việc sử dụng mã hóa băm nội dung SHA-256 giúp lưu trữ hiện vật trên S3 theo dạng bất biến, cho phép hệ thống tái sử dụng các tệp JSON giống hệt nhau mà không cần tải lên lại nhiều lần.

Bằng cách chuyển các tải trọng lớn ra khỏi ngữ cảnh hội thoại và chỉ truyền tóm tắt kèm định danh truy xuất, tác nhân AI duy trì được khả năng suy luận trong các phiên làm việc kéo dài mà không gặp tình trạng tràn cửa sổ ngữ cảnh.

Triển vọng & Các yếu tố cần theo dõi

Hiệu quả thực tế của ba chiến lược này khi áp dụng cho các mô hình ngôn ngữ lớn ngoài hệ sinh thái Amazon Bedrock chưa được làm rõ trong tài liệu.

Chi phí phát sinh từ các yêu cầu đọc ghi liên tục trên Amazon S3 và quản lý bộ nhớ đệm phụ trợ chưa được phân tích chi tiết về mặt kinh tế.

Bài viết được thẩm định, biên tập và xuất bản độc lập bởi Ban biên tập AIINEWS
Đã kiểm chứng 3 lớp
Tiêu chuẩn biên tập
Chia sẻ bài phân tích này:
Góc nhìn mở rộng & Đột phá công nghệ

Các phân tích & Tiêu điểm liên quan

Hiển thị 8 bài phân tích tuyển chọn
Google đưa khả năng điều khiển máy tính lên ứng dụng Gemini trên macOS

Google đưa khả năng điều khiển máy tính lên ứng dụng Gemini trên macOS

Google vừa trang bị tính năng điều khiển máy tính cho ứng dụng Gemini trên hệ điều hành macOS để tự động thực hiện các thao tác trên ứng dụng và duyệt web. Công nghệ này giúp hệ thống xử lý các quy trình phức tạp, đồng thời cho phép người dùng theo dõi qua bản xem trước trực tiếp.

2 phút đọc327
Jensen Huang từ chức CEO Nvidia sau các bê bối quan hệ cá nhân
Lãnh đạo & Nhân vật AIkhoảng 8 giờ trước

Jensen Huang từ chức CEO Nvidia sau các bê bối quan hệ cá nhân

Cựu giám đốc điều hành Nvidia Jensen Huang đã từ chức sau khi thừa nhận có quan hệ ngoài luồng liên quan đến một cá nhân bị nghi ngờ là gián điệp Trung Quốc. Sự việc này đã châm ngòi cho các cuộc điều tra từ quốc hội Mỹ và buộc tập đoàn công nghệ này phải bổ nhiệm ban lãnh đạo tạm thời.

2 phút đọc2,591
Satya Nadella nhận định tác nhân trí tuệ nhân tạo làm thay đổi nền kinh tế mạng

Satya Nadella nhận định tác nhân trí tuệ nhân tạo làm thay đổi nền kinh tế mạng

Giám đốc điều hành Microsoft Satya Nadella cho rằng sự phát triển của các tác nhân trí tuệ nhân tạo sẽ làm thay đổi mô hình kinh doanh trực tuyến hiện tại. Sự chuyển dịch này có thể ảnh hưởng lớn đến các doanh nghiệp dựa vào lưu lượng truy cập từ con người và doanh thu quảng cáo.

2 phút đọc5,625
Mastercard tăng cường bảo mật dữ liệu cho các tác nhân AI trong môi trường đám mây

Mastercard tăng cường bảo mật dữ liệu cho các tác nhân AI trong môi trường đám mây

Các kỹ sư tại Mastercard đang triển khai điện toán bảo mật để bảo vệ dữ liệu trong quá trình xử lý bởi các tác nhân AI trên nền tảng Kubernetes. Phương pháp này giải quyết lỗ hổng bảo mật khi dữ liệu không còn được bảo vệ bởi các biện pháp mã hóa truyền thống lúc đang được sử dụng.

2 phút đọc4,174
Bảy nhà sáng lập Anthropic dự kiến thu về 250 triệu USD mỗi người trong đợt phát hành cổ phiếu công khai
Kinh doanh9 ngày trước

Bảy nhà sáng lập Anthropic dự kiến thu về 250 triệu USD mỗi người trong đợt phát hành cổ phiếu công khai

Hồ sơ S-1 mới đây tiết lộ bảy nhà sáng lập Anthropic chuẩn bị bán hơn 3,3 triệu cổ phiếu mỗi người trong đợt phát hành cổ phiếu lần đầu ra công chúng. Thương vụ này có thể mang về cho mỗi lãnh đạo khoảng 250 triệu USD dựa trên mức giá trung bình.

2 phút đọc8,708
Starburst ra mắt Context Studio để cung cấp định nghĩa dữ liệu đồng nhất cho trợ lý trí tuệ nhân tạo
Trí tuệ nhân tạokhoảng 22 giờ trước

Starburst ra mắt Context Studio để cung cấp định nghĩa dữ liệu đồng nhất cho trợ lý trí tuệ nhân tạo

Công ty Starburst Data giới thiệu tính năng Context Studio nhằm mục đích hợp nhất các định nghĩa kinh doanh phân tán từ nhiều hệ thống, giúp các trợ lý trí tuệ nhân tạo hạn chế sai sót do thông tin mâu thuẫn. Nền tảng hiện đang trong giai đoạn thử nghiệm riêng tư trước khi phát hành rộng rãi hơn.

2 phút đọc4,077