Google ra mắt thư viện nguồn mở TPU Sync để tăng tốc truyền tải bộ nhớ đệm KV

Tóm lược nhanh
“Google Cloud đã phát hành TPU Sync, một thư viện C++ nguồn mở thiết kế nhằm giảm thiểu...”
Các điểm cốt lõi
- 1.Google Cloud đã phát hành thư viện C++ nguồn mở TPU Sync theo giấy phép Apache-2.0 nhằm di chuyển bộ nhớ đệm KV và trọng số mô hình trên Cloud TPU.
- 2.Thư viện này sử dụng kỹ thuật truyền dữ liệu trực tiếp bảo toàn cấu trúc qua DMA không đồng bộ, giúp giảm hơn 90% độ trễ truyền tải bộ nhớ đệm KV đối với các mô hình hỗn hợp chuyên gia có quy mô từ 235 tỷ đến 480 tỷ tham số.
- 3.Trong các bài kiểm tra nội bộ thực hiện vào tháng 7 năm 2026 trên dòng TPU v7x, thời gian truyền trung bình đối với mô hình Qwen3 235B đã giảm từ vài giây xuống còn khoảng 230 mili giây.
Google Cloud đã phát hành TPU Sync, một thư viện C++ nguồn mở thiết kế nhằm giảm thiểu nghẽn cổ chai khi di chuyển trạng thái mô hình trên Cloud TPU. Giải pháp này giúp cắt giảm đáng kể độ trễ truyền tải bộ nhớ đệm KV và cải thiện thời gian phản hồi token đầu tiên trong các thử nghiệm nội bộ.
Bối cảnh và chi tiết công nghệ
Google Cloud đã phát hành thư viện C++ nguồn mở TPU Sync theo giấy phép Apache-2.0 nhằm di chuyển bộ nhớ đệm KV và trọng số mô hình trên Cloud TPU.
Thư viện này sử dụng kỹ thuật truyền dữ liệu trực tiếp bảo toàn cấu trúc qua DMA không đồng bộ, giúp giảm hơn 90% độ trễ truyền tải bộ nhớ đệm KV đối với các mô hình hỗn hợp chuyên gia có quy mô từ 235 tỷ đến 480 tỷ tham số.
Trong các bài kiểm tra nội bộ thực hiện vào tháng 7 năm 2026 trên dòng TPU v7x, thời gian truyền trung bình đối với mô hình Qwen3 235B đã giảm từ vài giây xuống còn khoảng 230 mili giây.
Đánh giá tác động và góc nhìn chuyên môn
Việc loại bỏ quá trình biên dịch XLA và việc sử dụng bộ đệm trung gian trong đường dẫn dữ liệu giúp các tác vụ truyền tải trạng thái hoạt động độc lập với biểu đồ tính toán chính, hạn chế tình trạng nghẽn phần cứng.
Khả năng tích hợp sâu với các framework như vLLM và SGLang thông qua các giao diện chuyên dụng mở ra tiềm năng ứng dụng rộng rãi cho các kiến trúc phục vụ suy luận phân tách.
Xu hướng tiếp theo và điều cần theo dõi
Hiệu năng thực tế và độ ổn định của TPU Sync khi triển khai ngoài môi trường phòng thí nghiệm vẫn chưa được kiểm chứng đầy đủ trong các hệ thống sản xuất quy mô lớn.
Các số liệu đánh giá cho tác vụ học tăng cường hiện chưa được công bố chi tiết.







