AIINEWS

AIINEWS

Báo cáo chuyên sâu về Trí tuệ nhân tạo và Công nghệ toàn cầu

Google ra mắt thư viện nguồn mở TPU Sync để tăng tốc truyền tải bộ nhớ đệm KV

Ban biên tập AIINEWS•git-repos
14 tháng 11, 2026•2 phút đọc
Google ra mắt thư viện nguồn mở TPU Sync để tăng tốc truyền tải bộ nhớ đệm KV

Tóm lược nhanh

“Google Cloud đã phát hành TPU Sync, một thư viện C++ nguồn mở thiết kế nhằm giảm thiểu...”

Các điểm cốt lõi

  • 1.Google Cloud đã phát hành thư viện C++ nguồn mở TPU Sync theo giấy phép Apache-2.0 nhằm di chuyển bộ nhớ đệm KV và trọng số mô hình trên Cloud TPU.
  • 2.Thư viện này sử dụng kỹ thuật truyền dữ liệu trực tiếp bảo toàn cấu trúc qua DMA không đồng bộ, giúp giảm hơn 90% độ trễ truyền tải bộ nhớ đệm KV đối với các mô hình hỗn hợp chuyên gia có quy mô từ 235 tỷ đến 480 tỷ tham số.
  • 3.Trong các bài kiểm tra nội bộ thực hiện vào tháng 7 năm 2026 trên dòng TPU v7x, thời gian truyền trung bình đối với mô hình Qwen3 235B đã giảm từ vài giây xuống còn khoảng 230 mili giây.

Google Cloud đã phát hành TPU Sync, một thư viện C++ nguồn mở thiết kế nhằm giảm thiểu nghẽn cổ chai khi di chuyển trạng thái mô hình trên Cloud TPU. Giải pháp này giúp cắt giảm đáng kể độ trễ truyền tải bộ nhớ đệm KV và cải thiện thời gian phản hồi token đầu tiên trong các thử nghiệm nội bộ.

Bối cảnh và chi tiết công nghệ

Google Cloud đã phát hành thư viện C++ nguồn mở TPU Sync theo giấy phép Apache-2.0 nhằm di chuyển bộ nhớ đệm KV và trọng số mô hình trên Cloud TPU.

Thư viện này sử dụng kỹ thuật truyền dữ liệu trực tiếp bảo toàn cấu trúc qua DMA không đồng bộ, giúp giảm hơn 90% độ trễ truyền tải bộ nhớ đệm KV đối với các mô hình hỗn hợp chuyên gia có quy mô từ 235 tỷ đến 480 tỷ tham số.

Trong các bài kiểm tra nội bộ thực hiện vào tháng 7 năm 2026 trên dòng TPU v7x, thời gian truyền trung bình đối với mô hình Qwen3 235B đã giảm từ vài giây xuống còn khoảng 230 mili giây.

Đánh giá tác động và góc nhìn chuyên môn

Việc loại bỏ quá trình biên dịch XLA và việc sử dụng bộ đệm trung gian trong đường dẫn dữ liệu giúp các tác vụ truyền tải trạng thái hoạt động độc lập với biểu đồ tính toán chính, hạn chế tình trạng nghẽn phần cứng.

Khả năng tích hợp sâu với các framework như vLLM và SGLang thông qua các giao diện chuyên dụng mở ra tiềm năng ứng dụng rộng rãi cho các kiến trúc phục vụ suy luận phân tách.

Xu hướng tiếp theo và điều cần theo dõi

Hiệu năng thực tế và độ ổn định của TPU Sync khi triển khai ngoài môi trường phòng thí nghiệm vẫn chưa được kiểm chứng đầy đủ trong các hệ thống sản xuất quy mô lớn.

Các số liệu đánh giá cho tác vụ học tăng cường hiện chưa được công bố chi tiết.

Bản quyền nội dung và biên tập thuộc về Ban biên tập AIINEWS
Chia sẻ bài phân tích này:
Góc nhìn mở rộng & Đột phá công nghệ

Các phân tích & Tiêu điểm liên quan

Hiển thị 8 bài phân tích tuyển chọn
Viện Trí tuệ Nhân tạo MBZUAI ra mắt mô hình thế giới PAN 2
Trí tuệ nhân tạo1 ngày trước

Viện Trí tuệ Nhân tạo MBZUAI ra mắt mô hình thế giới PAN 2

Viện Trí tuệ Nhân tạo thuộc Đại học MBZUAI vừa phát hành PAN 2, một mô hình thế giới mã nguồn mở với 29 tỷ tham số nhằm hỗ trợ tác vụ AI vật lý. Hệ thống này kết hợp bộ lập lịch ngôn ngữ lớn với mô hình khuếch tán để mô phỏng các chuỗi hành động phức tạp thành video.

2 phút đọc5,027
Alibaba ra mắt mô hình ngôn ngữ lớn Qwen4-Max với kiến trúc huấn luyện tối ưu
Mô hình & Đột phá AIkhoảng 7 giờ trước

Alibaba ra mắt mô hình ngôn ngữ lớn Qwen4-Max với kiến trúc huấn luyện tối ưu

Alibaba vừa chính thức giới thiệu Qwen4-Max, mô hình ngôn ngữ lớn mạnh mẽ nhất của hãng với tổng số tham số lên tới 2.4 nghìn tỷ nhưng chỉ kích hoạt 71 tỷ tham số tại mỗi thời điểm hoạt động. Nền tảng này tích hợp các cải tiến chuyên sâu về cơ chế chú ý và quy trình huấn luyện giúp giảm đáng kể chi phí vận hành.

2 phút đọc2,441
Google Maps trên CarPlay có Gemini dẫn đường, hỏi đáp và chuyển đổi trình bày bằng giọng nói
Trí tuệ nhân tạo26 ngày trước

Google Maps trên CarPlay có Gemini dẫn đường, hỏi đáp và chuyển đổi trình bày bằng giọng nói

Theo Android Authority, người lái xe có thể hỗ trợ Gemini tìm kiếm một lộ trình khác, tìm lượng đổ hoặc mẹo dừng mới trên đường đi. Muốn ăn món ăn gì đó, người dùng chỉ cần nói ra và Gemini sẽ tìm kiếm các đường dọc. Gemini cũng cho phép báo cáo sự cố gắng giao thông như tai nạn ...

1 phút đọc8,438
Cộng đồng mã nguồn mở vận động đưa Jensen Huang trở lại Nvidia
Lãnh đạo & Nhân vật AIkhoảng 11 giờ trước

Cộng đồng mã nguồn mở vận động đưa Jensen Huang trở lại Nvidia

Một bản kiến nghị trực tuyến đang thu hút hàng chục nghìn chữ ký từ các nhà đầu tư và lãnh đạo công nghệ nhằm đưa Jensen Huang trở lại vị trí CEO Nvidia. Giới mã nguồn mở xem ông là tiếng nói trọng yếu trong việc bảo vệ các mô hình trí tuệ nhân tạo mở trước các nhà hoạch định chính sách.

3 phút đọc3,114
Mark Zuckerberg đồng ý ở lại California bất chấp biện pháp bỏ phiếu thuế của các tỷ phú
Công nghệ toàn cảnh26 ngày trước

Mark Zuckerberg đồng ý ở lại California bất chấp biện pháp bỏ phiếu thuế của các tỷ phú

Giám đốc điều hành Meta Mark Zuckerberg đã đồng ý tiếp tục sống ở Thung lũng Silicon trong 8 năm, có khả năng phải chịu hàng tỷ đô la tiền thuế một lần nếu cử tri California chấp thuận biện pháp bỏ phiếu gây tranh cãi vào tháng tới, theo hồ sơ quy định của công ty công bố hôm thứ...

2 phút đọc8,217
0sec Labs phát hành khung bảo mật trí tuệ nhân tạo nguồn mở

0sec Labs phát hành khung bảo mật trí tuệ nhân tạo nguồn mở

Công ty khởi nghiệp 0sec Labs vừa phát hành 0, một khung bảo mật trí tuệ nhân tạo mã nguồn mở tích hợp giao diện web, dòng lệnh và máy chủ Model Context Protocol. Công cụ này cho phép lập trình viên tự động hóa kiểm thử xâm nhập, rà soát mã nguồn và phân tích nhị phân bằng các mô hình ngôn ngữ tự chọn.

2 phút đọc7,315
Google ra mắt thư viện nguồn mở TPU Sync để tăng tốc truyền tải bộ... | AIINEWS