Những điểm chính của ZDNET

• Chuỗi tin nhắn của Anthropic giúp Claude Code phản hồi nhanh hơn một chút.
• Thử nghiệm của tôi cho thấy bạn có thể tiết kiệm từ 2 đến 4 phút cho mỗi phiên viết mã.
• Bạn nhận được phản hồi nhanh hơn nhưng không tiết kiệm được chi phí mã thông báo.

Ước tính tốc độ trong thế giới thực của tôi

Tính năng này được bật theo mặc định đối với hầu hết người dùng Claude Code. Người dùng API có thể bật tính năng này bằng cách sử dụng tham số “luồng” cho các yêu cầu API.

Mức tiêu thụ token không thay đổi nên khả năng này không giúp tiết kiệm chi phí. Mức tiết kiệm 35% là thước đo của Anthropic.

Xem thêm từ ZDNET

Dữ liệu thời gian từ khoảng 980 lượt trong nhật ký Mã Claude của riêng tôi trước khi tính năng này khả dụng cho thấy Claude thường bắt đầu phản hồi khoảng 3 giây sau mỗi yêu cầu giữa nhiệm vụ khi chạy bối cảnh từ 500.000 mã thông báo trở lên. Trong năm buổi tối bận rộn vào tháng trước, cuộc trò chuyện của tôi đã thực hiện khoảng 100 đến 225 cuộc gọi mẫu trong khoảng thời gian bốn giờ.

Bằng cách sử dụng mức giảm trung bình 35% thời gian tạo mã thông báo đầu tiên được báo cáo của Anthropic trong một phép chiếu nhanh, Claude ước tính mức tiết kiệm từ 2 đến 4 phút cho mỗi phiên làm việc bốn giờ.

Chuỗi tin nhắn giảm tải lên nhiều lần

Nhân viên thường gửi một loạt yêu cầu đến mô hình trong mỗi cuộc trò chuyện. Trước chuỗi tin nhắn, mỗi tin nhắn sẽ gửi toàn bộ cuộc trò chuyện kèm theo mỗi yêu cầu.

Hãy tưởng tượng nếu bạn đang trò chuyện nhắn tin rất dài với một người bạn. Bây giờ hãy tưởng tượng nếu mỗi lần bạn gửi tin nhắn cho người bạn đó, bạn cũng phải gửi mọi tin nhắn khác và mọi câu trả lời khác cùng với văn bản gốc đó. Đó là cách nhắn tin kiểu mẫu luôn hoạt động. Ngoại trừ bây giờ, với chuỗi tin nhắn, có một cách tốt hơn.

Khi chuỗi tin nhắn được bật, tổng đài viên chỉ phải gửi những gì đã thay đổi kể từ lượt cuối cùng. Điều này làm giảm lượng truyền dữ liệu và tăng khả năng phản hồi, cái mà Anthropic gọi là mã thông báo theo thời gian đầu tiên.

Lợi ích được thấy rõ nhất trong các phiên có bối cảnh từ 500.000 đến 1 triệu mã thông báo. Khoảng một nửa số phiên của tôi đạt đến mức trần bối cảnh đó nhiều lần trong một đêm.

Nó nhanh hơn bao nhiêu?

Anthropic báo cáo rằng chuỗi tin nhắn của Claude giảm 35% thời gian trung bình cho mã thông báo đầu tiên đối với các yêu cầu lớn. Mặc dù mức tiết kiệm ước tính của tôi là vài phút mỗi phiên không phải là lớn, nhưng lợi ích sẽ tăng lên nhờ các tác nhân mã hóa hoạt động rất lâu và các tác nhân truyền tài liệu và khối lượng công việc nặng về hình ảnh.

Theo bài đăng trên blog của Anthropic về tính năng này, đối với các tác nhân sử dụng máy tính, tất cả những ảnh chụp màn hình đó “vẫn tồn tại trong chuỗi thay vì được tải lên lại mỗi lần”.

Mặc dù mức tiết kiệm thời gian có vẻ không lớn nhưng trong các hoạt động triển khai hoặc triển khai doanh nghiệp lớn hơn mà bạn muốn AI phản hồi nhanh hơn, thì bất kỳ việc giảm độ trễ nào cũng là một vấn đề lớn và sẽ được thấy trong bất kỳ ứng dụng nào của công nghệ Claude có nhiều vòng quay qua lại với tải trọng dữ liệu lớn.

Nhanh hơn không có nghĩa là rẻ hơn hoặc đắt hơn

Mặc dù việc bổ sung các luồng vào API Tin nhắn có thể giảm độ trễ nhưng việc sử dụng mã thông báo và do đó chi phí sẽ không giảm. Đó là bởi vì bản thân mô hình vẫn sẽ xử lý toàn bộ cuộc trò chuyện trong mỗi lượt. Giới hạn tỷ lệ cũng không thay đổi.

Chuỗi tin nhắn và bộ nhớ đệm lời nhắc có thể phối hợp với nhau để giảm khối lượng công việc. Bộ nhớ đệm nhanh chóng đã tồn tại được khoảng hai năm và nó giúp tiết kiệm tiền. Đó là vì bộ nhớ đệm nhanh cho phép mô hình tránh phải xử lý lại nhiều lần các lời nhắc (ví dụ: trong các cuộc gọi phân tích lặp lại).

Mặt khác, khả năng xử lý chuỗi tin nhắn sẽ mang lại hiệu suất cao hơn mà không phải trả thêm phí. Vì vậy, có điều đó.

Nó cũng không làm Claude thông minh hơn

Bối cảnh là quy mô của phiên đầy đủ mà Claude hiện đang làm việc. Tương đương thô sơ của con người là trí nhớ làm việc hiện tại hoặc trí nhớ ngắn hạn. Hầu hết các phiên Mã Claude đều đạt tối đa bối cảnh một triệu mã thông báo, trong đó AI được lưu trữ cục bộ trên Mac Studio 128 GB của tôi xử lý bối cảnh không lớn hơn 64K hoặc khoảng 6% kích thước bối cảnh Mã Claude.

Nén là một quá trình trong đó AI cố gắng giảm bớt và loại bỏ thông tin bổ sung để phù hợp với các lượt của phiên hiện tại trong bối cảnh có sẵn. Một sự tương tự được đơn giản hóa quá mức là khi bạn lưu một ảnh JPEG với chất lượng bị giảm xuống để tiết kiệm dung lượng. Bạn mất đi nhiều độ trung thực về mặt hình ảnh, nhưng bạn vẫn nắm được ý chính.

Bối cảnh của bạn càng lớn thì bạn càng có thể mất nhiều thời gian hơn trước khi phiên bắt đầu nén. Nhưng có một vấn đề. Bối cảnh của bạn càng lớn thì càng có nhiều khả năng mô hình sẽ mất dấu những gì nó đang hoạt động hoặc mắc lỗi lý luận.

Các yêu cầu một lần riêng lẻ cũng sẽ không nhận thấy sự cải thiện từ chuỗi tin nhắn. Ngoài ra, bất kỳ cuộc trò chuyện nào trì hoãn lâu hơn 5 phút giữa các lượt sẽ gửi toàn bộ nội dung tin nhắn chứ không chỉ nội dung mới.

Tính năng này không loại bỏ việc quản lý hoặc nén ngữ cảnh. Nhưng nếu ngữ cảnh của bạn khá lớn, nó sẽ khiến phản hồi nhanh hơn một chút.

Tăng tốc độ nhỏ nhưng hữu ích

Nhìn chung, chuỗi tin nhắn là một điều tốt, một sự đổi mới chắc chắn dù nhỏ giúp tăng khả năng phản hồi. Mặc dù tính năng này không làm giảm chi phí nhưng cũng không phải trả thêm chi phí cho hiệu suất bổ sung, bản thân điều này đã là một chiến thắng.

Bạn có thể theo dõi thông tin cập nhật dự án hàng ngày của tôi trên mạng xã hội. Hãy nhớ đăng ký nhận bản tin cập nhật hàng tuần của tôi và theo dõi tôi trên Twitter/X tại @DavidGewirtz, trên Facebook tại Facebook.com/DavidGewirtz, trên Instagram tại Instagram.com/DavidGewirtz, trên Bluesky tại @DavidGewirtz.com và trên YouTube tại YouTube.com/DavidGewirtzTV.