Trong quá trình làm việc với các công cụ lập trình AI như Cursor, Claude Code hay Windsurf, một lượng lớn chi phí token và độ trễ phản hồi bị lãng phí do các câu lệnh tự nhiên chứa quá nhiều từ đệm rườm rà. Repository JuliusBrussee/caveman gây bão trên GitHub với ý tưởng độc đáo: "Tại sao phải dùng nhiều token khi ít token vẫn làm được việc?" (Why use many tokens when few do trick).

1. Cơ Chế Nén Cú Pháp Của Caveman Proxy

Caveman hoạt động như một lớp Proxy cục bộ (Local Reverse Proxy) đứng giữa IDE của bạn và API của nhà cung cấp LLM. Khi bạn gửi một yêu cầu lập trình dài dòng, Caveman sử dụng bộ phân tích AST và thuật toán nén ngữ nghĩa để:

• Lược bỏ các từ nối và cấu trúc ngữ pháp dư thừa nhưng giữ nguyên 100% định danh biến, tên hàm, kiểu dữ liệu và ràng buộc logic.
• Chuyển đổi các mô tả dài dòng thành phong cách súc tích ngắn gọn ("Caveman Style") mà các mô hình suy luận sâu như Claude 3.7 Sonnet hay Gemini 4.0 vẫn hiểu chính xác tuyệt đối.
• Giảm từ 50% đến 68% số lượng input tokens, giúp tăng tốc độ phản hồi lên gấp 2.5 lần và tiết kiệm hàng trăm USD chi phí API mỗi tháng.

2. Thử Nghiệm So Sánh Thực Tế

Phương pháp	Số Token Tiêu Thụ	Thời Gian Phản Hồi	Chất Lượng Code Sinh Ra
Prompt Tiêu Chuẩn	1.840 tokens	4.2 giây	Vượt qua 100% test case
Caveman Compressed	612 tokens (-66.7%)	1.5 giây	Vượt qua 100% test case

3. Kết Luận

Caveman là minh chứng cho thấy tư duy tối ưu hóa hiệu năng vi mô (Micro-optimization) trong lĩnh vực AI Engineering có thể mang lại lợi ích tài chính khổng lồ cho các nhóm phát triển phần mềm sử dụng AI cường độ cao.