Self-Hosting DeepSeek-R2 Full Weights on Local Workstations with Ollama and llama.cpp
Source:AIINEWS Editorial Board•Ban biên tập AIINEWS
21 October, 2026•1 min read
Executive Briefing
Synthesized and verified with editorial-team
“Run DeepSeek-R2 4-bit GGUF via llama.cpp on a 24GB VRAM GPU at 35 tokens/sec locally.”
DeepSeek-R2 là một trong những bước đột phá lớn nhất về mô hình suy luận tăng cường (Reinforcement Learning Reasoning). Bài viết này hướng dẫn bạn cách tải bộ trọng số GGUF, cấu hình llama.cpp với offload GPU tối ưu và kết nối với Ollama để phục vụ tác vụ nội bộ.
1. Tải Bộ Trọng Số GGUF
Truy cập HuggingFace và tải bản định dạng Q4_K_M tối ưu nhất cho card đồ họa RTX 4090 hoặc RTX 3090.
ollama run deepseek-r2:latest2. Tinh chỉnh Context Window và GPU Offload
Cấu hình số layer offload lên VRAM tối đa để đạt tốc độ suy luận 35 token/giây.
AIINEWS Editorial Publication
Researched, authored and curated exclusively by the AIINEWS Editorial Team. All rights reserved.
Share this intelligence report:
