DeepSeek-R1-Distill-Qwen-32B 显存需求测算器

高阶蒸馏模型,推理能力逼近顶级闭源模型,单张 24G 显卡 Q4 量化下的主力选择。

大语言模型开发方: DeepSeek
推荐显卡: RTX 3090 24GB / RTX 4090 24GB
12 GB

16,384 tokens
预估所需总显存
24.5GB
显存负载比例100% (24.5 / 12 GB)
显存组成明细
模型权重19.2 GB
KV Cache4 GB
CUDA 运行时1.3 GB
⚠️ 显存不足 (CUDA OOM 警告)
+12.5 GB 超出显存上限,加载或推理时将直接报错中断。