Gemma 2 9B Instruct 显存需求测算器

Google 架构设计,每层参数密度大,小体积下推理性强,KV Cache 头维度为 256。

大语言模型开发方: Google
推荐显卡: RTX 3060 12GB / RTX 4060 Ti 16GB
12 GB

8,192 tokens
预估所需总显存
9.38GB
显存负载比例78% (9.38 / 12 GB)
显存组成明细
模型权重5.46 GB
KV Cache2.63 GB
CUDA 运行时1.3 GB
验证通过,可流畅运行
+2.6 GB 剩余缓冲空间充足,推理过程稳定。