大模型的参数量、量化、显存占用是什么关系？
魔当实验室 · 2026年10月
本文是"AI技术科普"系列第三篇。上一篇分清了工具各在哪一层，这一篇讲装完之后最先撞上的那堵墙：为什么有的模型秒开，有的要么报错、要么一秒钟只蹦两个字。文中所有数字都是当前社区与厂商公开口径下的量级参考（2026 年 10 月查询），不是保证值；具体以你自己的机器实测为准。
先记住一个公式
网上关于"我这机器能跑多大的模型"的说法很多，但真正有用的起手式只有一行：
模型体积 ≈ 参数量 × 每个参数占的字节数
参数量就是模型里有多少个可以调整的数字，写作 7B、14B、32B，B 是十亿。一个参数存成一个数，用的精度越高，占的字节就越多：原始精度（FP16、BF16）是 2 个字节，INT8 是 1 个字节，4 bit 量化是 0.5 个字节。
所以一个 8B 的模型，按这个公式算下来是：原始精度约 16 GB、8 bit 约 8 GB、4 bit 约 4 GB。魔当实验室想强调这个公式只用来做量级判断，因为真实的量化文件不会精确等于理论值——量化不单纯把每个数字砍短，还要额外存一组缩放信息，所以实际体积总是比理论值大一些：一个 7B 模型 4 bit 档的理论值是 3.5 GB，社区里常见的实测文件在 4.2 到 4.6 GB 之间。按理论值配机器，就是在给自己挖坑。
量化：同一个模型的几档压缩
这是最容易误解的一点。Q4、Q5、Q8 不是三个不同的模型，是同一个模型的几种压缩程度。 逻辑和你保存照片时选原图、高清、标清是一回事。
| 常见档位 | 大致每参数占用 | 质量与体积的取舍 |
|---|---|---|
| FP16 / BF16（不压缩） | 2 字节 | 原始质量，本地一般只有大内存机器才这么用 |
| Q8_0 | 约 1 字节 | 质量几乎无损，体积减半，适合显存有余量时 |
| Q5_K_M / Q6_K | 0.6–0.75 字节 | 比 Q4 再好一点，代价是体积再大一截 |
| Q4_K_M | 约 0.6 倍参数量（GB） | 社区公认的甜点档：体积、速度、质量三者最平衡 |
| Q3 及以下 | 0.4 字节以下 | 体积省了，质量下降开始明显，指令跟随容易跑偏 |
三条实践结论：
第一，Q4 档是绝大多数人的起点。 上面这些档位名（Q4_K_M、Q8_0 这些）来自 GGUF 这个文件格式——它是本地跑开源模型最常见的一种模型文件封装，你在下载页面看到后缀是 .gguf 的文件，就是在给这类工具准备的。名字里带 K_M 的分组量化是目前本地最常用的形式，同一档里 Q4_K_M 与 Q4_K_S 的差别是体积与质量的微调，普通用户按"装得下就选更高的档"来决定就行。
第二，压得太狠，省下的显存会从别处收回去。 位宽越低，模型在长链条推理、复杂指令遵循上的失分越明显。与其把一个 32B 的 Q3 模型跑到"什么都答不对"，不如换一个 14B 的 Q4——参数量带来的能力差距，量化通常补不回来。
第三，2026 年这一格还在往下探。 2 bit 这档最近被打开，社区里出现过把 8 GB 级的模型压到 4 GB 左右的实测，但要注意它的边界：目前走得通的，主要是专门按 2 bit 设计的模型家族，而不是把任意模型砍成 2 bit 都一样好用。低位量化仍在快速变化，看到"某某模型 2 bit 也能打"这类结论时，先确认它说的是不是同一件事。
装得下，和跑得动，是两件事
模型文件是要放进显存（显卡自己的内存）里才能算的。装不下会怎样？多数工具不会直接失败，而是把一部分层留在电脑内存里，需要时再搬——这一步是很多人"跑起来了但慢得离谱"的全部原因。
社区里有一组流传很广的对照实测，同一张 24 GB 显卡跑同一个 32B 模型：全部放进显存，大约每秒 40 个 token；把 20% 的层挪到内存，掉到每秒 3.8 个；全部走内存，每秒 1.6 个。差别不是百分之几十，是一个量级。 原因很直白：生成每一个字都要走一遍所有层，只要有一部分留在慢的那条管道上，整条链路就只能等最慢的那一段。
所以魔当实验室想纠正一个直觉："差一点就装下"这种情况并不存在。 模型加上下文要么整体进显存，要么就按内存的速度慢慢磨，中间没有折中档位。为了省一点显存把层卸到内存，几乎总是因小失大。
顺带解释为什么苹果电脑在这件事上常常表现意外地好：它的显存和内存本来就是同一池水（统一内存），不存在"搬上搬下"，剩下的问题只变成容量够不够、带宽跟不跟得上。这也是为什么大统一内存的机器会被拿来做本地大模型——不是它比独立显卡快，而是它够装。
真正的大头常常是上下文
很多人算显存只算权重，然后在启动时看到占用比文件大小高出一截而困惑：模型文件才 5 GB，怎么跑起来吃掉十几 GB？
因为还有第二个消耗项——KV 缓存。模型在生成时会把前文算出的中间结果存一份，避免每个字都从头重算；你给它多少上下文空间，它就要预留多少地方。这一项随上下文长度线性增长，也随对话越来越长而不断上涨。
几个可以直接用的量级：
- 短上下文（2–4K）、一个人用：预留 1–2 GB 就够。
- 同一个模型，上下文从 4K 拉到 32K，这部分开销大致翻 8 倍。
- 长文档问答、把整本 PDF 喂进去、以及让 AI 反复读一堆文件的工作流（智能体就是典型），上下文一上来，KV 缓存很容易吃掉几个 GB。
一个足够用的估算式：所需显存 ≈ 权重 × 1.1~1.2 ＋ KV 缓存 ＋ 半 GB 到 1 GB 的系统开销。
这也直接解释了另一个常见误解：页面上写着"支持 128K 上下文"，不等于你的机器能同时装下 128K 上下文。厂商说的是模型能力上限，你要算的是你这台机器的余量。上下文长度在多数本地工具里是可以调的，先把它压到你真正需要的长度，是省显存最便宜的一招——比抠量化档位省得多。
参数量也会骗人：MoE 是怎么回事
近两年出现的另一件事，让"参数量 → 体积"这条线没那么直了。
有一类模型叫 MoE（混合专家）：它的总参数量很大，但算每一个字时只动用其中一小部分。社区和厂商常见的说法是"总参数 120B、激活参数 12B"这种写法——意思是它装起来像个 120B 的大家伙，算起来更像一台 12B 的机器。结论有两条：
- 速度上它讨便宜：每个字真正要乘算的量小，所以在同样的硬件上往往比同总参数量的普通模型更快。
- 容量上不讨便宜：全部权重仍然要装得下，省不下来。看到"某某超大模型，普通电脑也能跑"的宣传时，先分清它说的是激活参数还是总参数。
一张对照表：不同机器落在哪个舒适区
下表是 2026 年 10 月的社区与厂商公开口径下的量级参考，按 Q4 档、单个人使用、上下文不贪长这个前提估的。真实结果受模型结构、显卡带宽、驱动版本影响很大，请先当起点，不要当承诺。
| 你机器上的可用显存 / 统一内存 | 舒适区 | 勉强区 | 建议别碰 |
|---|---|---|---|
| 8 GB（轻薄本、入门独显） | 3–4B 的 Q4/Q5，短对话 | 7–8B 的 Q4，一拉长上下文就吃力 | 14B 以上 |
| 16 GB | 7–8B 的 Q4/Q5，日常够用 | 14B 的 Q4，上下文要压住 | 32B |
| 24 GB（常见 4090 / 3090 一档） | 14B 宽裕、32B 的 Q4 可用 | 70B 需要多卡 | 70B 单卡 |
| 32–48 GB（双卡、大统一内存） | 32B 宽裕、70B 的 Q4 跑得动 | 更大规模的稠密模型 | — |
| 64 GB 以上（大统一内存机器） | 70B 的 Q4 可用，还能留余量给上下文 | 上百 B 的稠密模型 | — |
两条读表提示："能装下"这一列要减去 1–2 GB 才接近你真正可用的余量（系统和 KV 缓存要占）；MoE 类模型不按总参数量查这张表，先看它的总权重有多大。选模型时，如果你手上已经有一款能跑的，先用它试水，记下实际占用和速度，再按比例往上一档推——这比看任何表格都准。
三条少踩坑的经验
- 先按能力选参数量，再按余量选量化档。 顺序反了就会出现"为了塞进 16 GB 而压到一个谁都不好用的档位"。想要更强的能力，正确路径是换更大的模型，而不是在同一模型上换量化。
- 别把上下文拉满。 大多数人的实际对话只有几千字，把上下文设成需要的长度，省下的空间比换一档量化多得多。
- 溢出到内存不是"慢一点"，是慢一个量级。 宁可换小一档的模型，也不要留一条"跑是能跑，就是每秒两个字"的路给自己走。
最后说一个魔当实验室想强调的判断：本地跑模型这件事的难度，过去三年一直在往下掉——量化的档位更细了、2 bit 这类极端压缩开始可用、大统一内存的机器把"装不下"这个老问题绕了过去。但有一件事没变：卡住普通人的从来不是算力，是环境。同一个模型，在一个配置好的机器上是秒开，在另一个上要重装依赖、换驱动、调上下文才能跑起来。市面上已经有一些把常见模型的原版、量化版和加速版收在一起、做"一键安装、开箱即用"的方案，这类工具真正的价值就在这儿：它替你把上面这些换算做完了，你只需要回答"我想试试哪个"。
至于具体该选哪个模型来做你的毕业设计或者项目，《大学生AI毕业设计，有哪些本地可跑的开源模型》里按方向整理了一份清单，可以和这一篇对着看。