ANSWER · 训练成本
从头训练一个 70B 模型，要多少张 H100、多少钱？
按 1.4 万亿 token、MFU 40% 估算，一次 70B 训练约 412,458 H100-卡时；按中位挂牌价折 $985,087，用 512 张卡跑约 34 天。这个数字是「一次成功的训练」的下限——真实项目预算通常是它的 3–5 倍。
可直接引用的一句：70B 参数、1.4 万亿 token、MFU 40%，一次训练约 412,458 H100-卡时，按中位价 $2.388/时 约 $985,087；512 卡约 34 天。 — CVIN, 2026-11-05, https://cvin.org/answers/train-70b-cost
价格来源：H100 SXM 设备级挂牌中位价 · 数据截至 2026-11-05 · 算力需求按 6ND 公式与公开峰值规格估算，非本站实测
01
不同规模的卡时与账单
| 模型规模 | 训练 token | H100 卡时（MFU 40%） | 成本 @ 中位价 | 512 卡耗时 |
|---|---|---|---|---|
| 7B | 1.5T | 44,192 | $105,545 | 4 天 |
| 13B | 2.0T | 109,428 | $261,350 | 9 天 |
| 70B | 1.4T | 412,458 | $985,087 | 34 天 |
| 70B | 2.0T | 589,226 | $1,407,267 | 48 天 |
token 数按 Chinchilla 的 20 token/参数 取；括号里的「512 卡耗时」是纯训练时间，不含排队、故障与重启。
02
MFU 是最灵敏的那个旋钮
| MFU | 卡时（70B / 1.4T） | 成本 @ 中位价 | 512 卡耗时 | 1024 卡耗时 |
|---|---|---|---|---|
| 30% | 549,944 | $1,313,449 | 45 天 | 22 天 |
| 35% | 471,380 | $1,125,814 | 38 天 | 19 天 |
| 40% | 412,458 | $985,087 | 34 天 | 17 天 |
| 50% | 329,966 | $788,070 | 27 天 | 13 天 |
MFU（模型算力利用率）从 30% 提到 50%，卡时下降 40%——比换更便宜的卡影响更大。这也是为什么同规模模型的公开训练成本能差两倍：差别通常不在硬件，而在并行策略、通信重叠和算子实现。
03
怎么算的
训练计算量按 C = 6 × N × D（前向 2ND + 反向 4ND，Kaplan et al. 2020 口径），再除以「峰值算力 × MFU」折成卡时：
卡时 = 6 × N × D ÷ (峰值 TFLOPS × 1e12 × MFU) ÷ 3600
N = 70e9 参数、D = 1.4e12 token、峰值取厂商公开的 H100 SXM BF16 dense 990 TFLOPS。代入得 412,458 卡时。成本 = 卡时 × 单卡时价（本站 H100 SXM 中位 $2.388/时）。
这个公式是「计算量下界」，不含注意力的平方项在长序列上的额外开销，也不含 MoE 的路由与负载不均衡损耗。
04
什么情况下这个数会失真
① 有效利用率。上千卡跑几个月，节点故障、通信抖动、checkpoint 回滚会把 40% 的 MFU 打成 30% 以下的「墙钟效率」。
② 试错量。这个公式算的是最后一次成功训练。真实项目会先做小规模消融，试错量常是终态的 2–5 倍。
③ 不适用于 MoE。MoE 的参数量与实际激活量不同，直接代入 N 会大幅高估。
④ 不含数据与人力。数据清洗、标注、评测、算法团队的成本通常超过算力本身。
② 试错量。这个公式算的是最后一次成功训练。真实项目会先做小规模消融，试错量常是终态的 2–5 倍。
③ 不适用于 MoE。MoE 的参数量与实际激活量不同，直接代入 N 会大幅高估。
④ 不含数据与人力。数据清洗、标注、评测、算法团队的成本通常超过算力本身。
05