How many H100s and how much money to train a 70B model?
At 1.4T tokens and 40% MFU, a 70B run needs about 412,458 H100 GPU-hours, roughly $985,087 at median asking prices, and about 34 days on 512 GPUs. That is the floor for one successful run; real project budgets run 3-5x higher.
Price: median device-level H100 SXM listing · as of 2026-11-05 · compute demand estimated with the 6ND formula and vendor peak specs, not measured here
GPU-hours and cost by model size
| 模型规模 | 训练 token | H100 卡时（MFU 40%） | 成本 @ 中位价 | 512 卡耗时 |
|---|---|---|---|---|
| 7B | 1.5T | 44,192 | $105,545 | 4 天 |
| 13B | 2.0T | 109,428 | $261,350 | 9 天 |
| 70B | 1.4T | 412,458 | $985,087 | 34 天 |
| 70B | 2.0T | 589,226 | $1,407,267 | 48 天 |
token 数按 Chinchilla 的 20 token/参数 取；括号里的「512 卡耗时」是纯训练时间，不含排队、故障与重启。
MFU is the most sensitive knob
| MFU | 卡时（70B / 1.4T） | 成本 @ 中位价 | 512 卡耗时 | 1024 卡耗时 |
|---|---|---|---|---|
| 30% | 549,944 | $1,313,449 | 45 天 | 22 天 |
| 35% | 471,380 | $1,125,814 | 38 天 | 19 天 |
| 40% | 412,458 | $985,087 | 34 天 | 17 天 |
| 50% | 329,966 | $788,070 | 27 天 | 13 天 |
MFU（模型算力利用率）从 30% 提到 50%，卡时下降 40%——比换更便宜的卡影响更大。这也是为什么同规模模型的公开训练成本能差两倍：差别通常不在硬件，而在并行策略、通信重叠和算子实现。
How it is computed
训练计算量按 C = 6 × N × D（前向 2ND + 反向 4ND，Kaplan et al. 2020 口径），再除以「峰值算力 × MFU」折成卡时：
卡时 = 6 × N × D ÷ (峰值 TFLOPS × 1e12 × MFU) ÷ 3600
N = 70e9 参数、D = 1.4e12 token、峰值取厂商公开的 H100 SXM BF16 dense 990 TFLOPS。代入得 412,458 卡时。成本 = 卡时 × 单卡时价（本站 H100 SXM 中位 $2.388/时）。
这个公式是「计算量下界」，不含注意力的平方项在长序列上的额外开销，也不含 MoE 的路由与负载不均衡损耗。
When this number misleads
② 试错量。这个公式算的是最后一次成功训练。真实项目会先做小规模消融，试错量常是终态的 2–5 倍。
③ 不适用于 MoE。MoE 的参数量与实际激活量不同，直接代入 N 会大幅高估。
④ 不含数据与人力。数据清洗、标注、评测、算法团队的成本通常超过算力本身。