ANSWER · SELECTION
A100 or H100: which is cheaper per unit of compute?
At medians H100 costs 2.83x what A100 costs and delivers 3.17x the BF16 peak — 11% cheaper for H100 per unit of peak compute. That is not a selection answer: it depends on the price you can get and on whether your workload actually uses FP8 and NVLink.
Quote this: Simultaneous median asking prices: H100 SXM $2.388/GPU/h, A100 SXM4 $0.845/GPU/h. Per dollar of BF16 peak: $2.41/PFLOPS-hour for H100 vs $2.71 for A100. — CVIN, 2026-11-05, https://cvin.org/en/answers/a100-vs-h100
Prices: device-level listings on vast.ai / Clore.ai, latest per machine · as of 2026-11-05 · peak FLOPS are vendor dense specs
01
Compute per dollar
| 型号与价位 | 单卡价/时 | BF16 峰值 TFLOPS | $/PFLOPS·时 | 每美元 TFLOPS |
|---|---|---|---|---|
| A100 SXM4 · P10 | $0.401 | 312 | $1.29 | 777 |
| A100 SXM4 · median | $0.845 | 312 | $2.71 | 369 |
| H100 SXM · P10 | $2.134 | 990 | $2.16 | 464 |
| H100 SXM · median | $2.388 | 990 | $2.41 | 415 |
$/PFLOPS·时 越低越划算。这张表只能回答「预算买算力」这一个问题，回答不了「哪台机器跑得快」。
02
Sample and supply
| 型号 | 在架机器 | 有价观测 | 区间（min–max） | P10–P90 |
|---|---|---|---|---|
| A100 SXM4 | 99 | 99 | $0.309 – $2.004 | $0.401 – $1.337 |
| H100 SXM | 54 | 54 | $1.788 – $4.167 | $2.134 – $3.405 |
供给量本身是决策变量：H100 在架 54 台、A100 在架 99 台。要一次性拿 8 台以上 H100，可选的供给比 A100 少，实际能谈到的价往往偏离中位。
03
How it is computed
每美元算力 = 单卡时价 ÷ 峰值算力。峰值取厂商公开的 BF16 dense 数字（A100 312 / H100 990 TFLOPS，不含稀疏加速），因为稀疏加速在真实负载里很少能吃到。两边的价格都取同一批采集里的最新观测，保证是「同一时刻」的比较，而不是拿三个月前的 A100 价对今天的 H100 价。
代入自己的数：$/PFLOPS·时 = 单卡时价 × 1000 ÷ 峰值 TFLOPS
04
When the conclusion inverts
① 拿到 P10 价时结论会变。A100 的 P10 是 $0.401，每 PFLOPS·时 $1.29；H100 的 P10 档是 $2.16——A100 比 H100 便宜 40%。能不能拿到低价，比选哪张卡更影响账单。
② 吃 FP8 的负载会大幅偏向 H100。峰值表里没有 FP8；大 batch 推理、长序列训练用 FP8 后，H100 的有效吞吐常明显超过 BF16 峰值比。
③ 多卡通信密集的负载，NVLink 是变量。H100 SXM 的卡间带宽高于 A100，张量并行度高的训练在 A100 上会先撞通信墙，那时便宜就是假便宜。
② 吃 FP8 的负载会大幅偏向 H100。峰值表里没有 FP8；大 batch 推理、长序列训练用 FP8 后，H100 的有效吞吐常明显超过 BF16 峰值比。
③ 多卡通信密集的负载，NVLink 是变量。H100 SXM 的卡间带宽高于 A100，张量并行度高的训练在 A100 上会先撞通信墙，那时便宜就是假便宜。
05
Related
NaN