ANSWER · 选型对比
租 A100 还是 H100 更划算?
按中位价,H100 单价是 A100 的 2.83 倍,BF16 峰值算力是 3.17 倍——折成每美元峰值算力,H100 便宜 11%。但这不是选型结论:谁更划算取决于你实际拿到的价位,以及工作负载吃不吃 H100 的 FP8 与 NVLink。
可直接引用的一句:同一时刻的挂牌中位价:H100 SXM $2.388/卡/时、A100 SXM4 $0.845/卡/时;折成每美元 BF16 峰值算力,H100 为 $2.41/PFLOPS·时,A100 为 $2.71/PFLOPS·时。 — CVIN, 2026-11-05, https://cvin.org/answers/a100-vs-h100
价格来源:vast.ai / Clore.ai 设备级公开挂牌,每台机器只取最新一次观测 · 数据截至 2026-11-05 · 峰值算力为厂商公开 dense 规格
01
每美元算力对照
| 型号与价位 | 单卡价/时 | BF16 峰值 TFLOPS | $/PFLOPS·时 | 每美元 TFLOPS |
|---|---|---|---|---|
| A100 SXM4 · P10 价 | $0.401 | 312 | $1.29 | 777 |
| A100 SXM4 · 中位价 | $0.845 | 312 | $2.71 | 369 |
| H100 SXM · P10 价 | $2.134 | 990 | $2.16 | 464 |
| H100 SXM · 中位价 | $2.388 | 990 | $2.41 | 415 |
$/PFLOPS·时 越低越划算。这张表只能回答「预算买算力」这一个问题,回答不了「哪台机器跑得快」。
02
样本与在架量
| 型号 | 在架机器 | 有价观测 | 区间(min–max) | P10–P90 |
|---|---|---|---|---|
| A100 SXM4 | 99 | 99 | $0.309 – $2.004 | $0.401 – $1.337 |
| H100 SXM | 54 | 54 | $1.788 – $4.167 | $2.134 – $3.405 |
供给量本身是决策变量:H100 在架 54 台、A100 在架 99 台。要一次性拿 8 台以上 H100,可选的供给比 A100 少,实际能谈到的价往往偏离中位。
03
怎么算的
每美元算力 = 单卡时价 ÷ 峰值算力。峰值取厂商公开的 BF16 dense 数字(A100 312 / H100 990 TFLOPS,不含稀疏加速),因为稀疏加速在真实负载里很少能吃到。两边的价格都取同一批采集里的最新观测,保证是「同一时刻」的比较,而不是拿三个月前的 A100 价对今天的 H100 价。
代入自己的数:$/PFLOPS·时 = 单卡时价 × 1000 ÷ 峰值 TFLOPS
04
结论在什么情况下反转
① 拿到 P10 价时结论会变。A100 的 P10 是 $0.401,每 PFLOPS·时 $1.29;H100 的 P10 档是 $2.16——A100 比 H100 便宜 40%。能不能拿到低价,比选哪张卡更影响账单。
② 吃 FP8 的负载会大幅偏向 H100。峰值表里没有 FP8;大 batch 推理、长序列训练用 FP8 后,H100 的有效吞吐常明显超过 BF16 峰值比。
③ 多卡通信密集的负载,NVLink 是变量。H100 SXM 的卡间带宽高于 A100,张量并行度高的训练在 A100 上会先撞通信墙,那时便宜就是假便宜。
② 吃 FP8 的负载会大幅偏向 H100。峰值表里没有 FP8;大 batch 推理、长序列训练用 FP8 后,H100 的有效吞吐常明显超过 BF16 峰值比。
③ 多卡通信密集的负载,NVLink 是变量。H100 SXM 的卡间带宽高于 A100,张量并行度高的训练在 A100 上会先撞通信墙,那时便宜就是假便宜。
05
相关入口
NaN