What does an 8-GPU H100 server cost for a month?
Across 54 real H100 listings as of 2026-11-05, the median is $2.388/GPU/hour. Eight GPUs running flat out for a month (730 hours) costs about $13,948, or $167,374 a year. The same eight cards range from $12,463 to $19,887 a month between the 10th and 90th percentile — choosing the platform saves more than negotiating.
Prices: device-level public listings on vast.ai / Clore.ai, latest observation per machine · as of 2026-11-05 · same caliber as /v1/market/models
Monthly bill by GPU count
| 配置 | 整机时价 | 月（730h） | 年（8760h） | P10–P90 月区间 |
|---|---|---|---|---|
| 1× H100 SXM | $2.39 | $1,743 | $20,922 | $1,558 – $2,486 |
| 2× H100 SXM | $4.78 | $3,487 | $41,844 | $3,116 – $4,972 |
| 4× H100 SXM | $9.55 | $6,974 | $83,687 | $6,231 – $9,944 |
| 8× H100 SXM | $19.11 | $13,948 | $167,374 | $12,463 – $19,887 |
730 = 365 × 24，按连续占用算，不扣停机；8760 = 365 × 24。真实账单通常低于此数，因为多数团队不会跑满。
Platform spread
| 平台 | 在架机器 | 单卡中位 | 8 卡月账单 | 主要地区 |
|---|---|---|---|---|
| vast.ai | 54 | $2.389 | $13,951 | Japan, JP · Taiwan, TW · Thailand, TH · California, US |
同一型号跨平台的价格差，本质是「谁在卖自己的机器、谁在转租别人的机器」——转租要加价，所以同一台机器在两个平台看到两个价是正常的，本文取的都是各自平台自己的挂牌。
How the number is computed
| 步骤 | 做法 |
|---|---|
| 取数 | 拉取 H100 SXM 的全部设备级挂牌（当前 54 台机器 / 54 条有价观测） |
| 归一 | 整机价 ÷ 卡数，得到「单卡/小时」——不归一就会把 8 卡整机当成一张卡的 8 倍价 |
| 去重 | 每台机器只保留最新一次观测；同一台机器反复调价不重复计入 |
| 统计 | 取中位数（不用均值：少数 $40/h 的离群挂牌会把均值整体拉高） |
| 外推 | 月 = 单卡价 × 卡数 × 730；年 = × 8760 |
代入自己的数：月成本 = 单卡时价 × 卡数 × 730。单卡时价在 $2.134–$3.405 之间都算正常，超出这个区间要么是特殊配置，要么是被加价转租。
Where this flips: three caveats
② 挂牌价不是成交价。大客户长期包机会有折扣，本站看不到也不猜折扣；看到的是公开挂牌这一层。
③ 不含存储与出网。模型权重、数据集、结果回传的存储与流量在多数平台单独计费，价格不含这部分。
At a similar decision point, compare H200: H200 medians $3.685/GPU/h across 63 machines, about $21,519 a month for eight.