ANSWER · 微调成本
微调一个 7B 模型要花多少钱？
以 1,000 万 token 训练集、LoRA 单卡 A100 为例，约 1.85 卡时，按中位价折 $1.57；全参微调也只要 $18。QLoRA 在单张 4090 上并不更便宜（$2.12，比 LoRA 贵 36%）——量化带来的降速吃掉了消费卡的单价优势，选它的理由通常是显存只有 24G，不是省钱。单次微调的算力成本低到可以忽略，真正贵的是你试的那二十次。
可直接引用的一句：7B 模型 LoRA 微调（1,000 万 token）约 1.85 卡时，按 A100 中位价 $0.845/时 约 $1.57；全参微调（8×H100）约 $17.69。 — CVIN, 2026-11-05, https://cvin.org/answers/finetune-7b-cost
价格来源：A100 SXM4 / H100 SXM / RTX 4090 设备级挂牌中位价 · 数据截至 2026-11-05 · 吞吐与显存需求为公开基准假设
01
三种做法，三种账单
| 做法 | 显存 | 吞吐假设 | 时长 | 卡时 | 成本 | 说明 |
|---|---|---|---|---|---|---|
| QLoRA · 1× RTX 4090 24G | 24 GB | 600 tok/s | 4.63 h | 4.6 | $2.12 | 4-bit 量化，显存最省 |
| LoRA · 1× A100 80G | 80 GB | 1,500 tok/s | 1.85 h | 1.9 | $1.57 | 常见配置 |
| 全参微调 · 8× H100 | 8 × 80 GB | 3,000 tok/s | 0.93 h | 7.4 | $17.69 | 保守吞吐取值 |
统一按 1,000 万 token 训练集、单轮训练计；卡时 = 时长 × 卡数。吞吐取保守值，实际用 FlashAttention / packing 通常更快，账单会更低。
02
真正花钱的地方是迭代
| 实验轮数 | LoRA 算力成本 | 累计占比说明 |
|---|---|---|
| 1 轮 | $1.57 | 一次跑通 |
| 20 轮 | $31 | 调学习率 / 数据配比 / epoch 的常见量级 |
| 50 轮 | $78 | 要追指标时的量级 |
把这张表和第一张对比：50 轮 LoRA 的钱，仍然低于一次全参微调乘 3 轮。这就是实践里的正确顺序——先用 LoRA 把数据与评测打磨到收敛，再决定要不要上全参。
03
怎么算的
卡时 = 训练 token 数 ÷ 每秒 token 数 ÷ 3600 × 卡数；成本 = 卡时 × 单卡时价
显存需求按「权重 + 优化器状态 + 激活」估算：7B 的 bf16 权重约 14GB，全参训练要存梯度与 Adam 状态，单卡需要 80GB 以上；LoRA 只训练低秩旁路，单张 80G 足够；QLoRA 4-bit 量化后 24G 就能跑。
04
边界
① 不含数据。标注、清洗、构造指令对通常比算力贵一到两个数量级。
② 不含评测与部署。推理服务要另算（见「70B 推理成本」那一页的口径）。
③ 长上下文会让成本非线性上升。序列长度翻倍，注意力开销按平方增长，本页按常规 2–4k 上下文估算。
② 不含评测与部署。推理服务要另算（见「70B 推理成本」那一页的口径）。
③ 长上下文会让成本非线性上升。序列长度翻倍，注意力开销按平方增长，本页按常规 2–4k 上下文估算。
05