别只盯峰值算力：深度学习GPU的工作负载匹配法

GPU参数表看上去给了很多答案，实际上只给出了硬件边界。两张卡即使峰值算力接近，也可能因为显存类型、带宽、功耗、互联或软件支持不同，在同一模型上呈现完全不同的速度和成本。与其问“哪张卡最强”，不如先问工作负载是训练还是推理、模型能否放下、目标是低时延还是高吞吐、单机还是集群，以及机房能承受多少电力和散热。

先用一张任务画像裁掉不相关型号

历史参数汇总常按显存不低于24GB、架构代际或计算能力设置筛选线，这适合快速排除过旧设备，却不能替代项目需求。小型推理模型可能在较低功耗的L4上获得更好能效，大模型微调可能更看重80GB级容量，图形与AI混合工作则可能需要工作站驱动与显示能力。统一门槛只是索引，不是采购结论。

数据中心卡、消费卡与工作站卡不是同一道题

A100、H100、H200等数据中心产品通常围绕持续负载、较大显存、高速互联和机架部署设计；RTX 4090、5090一类消费产品提供很高的本地计算能力，却要额外考虑散热形态、长时间负载、显存容量、远程管理和多卡拓扑；RTX 6000、A6000等工作站产品则处在专业驱动、较大显存与图形工作流之间。系列名称反映使用环境，不能只按每元峰值排序。

开发阶段使用消费卡并不意味着生产环境也应照搬。桌面机箱中的两张厚卡可能受到槽位和风道限制，电源瞬态负载也需要余量；机架服务器则要检查厂商认证、被动散热风道和供电连接。反过来，单人实验若不需要多机互联和高可用，直接购买昂贵的数据中心方案也可能浪费预算。

显存容量先决定“能不能跑”

1. 记录模型加载后的静态占用，不把模型文件大小等同于运行显存。
2. 逐步增加批量或序列长度，观察激活值和推理缓存的增长曲线。
3. 为框架临时张量、显存碎片和突发请求预留安全余量。
4. 若必须跨卡，先估算切分带来的通信量，再讨论卡数。

容量不足可以通过量化、检查点、梯度累积或参数切分缓解，但这些办法会改变计算、通信或精度。它们应当作为测试方案记录，而不是一句“支持大模型”带过。A100的40GB与80GB版本、H100的不同显存配置、L40的48GB、L4的24GB，以及消费级高端卡的24GB或32GB，所适合的边界并不相同。

峰值FLOPS必须带着精度和稀疏条件阅读

FP32、TF32、FP16、BF16、FP8、INT8乃至更低精度对应不同硬件路径，也对应不同训练稳定性和推理质量。表中某个特别醒目的数字，可能只在低精度、稀疏结构或特定矩阵形状下成立。若项目仍依赖FP32算子，直接拿低精度张量核心峰值估算工期会非常乐观。

正确做法是先固定可接受的数值方案，再选择对应指标。训练任务应比较收敛速度和最终质量，而不是单步速度；推理量化要用代表性样本校准，并对关键业务指标做回归。算子没有走到加速路径时，还要查看内核形状、数据布局和框架版本，而不是马上断定硬件性能不足。

带宽与互联解释了多卡扩展为何不线性

大模型执行会在计算与数据搬运之间切换。参数读取密集的算子可能受显存带宽限制，计算密集的矩阵乘才更容易接近计算峰值。H200相对同代产品强调更大、更快的显存，L系列偏向推理与图形场景，正说明单一算力数字无法覆盖所有负载。

多卡时还要区分卡内显存带宽、卡间互联、主机总线和跨节点网络。数据并行主要交换梯度，张量并行会更频繁地交换中间结果，流水线并行则受阶段平衡和气泡影响。没有高速互联的卡也能组成多卡系统，但可扩展效率可能很快下降。基准测试应依次记录一张、两张、单机满配与跨节点结果，并计算每增加一张卡带来的实际吞吐。

如果八张卡只得到五张卡的有效吞吐，剩余预算买到的不是算力，而是通信等待、同步气泡和更大的故障面。

功耗曲线要和利用率曲线放在一起

标称最大功率用于供电设计，却不能单独代表能效。低并发推理服务可能长时间处于中低利用率，训练集群则可能持续满载。应在空闲、典型负载和峰值三个区间记录整机功耗，同时统计每秒样本、每秒令牌或每次任务耗时。把主机CPU、内存、风扇和制冷排除在外，会低估真实运营成本。

高端消费卡的功耗和热密度会直接影响机箱布局；数据中心卡则依赖服务器风道。持续压测至少要覆盖热稳定后的阶段，观察频率、温度、纠错事件和掉卡。短跑基准很漂亮但长任务降频的配置，不适合把数小时训练外推到数周项目。

用固定实验包完成候选淘汰赛

• 冻结驱动、CUDA、框架、模型版本和数据样本，保证结果可以复跑。
• 同时报告延迟分位数、吞吐、峰值显存、功耗与错误率，避免单指标取胜。
• 加入热身与长稳阶段，区分编译缓存、短时加速和持续性能。
• 记录失败配置与原因，防止团队在下一轮重复踩同一条边界。
• 正式采购前重新核对当期规格、供货、保修和服务器兼容清单。

最终短名单通常不会只有一个冠军，而会形成几种角色：开发验证卡、单机训练卡、低功耗推理卡和集群训练卡。每种角色使用不同权重评分，才不会让峰值算力压过容量、可靠性和维护成本。硬件更新很快，方法应比型号表寿命更长；只要实验输入和判断口径保持稳定，新卡加入后就能在同一赛道上比较。

选GPU的终点不是得到一张更长的参数表，而是获得一份可解释的工作负载证据。先通过容量判断能否运行，再通过精度与内核判断能否发挥，接着用互联和能耗判断能否扩展，最后用长稳测试判断能否交付。按这个顺序，数字越多反而越不容易迷路。