训练卡采购先算这五本账：昇腾平台的参数阅读法

面对一张列满型号和峰值算力的昇腾硬件表，最危险的做法是先找最大的数字，再用预算倒推采购数量。AI任务的速度往往同时受显存容量、内存带宽、互联、数据预处理、算子支持和并发策略约束；其中任何一环没有匹配，纸面算力都可能闲置。更可靠的阅读顺序，是先写清工作负载，再依次核对容量账、吞吐账、通信账、功耗账和软件账。

参数表回答“硬件具有什么上限”，压测回答“你的模型在当前软件栈里能得到多少”。二者缺一不可。

第一本账从显存容量开始，而不是从TOPS开始

训练任务的显存不只存模型权重，还要容纳梯度、优化器状态、激活值、临时张量以及通信缓冲区。推理任务也不只是权重，还会随着批量、序列长度和并发请求增长出缓存。选卡前应在目标框架中做一次峰值采样，分别记录空载、单请求、目标批量和极端输入下的占用，再预留运行时碎片和版本升级空间。

同一系列中，32GB、64GB或更大容量并不意味着性能按比例增长，但会直接决定模型能否单卡放下、是否需要切分，以及多卡通信发生多频繁。若模型刚好卡在容量边缘，宁可降低批量做稳定性验证，也不要用“理论可装下”替代长期运行测试。频繁内存溢出后的重启成本，往往高于采购时节省的那一点预算。

第二本账区分计算精度与业务精度

硬件表可能同时给出FP32、FP16、BF16、INT8乃至更低位宽的峰值指标。它们不能横向直接比较，因为模型是否能使用某种精度，取决于算子、量化方案和可接受的精度损失。训练通常更关心混合精度下的稳定性，推理则可以通过校准或量化换取吞吐，但必须用真实数据集重新评估召回率、生成质量或业务错误率。

因此，选型文档中每个算力数字都应带上精度条件和稀疏条件。若宣传值依赖结构化稀疏，而模型无法满足对应模式，就应使用非稀疏口径估算。对数据中心训练卡与310P一类推理卡也要分开建模：前者强调大模型训练、混合精度与集群扩展，后者更适合在功耗和成本受限的推理场景中比较每瓦吞吐。

第三本账用带宽解释“算力没有吃满”

某些算子需要反复搬运大量参数，计算量却不高，此时瓶颈更接近显存带宽；另一些矩阵运算有较高计算密度，才更容易逼近计算单元上限。不能仅凭模型参数量判断，应结合性能分析工具观察计算单元占用、内存吞吐、算子等待和主机到设备的数据传输。若加速卡长时间等待数据，再高的峰值也无法兑现。

数据管道同样属于这本账。图片解码、文本分词、远端存储读取或小文件随机访问都可能让设备空转。压测时要把“纯模型吞吐”和“端到端吞吐”分开记录：前者定位模型内核，后者反映真实业务。只有两组数据都稳定，才适合拿来比较不同型号。

第四本账在多卡之前先画通信拓扑

模型一旦跨卡，互联带宽与拓扑会影响梯度同步、参数切分和流水线气泡。板间高速互联、节点内总线、节点间网络属于不同层级，不能用一个“互联带宽”数字概括。采购前应明确计划采用数据并行、张量并行还是流水线并行，并按照最常发生的通信路径安排卡、节点和网络。

单卡基准不能简单乘以卡数。建议从一张卡开始，逐步扩展到两张、单机满配和两节点，记录每一步的扩展效率。效率下降时先判断是通信、负载不均还是数据输入限制，再决定继续加卡是否经济。大型集群还要评估故障域：某张卡或某个节点退出后，作业能否恢复，检查点保存是否占用过多共享存储带宽。

功耗不是板卡上的一个静态数字

最大功率用于供电和散热规划，但机房成本还包括CPU、内存、网卡、风扇、电源转换损耗以及制冷。机柜能放下多少卡，常由供电密度和散热能力决定，而不是物理槽位。实验室里能短时跑通的配置，也可能在夏季高温或长时间满载下发生降频。

评估时可同时记录每秒样本、每秒令牌、任务完成时间和整机功耗，计算每瓦吞吐与单次任务能耗。推理服务还要加入低负载曲线，因为线上请求并不总能保持高批量；若为了峰值吞吐而牺牲空闲能效，全年电力成本可能反而更高。

第五本账由软件兼容性决定可交付日期

硬件到位不等于项目可运行。需要提前核对操作系统、驱动、固件、运行时、框架版本和关键算子的兼容矩阵，并在冻结环境中保存安装清单。自定义算子、第三方库、量化工具和分布式训练组件要分别做冒烟测试。迁移工作量应进入采购决策，而不是等设备入场后才发现模型只能部分运行。

对于型号繁多的昇腾平台，最实用的做法是建立候选短名单，而不是维护一张无限增长的总表。训练候选可围绕容量、混合精度和集群能力筛选，推理候选则围绕目标时延、并发、功耗和部署形态筛选。表中的发布日期、路线图信息和缺失单元格都可能变化，正式采购前必须回到当期官方资料与供应商配置单核验。

用三轮测试把参数表变成采购结论

1. 功能轮：确认模型可加载、关键算子可执行、精度结果在允许范围内。
2. 容量轮：逐步增加批量、序列长度或并发，找到稳定边界而非崩溃边界。
3. 性能轮：在固定数据集与固定软件版本下比较端到端吞吐、时延、能耗和扩展效率。

最终报告应保留原始日志、环境版本、参数配置和失败样本，任何“更快”都要注明基线与条件。若两种卡的性能接近，就把交付周期、维护能力、故障替换和团队熟悉度纳入结论。算力采购不是一次数字竞赛，而是让模型、软件、网络和机房在整个生命周期内共同达到可预测的服务水平。

当五本账都能用测试数据回答时，型号选择通常会自然收敛；如果仍然只剩峰值算力可比较，说明需求还没有被描述清楚。先补齐工作负载证据，再谈具体卡型，远比在表格里寻找一个“通用最优解”可靠。