加速卡利用率低的排查与优化，重点不是一味提高频率，而是找出计算链路中哪一段在等待。训练任务可能在等数据，推理服务可能受小批量请求限制，也可能是任务本身太短，监控采样看起来忽高忽低。先同时观察利用率、吞吐量、显存占用和任务耗时，再按下面五项设置逐一调整。
先判断空转发生在哪一段
记录同一任务连续数分钟的利用率曲线，并统计每秒处理的样本数或请求数。若利用率低、显存占用也低，优先查批量大小与任务并发；若显存占用较高但吞吐没有增加，可能受内存容量或访问效率限制。若曲线周期性跌落，则应检查数据准备、文件读取和主机到加速卡的数据传输。
监控工具的采样周期、卡型和任务粒度都会影响读数。短于采样间隔的计算任务，可能在统计中显示为低利用率，因此不要仅凭单个瞬时百分比下结论。加速卡利用率低的排查与优化，应以稳定运行窗口中的吞吐和延迟变化作为判断依据。
五项设置，按瓶颈选择
1. 调整批处理大小：先找吞吐与延迟的平衡点
离线训练或批量图像处理可逐级增加批处理大小，例如每次提高约四分之一，并观察吞吐、显存占用及是否出现内存不足。批量变大通常能减少单个样本分摊的调度开销，但会增加显存需求；在线推理则还要关注排队延迟，不能只追求吞吐。若单卡已接近内存上限，应回退到前一个稳定档位。
2. 检查数据加载：让输入赶上计算
训练时若加速卡利用率呈现“计算一阵、停一阵”，先确认数据是否及时送达。可按以下顺序操作：
- 统计每批数据的读取与预处理耗时，和模型计算耗时作比较。
- 逐步增加数据加载进程或预取批数，每次只改一项，观察吞吐及主机内存。
- 对重复使用的数据评估缓存策略；数据集过大时，避免把全部内容强行放入内存。
增加加载进程并非越多越好：进程过量会争用主机资源，反而拖慢数据准备。
3. 选择计算精度：用实测换取更高吞吐
若硬件和软件栈支持，可测试混合精度，让部分运算使用较低精度表示。它可能减少内存带宽压力并提升计算速度，但收益取决于算子支持情况，数值敏感任务还需检查损失值、输出误差或验证指标。保留原精度结果作基线；出现异常时，缩小使用低精度的范围或恢复关键运算精度。
4. 减少重复调度：合并小任务并启用异步传输
大量很小的算子或频繁启动短任务，会让调度开销占比上升。检查是否能合并相邻操作，或使用框架提供的图执行、算子融合能力；这些方式适合计算流程重复且形状较稳定的任务，动态变化很大的任务未必受益。数据搬运与计算也可尝试异步传输，但需确认缓冲区生命周期和同步点正确，否则可能出现数据未就绪或结果错误。
5. 控制并发与资源占用：按延迟目标分配
单个任务无法填满加速卡时，可测试同时运行多个任务或增加服务实例。每次增加一个并发档位，同时观察总吞吐、单任务延迟、显存占用和错误率；显存紧张或延迟陡升时应停止扩容。共享设备环境还应检查资源配额和任务是否被限流。若任务速度随运行时间下降，再核对温度、功耗限制和散热状态，不建议未经核实直接提高功率上限。
用小步对照，避免“调高了却更慢”
一次只改一项，记录配置、运行时长、吞吐、延迟和资源占用，并在相同输入规模下重复测试。先做批处理与数据加载，再试精度和调度优化，最后调整并发；这样更容易定位收益来源。加速卡利用率低的排查与优化不是追求某个固定百分比，而是在正确性、吞吐、延迟和显存约束之间找到适合当前任务的设置组合。
常见问题
利用率越接近百分之百越好吗？
不一定。在线服务还要满足延迟要求；若吞吐已足够且延迟稳定，继续提高利用率可能没有实际价值。
批量大小应该增加到多少？
没有适用于所有任务的固定值。以显存不溢出、吞吐有所提升且延迟可接受为准，逐档测试并保留稳定配置。
只看利用率能找到瓶颈吗？
通常不能。应同时看吞吐、任务耗时、显存和数据等待情况；加速卡利用率低的排查与优化需要结合完整链路，而不是只看一项监控指标。
