训练任务慢的时候，团队往往先看模型结构、GPU 利用率和训练框架参数。但很多情况下，真正瓶颈在数据链路：数据读得慢，GPU 只能等待。
训练数据加载涉及存储、网络、缓存、预处理、批量读取和并发控制。只有把这条链路拆开，才能判断瓶颈到底在哪里。
相关主题可以结合 模型训练、AI基础设施、GPU调度 一起阅读。本文重点放在平台能力、工程边界和可落地的治理思路上，避免只停留在概念解释。
先判断 GPU 是否在等待数据
如果 GPU 利用率周期性下降，step time 波动明显，或者 CPU、IO 指标异常，就需要怀疑数据加载瓶颈。
不要只看平均 GPU 利用率。训练过程中的短周期等待也会显著影响整体吞吐。
平台应记录数据读取耗时、预处理耗时、batch 生成耗时和 GPU 计算耗时。
存储性能决定读取上限
数据集存放在本地盘、共享存储、对象存储或远程文件系统时，读取特性差异很大。小文件数量多、随机读取多、跨网络读取都会降低吞吐。
训练任务如果并发读取大量小文件，存储元数据压力可能比带宽更早成为瓶颈。
优化方向包括数据格式合并、本地缓存、预取和分片设计。
缓存能减少重复读取成本
训练通常会多轮读取同一批数据。合理缓存可以减少重复从远端存储读取，提高训练稳定性。
缓存可以在节点本地、共享缓存层或数据加载框架中实现。不同方式的成本和一致性要求不同。
平台需要关注缓存命中率和缓存容量，避免缓存失效后性能大幅波动。
预处理逻辑可能拖慢训练
图像解码、文本清洗、特征转换、增强操作都可能消耗 CPU。预处理过重时，GPU 会等待 CPU 生成 batch。
可以考虑离线预处理、并行 DataLoader、调整 worker 数量或将部分处理前移到数据准备阶段。
但并发不是越高越好，过高并发可能压垮存储或 CPU。
数据格式会影响训练吞吐
大量小文件通常不适合高吞吐训练。将数据转换为更适合顺序读取或批量读取的格式，可以提升稳定性。
不同框架有不同推荐格式，关键是减少随机访问和元数据开销。
数据格式优化应结合训练框架和存储系统一起评估。
平台需要把数据链路纳入观测
如果平台只监控 GPU，就无法解释很多训练慢的问题。数据链路指标应成为训练平台的一部分。
建议观察数据读取吞吐、缓存命中率、预处理耗时、存储延迟和 batch 等待时间。
当数据链路可观测后，团队才能判断是该优化模型、扩 GPU，还是改数据管道。
常见问题
训练数据加载慢为什么会影响 GPU 利用率？
GPU 需要持续获得 batch 才能计算，数据加载慢会让 GPU 等待，从而降低有效利用率。
增加 DataLoader worker 一定能解决问题吗？
不一定。worker 增加可能提升预处理并发，也可能增加存储压力，需要结合 CPU、IO 和吞吐指标判断。
数据缓存适合所有训练任务吗？
不一定。缓存适合重复读取和热点数据明显的场景，超大规模一次性数据集需要评估成本和容量。
小结
训练数据加载的建设重点，不是把所有能力一次性堆满，而是先把任务、资源、环境和指标之间的关系理清楚。只有问题可解释、策略可验证、结果可复盘，平台能力才会持续变强。
转载请注明出处：https://www.cloudnative-tech.com/p/8436/
