DALI

收录理由

在NVIDIA GPU上训练或部署模型时，瓶颈往往不在计算本身，而是数据供给：CPU端的解码、缩放和增强操作常常来不及把数据喂给GPU，导致算力空转。DALI把这一整套预处理搬到GPU上，用高度优化的算子和自研的执行引擎统一处理预取、并行调度和批量化，让数据流水线不再拖后腿。它可以直接替换PyTorch、TensorFlow、PaddlePaddle和JAX自带的数据加载器，你只需用声明式方式描述流水线，就能无缝接入现有训练循环，完全不用改动模型代码。对于图像、视频或音频任务中因I/O或增强而卡顿的团队，这是提升吞吐量的实用手段，还能与Triton推理服务器配合用于线上服务。如果你的训练经常因为等数据而停滞，与其盲目增加CPU worker，不如先用它跑通自己的流水线做对比。