webdataset

收录理由

当训练数据规模超出普通文件夹能从容应对的范围时，I/O往往成为瓶颈，WebDataset正是为此而生。它将样本打包进分片的tar归档，并以顺序流方式读取，无论数据位于本地磁盘还是云端存储桶，都能保持较快的加载速度。每个tar条目按共享基名归组一个样本的全部内容，编号分片则让跨机器拆分任务变得直观。该Python库可接入PyTorch的IterableDataset，你原有的解码与增强流程照常使用，结果仍交给DataLoader处理。媒体文件保持原生格式，制作WebDataset归档就像创建tar文件一样简单。顺序I/O配合简洁打包，使许多训练大型视觉或语言模型的团队选择它，而不愿与成千上万个散落文件纠缠。