llm-foundry

收录理由

做大模型不能只靠一个网络结构，从原始文本到GPU集群上高效训练，中间隔着数据预处理、训练、微调、评测和推理部署这一整条链路。llm-foundry把这串环节都串了起来：先把源数据转成MosaicML的StreamingDataset格式，再训练从1.25亿到700亿参数不等的模型，支持在自定义数据上微调，跑学术或自建评测任务，最后导出成可用的推理格式。它依托Composer训练框架，仓库里的配置文件不是摆设，Databricks的Mosaic团队就是用这套工具训练出DBRX的，所以那些YAML配置是经过前沿规模验证过的模式，不是教学示例。另外还自带吞吐量和MFU的基准测试工具，默认支持Flash Attention，对想获得可复现、省GPU资源训练流程的团队来说，是一个不用自己拼装组件的现成起点。