dllm

收录理由

扩散语言模型进展很快，但相关工具往往散落在各篇论文的独立代码库里。dLLM 把预训练、微调和评估整合到一套基于 Hugging Face Trainer 的流程中，支持 LoRA、DeepSpeed 和 FSDP，扩展规模时不必重写训练循环。它还封装了 EleutherAI 的 lm-evaluation-harness，让开放权重扩散模型的基准测试简单不少。对研究 LLaDA、Dream 或更小的 BERT 类扩散聊天机器人的人来说，仓库里提供了掩码扩散、块扩散、编辑流以及基于 GRPO 的推理训练配方。想在已发表的扩散语言模型基础上做扩展，而不是从零搭建，这个项目是实用且可复现的参考。