TinyZero

收录理由

TinyZero把一次推理模型训练压缩到最精简的形态，在倒计时和乘法任务上复现了DeepSeek R1-Zero的做法，底层基于veRL。它最核心的发现是：一个3B的基础模型，仅靠强化学习，不经过任何监督微调，就能自己长出自我验证和搜索的行为。训练脚本和数据预处理步骤都短到可以一步步手跟，适合在扩大规模之前，先直观感受强化学习如何激发出推理能力。作者表示，在不算太高的硬件条件下，花不到30美元就能亲历那个“顿悟时刻”。需要提醒的是，这个仓库已经停止维护，作者建议直接使用上游的veRL库，所以更适合当作学习材料和参考配方，而不是一个可以继续在其上开发的工具。