pyreft

收录理由

pyreft 出自斯坦福 NLP 团队，实现的是表征微调（ReFT）这一思路。相比 LoRA 或 adapter 这类在每个层、每个时间步都追加可训练权重的做法，ReFT 只挑选若干位置，对模型内部的隐藏表征施加轻量干预，因此训练时的显存和算力开销更小。它可以直接配合 HuggingFace 上已有的预训练模型使用，也提供了训练入口、超参数配置文件，还能把结果一键推回 Hub，基本能嵌入常见的微调流程。如果你一直在纠结 LoRA 的秩怎么选，或者想试试用表征干预能不能用更少的可训练参数换来相近的效果，这个库值得在 notebook 里跑一跑看看。