adapters

收录理由

微调一个Transformer模型通常意味着更新全部参数，成本会迅速攀升。Adapters走了一条不同的路：在冻结的基座模型上添加小型可训练模块，这样你只需训练一小部分权重。这个库构建在HuggingFace Transformers之上，把十多种参数高效方法——从bottleneck adapters、LoRA到前缀微调——统一在一致的API后面。在不同方法间切换只是改一下配置，不必重写训练循环。由于每个adapter都很轻量，你可以针对不同任务训练多个adapter，共用同一个基座模型，并分别存储或部署。它还支持量化训练（如Q-LoRA）、通过任务算术合并adapter，以及组合多个adapter，对做模块化迁移学习的研究工作相当实用。