#669 · 主分类: 教育与研究

PPLM

deep-learning language-modeling machine-learning natural-language-generation natural-language-processing nlp

即插即用语言模型实现。允许引导GPT-2模型的主题和属性。

项目最后更新:02/20/24

GitHub Stars

1.2K

Forks数量

203

贡献者数量

9

许可证

Apache-2.0

收录理由

PPLM 是可控文本生成领域中被广泛引用的一种经典方法的官方实现。它的核心思路不是重新训练语言模型,而是通过插入一个或多个小型属性模型来引导输出,使生成结果偏向指定的主题、情感或其他特征。仓库中提供了可直接运行的代码,支持在 GPT-2 上实现主题控制、情感控制和 detoxification(去毒化),并附带了论文中使用的判别器模型与超参数。由于基础模型本身不做任何改动,研究者可以在不具备大规模微调所需硬件的情况下,探索如何影响生成方向,这为实验和教学提供了一个低门槛的切入点。同时,项目已集成到 Hugging Face Transformers 中,方便在既有工作流里直接试用,也便于对比不同参数设置下的效果。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目