TextBrewer

收录理由

当你想在内存有限的硬件上部署BERT这类大模型时，TextBrewer提供了一条捷径：无需从头编写各类蒸馏算法，就能尝试知识蒸馏。它把软标签训练、注意力图损失、隐藏状态匹配以及多教师设置整合在PyTorch接口下，通过调整配置就能对比不同方案，省去重复实现的麻烦。工具覆盖了文本分类、阅读理解、序列标注等常见监督NLP任务，示例笔记本里还包含基于BERT-EMD的自定义蒸馏器，方便观察每种技术在真实检查点上的表现。官方文档和ACL论文提供了足够的背景知识，当默认设置不够用时，你也能据此深入探索。