ecco

收录理由

Ecco 面向那些与 Transformer 语言模型打交道、不满足于仅仅调用模型、还想深入观察其内部运作的人。它运行在 Jupyter 笔记本里，把模型内部机制变成可交互的图形：哪些输入词元推动了某个预测，输出词元的概率如何逐层变化，哪些神经元会对特定的文本模式产生反应。它支持 GPT2、BERT、RoBERTa、T5、T0 以及 Hugging Face 上其他基于 PyTorch 的模型，也能加载你自己保存的本地检查点。内置的 Integrated Gradients 和 Saliency 方法，让你可以把一次预测追溯到真正起作用的词语上。这个库刻意不涉及训练和微调，因此保持了专注，也容易上手。无论你是想调试模型行为、撰写可解释性相关文章，还是向学生演示注意力机制和网络层的工作原理，这种专注都让 Ecco 显得很实用。