hate-speech-and-offensive-language

收录理由

这个仓库存放了Davidson等人2017年ICWSM论文所用的带标注Twitter数据集，该研究将仇恨言论与单纯冒犯性语言区分开来，这一区分至今仍影响着内容审核系统的设计与评估。研究者或机器学习工程师在从事 abusive-language 检测时，可以拿到CSV或pickle格式的数据，还有词典和复现论文三分类结果的分类器脚本。附带的notebook展示了标签是如何生成的，有助于在训练前理解数据集的假设前提。需要留意的是，代码基于Python 2.7且已不再维护，因此更适合作为数据和方法参考，而非可直接上线的生产流程。作者后续关于该数据集及其他数据集种族偏见的论文也值得在依赖这些标签前先读一读。