snorkel

收录理由

在机器学习中，给训练数据打标签往往是最耗时的一环，Snorkel 直接针对这个痛点下手。它不要求你花钱雇人手工标注成千上万的样本，而是让你写出一些简单、甚至带点噪声的规则——比如正则表达式、启发式判断，或者来自外部知识的远距离监督信号。系统会先估计每条规则的准确度，以及规则之间的相互关系，再把它们的投票融合成带概率的标签，这些标签可以直接交给下游的分类模型使用。对于领域专家能说清“什么样的数据算好样本”，却抽不出几周时间去做手工标注的团队，这个思路尤其合适，像临床文本、法律文书这类人工标注又慢又贵的场景更是如此。只要你有未标注的数据，再加上几条粗略的启发式规则，Snorkel 就能把这两样东西变成可用的训练数据，这条路已经被不少项目验证过了。