magika

收录理由

Magika 解决的是一个让许多文件处理代码头疼的问题：这个文件到底是什么类型？它不依赖扩展名或手写的魔数规则，而是运行一个只有几兆字节的轻量深度学习模型，在单个 CPU 上就能在毫秒级识别出超过 200 种二进制和文本格式。对于上传处理、邮件过滤和恶意软件分类这类场景，一个标签错误的文件可能引发大麻烦，而 Magika 的准确性正好派上用场。它提供了命令行工具，并支持 Python、Node 和 Go 的绑定，团队可以轻松接入现有流程，无需改动整体架构。Google 已经在 Gmail、Drive 和 Safe Browsing 中大规模使用它来路由文件，VirusTotal 和 abuse.ch 也集成了这项技术。