crw

收录理由

想让RAG管线或AI智能体拿到最新网页内容，光是搭一套爬虫的精力往往比干活本身还大。crw是一个很小的Rust二进制，把搜索、抓取、爬行和结构化提取都收进一个工具，输出干净的Markdown或带类型的JSON，可以直接塞给后续的入库流程。它内置了兼容Firecrawl的REST接口，之前已经对接过Firecrawl的团队不用改代码就能换过来；另外还带一个MCP服务端，Claude Code、Cursor这类工具开箱即用。一条命令装好本地就能跑，不需要注册账号，也可以自托管在自家网络里，或者通过Python和Node的正式SDK来调用。别看它轻量，速度一点不含糊——在1000个URL的基准测试里，比Tavily快约2.3倍，比Firecrawl快约1.5倍，而内存只占大约6MB。