spider

收录理由

Spider 是一个以并发为核心设计的 Rust 爬虫引擎，页面抓取完成后会立刻流式返回，只有在页面确实需要 JavaScript 渲染时才启动无头 Chrome，因此大多数常规抓取过程根本不会触及浏览器。它可以从单脚本平滑扩展到分布式部署，代码无需改动。项目以 Rust 库和命令行工具的形式发布，同时提供 Node 和 Python 包；当本地原型无法满足规模需求时，可选的托管云模式会自动接管代理轮换和反机器人处理。抓取结果支持导出为 Markdown、JSON 或 WARC，方便直接用于向量库摄入和站点监控。对于需要持续获取新鲜网页内容来支撑 LLM 或 RAG 管线的团队来说，这是一个扎实且面向生产环境的起点。