mcp-crawl4ai-rag

收录理由

这个 MCP 服务器为 AI 编码助手提供了一条完整的工作链路：先用 Crawl4AI 抓取单个网页或整个站点，把清洗、分块后的文本存入 Supabase，再通过语义搜索工具把 RAG 查询喂给助手，让它直接回答来自实时网页文档的问题。提供的工具覆盖了从单次爬取到带智能 URL 检测的递归站点索引，检索结果还能按域名过滤，让回答保持在相关范围内。几个可选的检索增强值得一提，包括向量与关键词混合搜索、交叉编码器重排序，以及一个扫描 GitHub 仓库的 Neo4j 知识图谱，它能标记生成 Python 代码中幻觉式的导入和方法调用。作者自己坦率地说明这个项目更像试验场而非成品：代码库还年轻，依赖 Docker 运行，并且需要你自己准备 Supabase 项目和 OpenAI 嵌入。如果你的助手要对接频繁更新的文档，这个项目能省去你手动拼装爬取和检索组件的功夫。