gpt-crawler

收录理由

做自定义 GPT 或 OpenAI 助手时，最磨人的往往不是模型本身，而是整理训练素材。这个工具把这一步自动化了：给它一个起始 URL，配上链接匹配规则和针对目标内容的 CSS 选择器，它就会自动爬取站点、抽取相关文本，最后生成一个按 OpenAI 上传要求切分和标记好的单一文件。页面数量限制、跳过二进制资源、大文件拆分这些实际细节它也一并处理。运行方式灵活，既可以用命令行，也可以跑在 Docker 容器里，还能作为带 Swagger 文档的 Express API 使用。对想做一个基于自己文档或产品内容的客服、问答助手，又不想逐页手工整理资料的团队来说，相当实用。Builder.io 团队最初就是用它把自己文档喂给自定义 GPT，同样的流程搬到任何你掌控的站点上都成立。