clipper.js

收录理由

网页内容往往夹杂大量导航、广告和无关元素，直接抓取下来很难用。Clipper 是一个运行在终端里的 Node.js 工具，它借助 Mozilla 的 Readability 和 Turndown 解析页面，把 URL 或整个目录下的 HTML 文件转成干净的 Markdown 或 JSONL 格式。它的爬取命令可以按 glob 规则匹配站点内页面，批量抓取后统一存成一个数据集文件，省去手写爬虫的麻烦。当你要为检索或训练准备语料时，JSONL 输出能直接接进下游的 NLP 或 RAG 流程。这个工具不大，也不追求做成平台，但就 HTML 转 Markdown 这件事，它做得干脆利落。