anakin

收录理由

团队在把大模型接到实时网页时，往往卡在数据清洗这一步。这个项目用一个HTTP请求就把任意网址转成干净的markdown，配上Gemini密钥还能直接输出结构化JSON，省去了预处理环节，喂给RAG流水线、智能体工具或数据集采集都很顺手。它的处理链路挺聪明：先走免费的本地HTTP抓取，只有页面不配合时才升级到反检测Firefox浏览器或付费第三方API，大部分抓取因此根本不碰云端。代理选择也不是傻乎乎地轮换，而是用汤普森采样边抓边学，针对每个域名找出最稳的地址。整个工具打包成一个Go单二进制，带一条make up命令的Docker编排，还有不用数据库的内存模式，自己买台机器就能跑起来，避开按次计费的SaaS价格。