ai-crawler-py

收录理由

多数爬虫工具都要求你先手写CSS选择器或XPath规则才能取到数据，这个Python包换了一条路：你给出起始URL，用自然语言描述想要什么，比如“找出所有Halo游戏及其价格”，它就会自行探索站点、筛出相关页面，再按你口头描述的schema输出Markdown或JSON。爬取引擎本身跑在Oxylabs托管的AI Studio服务上，所以JavaScript繁重的页面和按地域发起的请求都由对方处理，不必在自己机器上折腾。对需要拿价格或产品数据做分析、又不想搭建和维护爬虫基础设施的团队来说，这点很实用。schema辅助功能也是个亮点，把宽松的提示词整理成结构化输出，直接接进现有流程。