autoscraper

收录理由

手写爬虫意味着要不断跟随网站页面结构的变动去更新 CSS 选择器，这种维护工作很快就会让人疲惫。AutoScraper 换了一种思路：你只需要给它一个页面地址和几个想要提取的示例值，它就能自己归纳出匹配规则。之后这个学到的规则对象可以直接用到其他结构相似的页面上，既能抓取同类内容，也能精确取出某个字段，比如 Stack Overflow 上的相关问题标题，或者实时的股票价格。无论是快速拉取数据、跟踪少数几个页面，还是抓取商品列表而不用为每个网站重写选择器，它用起来都很顺手。整个库保持轻量和易读，小团队想自动化提取几个字段，也不必为此搭建一套浏览器自动化框架。