crawlee-python

收录理由

Crawlee 是一套面向 Python 的网页抓取与浏览器自动化库，把爬虫开发中那些琐碎又关键的底层环节——请求排队、重试、会话管理、代理轮换——都封装好了。你只需要专注写提取逻辑，不必从零搭建整套抓取机制。它能直接抓取 HTML、PDF、图片以及其他文件，为 LLM、RAG 或分析类应用供数；解析层既支持轻量的 Parsel 和 BeautifulSoup，也能通过 Playwright 做完整的浏览器自动化，有头或无头模式都行。抓取结果会落到机器可读的存储后端，后续接入下游处理非常顺手。默认配置下，爬虫的请求特征已经接近真人操作，能绕过不少现代反爬机制；如果默认设置不够用，丰富的配置项也足够你按需调整。