edgar-crawler

收录理由

做金融NLP研究或构建相关数据集，往往先要跟SEC文件较劲。真正卡住进度的通常不是建模，而是如何从10-K、10-Q和8-K这些报告里拿到干净、结构化的文本。这个工具把整条流水线都包了：从EDGAR拉取任意一组美国上市公司的申报文件，按年份、季度、文件类型筛选，再把每份文档解析成标准JSON，把业务描述、风险因素、管理层讨论与分析、财务报表这些关键章节单独拆出来。输出可以直接喂给语料库、检索流程或微调任务，作者自己也用它生成了HuggingFace上的EDGAR-CORPUS数据集。对于想要可复现、机器可读的财务文本，又不想手动去刮HTML的研究者和量化团队来说，这种结构化抽取能省下大量时间。它定位在数据获取和解析，不是分析平台，下游的分析或建模还得自己来。