Crawl4AI 为 Bedrock 知识库准备网页内容

2026 年 11 月 3 日，AWS Machine Learning Blog 发布教程，介绍如何用开源 Python 爬虫 Crawl4AI 为 Amazon Bedrock Knowledge Bases 准备网页内容。方案以定时 Fargate 任务执行有界爬取，为每个页面生成 Markdown 文件及 page.md.metadata.json 元数据旁文件，上传至 S3 数据源后触发摄取。该博客说明，此流程面向已知站点的批量摄取，并非推理时的实时网页访问（如 Web Grounding with Amazon Nova）；仅处理公开页面，不实现需认证的会话；Amazon Bedrock 对每个元数据旁文件限制为 10 KB；每次运行按所配置任务规格产生 Fargate 费用，默认 2 vCPU、4 GB。目前尚无后续跟进报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。