跳到正文
Hugging Face Blog·· 2023-06-07AI 评分42

Hugging Face Hub 集成 DuckDB:用 SQL 分析 5 万多个数据集

DuckDB: analyze 50,000+ datasets stored on the Hugging Face Hub

AI 导读

Hugging Face Hub 新增 DuckDB 集成,用户可用 SQL 直接查询 Hub 上任意公开数据集。数据集查看器会自动将所有公开数据集转换为 Parquet 文件,通过 /parquet 端点获取 URL 后,配合 DuckDB 的 httpfs 扩展即可查询远程文件,并支持分片后的多个 Parquet 文件。

来源:Hugging Face Blog · huggingface.co