Hugging Face Blog·· 2023-06-07AI 评分54
Hugging Face Hub 支持用 DuckDB 对 50,000+ 数据集执行 SQL 查询
DuckDB: analyze 50,000+ datasets stored on the Hugging Face Hub
AI 导读
Hugging Face Hub 新增功能,用户可用 DuckDB 对 Hub 上存储的 50,000+ 数据集直接执行 SQL 查询。数据集查看器会自动将所有公开数据集转换为 Parquet 文件,可通过 /parquet 端点获取文件 URL;配合 DuckDB 的 httpfs 扩展即可远程查询这些 Parquet 文件,且支持一次查询多个分片文件。
来源:Hugging Face Blog · huggingface.co