NVIDIA与AI4Bharat开源22种印度语言预训练语料

NVIDIA 与 IIT Madras 的 AI4Bharat 联合发布 Nemotron-pretraining-Indic-v1，覆盖印度宪法所列 22 种语言、约 2.8 万亿 Token 的合成预训练语料，并同步开源用于生成该语料的 GPU 加速数据流水线。语料含 2.601 万亿原生文字 Token 和 2246 亿罗马化 Token。生成过程中仅保留评分达 75 分（满分 100 的评分标准，非准确率）的输出；质量评估以自动化为主，辅以抽样人工审核，人工审核覆盖度因语言而异。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。