Mistral AI·· 2024-07-18精选AI 评分73
Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo
Mistral NeMo
AI 导读
Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo，上下文窗口达 128k tokens，采用标准架构，可作为 Mistral 7B 的直接替代，已以 Apache 2.0 许可发布预训练 base 和指令微调 checkpoints。
推荐理由
原文给出了架构兼容性与量化训练细节，读者可据此评估它替换 Mistral 7B 的迁移成本。
来源：Mistral AI · mistral.ai