Mistral AI 开源发布 Mixtral 8x7B 稀疏专家模型

Mistral AI 发布 Mixtral 8x7B，一款采用 Apache 2.0 许可的稀疏混合专家（SMoE）模型，开放权重。它在多数基准上匹配或超过 Llama 2 70B 与 GPT3.5，推理速度提升 6x，支持 32k tokens 上下文和五种语言。