跳到正文
OpenAI News·· 21 小时前精选AI 评分73

OpenAI 提议以 perplexity 作为跨实验室比较智能与安全的共同指标

Perplexity and Intelligence

AI 导读

OpenAI 发文提议将 perplexity(等价于交叉熵损失)确立为跨模型开发商比较智能水平、并据以制定共享安全标准的指标,同时首次公开 OpenAI 内部的预训练 perplexity 测量数据。

推荐理由

文章用 OpenAI 自身从 GPT-3.5 到当前模型的 perplexity 轨迹,说明这一指标如何对应能力跃迁,为跨实验室比较提供了可参照的思路。

来源:OpenAI News · openai.com