OpenAI 发布 gpt-realtime 并更新 Realtime API
OpenAI 发布更先进的语音到语音模型 gpt-realtime,并为 Realtime API 新增 MCP server 支持、图像输入和 SIP 电话呼叫能力。
推荐理由:原文列出了语音模型升级与三项新 API 能力,读者可据此判断实时语音应用的接入范围是否扩大。
技术方向
AI 语音与音频:语音合成、实时语音对话、音乐生成与音频理解的模型与产品。
26 条精选近 30 天 5 条共收录 136 条
OpenAI 发布更先进的语音到语音模型 gpt-realtime,并为 Realtime API 新增 MCP server 支持、图像输入和 SIP 电话呼叫能力。
推荐理由:原文列出了语音模型升级与三项新 API 能力,读者可据此判断实时语音应用的接入范围是否扩大。
Mistral AI 为 Le Chat 推出一批新功能,包括预览版 Deep Research 模式、基于 Voxtral 的语音模式、由推理模型 Magistral 驱动的多语言 Think 模式、Projects 文件夹,以及与 Black Forest Labs 合作的图像编辑。
推荐理由:原文逐项说明了新功能的定位与底层模型,读者可据此判断 Le Chat 在研究、语音、推理场景的能力边界。
Mistral AI 发布 Voxtral 语音理解模型,提供 24B 和 3B 两个尺寸,均以 Apache 2.0 许可开源,也可通过 API 调用,API 定价 $0.001 per minute 起。
推荐理由:原文对比了开源与闭源语音方案的取舍,并给出价格与基准数据,便于评估其部署性价比。
OpenAI 推出 Realtime API,开发者现在可以在自己的应用中构建快速的语音到语音(speech-to-speech)体验。
OpenAI 发布 ChatGPT iOS 应用,官方介绍该应用可同步对话、支持语音输入,并把最新的模型改进带到移动端。
推荐理由:官方点明了同步、语音输入和最新模型三项能力,读者可据此判断移动端与网页端的差异。
OpenAI 宣布训练并开源神经网络 Whisper,称其在英文语音识别上接近人类水平的鲁棒性和准确性。