Granite Switch 4.1.1 补丁发布:像更新软件一样更新模型
Hugging Face 发布 Granite Switch 4.1.1 补丁版本,与 4.1 完全向后兼容、无需迁移,更新了支持 10 种语言、带原生标点和大小写的 Granite Speech ASR 模型,以及在 Jev Decision Index 测试集上整体表现提升的 Decision adapter。
Hugging Face 发布 Granite Switch 4.1.1 补丁版本,与 4.1 完全向后兼容、无需迁移,更新了支持 10 种语言、带原生标点和大小写的 Granite Speech ASR 模型,以及在 Jev Decision Index 测试集上整体表现提升的 Decision adapter。
Nvidia 发布开源语音模型 Nemotron 3.5 Transcribe,可转写 40 种语言、其中 31 种与英语互译、识别 13 种语言的说话人,支持最长一小时、最多八位说话人的录音,并能通过指令控制输出转写、翻译或摘要。
Nvidia 发布免费开放权重的语音转写模型 Nemotron 3.5 Transcribe,支持最多 40 种语言转写、31 种语言与英语互译,可处理最长一小时录音并区分最多 8 位说话人,同时开源了 Granary 语音数据集第 2 版。
NVIDIA 发布开源权重语音模型 Nemotron 3.5 Transcribe,将转写、说话人分离、翻译和音频问答整合到单一 checkpoint,支持 40 种语言转写、31 种语言与英语互译、13 种语言说话人归属,可处理最长一小时录音并标注最多 8 位说话人,现已在 Hugging Face 和 ModelScope 开放。
推荐理由:原文给出榜单成绩与微调配方,读者可据此判断该模型在多语种转写与说话人分离上的可用性。
Jack Dorsey 的 Block 从研究实验室发布语音模型 Dessa,完全在人类语音数据上训练,仅需单块 NVIDIA GPU 即可本地运行,支持在 MacBook M4 Max 或更高配置的消费级电脑上跑。
Block 推出 AI 语音模型 Dessa,称其为首个完全基于人类语音、不含任何文本数据从零训练的模型,可直接处理音频并实时捕捉情绪、讽刺、笑声和停顿。Dessa 支持全双工通信,可在 MacBook Pro M4 Max 本地运行,训练仅使用单台 NVIDIA GB200 NVL72。目前尚未公开发布,Block 正在招募 AI 安全研究人员通过表单报名测试模型的潜在风险。
Jack Dorsey 的 Block 宣布推出名为 Dessa 的 AI 模型,称其完全基于人类对话从零训练,是一个真正的 speech-to-speech 模型,所有知识都来自人类语音。
IBM 更新 Granite Speech 系列,推出新模型 granite-speech-5.0-2b,并更新 granite-speech-5.0-470m-turboctc 与 granite-speech-4.1-2b-plus。
Elevenlabs 于 Oct 20, 2026 发布两款名为 Eleven Realtime 的 speech-to-speech 模型。
Mistral AI 发布 Voxtral 3,包含语音转文本、文本转语音模型与基于 LiveKit 的语音 Agent SDK,把听、推理、工具调用与说话整合进单一实时流式管线,每轮对话在 1 秒内完成。
推荐理由:原文给出各模型定价与多项评测口径,读者可据此比较它与现有语音方案的成本和适用场景。
Hugging Face 发布 Granite Switch 4.1 系列模型(Granite-Switch-4.1-8B 和 -30B),通过 Decision aLoRA。
TII 发布 Falcon-ASR,一个 1.6B 参数、面向阿拉伯语并重点支持阿联酋方言的语音识别模型,同时支持英语、法语、西班牙语和葡萄牙语,五种语言共用同一权重且无需指定语言标志。
Microsoft AI 发布实时转录模型 MAI-Transcribe-2-Streaming,称其在 Artificial Analysis 准确率排名第一,支持 60 种语言,首个部分结果在 100 毫秒多返回,年底前介绍价每小时音频 $0.54。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色设计与深度创作控制,后者面向高并发、低成本的配音与语音智能体场景。
推荐理由:Google DeepMind 发布两款 TTS 模型,给出语音克隆、逐行导演与多语言覆盖的具体能力与开放入口。
Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款实时对话模型,分别面向规模化低成本场景与高复杂度多步推理任务。
推荐理由:官方给出两款语音模型的基准成绩与开放渠道,可据此判断实时语音智能体的能力与成本取舍。
NVIDIA Magpie Multilingual TTS 发布新版本,364M 参数开放权重模型支持 12 种语言,新增 Modern Standard Arabic、韩语和巴西葡萄牙语,并扩大印地语和日语的 code-switching 支持。
OpenAI 发布新一代语音模型 GPT-Live,用于自然的人机语音交互,目前已成为 ChatGPT Voice 的驱动模型。
Google DeepMind 发布 Gemini 3.1 Flash TTS 文本转语音模型,通过在文本中嵌入自然语言 audio tags 实现对语音风格、语速和表达的细粒度控制。
推荐理由:原文给出了基准分数和开放入口,读者可据此判断其在语音生成上的定位与可用性。
Google DeepMind 发布 Gemini 3.1 Flash Live,称其为迄今质量最高的音频与语音模型,精度与延迟均有改善。在 ComplexFuncBench Audio 上取得 90.8%,在 Scale AI 的 Audio MultiChallenge 上开启 thinking 后取得 36.1%。
推荐理由:给出了两项基准分数和面向开发者、企业、普通用户的开放入口,读者可据此判断其在语音智能体场景的可用性。
Mistral AI 发布首款文本转语音模型 Voxtral TTS,参数量 4B,基于 Ministral 3B 构建,支持 9 种语言(英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语、阿拉伯语)的自然情感语音生成。
推荐理由:原文给出了架构组成、延迟数据和与 ElevenLabs 的人工评测对比,读者可据此判断其在语音智能体场景的可用性。
Mistral AI 发布 Voxtral Transcribe 2 系列,包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时应用的 Voxtral Realtime,后者以 Apache 2.0 开源权重在 Hugging Face 发布。
推荐理由:原文给出两款模型的延迟、词错率与价格对比,读者可据此评估其在语音工作流中的替换价值。
OpenAI 发布更先进的语音到语音模型 gpt-realtime,并为 Realtime API 新增 MCP server 支持、图像输入和 SIP 电话呼叫能力。
推荐理由:原文列出了语音模型升级与三项新 API 能力,读者可据此判断实时语音应用的接入范围是否扩大。
Mistral AI 发布 Voxtral 语音理解模型,提供 24B 和 3B 两个尺寸,均以 Apache 2.0 许可开源,也可通过 API 调用,API 定价 $0.001 per minute 起。
推荐理由:原文对比了开源与闭源语音方案的取舍,并给出价格与基准数据,便于评估其部署性价比。
OpenAI 分享了 Voice Engine 小规模预览的实践经验,这是一款用于创建定制语音的模型。文章总结了合成语音在开发过程中遇到的挑战与机遇。
OpenAI 宣布训练并开源神经网络 Whisper,称其在英文语音识别上接近人类水平的鲁棒性和准确性。