Amazon SageMaker AI 双向流式推理推出按用量计费
AWS 宣布为 Amazon SageMaker AI 双向(bidi)流式推理推出按用量计费(usage-based metering),让模型提供商可将实际用量上报用于 AWS Marketplace 软件收费,Deepgram 为发布合作伙伴,带来按用量的 Speech-to-Text(STT)和 Text-to-Speech(TTS)计费。
AWS 宣布为 Amazon SageMaker AI 双向(bidi)流式推理推出按用量计费(usage-based metering),让模型提供商可将实际用量上报用于 AWS Marketplace 软件收费,Deepgram 为发布合作伙伴,带来按用量的 Speech-to-Text(STT)和 Text-to-Speech(TTS)计费。
Hugging Face 与 Liva AI 合作,为 Open ASR Leaderboard 新增埃及和尼日利亚英语两个私有测试集,时长分别为 1.34 小时和 1.55 小时,均为带标点、区分大小写并保留不流畅片段的自发对话转写。
Hugging Face 发布可在本地设备运行的文本转语音模型 Phonon,无需服务器和网络,两周内下载量超过 200,000 次。模型提供约 65 MB 和 75 MB 两个尺寸,支持英语、法语、德语、西班牙语和葡萄牙语五种语言及 100 多个内置声音;Phonon 31m 仅支持英语并采用 Apache 2.0 许可,Phonon 40m 覆盖五种语言但限非商业使用。
推荐理由:原文交代了小模型兼顾音质与体积的技术路线、许可证差异和排行榜成绩,可帮助判断端侧语音方案的可用性。
AWS Machine Learning Blog 发布教程,介绍 Cartesia 如何用 State Space Models(SSM)与 AWS 基础设施实现 sub-100ms 的文本到语音和语音到文本:Sonic 首个音频字节约 90ms、支持 44 种以上语言和 10 秒样本声音克隆,Ink 提供原生轮次检测与流式转写。
作者用 NVIDIA Nemotron Voice Agent 搭建了万圣节互动投影 MonsterHouse,让车库门以暴躁海盗船的语气回应不给糖就捣蛋的孩子,访客说请和谢谢会让他态度软化。
Hugging Face 发布 Granite Switch 4.1.1 补丁版本,与 4.1 完全向后兼容、无需迁移,更新了支持 10 种语言、带原生标点和大小写的 Granite Speech ASR 模型,以及在 Jev Decision Index 测试集上整体表现提升的 Decision adapter。
Hugging Face 官方博客宣布推出 AnySpeechRecognizer 和 AnyDecisionModel 两个 Swift 包,均支持从 Hugging Face Hub 下载开源模型并在设备端运行。
推荐理由:原文给出可选引擎、模型体积与实测词错率,读者可据此判断端侧语音方案的取舍。
NVIDIA 宣布 RTX Spark Windows 笔记本现已由 ASUS、Dell、HP、Lenovo、Microsoft、MSI 提供,起价 $2,599,128GB 配置已上架,采用 Blackwell RTX GPU 与 Grace CPU 单颗超芯,最高 128GB 统一内存、1 petaflop FP4 AI 性能。
推荐理由:原文集中列出 RTX Spark 笔记本的模型、Agent 工具和游戏更新,读者可据此判断本地 AI 工作流的可用范围。
NVIDIA 发布开源权重语音模型 Nemotron 3.5 Transcribe,将转写、说话人分离、翻译和音频问答整合到单一 checkpoint,支持 40 种语言转写、31 种语言与英语互译、13 种语言说话人归属,可处理最长一小时录音并标注最多 8 位说话人,现已在 Hugging Face 和 ModelScope 开放。
推荐理由:原文给出榜单成绩与微调配方,读者可据此判断该模型在多语种转写与说话人分离上的可用性。
通过在 Amazon SageMaker AI 实时端点上托管 Kokoro-82M(82M 参数)TTS 模型,AI 智能体每生成一句话就立即流式送入合成,让语音在完整回复生成前就开始播放,从而消除等待空隙。
Amazon Polly Generative 引擎升级现已在生产环境 GA,语音更自然、更富表现力且延迟更低,新增 14 个语音覆盖 9 个 locale,Hindi 和 Finnish 首次在 Generative 引擎 GA。
AWS 博客介绍在 Amazon SageMaker AI 实时端点上部署 Kokoro-82M(82M 参数 TTS 模型)自定义容器,用两个实测值替代猜测的自动扩缩容目标:Q_max(单实例在 SLO 内可承载的最大并发)和 T_total(扩容端到端耗时),并据此推导扩缩容阈值与冷却时间。
IBM 更新 Granite Speech 系列,推出新模型 granite-speech-5.0-2b,并更新 granite-speech-5.0-470m-turboctc 与 granite-speech-4.1-2b-plus。
Mistral AI 发布 Voxtral 3,包含语音转文本、文本转语音模型与基于 LiveKit 的语音 Agent SDK,把听、推理、工具调用与说话整合进单一实时流式管线,每轮对话在 1 秒内完成。
推荐理由:原文给出各模型定价与多项评测口径,读者可据此比较它与现有语音方案的成本和适用场景。
Deepgram 将 Nova-3 语音转文字模型移植到 AWS Trainium2,用于离线批量工作负载,在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,每美元处理的音频量比原有计算方案多 11–70%。
Hugging Face 发布 Granite Switch 4.1 系列模型(Granite-Switch-4.1-8B 和 -30B),通过 Decision aLoRA。
TII 发布 Falcon-ASR,一个 1.6B 参数、面向阿拉伯语并重点支持阿联酋方言的语音识别模型,同时支持英语、法语、西班牙语和葡萄牙语,五种语言共用同一权重且无需指定语言标志。
AWS 展示了如何用 Amazon Bedrock AgentCore、Amazon Bedrock Knowledge Bases 和 Amazon Nova Sonic 为航司应用构建语音旅行礼宾,支持改座、查延误、答政策问题并转接人工坐席。
Hugging Face 发布 Open TTS Leaderboard,用客观指标评估多语言 TTS 与声音克隆模型,包括用 Qwen3 ASR 计算 WER/CER 衡量可懂度、在 H200 GPU 上测 RTFx 与 TTFA 衡量速度、用 WavLM 嵌入余弦相似度衡量说话人相似度,评测一个模型的时间从收集投票的数周缩短到数小时。
AWS 发布 vLLM-Omni DLC,可在 Amazon SageMaker AI 上部署 Qwen3-TTS,通过 SageMaker 双向流式连接实现文本流入、24 kHz PCM 音频分块流出,并附 Gradio 示例应用。
Amazon SageMaker JumpStart 现已支持部署 Qwen3-TTS-12Hz-1.7B-Base 文本转语音模型到全托管实时推理端点,仅需几秒参考音频即可完成声音克隆,无需重新训练。Qwen3-TTS 支持 10 种语言、流式生成与跨语言克隆,输出 24 kHz 音频,由 vLLM-Omni 容器提供服务。该方案让数据保留在 AWS 环境内,成本随算力用量而非按字符计费。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将实时视频生成与语音对话结合,为 Gemini 的对话式 AI 带来近实时的视觉形象。
推荐理由:Gemini 3.8 Live 新增实时视频形象能力,读者可了解其多语言同步与异步工具调用如何用于企业对话场景。
AWS 推出 WhisperX Deep Learning Container,可部署到 Amazon SageMaker AI 实时或异步端点,为语音转写补齐逐词时间戳与说话人标注。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色设计与深度创作控制,后者面向高并发、低成本的配音与语音智能体场景。
推荐理由:Google DeepMind 发布两款 TTS 模型,给出语音克隆、逐行导演与多语言覆盖的具体能力与开放入口。
Ringg 基于 OpenAI GPT-5.6 打造的 AI 智能体可解决高达 65% 的客户来电,覆盖语音、聊天、WhatsApp 和网页等多渠道的多语言场景。相比 GPT-4.1,其成本降低 90%。
Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款实时对话模型,分别面向规模化低成本场景与高复杂度多步推理任务。
推荐理由:官方给出两款语音模型的基准成绩与开放渠道,可据此判断实时语音智能体的能力与成本取舍。
OpenAI 在 API 中推出 GPT-Live-1,带来自然的全双工语音对话能力,并具备更强的指令遵循、自定义声音和电话(telephony)支持。
推荐理由:原文点明了全双工语音、自定义声音和电话接入三项能力,读者可据此判断它对语音应用形态的影响。
Voice Arena 与 Hugging Face 合作向 Open ASR Leaderboard 新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,Hindi 成为该多语言标签页上的首个 Indic 语言。
推荐理由:原文用分区 WER 差异和 lattice 打分对比说明单一 WER 的盲区,读者可据此理解榜单评测的可迁移设计。
Google DeepMind 发布语音转写模型 Gemini 3.5 Transcribe,可将原始音频直接转为准确、格式化的文本,已在 Gemini app 和 Android 的 Rambler 等功能中使用,现通过 Gemini API 在 Google AI Studio 和 Gemini Enterprise Agent Platform 向开发者开放。
推荐理由:原文给出了 WER、延迟等量化指标和 Chirp 3 对比,读者可据此评估其在真实场景的可用性。
Hugging Face 发布研究,提出三种测试来量化语音识别中的基准优化(benchmaxxing)现象,并评测了 11 个广泛使用的开源 ASR 模型。
推荐理由:研究给出三种可量化探测方法与具体数据,读者可据此理解公开语音基准分数虚高的机制并改进自己的评测选择。
NVIDIA Magpie Multilingual TTS 发布新版本,364M 参数开放权重模型支持 12 种语言,新增 Modern Standard Arabic、韩语和巴西葡萄牙语,并扩大印地语和日语的 code-switching 支持。
OpenAI 用六个月构建了 GPT-Live 实时语音系统,支持与 AI 的连续语音交互。该系统采用 turnless 语音模型和低延迟架构,让对话更快、更自然。
avatarin 基于 OpenAI 的 GPT-Realtime 为山田电机(Yamada Denki)顾客提供 24/7 多语言支持。上线两周内有 30,000 人使用该智能体,问卷调查中 92% 的反馈为正面评价。
OpenAI 推出 OpenAI Presence,一个面向企业的 AI 智能体平台,帮助企业部署可信的语音和聊天智能体,用于客户与内部工作流。
Cars24 使用 OpenAI 驱动的语音和聊天智能体,每月处理超过 100 万分钟对话,挽回 12% 的流失线索,并将智能体工作流推广到公司各团队。
Hugging Face 推出 Real World VoiceEQ,一个评估语音交互人类质量的基准,覆盖 40 多个领先闭源与开源语音模型、15+ 评测维度和 60 多项指标,涵盖 ASR、TTS、S2S 与语音理解。
OpenAI 发布新一代语音模型 GPT-Live,用于自然的人机语音交互,目前已成为 ChatGPT Voice 的驱动模型。
Hugging Face 与 Cerebras 合作推出基于 Gemma 4 的实时语音 AI 演示,将开放的级联语音管线与 Cerebras 的推理速度结合,实现更自然的对话响应。
Hugging Face 与 Treble Technologies 联合上线 FFASR Leaderboard,首个开源社区驱动的远场 ASR 评测榜单,覆盖 14 间模拟房间并通过实测数据校验。
Google DeepMind 发布最新音频模型 Gemini 3.5 Live Translate,支持 70+ 语言近实时语音到语音翻译,可自动检测语言并保留说话者的语调、节奏和音高,持续生成语音且仅比说话者落后几秒。
推荐理由:原文说明了从五种语言到 70+ 语言的跨度变化,读者可据此判断它对会议翻译场景的实际影响。