Hugging Face 教你让 Reachy Mini 机器人完全本地运行语音对话
Hugging Face 发布教程,指导用户用 speech-to-speech 库让 Reachy Mini 机器人完全本地运行语音对话,无需云端、无需 API key、数据不出本机。
Hugging Face 发布教程,指导用户用 speech-to-speech 库让 Reachy Mini 机器人完全本地运行语音对话,无需云端、无需 API key、数据不出本机。
Parloa 利用 OpenAI 模型构建可扩展的语音 AI 客服智能体,让企业能够设计、模拟并部署可靠的实时交互。
OpenAI 在 API 中推出新的实时语音模型,可对语音进行推理、翻译和转录,以实现更自然、更智能的语音体验。
Uber 使用 OpenAI 为司机和乘客提供 AI 助手与语音功能,帮助司机更聪明地赚钱、乘客更快叫车。这些能力覆盖全球实时交易市场,通过 AI 助手和语音交互优化司机收入与叫车体验。
Hugging Face 为 Open ASR Leaderboard 引入与 Appen Inc. 和 DataoceanAI 合作的高质量私有英文 ASR 数据集,覆盖多种口音的朗读与对话语音,以防止 benchmaxxing 和测试集污染。
OpenAI 重建了其 WebRTC 技术栈,以支撑实时语音 AI 的低延迟、全球规模和流畅的对话轮次切换。文章介绍了这一重建方案如何同时满足低延迟、全球扩展与自然对话交互的需求。
Google DeepMind 发布 Gemini 3.1 Flash TTS 文本转语音模型,通过在文本中嵌入自然语言 audio tags 实现对语音风格、语速和表达的细粒度控制。
推荐理由:原文给出了基准分数和开放入口,读者可据此判断其在语音生成上的定位与可用性。
Google DeepMind 发布 Gemini 3.1 Flash Live,称其为迄今质量最高的音频与语音模型,精度与延迟均有改善。在 ComplexFuncBench Audio 上取得 90.8%,在 Scale AI 的 Audio MultiChallenge 上开启 thinking 后取得 36.1%。
推荐理由:给出了两项基准分数和面向开发者、企业、普通用户的开放入口,读者可据此判断其在语音智能体场景的可用性。
Hugging Face 发布 EVA,一个端到端评测对话式语音智能体的框架,用 bot-to-bot 音频架构评估完整多轮语音对话,输出 EVA-A(准确率)和 EVA-X(体验)两个分数,并首次联合打分任务成功与对话体验。
Mistral AI 发布首款文本转语音模型 Voxtral TTS,参数量 4B,基于 Ministral 3B 构建,支持 9 种语言(英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语、阿拉伯语)的自然情感语音生成。
推荐理由:原文给出了架构组成、延迟数据和与 ElevenLabs 的人工评测对比,读者可据此判断其在语音智能体场景的可用性。
Google Research 发布开源语音数据集 WAXAL,覆盖撒哈拉以南非洲 27 种语言、逾 1 亿使用者,以 CC-BY-4.0 许可开放。数据集包含约 1,846 小时 ASR 转录自然语音与超过 565 小时高保真 TTS 录音,由非洲学术与社区组织主导采集,合作方包括 Makerere University、University of Ghana 等。
Descript 借助 OpenAI 推理模型实现了大规模内容库的自动本地化配音,在翻译过程中不丢失时间轴与语义。该方案让 Descript 得以对大量视频内容进行多语言配音扩展。
Mistral AI 发布 Voxtral Transcribe 2 系列,包含面向批量转写的 Voxtral Mini Transcribe V2 和面向实时应用的 Voxtral Realtime,后者以 Apache 2.0 开源权重在 Hugging Face 发布。
推荐理由:原文给出两款模型的延迟、词错率与价格对比,读者可据此评估其在语音工作流中的替换价值。
Tolan 基于 GPT-5.1 构建了语音优先的 AI 伴侣,结合低延迟响应、实时上下文重建与记忆驱动的个性化,实现自然对话。
Google DeepMind 发布更新版 Gemini 2.5 Flash Native Audio,用于实时语音智能体,已在 Google AI Studio、Vertex AI 提供,并开始在 Gemini Live 和 Search Live 中推出,其中 Search Live 首次引入原生音频自然度。
推荐理由:原文给出了三项具体能力改进和评测分数,读者可据此判断它在语音智能体场景的实际可用性。
Google Research 在 NeurIPS 2025 推出 Massive Sound Embedding Benchmark(MSEB),标准化评测转写、分类、检索、推理、分割、聚类、重排、重建八项听觉核心能力。
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道,截至 21 Nov 2025 已对比来自 18 个机构的 60+ 开源与闭源模型、覆盖 11 个数据集,并配有一篇预印本总结趋势。
Google Research 介绍了一种端到端实时语音到语音翻译(S2ST)模型,可保留原说话人声音进行实时翻译,延迟仅 2 秒,而现有级联式方案通常有 4–5 秒延迟并存在误差累积。
推荐理由:原文对比了级联方案的延迟与误差累积问题,读者可据此理解端到端流式架构带来的改进方向。
Hugging Face 发布 voice consent gate(语音同意门)概念与示例 Space,让语音克隆只有在说话者明确说出同意后才启动。系统由生成同意句、ASR 识别和语音克隆 TTS 三部分组成,用大语言模型为每次会话生成含模型名的唯一同意句与补充语音多样性的中性句,且要求音频直接来自麦克风。
OpenAI 发布更先进的语音到语音模型 gpt-realtime,并为 Realtime API 新增 MCP server 支持、图像输入和 SIP 电话呼叫能力。
推荐理由:原文列出了语音模型升级与三项新 API 能力,读者可据此判断实时语音应用的接入范围是否扩大。
Mistral AI 为 Le Chat 推出一批新功能,包括预览版 Deep Research 模式、基于 Voxtral 的语音模式、由推理模型 Magistral 驱动的多语言 Think 模式、Projects 文件夹,以及与 Black Forest Labs 合作的图像编辑。
推荐理由:原文逐项说明了新功能的定位与底层模型,读者可据此判断 Le Chat 在研究、语音、推理场景的能力边界。
Mistral AI 发布 Voxtral 语音理解模型,提供 24B 和 3B 两个尺寸,均以 Apache 2.0 许可开源,也可通过 API 调用,API 定价 $0.001 per minute 起。
推荐理由:原文对比了开源与闭源语音方案的取舍,并给出价格与基准数据,便于评估其部署性价比。
Retell 采用 OpenAI 模型驱动其语音智能体业务,每月支撑 1 亿通电话。GPT-6 Astra 在 Retell 的语音智能体基准测试中排名第一,Codex 则帮助 Retell 达到每名员工 160 万美元的年化营收。
Hugging Face 在 Inference Endpoints 上推出新的 OpenAI Whisper 部署选项,相比上一版性能提升至高 8 倍,让用户一键部署专用转录模型。
Speak 正在用 AI 打造个性化的语言学习体验,其 CEO 与联合创始人 Connor Zwick 分享了这一方向的思路与实践。
Hugging Face 与 Cloudflare 达成合作,FastRTC 开发者凭 Hugging Face Access Token 即可接入 Cloudflare 覆盖全球 335 个地点的 TURN 网络,每月免费流式传输 10GB 数据且无需信用卡,超出后可切换至 Cloudflare 账号。
ChatGPT 的视觉与语音功能帮助团队处理多模态输入并进行更自然的沟通。
OpenAI 在 API 中推出新一代语音模型,开发者首次可以让文本转语音模型以特定方式说话,例如 talk like a sympathetic customer service agent,为语音智能体带来新的定制能力。
Hugging Face 与印度科学研究所(IISc)及 ARTPARK 达成合作,旨在提升印度开源多模态多语言数据集 Vaani 的可访问性与易用性。
Hugging Face 宣布推出 FastRTC,一个让开发者完全用 Python 构建实时音频和视频 AI 应用的通信库,内置语音检测与轮次切换、WebRTC 支持以及可直接测试或部署的 Gradio UI。
Hugging Face 官方博客给出将 Speech-to-Speech(S2S)级联语音管线(VAD、STT、LM、TTS,支持英法西中日韩多语言)部署到 Inference Endpoints 的完整步骤。
OpenAI 推出 Realtime API,开发者现在可以在自己的应用中构建快速的语音到语音(speech-to-speech)体验。
OpenAI 探索其文本转语音模型 Voice Engine 背后的技术原理与安全研究。文章介绍了该模型如何将文本合成为语音,并阐述了 OpenAI 围绕 Voice Engine 展开的安全性探索工作。
OpenAI 与行业领先的选角和导演专业人士合作,从 400 多份投稿中筛选,最终为 ChatGPT 语音功能选定 5 个声音。
Hugging Face 官方博客介绍如何用自定义 inference handler 在 Inference Endpoints 上部署 Whisper ASR、Pyannote 说话人分离与投机解码的组合管线,代码拆分为 handler.py、diarization_utils.py 和 config.py 三个文件。
OpenAI 分享了 Voice Engine 小规模预览的实践经验,这是一款用于创建定制语音的模型。文章总结了合成语音在开发过程中遇到的挑战与机遇。
Hugging Face 推出 TTS Arena,一个让用户提交文本、盲听两个 TTS 模型合成语音并投票的众包评测平台,结果将汇总为排行榜。该平台采用类似 LMSys Chatbot Arena 的 Elo 评分系统,投票前不显示模型名以防偏见。首发模型包括 ElevenLabs、MetaVoice、OpenVoice、Pheme、WhisperSpeech 和 XTTS,涵盖开源与闭源。
Hugging Face 发布教程,演示如何用 🤗 Transformers 微调 MetaAI 的 Wav2Vec2-BERT 预训练 checkpoint facebook/w2v-bert-2.0,在低资源蒙古语 Common Voice 16.0 数据集(约 14 小时验证训练数据)上完成 ASR 任务。
Hugging Face 博客演示如何用 Speculative Decoding 把 Whisper 推理时间缩短为原来的 1/2,且数学上保证输出与原模型完全一致,可直接替换现有 Whisper 流程。
Hugging Face 通过教程演示如何用 🤗 Transformers、Optimum 和 Accelerate 三个库对 Suno AI 的 TTS 模型 Bark 做推理优化,基线(suno/bark-small)在 5 次迭代下平均延迟 9.38 秒、显存占用 1.91 GB。