Google Research 公布 Earth AI、DeepSomatic 与 Quantum Echoes 三项突破
Google Research 在 Research@MTV 活动上公布三项最新突破:Earth AI 地理空间推理智能体、开源癌症基因变异工具 DeepSomatic,以及在 Willow 芯片上运行的 Quantum Echoes 算法。
Google Research 在 Research@MTV 活动上公布三项最新突破:Earth AI 地理空间推理智能体、开源癌症基因变异工具 DeepSomatic,以及在 Willow 芯片上运行的 Quantum Echoes 算法。
Google Research 在 UIST'25 发布 StreetReaderAI 原型,用基于 Gemini 的上下文感知多模态 AI 让盲人和低视力用户通过语音与键盘浏览街景。
NVIDIA Isaac for Healthcare v0.4 提供端到端 SO-ARM 手术助手工作流,通过 LeRobot 采集数据、微调 GR00T N1.5、在 IsaacLab 评估并部署到硬件。
NVIDIA Isaac for Healthcare v0.4 提供基于 SO-ARM 的端到端入门工作流,用 LeRobot 采集仿真与真实数据、后训练 GR00T N1.5、在 Isaac Lab 评估并部署到硬件,构建具身手术助理机器人。
Google 宣布基于 Gemini 模型打造的个人健康教练将在未来一周内向美国 Fitbit Premium Android 用户推出可选公开预览,iOS 版本随后扩展。
推荐理由:原文拆解了健康教练背后的多智能体框架与评测体系,读者可了解其如何把通用模型落到具体健康场景。
Hugging Face 宣布为开源工具 AI Sheets 加入视觉支持,用户可在表格中直接查看、分析、提取图片信息,生成新图并实时编辑,底层通过 Inference Providers 调用数千个开源模型。
推荐理由:通过手写食谱的完整示例,读者可以看到从图片抽取到结构化导出的可迁移工作流。
Hugging Face 发布指南介绍如何挑选和使用开源 OCR 模型,覆盖模型能力、输出格式(DocTag、HTML、Markdown、JSON)、评测基准与成本对比。
推荐理由:文章给出模型能力、输出格式与成本的对照维度,读者可据此为自己的文档场景挑选 OCR 模型。
Hugging Face 发布 Nemotron-Personas-India,首个与印度真实人口、地理和文化分布对齐的开源合成人格数据集,采用 CC BY 4.0 许可,可商用与非商用。
Hugging Face 发布三部分系列第一篇,讲解如何把 RedNote 的 3B 参数 OCR 模型 dots.ocr(在 OmniDocBench 上超过 Gemini 2.5 Pro)通过 Core ML 和 MLX 组合转到端侧运行,其中视觉编码器用 Core ML、Qwen2.5-1.5B 语言骨干用 MLX。
OpenAI 发布 Sora 2 系统卡,介绍其新一代视频与音频生成模型。Sora 2 在 Sora 基础上引入更准确的物理表现、更强的真实感、同步音频、增强的可控性以及更广的风格范围等此前视频模型难以实现的能力。
OpenAI 宣布推出 Sora 2 视频模型和 Sora 应用,称针对前沿视频模型与全新社交创作平台带来的新型安全挑战,将安全作为基础,并以具体保护措施作为其做法的锚点。
推荐理由:官方说明了面向视频模型与社交创作平台的具体安全保护措施,可了解其安全设计思路。
Hugging Face 发布 Smol2Operator 工作,展示如何用两阶段后训练把无 grounding 能力的 SmolVLM2-2.2B-Instruct 训练成可执行 GUI 任务的智能体。
OpenAI 的 Executive Function 系列介绍了新加坡媒体 CNA 如何用 AI 转型其新闻编辑部,CNA 总编辑 Walter Fernandez 分享了 AI 采用、组织文化与新闻业未来的见解。
SchoolAI 基于 GPT-4.1、图像生成和 TTS 构建了由教师引导的安全 AI 工具,已服务超过 100 万间教室。该平台旨在提升学生参与度、教师监督能力和个性化学习水平。
Hugging Face 在 Gradio 中加入可见水印功能,创建 Space 时用一条命令即可为图片、视频和 AI 文本添加水印。图片和视频通过 `watermark` 参数传入水印文件名、open images 或 numpy 数组;文本水印在用户复制 AI 回复时自动附带出处,支持 QR 水印样式。
Hugging Face 官方教程介绍如何把 Claude 连接到 Hugging Face MCP Server,从而调用 ZeroGPU 驱动的 Spaces 生成图像。
Arm 发布 Neural Super Sampling(NSS),一款面向图形与游戏开发者的 AI 超分模型,已在 Enchanted Castle 演示中将 GPU 负载降低 50%,以 540p 渲染并放大到 1080p 仅需 4ms。
OpenAI 发布了关于 GPT-5 在编码与设计领域应用的指南,介绍 GPT-5 如何为编码和设计解锁新的可能性。
Hugging Face 官方博客宣布 TRL 新增对视觉语言模型(VLM)的多项对齐方法支持,包括 Mixed Preference Optimization(MPO)。
OpenAI 宣布推出 GPT-5,称其为迄今最好的 AI 系统,相比此前所有模型在智能上有显著跃升,在编码、数学、写作、健康、视觉感知等多个领域达到 state-of-the-art 表现。
Mistral AI 演示了用 LoRA 微调 Pixtral-12B 在 Aerial Image Dataset(AID)上做卫星影像场景分类的完整流程。
Figma 借助 AI 改变数字设计方式,David Kossnick 分享了 Figma Make 等工具如何让团队用 AI 进行原型设计、协作与构建。这些工具正在重塑设计师、开发者和非技术创作者的工作流程。
Hugging Face 发布并开源长视频理解基准 TimeScope,通过在 1 分钟至 8 小时的视频中插入 5-10 秒短片作为“针”,以局部检索、信息综合、细粒度时序感知三类任务评估模型的真实时序理解能力。
Mistral AI 为 Le Chat 推出一批新功能,包括预览版 Deep Research 模式、基于 Voxtral 的语音模式、由推理模型 Magistral 驱动的多语言 Think 模式、Projects 文件夹,以及与 Black Forest Labs 合作的图像编辑。
推荐理由:原文逐项说明了新功能的定位与底层模型,读者可据此判断 Le Chat 在研究、语音、推理场景的能力边界。
Invideo AI 使用 OpenAI 的 GPT-4.1、gpt-image-1 和 text-to-speech 模型,把创意在几分钟内转化为专业视频,制作速度提升 10 倍。
Hugging Face 发布完全开源的 3B 模型 SmolLM3,包含 Base 与 Instruct/Reasoning 两个版本,用 11.2T tokens 训练,性能超过 Llama-3.2-3B 和 Qwen2.5-3B,并与 4B 级模型(Qwen3、Gemma3)竞争。
推荐理由:完整公开了三阶段预训练配方与双模式推理的构建方法,可迁移给自建小模型的团队。
Hugging Face 博客基于 nanoVLM 项目排查训练 GPU 空闲问题,发现数据流水线浪费严重,朴素 padding 下约 60% 的 batch 是无用 token。
NVIDIA 在 Hugging Face Hub 开源 Llama Nemotron Nano VL,一款面向智能文档处理的 8B 视觉语言模型,在 OCRBench v2 上取得领先成绩,并在 ChartQA、AI2D 等基准上表现良好。
Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、transformers.js、ollama、Google AI Edge 等主流开源库开放可用,原生支持图像、文本、音频和视频输入。
推荐理由:原文给出了模型规格、显存需求和各库接入方式,读者可据此判断能否在自己的设备上跑起来。
Hugging Face 发布 ScreenSuite,一个覆盖 13 个 benchmark 的 GUI Agent 评测套件,按感知、定位、单步动作、多步智能体四类能力统一评估 Vision Language Models。
Arm 合作伙伴兼生态负责人 Michael Gamble 构建了一个在 Arm CPU 上完全本地运行的个人声音生成应用,基于 Stability AI 的 Stable Audio Open 模型与 PyTorch、TorchAudio,无需 GPU 和云端推理,几秒内即可从提示词生成 .wav 文件。
H Company 在 Hugging Face 开源了 Holo1 系列 Action VLM(含 Holo1-3B 和 Holo1-7B)以及包含 1,639 个人类式 UI 任务的多模态定位基准 WebClick。
推荐理由:给出了模型规格、基准成绩与单任务成本,读者可据此评估开源 GUI 自动化方案的性价比。
Hugging Face 发布 SmolVLA-450M,一款 450M 参数的开源视觉语言动作模型,可在消费级硬件上运行,仅用 lerobot 标签下的社区共享数据集预训练,在 LIBERO、Meta-World 仿真及 SO100、SO101 真实任务上超过更大的 VLA 和 ACT 基线。
推荐理由:原文给出了训练数据规模、架构取舍和异步推理收益,读者可据此评估小模型 VLA 在消费级硬件上的可行性。
Hugging Face 发布 nanoVLM,一个用纯 PyTorch 训练视觉语言模型的轻量工具包,灵感来自 Andrej Karpathy 的 nanoGPT,可在免费 Colab 上启动训练。
Hugging Face 发布博客回顾过去一年视觉语言模型(VLM)的发展,覆盖 any-to-any 模型、推理模型、小模型、MoE 解码器、VLA、目标检测与分割、多模态安全、多模态 RAG、多模态 Agent、视频语言模型、DPO 对齐技术和新基准等主题。
GPT-4o 帮助团队更快地起草、润色和调整语气,让写作与协作更自然。
Meta 发布 Llama Guard 4,一个 12B 稠密多模态安全模型,以及两款新的 Llama Prompt Guard 2 分类器(86M 和 22M 参数)。
推荐理由:原文给出了从 Llama 4 Scout 剪枝为稠密模型的架构细节和与上一代的对比数据,便于判断其部署成本与效果取舍。
ChatGPT for Business 2025 年 4 月新增 o3、图像生成、增强记忆(enhanced memory)和内部知识(internal knowledge)四项功能,并提供实机演示。
TNG 基于 olmOCR-7B-0225-preview 微调出忠实 OCR 引擎,解决了原模型忽略页眉页脚关键信息(如发票)的问题。团队用 Qwen2.5-VL-72B-Instruct 生成 8,000 份文档数据集,在 8xH100 节点上以 4 步梯度累积训练 2.5 epochs,微调后模型能完整提取页眉页脚内容并仍可解析表格,已开源至 HuggingFace。
Speak 正在用 AI 打造个性化的语言学习体验,其 CEO 与联合创始人 Connor Zwick 分享了这一方向的思路与实践。