Hugging Face 开源 Smol2Operator:两阶段后训练让 SmolVLM2 掌握 GUI 操作
Hugging Face 发布 Smol2Operator 工作,展示如何用两阶段后训练把无 grounding 能力的 SmolVLM2-2.2B-Instruct 训练成可执行 GUI 任务的智能体。
Hugging Face 发布 Smol2Operator 工作,展示如何用两阶段后训练把无 grounding 能力的 SmolVLM2-2.2B-Instruct 训练成可执行 GUI 任务的智能体。
OpenAI 的 Executive Function 系列介绍了新加坡媒体 CNA 如何用 AI 转型其新闻编辑部,CNA 总编辑 Walter Fernandez 分享了 AI 采用、组织文化与新闻业未来的见解。
SchoolAI 基于 GPT-4.1、图像生成和 TTS 构建了由教师引导的安全 AI 工具,已服务超过 100 万间教室。该平台旨在提升学生参与度、教师监督能力和个性化学习水平。
Hugging Face 在 Gradio 中加入可见水印功能,创建 Space 时用一条命令即可为图片、视频和 AI 文本添加水印。图片和视频通过 `watermark` 参数传入水印文件名、open images 或 numpy 数组;文本水印在用户复制 AI 回复时自动附带出处,支持 QR 水印样式。
Hugging Face 官方教程介绍如何把 Claude 连接到 Hugging Face MCP Server,从而调用 ZeroGPU 驱动的 Spaces 生成图像。
Arm 发布 Neural Super Sampling(NSS),一款面向图形与游戏开发者的 AI 超分模型,已在 Enchanted Castle 演示中将 GPU 负载降低 50%,以 540p 渲染并放大到 1080p 仅需 4ms。
OpenAI 发布了关于 GPT-5 在编码与设计领域应用的指南,介绍 GPT-5 如何为编码和设计解锁新的可能性。
Hugging Face 官方博客宣布 TRL 新增对视觉语言模型(VLM)的多项对齐方法支持,包括 Mixed Preference Optimization(MPO)。
OpenAI 宣布推出 GPT-5,称其为迄今最好的 AI 系统,相比此前所有模型在智能上有显著跃升,在编码、数学、写作、健康、视觉感知等多个领域达到 state-of-the-art 表现。
Mistral AI 演示了用 LoRA 微调 Pixtral-12B 在 Aerial Image Dataset(AID)上做卫星影像场景分类的完整流程。
Figma 借助 AI 改变数字设计方式,David Kossnick 分享了 Figma Make 等工具如何让团队用 AI 进行原型设计、协作与构建。这些工具正在重塑设计师、开发者和非技术创作者的工作流程。
Hugging Face 发布并开源长视频理解基准 TimeScope,通过在 1 分钟至 8 小时的视频中插入 5-10 秒短片作为“针”,以局部检索、信息综合、细粒度时序感知三类任务评估模型的真实时序理解能力。
Mistral AI 为 Le Chat 推出一批新功能,包括预览版 Deep Research 模式、基于 Voxtral 的语音模式、由推理模型 Magistral 驱动的多语言 Think 模式、Projects 文件夹,以及与 Black Forest Labs 合作的图像编辑。
推荐理由:原文逐项说明了新功能的定位与底层模型,读者可据此判断 Le Chat 在研究、语音、推理场景的能力边界。
Invideo AI 使用 OpenAI 的 GPT-4.1、gpt-image-1 和 text-to-speech 模型,把创意在几分钟内转化为专业视频,制作速度提升 10 倍。
Hugging Face 发布完全开源的 3B 模型 SmolLM3,包含 Base 与 Instruct/Reasoning 两个版本,用 11.2T tokens 训练,性能超过 Llama-3.2-3B 和 Qwen2.5-3B,并与 4B 级模型(Qwen3、Gemma3)竞争。
推荐理由:完整公开了三阶段预训练配方与双模式推理的构建方法,可迁移给自建小模型的团队。
Hugging Face 博客基于 nanoVLM 项目排查训练 GPU 空闲问题,发现数据流水线浪费严重,朴素 padding 下约 60% 的 batch 是无用 token。
NVIDIA 在 Hugging Face Hub 开源 Llama Nemotron Nano VL,一款面向智能文档处理的 8B 视觉语言模型,在 OCRBench v2 上取得领先成绩,并在 ChartQA、AI2D 等基准上表现良好。
Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、transformers.js、ollama、Google AI Edge 等主流开源库开放可用,原生支持图像、文本、音频和视频输入。
推荐理由:原文给出了模型规格、显存需求和各库接入方式,读者可据此判断能否在自己的设备上跑起来。
Hugging Face 发布 ScreenSuite,一个覆盖 13 个 benchmark 的 GUI Agent 评测套件,按感知、定位、单步动作、多步智能体四类能力统一评估 Vision Language Models。
Arm 合作伙伴兼生态负责人 Michael Gamble 构建了一个在 Arm CPU 上完全本地运行的个人声音生成应用,基于 Stability AI 的 Stable Audio Open 模型与 PyTorch、TorchAudio,无需 GPU 和云端推理,几秒内即可从提示词生成 .wav 文件。
H Company 在 Hugging Face 开源了 Holo1 系列 Action VLM(含 Holo1-3B 和 Holo1-7B)以及包含 1,639 个人类式 UI 任务的多模态定位基准 WebClick。
推荐理由:给出了模型规格、基准成绩与单任务成本,读者可据此评估开源 GUI 自动化方案的性价比。
Hugging Face 发布 SmolVLA-450M,一款 450M 参数的开源视觉语言动作模型,可在消费级硬件上运行,仅用 lerobot 标签下的社区共享数据集预训练,在 LIBERO、Meta-World 仿真及 SO100、SO101 真实任务上超过更大的 VLA 和 ACT 基线。
推荐理由:原文给出了训练数据规模、架构取舍和异步推理收益,读者可据此评估小模型 VLA 在消费级硬件上的可行性。
Hugging Face 发布 nanoVLM,一个用纯 PyTorch 训练视觉语言模型的轻量工具包,灵感来自 Andrej Karpathy 的 nanoGPT,可在免费 Colab 上启动训练。
Hugging Face 发布博客回顾过去一年视觉语言模型(VLM)的发展,覆盖 any-to-any 模型、推理模型、小模型、MoE 解码器、VLA、目标检测与分割、多模态安全、多模态 RAG、多模态 Agent、视频语言模型、DPO 对齐技术和新基准等主题。
GPT-4o 帮助团队更快地起草、润色和调整语气,让写作与协作更自然。
Meta 发布 Llama Guard 4,一个 12B 稠密多模态安全模型,以及两款新的 Llama Prompt Guard 2 分类器(86M 和 22M 参数)。
推荐理由:原文给出了从 Llama 4 Scout 剪枝为稠密模型的架构细节和与上一代的对比数据,便于判断其部署成本与效果取舍。
ChatGPT for Business 2025 年 4 月新增 o3、图像生成、增强记忆(enhanced memory)和内部知识(internal knowledge)四项功能,并提供实机演示。
TNG 基于 olmOCR-7B-0225-preview 微调出忠实 OCR 引擎,解决了原模型忽略页眉页脚关键信息(如发票)的问题。团队用 Qwen2.5-VL-72B-Instruct 生成 8,000 份文档数据集,在 8xH100 节点上以 4 步梯度累积训练 2.5 epochs,微调后模型能完整提取页眉页脚内容并仍可解析表格,已开源至 HuggingFace。
Speak 正在用 AI 打造个性化的语言学习体验,其 CEO 与联合创始人 Connor Zwick 分享了这一方向的思路与实践。
Hugging Face 语言技术实验室发布 Visual Salamandra 7B,将 Salamandra 7B 大语言模型扩展到图像和视频理解,基于 Salamandra Instructed 7B 集成 Google 的 SigLIP-So400m 编码器、2 层 MLP projector 和后期融合技术。
ChatGPT 的视觉与语音功能帮助团队处理多模态输入并进行更自然的沟通。
Inception 与 MBZUAI 合作推出 Arabic-Leaderboards Space,集中呈现阿拉伯语 AI 评测,目前上线 AraGen-03-25 与 Arabic Instruction Following 两个榜单。
OpenAI 与 Canva 联合创始人兼首席产品官 Cameron Adams 进行对话,探讨 Canva 如何借助 AI 激发用户的创造力。
Hugging Face 官方博客宣布 Meta 新一代 Llama 4 模型上线 Hub:Maverick 约 400B 总参数、128 专家,Scout 约 109B 总参数、16 专家,均为 17B 激活参数的 MoE 架构,支持文本与图像输入,训练数据最多 40 万亿 token、覆盖 200 种语言。
推荐理由:原文拆解了 NoPE、分块注意力等架构选择,读者可理解超长上下文如何实现。
NVIDIA 在 GTC 大会上发布三项面向物理 AI 开发者的开源成果:世界基础模型 Cosmos Transfer、开源数据集 Physical AI Dataset,以及首个通用人形机器人推理开源模型 Isaac GR00T N1。
推荐理由:梳理了三项开源发布的具体规格与架构细节,便于开发者评估可直接复用的模型与数据资源。
Mistral AI 宣布发布 Mistral Small 3.1,基于 Mistral Small 3 升级,改进了文本性能与多模态理解,上下文窗口扩展至 128k tokens,推理速度达 150 tokens per second,以 Apache 2.0 许可开源。
推荐理由:原文列出了上下文、速度与运行门槛,读者可据此判断它是否适合端侧与低延迟场景。
Google 发布 Gemma 3 系列开源模型,包含 1B、4B、12B、27B 四种参数规模,提供预训练与指令微调版本,上下文窗口最高达 128k tokens,支持 140+ 语言,4B/12B/27B 版本可处理图文输入。
推荐理由:原文拆解了长上下文、多模态与多语言三项技术改进的具体做法,便于理解开源模型的能力来源。
Mistral AI 发布 OCR API Mistral OCR,可输入图像和 PDF,按顺序交错提取文本与图像,适合与 RAG 系统配合处理多模态文档。
推荐理由:原文给出基准对比与定价,读者可据此评估它在文档理解任务上替代现有 OCR 方案的空间。
Cohere For AI 发布并开源 Aya Vision 8B 和 32B 两个视觉语言模型,覆盖 23 种语言的图像理解与文本生成任务。
推荐理由:原文给出了数据增强与模型合并带来的具体胜率提升,可迁移的多语言多模态训练思路清晰。
Mercari 利用 GPT-4o mini 和 GPT-4 简化卖家流程、优化商品列表并提升销量,通过 AI Listing Support 和 Mercari AI Assistant 等功能改造在线市场体验。