Hugging Face 教程：用 TRL 和 DPO 微调视觉语言模型减少幻觉
Hugging Face 官方博客宣布 TRL 库现已支持对视觉语言模型（VLM）进行直接偏好优化（DPO），并给出完整教程。
#多模态
Hugging Face BlogAI 评分5555
Hugging Face BlogAI 评分5555 Hugging Face 教程：如何微调 Florence-2 完成 DocVQA 文档问答
Hugging Face 发布教程，展示如何将微软 Florence-2 微调到 DocVQA 数据集上获得 VQA 能力：微调前验证集 Levenshtein 相似度为 0，训练 7 个 epoch 后提升到 57.0。
Hugging Face BlogAI 评分2424 Prezi 如何借助 Hugging Face Expert Support Program 加速其多模态 ML 路线图
Prezi 加入 Hugging Face Expert Support Program，将开源 re-ranker 模型引入其 Prezi AI 系统的资产搜索管线，以更低成本、更快速度和更好效果筛选图片与文本。
OpenAI NewsAI 评分3838 OpenAI 与 Color Health 用 GPT-4o 推理改造癌症诊疗
Color Health 与 OpenAI 合作推出 Cancer Copilot 应用，用 GPT-4o 识别缺失的诊断信息并生成定制化检查计划，帮助医疗提供者就癌症筛查与治疗做出循证决策，从而加快癌症患者获得治疗的速度。
Hugging Face BlogAI 评分5555 TII 发布 Falcon2-11B 开源 LLM 与 VLM
TII 发布 Falcon 2 系列首批模型 Falcon2-11B，包括 11B 参数的 LLM 和具备图像理解能力的 VLM，基于超过 5,000 GT tokens 的 RefinedWeb 数据经四阶段训练，上下文长度扩展至 8192 tokens。
OpenAI NewsAI 评分4444 ChatGPT 数据分析功能改进
ChatGPT 改进数据分析功能，支持直接与表格和图表交互，并可从 Google Drive 和 Microsoft OneDrive 添加文件。
OpenAI NewsAI 评分1515 Canva 用 AI 打造 Magic Studio
Canva 推出 AI 驱动的 Magic Studio，面向每月超 1.75 亿用户的视觉沟通平台。该平台结合易用界面、海量素材库与省时工具，让缺乏设计训练的知识工作者也能创作出视觉内容。
Hugging Face Blog精选AI 评分6565 Hugging Face 介绍 Google PaliGemma 开源视觉语言模型系列
Hugging Face 博客介绍 Google 发布的 PaliGemma 视觉语言模型家族，其架构由 SigLIP-So400m 图像编码器与 Gemma-2B 文本解码器经线性适配器组合而成，可接收图像与文本并输出文本。
推荐理由：详细拆解了三类检查点的用途差异与分辨率取舍，可帮助读者按任务选型并直接上手微调。
OpenAI News精选AI 评分8585 OpenAI 发布旗舰模型 GPT-4o，支持音频、视觉与文本实时推理
OpenAI 宣布推出新旗舰模型 GPT-4o（GPT-4 Omni），能够跨音频、视觉和文本进行实时推理。
OpenAI News精选AI 评分8686 OpenAI 发布 GPT-4o 并在 ChatGPT 免费开放更多能力
OpenAI 发布 GPT-4o，并让更多能力在 ChatGPT 中免费可用。
OpenAI News精选AI 评分8787 OpenAI 发布 GPT-4o 并向 ChatGPT 免费用户开放更多能力
OpenAI 宣布发布其最新旗舰模型 GPT-4o，并让更多能力在 ChatGPT 中免费提供给用户。
Hugging Face Blog精选AI 评分6363 Hugging Face 发布 8B 多模态模型 Idefics2
Hugging Face 发布 Idefics2，一个 8B 参数的通用多模态模型，采用 Apache 2.0 开源许可，可接受任意文本与图像序列输入并生成文本回答，具备图像问答、文档信息抽取和基础算术等能力。
推荐理由：给出了模型能力、基准对比和训练数据构成，读者可据此判断 8B 规模开源多模态模型的可用水平。
Hugging Face BlogAI 评分5555 Hugging Face 博客讲解视觉语言模型原理与微调方法
Hugging Face 官方博客介绍视觉语言模型的构成、开源模型概览、选型与评测方式，并给出用 transformers 推理和用 TRL SFTTrainer 微调的完整代码。
Hugging Face BlogAI 评分4444 Pollen Robotics 开源 pollen-vision：面向机器人抓取的零样本视觉模型统一接口
Pollen Robotics 开源了 pollen-vision 库，为机器人提供零样本视觉模型的统一接口，首版聚焦 3D 物体检测，输出物体在 3D 空间的 (x, y, z) 坐标，无需训练即可开箱使用。
Hugging Face BlogAI 评分5353 Hugging Face 发布 WebSight-v0.2 数据集与截图转 HTML 模型 Sightseer
Hugging Face 发布 WebSight-v0.2 数据集，用于训练将网页截图转换为 HTML 代码的 AI 系统，规模扩展至 200 万组截图/HTML 对，截图改用真实图片并切换到 Tailwind CSS。
OpenAI NewsAI 评分1818 Lifespan 用 GPT-4 提升健康素养与患者福祉
Lifespan 使用 GPT-4 大幅提升健康素养与患者治疗效果。
Hugging Face BlogAI 评分4343 ConTextual：多模态模型在文字密集场景中联合推理能力的评测基准
UCLA 研究团队发布 ConTextual 数据集与排行榜，包含 506 条指令，用于评测多模态大模型在文字密集场景中联合推理文本与视觉信息的能力。实验评估了 13 个模型，GPT-4V 表现最佳，在抽象场景推理上超过人类，但在时间读取类任务上表现不佳；开源模型如 LLaVA-v1.5-13B、ShareGPT4V-7B 仅在抽象与自然场景领域达到可接受水平。
Mistral AIAI 评分5555 Mistral AI 发布对话助手 Le Chat 及企业版
Mistral AI 发布新的对话助手 le Chat Mistral，作为展示 Mistral 模型能力与企业部署的首个示例。Le Chat 可调用 Mistral Large、Mistral Small 或原型模型 Mistral Next，内置可调节的系统级审核机制，会在对话可能涉及敏感内容时非侵入式提醒。
Hugging Face BlogAI 评分5656 Hugging Face 解读 AI 水印技术：原理、工具与各模态挑战
Hugging Face 发布博客介绍 AI 生成内容的水印技术，涵盖生成时嵌入与生成后添加两种方式，并讨论开放与闭源水印的权衡。
OpenAI News精选AI 评分8282 OpenAI 发布视频生成模型 Sora，探索世界模拟器路线
OpenAI 发布视频生成模型 Sora，可在文本条件下生成一分钟高保真视频。该模型基于在视频与图像潜码的时空 patch 上运行的 Transformer 架构，对不同时长、分辨率和宽高比的视频与图像联合训练，其结果表明扩大视频生成模型规模是构建物理世界通用模拟器的可行路径。
推荐理由：原文点明扩大视频生成规模是通向物理世界通用模拟器的路径，提供了技术路线的关键判断。
Hugging Face BlogAI 评分4444 SegMoE：Segmind Mixture of Diffusion Experts 发布
Segmind 发布 SegMoE 框架，用于从零构建 Mixture-of-Experts 扩散模型，并已集成进 Hugging Face 生态、支持 diffusers。
OpenAI NewsAI 评分1515 OpenAI：WHOOP 用 GPT-4 提供个性化健身与健康教练服务
WHOOP 用 GPT-4 为用户提供个性化健身和健康教练服务。
Hugging Face BlogAI 评分5656 Hugging Face 让 LoRA 推理提速 300%，冷启动从 25s 降到 3s
Hugging Face 在 Inference API 中实现 LoRA 动态加载，保持 Stable Diffusion 基础模型常驻热态、按请求切换适配器，把预热时间从 25s 降到 3s，用户响应时间从 35s 降到 13s，用不到 5 张 A10G 即可服务数百个不同 LoRA。
OpenAI News精选AI 评分8888 OpenAI DevDay 发布 GPT-4 Turbo、Assistants API 等新品
OpenAI 在 DevDay 上宣布多项新模型与开发者产品，包括具备 128K context 且价格更低的 GPT-4 Turbo、新版 Assistants API、GPT-4 Turbo with Vision 以及 DALL·E 3 API 等。
推荐理由：原文列出了一次开发者大会上的多项模型与API更新，可据此了解OpenAI当时的产品线变化方向。
OpenAI NewsAI 评分5555 DALL·E 3 在 ChatGPT Plus 和 Enterprise 中上线
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用，并表示为面向更广泛发布准备 DALL·E 3 构建了一套安全缓解体系，同时分享了来源研究（provenance research）的更新。
OpenAI NewsAI 评分2222 Typeform 用 GPT-3.5 和 GPT-4 将在线表单升级为动态数据收集
Typeform 借助 GPT-3.5 和 GPT-4 将在线表单升级为动态、对话式的数据收集体验。
OpenAI News精选AI 评分7070 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，介绍 GPT-4V 的相关信息。
OpenAI News精选AI 评分7575 ChatGPT 新增视觉、听觉与语音能力
OpenAI 官方宣布 ChatGPT 现在可以看、听和说，即支持图像输入、音频理解与语音输出能力。
Hugging Face BlogAI 评分4444 3D Gaussian Splatting 入门：原理、训练流程与图形学未来
Hugging Face 详解 3D Gaussian Splatting 这一光栅化技术，它能用少量图像样本实时渲染照片级场景，其流程包括用 COLMAP 做运动恢复结构（SfM）生成点云、转为高斯并用随机梯度下降训练可微光栅化。
Hugging Face Blog精选AI 评分6464 Hugging Face 开源发布多模态模型 IDEFICS
Hugging Face 发布开放获取的视觉语言模型 IDEFICS，作为 DeepMind 未公开的 Flamingo 的开放复现，可接受任意图像与文本序列输入并生成文本输出。
推荐理由：原文交代了复现所用的公开数据与模型组件，读者可据此理解开放复现闭源模型的具体路径。
Hugging Face BlogAI 评分4646 用生成式 AI 构建 PS1 风格 3D 资产：分步指南
Hugging Face 博客给出一套用生成式 AI 制作 PS1 风格 3D 资产的分步教程：先在 Shap-E Hugging Face Space 用开源 Shap-E 扩散模型从文本生成 3D 模型，再导入 Blender 3.1+ 用 Decimate 修改器把面数降到 0.02 左右。
Hugging Face BlogAI 评分4444 Hugging Face 构建 AI WebTV：用开源模型自动生成视频流
Hugging Face 推出实验性 AI WebTV，用开源模型自动生成并直播视频流。流水线以 ChatGPT 生成分镜提示词，经 Zeroscope V2（zeroscope_v2_576 生成 576x320、zeroscope_v2_XL 升采样至 1024x576）出片，再用 FILM 插帧并配 MusicGen 音乐，最终由 FFmpeg 推流至 RTMP。
OpenAI NewsAI 评分1515 Viable 用 GPT-4 大规模分析定性数据
Viable 使用 GPT-4 以革命性的规模和无与伦比的准确性分析定性数据。
Hugging Face BlogAI 评分5757 用 Transformers.js 打造浏览器端实时 ML 游戏 Doodle Dash 的教程
Hugging Face 官方博客介绍了如何用 Transformers.js 在浏览器中构建实时 ML 游戏 Doodle Dash，模型基于 Google Quick, Draw!
Hugging Face BlogAI 评分4141 BridgeTower 在 Habana Gaudi2 上的加速：视觉-语言模型微调基准测试
Optimum Habana v1.7 在 Habana Gaudi2 上微调 BridgeTower 时，相比 A100 实现 x2.5 加速，相比 H100 实现 x1.4 加速。
Hugging Face BlogAI 评分5151 Hugging Face 伦理与社会通讯 #4：文生图模型中的偏差
Hugging Face 发布伦理与社会通讯第 4 期，梳理文生图（TTI）模型中偏差的来源与应对方法。
Hugging Face BlogAI 评分4949 用 InstructPix2Pix 对 Stable Diffusion 进行指令微调
Hugging Face 探索了对 Stable Diffusion 进行指令微调，使其能按输入图像加指令（如"给图像加卡通滤镜"）完成图像翻译与低层图像处理任务。
OpenAI News精选AI 评分7575 OpenAI 发布 ChatGPT iOS 应用
OpenAI 发布 ChatGPT iOS 应用，官方介绍该应用可同步对话、支持语音输入，并把最新的模型改进带到移动端。
推荐理由：官方点明了同步、语音输入和最新模型三项能力，读者可据此判断移动端与网页端的差异。
OpenAI NewsAI 评分3434 冰岛如何用 GPT-4 保存语言
OpenAI 介绍了冰岛如何使用 GPT-4 来保存其语言。文章聚焦于 GPT-4 在冰岛语保护中的应用方式。
OpenAI NewsAI 评分4545 Be My Eyes 用 GPT-4 改变视觉无障碍体验
Be My Eyes 使用 GPT-4 改变视觉无障碍体验。