Hugging Face 发布 8B 多模态模型 Idefics2
Hugging Face 发布 Idefics2，一个 8B 参数的通用多模态模型，采用 Apache 2.0 开源许可，可接受任意文本与图像序列输入并生成文本回答，具备图像问答、文档信息抽取和基础算术等能力。
推荐理由：给出了模型能力、基准对比和训练数据构成，读者可据此判断 8B 规模开源多模态模型的可用水平。
#多模态
Hugging Face Blog精选AI 评分6363
Hugging Face BlogAI 评分5555 Hugging Face 博客讲解视觉语言模型原理与微调方法
Hugging Face 官方博客介绍视觉语言模型的构成、开源模型概览、选型与评测方式，并给出用 transformers 推理和用 TRL SFTTrainer 微调的完整代码。
Hugging Face BlogAI 评分4444 Pollen Robotics 开源 pollen-vision：面向机器人抓取的零样本视觉模型统一接口
Pollen Robotics 开源了 pollen-vision 库，为机器人提供零样本视觉模型的统一接口，首版聚焦 3D 物体检测，输出物体在 3D 空间的 (x, y, z) 坐标，无需训练即可开箱使用。
Hugging Face BlogAI 评分5353 Hugging Face 发布 WebSight-v0.2 数据集与截图转 HTML 模型 Sightseer
Hugging Face 发布 WebSight-v0.2 数据集，用于训练将网页截图转换为 HTML 代码的 AI 系统，规模扩展至 200 万组截图/HTML 对，截图改用真实图片并切换到 Tailwind CSS。
OpenAI NewsAI 评分1818 Lifespan 用 GPT-4 提升健康素养与患者福祉
Lifespan 使用 GPT-4 大幅提升健康素养与患者治疗效果。
Hugging Face BlogAI 评分4343 ConTextual：多模态模型在文字密集场景中联合推理能力的评测基准
UCLA 研究团队发布 ConTextual 数据集与排行榜，包含 506 条指令，用于评测多模态大模型在文字密集场景中联合推理文本与视觉信息的能力。实验评估了 13 个模型，GPT-4V 表现最佳，在抽象场景推理上超过人类，但在时间读取类任务上表现不佳；开源模型如 LLaVA-v1.5-13B、ShareGPT4V-7B 仅在抽象与自然场景领域达到可接受水平。
Mistral AIAI 评分5555 Mistral AI 发布对话助手 Le Chat 及企业版
Mistral AI 发布新的对话助手 le Chat Mistral，作为展示 Mistral 模型能力与企业部署的首个示例。Le Chat 可调用 Mistral Large、Mistral Small 或原型模型 Mistral Next，内置可调节的系统级审核机制，会在对话可能涉及敏感内容时非侵入式提醒。
Hugging Face BlogAI 评分5656 Hugging Face 解读 AI 水印技术：原理、工具与各模态挑战
Hugging Face 发布博客介绍 AI 生成内容的水印技术，涵盖生成时嵌入与生成后添加两种方式，并讨论开放与闭源水印的权衡。
OpenAI News精选AI 评分8282 OpenAI 发布视频生成模型 Sora，探索世界模拟器路线
OpenAI 发布视频生成模型 Sora，可在文本条件下生成一分钟高保真视频。该模型基于在视频与图像潜码的时空 patch 上运行的 Transformer 架构，对不同时长、分辨率和宽高比的视频与图像联合训练，其结果表明扩大视频生成模型规模是构建物理世界通用模拟器的可行路径。
推荐理由：原文点明扩大视频生成规模是通向物理世界通用模拟器的路径，提供了技术路线的关键判断。
Hugging Face BlogAI 评分4444 SegMoE：Segmind Mixture of Diffusion Experts 发布
Segmind 发布 SegMoE 框架，用于从零构建 Mixture-of-Experts 扩散模型，并已集成进 Hugging Face 生态、支持 diffusers。
OpenAI NewsAI 评分1515 OpenAI：WHOOP 用 GPT-4 提供个性化健身与健康教练服务
WHOOP 用 GPT-4 为用户提供个性化健身和健康教练服务。
Hugging Face BlogAI 评分5656 Hugging Face 让 LoRA 推理提速 300%，冷启动从 25s 降到 3s
Hugging Face 在 Inference API 中实现 LoRA 动态加载，保持 Stable Diffusion 基础模型常驻热态、按请求切换适配器，把预热时间从 25s 降到 3s，用户响应时间从 35s 降到 13s，用不到 5 张 A10G 即可服务数百个不同 LoRA。
OpenAI News精选AI 评分8888 OpenAI DevDay 发布 GPT-4 Turbo、Assistants API 等新品
OpenAI 在 DevDay 上宣布多项新模型与开发者产品，包括具备 128K context 且价格更低的 GPT-4 Turbo、新版 Assistants API、GPT-4 Turbo with Vision 以及 DALL·E 3 API 等。
推荐理由：原文列出了一次开发者大会上的多项模型与API更新，可据此了解OpenAI当时的产品线变化方向。
OpenAI NewsAI 评分5555 DALL·E 3 在 ChatGPT Plus 和 Enterprise 中上线
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用，并表示为面向更广泛发布准备 DALL·E 3 构建了一套安全缓解体系，同时分享了来源研究（provenance research）的更新。
OpenAI NewsAI 评分2222 Typeform 用 GPT-3.5 和 GPT-4 将在线表单升级为动态数据收集
Typeform 借助 GPT-3.5 和 GPT-4 将在线表单升级为动态、对话式的数据收集体验。
OpenAI News精选AI 评分7070 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，介绍 GPT-4V 的相关信息。
OpenAI News精选AI 评分7575 ChatGPT 新增视觉、听觉与语音能力
OpenAI 官方宣布 ChatGPT 现在可以看、听和说，即支持图像输入、音频理解与语音输出能力。
Hugging Face BlogAI 评分4444 3D Gaussian Splatting 入门：原理、训练流程与图形学未来
Hugging Face 详解 3D Gaussian Splatting 这一光栅化技术，它能用少量图像样本实时渲染照片级场景，其流程包括用 COLMAP 做运动恢复结构（SfM）生成点云、转为高斯并用随机梯度下降训练可微光栅化。
Hugging Face Blog精选AI 评分6464 Hugging Face 开源发布多模态模型 IDEFICS
Hugging Face 发布开放获取的视觉语言模型 IDEFICS，作为 DeepMind 未公开的 Flamingo 的开放复现，可接受任意图像与文本序列输入并生成文本输出。
推荐理由：原文交代了复现所用的公开数据与模型组件，读者可据此理解开放复现闭源模型的具体路径。
Hugging Face BlogAI 评分4646 用生成式 AI 构建 PS1 风格 3D 资产：分步指南
Hugging Face 博客给出一套用生成式 AI 制作 PS1 风格 3D 资产的分步教程：先在 Shap-E Hugging Face Space 用开源 Shap-E 扩散模型从文本生成 3D 模型，再导入 Blender 3.1+ 用 Decimate 修改器把面数降到 0.02 左右。
Hugging Face BlogAI 评分4444 Hugging Face 构建 AI WebTV：用开源模型自动生成视频流
Hugging Face 推出实验性 AI WebTV，用开源模型自动生成并直播视频流。流水线以 ChatGPT 生成分镜提示词，经 Zeroscope V2（zeroscope_v2_576 生成 576x320、zeroscope_v2_XL 升采样至 1024x576）出片，再用 FILM 插帧并配 MusicGen 音乐，最终由 FFmpeg 推流至 RTMP。
OpenAI NewsAI 评分1515 Viable 用 GPT-4 大规模分析定性数据
Viable 使用 GPT-4 以革命性的规模和无与伦比的准确性分析定性数据。
Hugging Face BlogAI 评分5757 用 Transformers.js 打造浏览器端实时 ML 游戏 Doodle Dash 的教程
Hugging Face 官方博客介绍了如何用 Transformers.js 在浏览器中构建实时 ML 游戏 Doodle Dash，模型基于 Google Quick, Draw!
Hugging Face BlogAI 评分4141 BridgeTower 在 Habana Gaudi2 上的加速：视觉-语言模型微调基准测试
Optimum Habana v1.7 在 Habana Gaudi2 上微调 BridgeTower 时，相比 A100 实现 x2.5 加速，相比 H100 实现 x1.4 加速。
Hugging Face BlogAI 评分5151 Hugging Face 伦理与社会通讯 #4：文生图模型中的偏差
Hugging Face 发布伦理与社会通讯第 4 期，梳理文生图（TTI）模型中偏差的来源与应对方法。
Hugging Face BlogAI 评分4949 用 InstructPix2Pix 对 Stable Diffusion 进行指令微调
Hugging Face 探索了对 Stable Diffusion 进行指令微调，使其能按输入图像加指令（如"给图像加卡通滤镜"）完成图像翻译与低层图像处理任务。
OpenAI News精选AI 评分7575 OpenAI 发布 ChatGPT iOS 应用
OpenAI 发布 ChatGPT iOS 应用，官方介绍该应用可同步对话、支持语音输入，并把最新的模型改进带到移动端。
推荐理由：官方点明了同步、语音输入和最新模型三项能力，读者可据此判断移动端与网页端的差异。
OpenAI NewsAI 评分3434 冰岛如何用 GPT-4 保存语言
OpenAI 介绍了冰岛如何使用 GPT-4 来保存其语言。文章聚焦于 GPT-4 在冰岛语保护中的应用方式。
OpenAI NewsAI 评分4545 Be My Eyes 用 GPT-4 改变视觉无障碍体验
Be My Eyes 使用 GPT-4 改变视觉无障碍体验。
OpenAI NewsAI 评分4545 GPT-4 为 Duolingo 填补语言学习关键空白
GPT-4 深化了 Duolingo 上的对话体验，帮助填补语言学习中的关键空白。
OpenAI News精选AI 评分8787 OpenAI 发布 GPT-4 多模态模型
OpenAI 发布 GPT-4，称其为该公司扩展深度学习进程中的最新里程碑。GPT-4 是一个大型多模态模型，接受图像和文本输入、输出文本，在多种专业和学术基准上展现人类水平表现，同时在许多真实场景中仍不及人类。
推荐理由：原文点明了GPT-4的多模态输入能力和基准表现定位，读者可据此理解这一代模型相对前代的关键变化。
Hugging Face BlogAI 评分5555 Hugging Face 与 Kakao Brain 开源 ViT、ALIGN 模型与 COYO 数据集
Hugging Face 与 Kakao Brain 联合开源 COYO 图文数据集（700M 对）以及在其上训练的 ViT 和 ALIGN 模型，这是 ALIGN 首次免费开源，也是首个附带训练数据的 ViT 与 ALIGN 发布。
Hugging Face BlogAI 评分5757 Hugging Face 教程：用 Transformers 实现 BLIP-2 零样本图像到文本生成
Hugging Face 博客介绍 Salesforce Research 的 BLIP-2 如何在冻结的图像编码器与 LLM 之间加入轻量 Querying Transformer（Q-Former），以更少可训练参数实现多任务 SOTA。
Hugging Face BlogAI 评分5151 Hugging Face 博客详解视觉语言模型的预训练策略与 Transformers 实践
Hugging Face 官方博客系统介绍视觉语言模型，讲解对比学习、PrefixLM、交叉注意力融合、MLM/ITM 和免训练等五类预训练策略，并梳理常用预训练与下游数据集。文章列出 Transformers 支持的 CLIP、FLAVA、ViLT、CLIPSeg 等模型，给出用 ViLT 做 VQA 和用 CLIPSeg 做零样本图像分割的代码示例，还展望了医学、机器人等新兴研究方向。
Hugging Face BlogAI 评分4444 Hugging Face 计算机视觉生态现状：8 大核心任务、3000+ 模型与 100+ 数据集
Hugging Face 过去一年将计算机视觉支持扩展至 8 大核心任务，Hub 上已收录超过 3000 个模型和 100 个数据集，涵盖图像分类、分割、目标检测、深度估计等任务。
Hugging Face BlogAI 评分4040 AI 游戏开发教程 #3：3D Asset Generation 现状与未来
Hugging Face 的 AI 游戏开发教程第 3 篇指出，text-to-3D 目前还无法实际用于游戏开发，作者在 5 天农场游戏中改用不同颜色的立方体代表作物。
Hugging Face BlogAI 评分4444 用 Mask2Former 和 OneFormer 实现通用图像分割
Hugging Face transformers 开源库现已集成 Mask2Former 和 OneFormer 两个通用图像分割模型，可用统一架构完成实例、语义和全景分割三类任务。
Hugging Face BlogAI 评分4444 用 Hugging Face Datasets 和 Transformers 构建图像相似度系统
Hugging Face 发布教程，讲解如何用 🤗 Transformers 和 🤗 datasets 库构建图像相似度系统，通过计算图像 embeddings 并用余弦相似度衡量查询图与候选图的相似程度。
Hugging Face BlogAI 评分5555 用 Hugging Face Transformers 实现 CLIPSeg 零样本图像分割教程
Hugging Face 官方博客介绍如何用 🤗 transformers 调用 CLIPSeg 零样本分割模型，通过文本提示词和图像提示词（visual prompting）生成粗分割掩码。
Hugging Face BlogAI 评分4747 蛋白质深度学习入门：从语言模型到 ESMFold
Hugging Face 发布面向生物学家和机器学习者的蛋白质深度学习教程，讲解 BERT、GPT 等大语言模型启发的蛋白质语言模型原理与迁移学习机制，并提供微调蛋白质语言模型（PyTorch / TensorFlow）和 ESMFold 蛋白质折叠（PyTorch）两套示例 notebooks。