Diffusers 梳理开源视频生成模型现状与显存优化方案
Hugging Face Diffusers 团队发文盘点当前开源视频生成模型现状,并给出在 Diffusers 中运行和优化这些模型的方案。
推荐理由:给出了显存实测数据和可组合的优化手段,读者可据此判断在自己硬件上跑开源视频模型的可行性。
Hugging Face Diffusers 团队发文盘点当前开源视频生成模型现状,并给出在 Diffusers 中运行和优化这些模型的方案。
推荐理由:给出了显存实测数据和可组合的优化手段,读者可据此判断在自己硬件上跑开源视频模型的可行性。
Hugging Face 为 smolagents 加入视觉支持,使其能原生使用视觉语言模型(VLM)。图片可在 agent.run() 中一次性传入,也可通过 step_callbacks 回调在每步结束时写入 ActionStep 的 observation_images 动态注入。
NVIDIA 推出 Python 工具包 KVPress,通过 KnormPress、SnapKVPress、ExpectedAttentionPress 等多种压缩算法(presses)剪枝 KV Cache 中不重要的 KV 对,实现长上下文 LLM 的内存高效推理。
Hugging Face 发布 SmolVLM 家族两个新模型 SmolVLM-256M 和 SmolVLM-500M,含 base 与指令微调共四个 checkpoint,可直接通过 transformers、MLX 和 ONNX 加载。
推荐理由:原文对比了视觉编码器与分词优化的取舍,读者可借鉴其在极小模型上做效率权衡的思路。
Hugging Face 与 FriendliAI 达成合作,将 FriendliAI Endpoints 集成进 Hugging Face Hub 的“Deploy this model”按钮,提供一键部署。
Hugging Face 在 transformers 中推出 TimmWrapper,让任意 timm 视觉模型可直接接入 transformers 生态,获得 pipeline 推理、Auto Classes 加载、量化、Trainer 微调与 LoRA 支持。
Hugging Face 官方宣布为 Text Generation Inference (TGI) 引入多后端架构,通过统一的前端层集成 vLLM、llama.cpp、TensorRT-LLM 等推理方案,让用户按模型、硬件和性能需求切换后端。
Hugging Face 发布两款静态嵌入模型 sentence-transformers/static-retrieval-mrl-en-v1(英文检索)和 static-similarity-mrl-multilingual-v1(多语言相似度)。
Hugging Face 官方博客发文梳理 AI 智能体的定义、能力谱系与伦理权衡,建议不要开发完全自主的 AI 智能体,因为用户让渡的控制越多风险越大,能自行编写并执行代码的智能体将获得凌驾于人类控制之上的能力。
Hugging Face 与 LlamaIndex 合作发布 vdr-2b-multi-v1 多语言视觉文档检索嵌入模型,可将文档页面截图编码为单向量表示,无需 OCR 或分块即可检索多语言文档,同时开源英文版 vdr-2b-v1 和含 500k 样本的 vdr-multilingual-train 训练数据集。
Hugging Face 对 Open LLM Leaderboard 上 2,742 个模型的推理 CO₂ 排放进行了分析,发现社区微调或合并模型通常比其官方基座模型更省碳。
Hugging Face 发布 smolagents,一个让语言模型获得智能体能力的简洁库,核心特点是让智能体以代码形式编写动作而非 JSON 片段。库的逻辑约数千行代码,支持 E2B 沙箱执行、通过 Hub 分享加载工具,并经 LiteLLM 集成支持 OpenAI、Anthropic 等 100+ 云端模型,是 transformers.agents 的继任者。
推荐理由:原文对比了代码动作与 JSON 工具调用的取舍依据,读者可据此判断何时该用智能体。
Hugging Face 与 Atla 联合推出 Judge Arena,让任何人并排对比模型作为评判者的表现:系统随机生成或自定义样本,两个 LLM 评判者分别打分并给出理由,用户投票选出更符合自己判断的一方,投票后才揭示模型名以避免偏差。
Hugging Face Hub 提供数据集托管与分享服务,支持 TB 级数据集、单文件上限 50 GB(Xet 团队正升级至 500 GB),并内置 Dataset Viewer 全文搜索、排序与浏览器内 SQL Console。
Hugging Face 官方博客介绍其与 PyCharm 的集成,开发者可在代码中右键选择 Insert HF Model,按 image-text-to-text 等类别筛选并查看 Model Card 示例代码,直接粘贴运行,例如选用 microsoft/Phi-3.5-vision-instruct 实现图文对话。
Argilla 2.4 新增无代码功能,用户可在 Argilla UI 中直接从 Hugging Face Hub 导入数据集、定义问题并收集人工反馈,无需编写代码。
Hugging Face 与 Intel Labs 联合推出 Universal Assisted Generation(UAG),让 assisted generation(投机解码)不再要求目标模型与助手模型来自同一模型族、共享同一 tokenizer,可为任意 decoder 或 MoE 模型带来 1.5x-2.0x 推理加速且几乎零开销。
Digital Green 在 Hugging Face Expert Support 项目支持下,为面向小农户的 RAG 聊天机器人 Farmer.chat 搭建了 LLM-as-a-judge 评估体系,覆盖提示词清晰度、问题类型、已回答比例和 RAG 准确性等指标,其中 RAG 准确性用二元打分提示词(灵感来自 RAGAS 库)在约 360 道题上与人工评估高度相关。
Hugging Face 推出 Hugging Face Generative AI Services(HUGS),一套基于 Text Generation Inference(TGI)的零配置推理微服务,可在自有基础设施上部署开源模型,提供 OpenAI 兼容 API,支持 NVIDIA、AMD GPU,AWS Inferentia 和 Google TPU 即将支持。
Hugging Face 与合作方发布长视频 QA 数据集 CinePile 2.0,并开源了配套的对抗式数据集精炼(adversarial dataset refinement)方法实现。
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中推出 SynthID Text,可通过 logits processor 为 AI 生成文本添加水印并用分类器检测。
推荐理由:原文给出了配置参数、检测器训练流程和局限,读者可据此评估如何在自己的模型上落地水印方案。
Hugging Face 宣布与 Protect AI 合作,将其安全扫描工具 Guardian 集成到 Hub 的扫描套件中,所有公开模型仓库在推送文件后会被 Guardian 自动扫描。
Hugging Face 官方博客给出将 Speech-to-Speech(S2S)级联语音管线(VAD、STT、LM、TTS,支持英法西中日韩多语言)部署到 Inference Endpoints 的完整步骤。
Hugging Face 与 dottxt 合作发布 outlines-core,即 outlines 结构化生成核心算法的 Rust 移植版本,0.1.0 版 Python 绑定已发布并集成进 outlines。
Stable Diffusion 3.5 已上线 Hugging Face Hub 并可用 Diffusers 调用,提供 8B 参数版和 timestep-distilled 少步推理版两个 checkpoint。
推荐理由:文章给出了量化推理和 LoRA 训练的具体配置,读者可直接迁移到自己的消费级显卡上跑 SD3.5 Large。
Hugging Face 官方发布 Transformers.js v3,加入 WebGPU 支持,性能最高可达 WASM 的 100 倍,可通过设置 device: 'webgpu' 启用。
推荐理由:原文列出了 WebGPU 加速与 dtype 量化参数的具体用法,读者可据此判断浏览器端模型部署的性能与体积取舍。
Keras 从第一天起就支持 Llama 3.2,可通过 keras_hub 直接加载 `hf://meta-llama/Llama-3.2-1B-Instruct` 等 Hugging Face safetensors checkpoint,需要转换时会自动完成。
Hugging Face 官方博客说明 transformers Trainer 中梯度累积导致损失不匹配的问题及其修复方案。问题源于默认损失函数按批次平均而非按累积步内非 padding token 总数计算,官方将自动处理默认损失的梯度累积逻辑,并新增 loss_function 属性和 API 允许用户传入自定义损失函数。
AMD 发布基于 Zen5 架构的第五代 EPYC 服务器 CPU(代号 Turin),最高 192 核 384 线程,Hugging Face 与 AMD 合作验证了其生态支持。
Hugging Face 邀请网络安全公司 Trail of Bits 对 Gradio 代码库进行独立安全审计,发现的问题已在 Gradio 5.0 发布前全部修复并经对方验证。
Hugging Face 宣布 Gradio 5 稳定版发布,用几行 Python 即可构建高性能、可扩展、符合 Web 安全最佳实践的机器学习应用,升级命令为 pip install --upgrade gradio。
推荐理由:原文逐条对应开发者痛点给出改进方案,读者可据此评估升级到 Gradio 5 的收益与迁移成本。
Hugging Face 官方博客展示了如何用 Dask 把基于 FineWeb 数据集的 FineWeb-Edu 分类任务从本地 100 行扩展到云端多 GPU 上的 2.11 亿行。
Hugging Face 与 Intel labs 合作开发的动态推测解码已集成进 Transformers 4.45.0,成为 assisted generation 的默认模式,最高可带来 2.7x 加速。
Hugging Face Xet 团队针对 Hub 上 Parquet 文件的去重效率展开实验,发现追加操作去重率可达 99.1%(仅需 20MB 额外存储),而修改单行因 Parquet 列头记录绝对文件偏移导致去重率降至 89%(需 230MB),删除行则会因行组重排使后半文件完全重写。
Hugging Face 推出 Open FinLLM Leaderboard(OFLL),一个面向金融领域的大语言模型零样本评测框架,覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测、决策七大任务类别,使用 Accuracy、F1 Score、ROUGE Score、MCC 等指标,数据集取自真实金融场景,用于评估模型在金融任务上的实际可用性。
Hugging Face 推出 BenCzechMark,这是首个全面评估大语言模型(LLM)捷克语能力的评测套件,包含 9 大类共 50 项任务,其中 90% 为原生非翻译内容。
Meta 与 Hugging Face 合作发布 Llama 3.2 系列,共 10 个开放权重模型上线 Hub,包括 5 个多模态模型和 5 个纯文本模型。
推荐理由:原文给出各尺寸模型的显存需求与本地运行方式,读者可据此判断能否在自己的设备上跑起来。
Hugging Face Daily Papers 页面上线以来已收录超过 3,700 篇论文,订阅用户超过 12k。作者可一键认领论文并关联自己的模型或数据集,用户可在评论区 @librarian-bot 获取相关论文推荐,或通过 @username 与作者直接对话。页面还支持多语言评论与内置翻译、upvote 推荐、每日订阅推送,以及与 arXiv 的双向跳转集成(需安装浏览器扩展)。
Hugging Face 介绍了用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Transformers 模型的完整流程,涵盖导出 OpenVINO IR、权重量化与 GenAI API 部署。
Hugging Face 官方博客介绍如何用 BitNet 架构把 Llama3 8B 微调到 1.58bit(每参数仅 -1/0/1 三值),模型已发布在 HF1BitLLM 组织下,其中两个用 10B tokens 微调、一个用 100B tokens 微调,MMLU 成绩超过 Llama 1 7B。