Diffusers 梳理开源视频生成模型现状与显存优化方案
Hugging Face Diffusers 团队发文盘点当前开源视频生成模型现状,并给出在 Diffusers 中运行和优化这些模型的方案。
推荐理由:给出了显存实测数据和可组合的优化手段,读者可据此判断在自己硬件上跑开源视频模型的可行性。
Hugging Face Diffusers 团队发文盘点当前开源视频生成模型现状,并给出在 Diffusers 中运行和优化这些模型的方案。
推荐理由:给出了显存实测数据和可组合的优化手段,读者可据此判断在自己硬件上跑开源视频模型的可行性。
NVIDIA 推出 Python 工具包 KVPress,通过 KnormPress、SnapKVPress、ExpectedAttentionPress 等多种压缩算法(presses)剪枝 KV Cache 中不重要的 KV 对,实现长上下文 LLM 的内存高效推理。
Hugging Face 博客发布教程,讲解如何用 torch.cuda.memory._record_memory_history 记录显存快照并在 pytorch.org/memory_viz 可视化,逐步拆解模型创建、前向传播、反向传播与优化器步骤各阶段的显存变化。
Hugging Face Hub 提供数据集托管与分享服务,支持 TB 级数据集、单文件上限 50 GB(Xet 团队正升级至 500 GB),并内置 Dataset Viewer 全文搜索、排序与浏览器内 SQL Console。
Digital Green 在 Hugging Face Expert Support 项目支持下,为面向小农户的 RAG 聊天机器人 Farmer.chat 搭建了 LLM-as-a-judge 评估体系,覆盖提示词清晰度、问题类型、已回答比例和 RAG 准确性等指标,其中 RAG 准确性用二元打分提示词(灵感来自 RAGAS 库)在约 360 道题上与人工评估高度相关。
Hugging Face 官方博客给出将 Speech-to-Speech(S2S)级联语音管线(VAD、STT、LM、TTS,支持英法西中日韩多语言)部署到 Inference Endpoints 的完整步骤。
Stable Diffusion 3.5 已上线 Hugging Face Hub 并可用 Diffusers 调用,提供 8B 参数版和 timestep-distilled 少步推理版两个 checkpoint。
推荐理由:文章给出了量化推理和 LoRA 训练的具体配置,读者可直接迁移到自己的消费级显卡上跑 SD3.5 Large。
Keras 从第一天起就支持 Llama 3.2,可通过 keras_hub 直接加载 `hf://meta-llama/Llama-3.2-1B-Instruct` 等 Hugging Face safetensors checkpoint,需要转换时会自动完成。
Hugging Face 官方博客展示了如何用 Dask 把基于 FineWeb 数据集的 FineWeb-Edu 分类任务从本地 100 行扩展到云端多 GPU 上的 2.11 亿行。
Hugging Face Xet 团队针对 Hub 上 Parquet 文件的去重效率展开实验,发现追加操作去重率可达 99.1%(仅需 20MB 额外存储),而修改单行因 Parquet 列头记录绝对文件偏移导致去重率降至 89%(需 230MB),删除行则会因行组重排使后半文件完全重写。
Hugging Face 发布教程,讲解如何将顶点着色的网格(如 InstantMesh 等生成式 3D 模型的输出)转换为带 UV 贴图的纹理网格。快速方案可直接安装其开源库 InstantTexture,通过 `Converter` 类将顶点着色的 .obj 网格转为 UV 贴图的 .glb 网格。
Hugging Face Daily Papers 页面上线以来已收录超过 3,700 篇论文,订阅用户超过 12k。作者可一键认领论文并关联自己的模型或数据集,用户可在评论区 @librarian-bot 获取相关论文推荐,或通过 @username 与作者直接对话。页面还支持多语言评论与内置翻译、upvote 推荐、每日订阅推送,以及与 arXiv 的双向跳转集成(需安装浏览器扩展)。
Hugging Face 发布并详解 FineVideo 数据集的构建过程,该数据集包含 43k 段视频、共 3.4k 小时,配有丰富描述、场景切分和 QA 对。
Hugging Face 介绍了用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Transformers 模型的完整流程,涵盖导出 OpenVINO IR、权重量化与 GenAI API 部署。
Hugging Face 官方博客介绍如何用 BitNet 架构把 Llama3 8B 微调到 1.58bit(每参数仅 -1/0/1 三值),模型已发布在 HF1BitLLM 组织下,其中两个用 10B tokens 微调、一个用 100B tokens 微调,MMLU 成绩超过 Llama 1 7B。
OpenAI 发布了基于数百个成功企业部署案例总结的 AI 落地经验,主题为"Put AI to Work"。原文正文仅提供标题信息,未包含具体案例细节、模型版本、参数规模或 benchmark 数据。
Hugging Face 官方博客以一个自动更新的语义搜索应用为例,介绍 Hub 上五个常被忽视的工具:ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas。
Hugging Face 教你在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B:用 Text Generation Inference (TGI) 和 Hugging Face Deep Learning Containers。
Hugging Face 团队复现 Google 的 Infini-attention 论文,尝试把 Llama 3 8B 的 8k 上下文扩展到 100 万 token,最终发现该方法表现随压缩次数增加而变差,认为 Ring Attention、YaRN 和 rope scaling 仍是更好的长上下文扩展方案。
Hugging Face 发布 ggml 入门教程,介绍这款用 C/C++ 编写、专注 Transformer 推理的开源机器学习库。ggml 核心库不到 5 个文件,编译后体积小于 1MB,支持 x86_64、ARM、Apple Silicon、CUDA 等硬件及量化张量,被 llama.cpp、ollama、LM Studio 等项目用于端侧 LLM。
Hugging Face 与 Albumentations AI 合作推出面向文档图像的 TextImage Augmentation 数据增强管线,同步修改图像内容与文本标注,以解决 VLM 微调中文档图像数据集有限、常规图像变换破坏文本提取精度的问题。
Hugging Face 官方博客介绍如何用 Quanto 的量化工具优化 Diffusers 中 Transformer 架构的扩散管线显存占用。
Hugging Face 用 LAVE(LLM-Assisted VQA Evaluation)指标对 Docmatix 约 200 张测试图做零样本评测,基线模型 MPLUGDocOwl1.5(在 DocVQA 测试子集上 ANLS 84%)的 LAVE 得分为 0.58,而 CIDER、BLEU、ANLS 分别只有 0.1411、0.0032、0.002。
Hugging Face 官方博客讲解如何借助 WWDC 24 新发布的 Core ML 特性,在 Mac 上以不到 4GB 内存运行 Mistral 7B。
推荐理由:逐步骤给出转换与运行命令,读者可照做在 Mac 上跑起 7B 模型并了解各项新特性的作用。
Hugging Face 展示了如何用 distilabel 从 Argilla 2.0 技术文档生成合成数据,微调领域专用 embedding 模型,并结合向量数据库与 Gradio 构建可对话的文档 Chatbot。
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO Progress Prize,在私有测试集 50 题中解出 29 题。
推荐理由:详细拆解了从数据构造到解码算法的完整配方,可迁移方法多。
Hugging Face 官方博客宣布 TRL 库现已支持对视觉语言模型(VLM)进行直接偏好优化(DPO),并给出完整教程。
Banque des Territoires(CDC Group)、Polyconseil 与 Hugging Face 合作,为法国 EduRénov 学校生态改造项目开发基于 RAG 的主权数据方案,首期已于近日完成。
Intel 和 MILA 将蛋白质多模态语言模型 ProtST 重构后发布到 Hugging Face Hub,并演示了用 Optimum for Intel Gaudi 在 Gaudi 2 上运行推理与微调。
Hugging Face 发布教程,展示如何将微软 Florence-2 微调到 DocVQA 数据集上获得 VQA 能力:微调前验证集 Levenshtein 相似度为 0,训练 7 个 epoch 后提升到 57.0。
Hugging Face Ethics and Society Newsletter #6 探讨了 AI 开发中数据质量的重要性,以 Reddit 向 Google 提供数据导致搜索引擎出现"往披萨上加胶水"的荒谬推荐为例,说明低质量数据的危害。
Hugging Face 与 Argilla 联合开源社区推进的 Data Is Better Together 计划,已发布 DIBT/10k_prompts_ranked 数据集(10K prompts,385 人参与),并基于其中 500 条 prompt 启动多语言评测项目 MPEP,荷兰语、俄语、西班牙语翻译已完成。
Prezi 加入 Hugging Face Expert Support Program,将开源 re-ranker 模型引入其 Prezi AI 系统的资产搜索管线,以更低成本、更快速度和更好效果筛选图片与文本。
Hugging Face Accelerate 团队发现用 Mistral-7B base 在 bfloat16 下训练时 DeepSpeed 与 FSDP 损失曲线不一致。
Hugging Face 宣布将重新设计 Transformers 文档,以解决其因多年增量式堆叠新内容而变得割裂、难导航且过时的问题。新版文档将转向以代码和解决方案为导向,面向开发者而非仅面向机器学习工程师,并用灵活的结构取代僵化的 Diátaxis 分类,让内容自然生长与整合。
Hugging Face 推出 TGI Benchmarking 工具,用于剖析 Text Generation Inference(TGI)部署的吞吐与延迟权衡,帮助用户按需调优。
Hugging Face 官方博客给出使用 Sentence Transformers 微调或从零训练 Embedding 模型的完整教程,覆盖数据集、损失函数、训练参数、评估器与 Trainer 各组件。
Hugging Face 与 Intel 演示了如何基于 OPEA 平台,用 Intel Gaudi 2 加速器和 Xeon CPU 构建高性价比的企业级 RAG 应用。
Hugging Face 官方博客介绍如何用自定义 inference handler 在 Inference Endpoints 上部署 Whisper ASR、Pyannote 说话人分离与投机解码的组合管线,代码拆分为 handler.py、diarization_utils.py 和 config.py 三个文件。
Zama 在 Hugging Face 上提供预编译的 Concrete ML 模型,用户可通过 Hugging Face Endpoints 和 custom inference handlers 一键部署全同态加密(FHE)隐私保护推理。