Hugging Face 用 Xet 分块聚合加速 Hub 上传下载
Hugging Face 的 Xet 团队开源 xet-core 和 hf_xet,用基于 Rust 的分块方法替代文件级传输,部分场景下上传下载提速 2-3 倍。
Hugging Face 的 Xet 团队开源 xet-core 和 hf_xet,用基于 Rust 的分块方法替代文件级传输,部分场景下上传下载提速 2-3 倍。
Hugging Face Diffusers 团队发文盘点当前开源视频生成模型现状,并给出在 Diffusers 中运行和优化这些模型的方案。
推荐理由:给出了显存实测数据和可组合的优化手段,读者可据此判断在自己硬件上跑开源视频模型的可行性。
Hugging Face 发布 smolagents,一个让语言模型获得智能体能力的简洁库,核心特点是让智能体以代码形式编写动作而非 JSON 片段。库的逻辑约数千行代码,支持 E2B 沙箱执行、通过 Hub 分享加载工具,并经 LiteLLM 集成支持 OpenAI、Anthropic 等 100+ 云端模型,是 transformers.agents 的继任者。
推荐理由:原文对比了代码动作与 JSON 工具调用的取舍依据,读者可据此判断何时该用智能体。
Hugging Face Hub 提供数据集托管与分享服务,支持 TB 级数据集、单文件上限 50 GB(Xet 团队正升级至 500 GB),并内置 Dataset Viewer 全文搜索、排序与浏览器内 SQL Console。
Argilla 2.4 新增无代码功能,用户可在 Argilla UI 中直接从 Hugging Face Hub 导入数据集、定义问题并收集人工反馈,无需编写代码。
OpenAI 简化、稳定并扩展了连续时间一致性模型(continuous-time consistency models),在仅用两个采样步骤的情况下,实现了与领先扩散模型相当的样本质量。
Hugging Face 与 dottxt 合作发布 outlines-core,即 outlines 结构化生成核心算法的 Rust 移植版本,0.1.0 版 Python 绑定已发布并集成进 outlines。
Stable Diffusion 3.5 已上线 Hugging Face Hub 并可用 Diffusers 调用,提供 8B 参数版和 timestep-distilled 少步推理版两个 checkpoint。
推荐理由:文章给出了量化推理和 LoRA 训练的具体配置,读者可直接迁移到自己的消费级显卡上跑 SD3.5 Large。
Keras 从第一天起就支持 Llama 3.2,可通过 keras_hub 直接加载 `hf://meta-llama/Llama-3.2-1B-Instruct` 等 Hugging Face safetensors checkpoint,需要转换时会自动完成。
Hugging Face 宣布 Gradio 5 稳定版发布,用几行 Python 即可构建高性能、可扩展、符合 Web 安全最佳实践的机器学习应用,升级命令为 pip install --upgrade gradio。
推荐理由:原文逐条对应开发者痛点给出改进方案,读者可据此评估升级到 Gradio 5 的收益与迁移成本。
Hugging Face 发布教程,讲解如何将顶点着色的网格(如 InstantMesh 等生成式 3D 模型的输出)转换为带 UV 贴图的纹理网格。快速方案可直接安装其开源库 InstantTexture,通过 `Converter` 类将顶点着色的 .obj 网格转为 UV 贴图的 .glb 网格。
Hugging Face 宣布与 Truffle Security 合作,将开源工具 TruffleHog 的密钥扫描能力集成到平台,其自动化扫描流水线现包含恶意软件、pickle 和密钥三类扫描,检测到已验证密钥会通过邮件通知用户。
Hugging Face 官方博客介绍 LeRobot 团队为机器人数据集提出的 LeRobotDataset 格式,用视频编码替代逐帧 PNG 存储视觉模态,数据集平均体积降至原始版本的 14%,最好情况低至 0.2%,同时保持完整训练能力。
Hugging Face 官方博客讲解如何借助 WWDC 24 新发布的 Core ML 特性,在 Mac 上以不到 4GB 内存运行 Mistral 7B。
推荐理由:逐步骤给出转换与运行命令,读者可照做在 Mac 上跑起 7B 模型并了解各项新特性的作用。
Hugging Face 展示了如何用 distilabel 从 Argilla 2.0 技术文档生成合成数据,微调领域专用 embedding 模型,并结合向量数据库与 Gradio 构建可对话的文档 Chatbot。
Hugging Face 官方博客宣布 TRL 库现已支持对视觉语言模型(VLM)进行直接偏好优化(DPO),并给出完整教程。
Hugging Face 在 Dataset Hub 上试验新功能,用开源 PII 检测工具 Presidio 为数据集生成 PII 存在情况的估算报告,帮助 ML 从业者在训练前判断数据集是否含敏感个人信息。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)现已在 Hugging Face Hub 上线并支持 🧨 Diffusers,同时提供 SD3 Dreambooth 和 LoRA 训练脚本。
推荐理由:原文给出显存与速度的实测对照表,读者可据此选择适合自己硬件的运行方案。
Hugging Face 联合 Cubzh 和 Gigax 推出 NPC-Playground,一个可在浏览器中直接运行的 3D 演示,让玩家与 LLM 驱动的 NPC 互动,并通过几行 Lua 脚本教 NPC 新技能。
Mistral AI 宣布推出 Mistral AI 非生产许可证(MNPL),允许开发者将技术用于非商业目的并支持研究工作,同时确保基于其成果构建业务的一方以对各方公平可持续的方式进行。Codestral 于今日在这一新许可证下发布。Mistral AI 表示将继续以 Apache 2.0 发布模型和代码,并逐步整合分别基于 Apache 2.0 和 MNPL 的两类产品。
推荐理由:原文说明了新许可证的适用边界与 Apache 2.0 的保留安排,读者可据此判断其模型的商用条件变化。
Hugging Face 与 LangChain 联合推出并共同维护 Python 包 langchain_huggingface,通过 `pip install langchain-huggingface` 安装,旨在缩短 Hugging Face 生态新功能进入 LangChain 的时间。
Hugging Face 博客介绍 Google 发布的 PaliGemma 视觉语言模型家族,其架构由 SigLIP-So400m 图像编码器与 Gemma-2B 文本解码器经线性适配器组合而成,可接收图像与文本并输出文本。
推荐理由:详细拆解了三类检查点的用途差异与分辨率取舍,可帮助读者按任务选型并直接上手微调。
Hugging Face 推出 Open Arabic LLM Leaderboard(OALL),专门用于评估和比较阿拉伯语大语言模型,服务全球超过 3.8 亿阿拉伯语使用者。
Hugging Face 推出基于 LiveCodeBench 的代码 LLM 排行榜,该基准由 UC Berkeley、MIT 和 Cornell 研究者开发,题目取自 LeetCode、AtCoder 和 CodeForces 并标注发布时间,可按时间窗口评测以检测和防止数据污染。
DuckDB-NSQL-7B-v0.1 是 MotherDuck 和 Numbers Station 基于 Llama-2-7b 微调的 DuckDB SQL 专用 LLM,可将自然语言转为有效 DuckDB SQL。
Pollen Robotics 开源了 pollen-vision 库,为机器人提供零样本视觉模型的统一接口,首版聚焦 3D 物体检测,输出物体在 3D 空间的 (x, y, z) 坐标,无需训练即可开箱使用。
Hugging Face 发布 WebSight-v0.2 数据集,用于训练将网页截图转换为 HTML 代码的 AI 系统,规模扩展至 200 万组截图/HTML 对,截图改用真实图片并切换到 Tailwind CSS。
BigCode 发布开源代码大模型 StarCoder2,含 3B、7B、15B 三个尺寸,全部基于新数据集 The Stack v2 训练,模型、数据集及训练代码均开放。
推荐理由:原文列出了三个尺寸的训练规模与数据集对比,读者可据此判断小模型能否替代更大模型。
Hugging Face 在 🤗 PEFT 中发布了面向 LoRA 适配器的新合并方法,包括 cat、linear、svd、ties、dare、magnitude_prune 等多种 combination_type,可通过 add_weighted_adapter() 调用。
Segmind 发布 SegMoE 框架,用于从零构建 Mixture-of-Experts 扩散模型,并已集成进 Hugging Face 生态、支持 diffusers。
Hugging Face 推出 Hallucinations Leaderboard,一个通过 in-context learning 评测大语言模型幻觉的开放持续项目,已发布 arXiv 论文。
IBM Research 与 Hugging Face 合作,将轻量级时序模型 PatchTSMixer 开源并集成进 Transformers 库,支持在 patches、通道和隐藏特征上进行轻量混合,以及 gated attention 到 self-attention 等多种注意力机制。
Vectara 基于 Hugging Face 开源的 leaderboard template 上线了 HHEM 幻觉排行榜,用于评估 GPT-4、Google Gemini、Meta Llama 2 等 LLM 生成文档摘要时的幻觉频率。
Intel Labs 与 Hugging Face 推出 SetFitABSA,一个用于少样本训练领域专用方面级情感分析(ABSA)模型的框架,在少样本场景下表现可与 Llama2、T5 等生成式模型竞争甚至超越。
Renumics Spotlight 支持用一行代码 `spotlight.show(ds)` 对 Hugging Face datasets 库中的数据集(如 speech_commands、CIFAR-100)生成交互式可视化,无需复制或预处理数据。
Hugging Face 发布 Würstchen 扩散模型,其文本条件组件在高度压缩的图像潜在空间中工作,实现 42x 空间压缩,通过 Stage A(VQGAN)、Stage B(Diffusion Autoencoder)与 Stage C(Prior)三阶段设计,训练与推理成本大幅降低。
Hugging Face 推出实验性 AI WebTV,用开源模型自动生成并直播视频流。流水线以 ChatGPT 生成分镜提示词,经 Zeroscope V2(zeroscope_v2_576 生成 576x320、zeroscope_v2_XL 升采样至 1024x576)出片,再用 FILM 插帧并配 MusicGen 音乐,最终由 FFmpeg 推流至 RTMP。
Hugging Face 与 Panel 达成合作,在 Hugging Face Spaces 中集成了 Panel 模板,帮助用户快速上手构建并部署 Panel 应用。
Hugging Face 通过对比实验表明,Autoformer 在 Traffic、Exchange-Rate、Electricity 三个数据集上的 MASE 分数(0.910、1.087、0.751)均优于 AAAI 2023 论文所称更优的线性模型 DLinear(0.965、1.690、0.831)。
Hugging Face 与 Meta AI 合作,将 fastText 的官方镜像托管到 Hub,包括全部 157 种语言的词向量和最新的语言识别模型,用户可用几条命令下载使用。