用 🤗 Transformers 优化 Bark：三种推理优化实测
Hugging Face 通过教程演示如何用 🤗 Transformers、Optimum 和 Accelerate 三个库对 Suno AI 的 TTS 模型 Bark 做推理优化，基线（suno/bark-small）在 5 次迭代下平均延迟 9.38 秒、显存占用 1.91 GB。
#Hugging Face
Hugging Face BlogAI 评分4545 Hugging Face BlogAI 评分3838 用 BentoML 部署 Hugging Face 模型：DeepFloyd IF 实战
Hugging Face 博客演示了如何用开源模型服务框架 BentoML 部署开源文生图模型 DeepFloyd IF，覆盖模型下载到 Model Store、创建 Service、构建 Bento、容器化部署到 Kubernetes 或 Yatai 的完整流程。
Hugging Face BlogAI 评分5555 Hugging Face 发布 Swift Transformers 等工具，支持在 Apple 设备上运行 Llama 2 等端侧 LLM
Hugging Face 发布 swift-transformers Swift 包、swift-chat 演示应用，以及更新版 exporters 和 transformers-to-coreml 转换工具，帮助 Swift 开发者在 Apple 设备上通过 Core ML 运行 Llama 2 等大语言模型，并提供 Llama 2 7B、Falcon 7B 等已转换模型。
Hugging Face BlogAI 评分5555 Hugging Face 教你用 DPO 微调 Llama 2
Hugging Face 官方博客介绍如何用 TRL 库中的 DPO 方法微调 Llama 2 7B 模型，DPO 绕过奖励模型和 RL 优化步骤，直接在偏好数据上用交叉熵损失优化语言模型。
Hugging Face BlogAI 评分4141 用 Inference Endpoints 快速部署 MusicGen
Hugging Face 通过 Inference Endpoints 的 custom handler 机制，让 MusicGen 这类没有现成 pipeline 的模型也能几点击部署上线。
Hugging Face BlogAI 评分4141 Huggy Lingo：用机器学习改进 Hugging Face Hub 数据集的语言元数据
Hugging Face 推出 Huggy Lingo，用机器学习检测 Hub 上缺失语言元数据的数据集，并由 librarian-bots 提交 pull request 补充元数据。
Hugging Face BlogAI 评分4545 基于 FHE 的加密大语言模型：Hugging Face GPT2 实践
Zama 展示了如何用全同态加密（FHE）让 Hugging Face transformers 库中的 GPT2 在加密数据上运行推理，同时保护用户隐私和模型 IP。
Hugging Face Blog精选AI 评分6161 Hugging Face 与 Apple 推出 Stable Diffusion XL 的 Core ML 版本与混合位调色板压缩
Hugging Face 与 Apple 合作将 Stable Diffusion XL 移植到 Core ML，发布了 apple/coreml-stable-diffusion-xl-base 完整流水线和 apple/coreml-stable-diffusion-mixed-bit-palettization 版本。
推荐理由：原文给出混合位调色板压缩的逐层比特分配方法与实测体积数据，读者可迁移到自己的 Core ML 模型压缩上。
Hugging Face BlogAI 评分4646 Hugging Face 联合多家组织就 EU AI Act 提出五项开放 ML 政策建议
Hugging Face 联合 Creative Commons、Eleuther AI、GitHub、LAION 和 Open Future 发布立场文件，就 EU AI Act 提出五项建议，包括明确定义 AI 组件、澄清开源协作开发不受法案要求约束、支持 AI Office 与开源生态协作、确保 R&D 例外切实可行，以及为"基础模型"设置比例适当的要求。
Hugging Face BlogAI 评分4545 Hugging Face 推出 Agents.js：用 JavaScript 为 LLM 提供工具调用能力
Hugging Face 推出 Agents.js 库，可通过 npm 安装（`@huggingface/agents`），在浏览器或 Node 端为 LLM 提供工具调用能力，内置多模态工具并支持自定义工具与模型。
Hugging Face BlogAI 评分3838 Hugging Face 首届 Open Source AI Game Jam 结果公布：Snip It 夺冠
Hugging Face 首届 Open Source AI Game Jam 于 7 月 7 日至 7 月 11 日举办，吸引超过 1300 人报名，共收到 88 个游戏作品，ohmlet 的 Snip It 获评冠军。
Hugging Face BlogAI 评分4444 Hugging Face Diffusers 庆祝一周年：回顾一年来的重要功能更新
Hugging Face 的 Diffusers 库迎来一周年，回顾了社区共同贡献的一年重要功能更新。
Hugging Face Blog精选AI 评分8888 Hugging Face 全面支持 Meta Llama 2 发布并提供推理与微调指南
Meta 发布 Llama 2 系列开放大语言模型，Hugging Face 完成生态集成，Hub 上提供 12 个开放模型（3 个基础模型与 3 个微调模型及对应 transformers 版本），采用宽松社区许可并支持商用。
推荐理由：文章给出从推理部署到单卡微调的完整路径，可直接迁移用于自己的 Llama 2 实践。
Hugging Face BlogAI 评分4949 Hugging Face 开源文本生成与 LLM 生态概览
Hugging Face 盘点了其开源文本生成与 LLM 生态，涵盖 Llama 2、MPT-30B、XGen、Falcon、FLAN-T5、BLOOM 和 StarCoder 等模型。
Hugging Face BlogAI 评分4444 在 Intel CPU 上微调 Stable Diffusion 模型
Hugging Face 展示了如何在 Intel Sapphire Rapids CPU 集群上用 textual inversion 微调 Stable Diffusion 模型，只需 5 张示例图片。
Hugging Face BlogAI 评分5757 用 Transformers.js 打造浏览器端实时 ML 游戏 Doodle Dash 的教程
Hugging Face 官方博客介绍了如何用 Transformers.js 在浏览器中构建实时 ML 游戏 Doodle Dash，模型基于 Google Quick, Draw!
Hugging Face BlogAI 评分4141 使用 Hugging Face Inference Endpoints 部署 LLM 教程
Hugging Face Inference Endpoints 是一款托管 SaaS 服务，可通过几次点击将开源 LLM（如 Falcon 40B instruct）部署为生产级 API，支持自动扩缩容、scale-to-zero 降本与 SOC2 Type 2 安全认证。
Hugging Face BlogAI 评分4444 用开源 ML 模型构建 Web 应用生成器
Hugging Face 发布教程，用 NodeJS + Express.js 调用 WizardCoder-15B（经 Inference Endpoints API）流式生成 HTML，实现文本生成网页应用。
Hugging Face BlogAI 评分1818 Hugging Face 对话 Writer CTO：从用户到开源模型贡献者
Hugging Face 与 Writer 联合创始人兼 CTO Waseem Alshikh 对谈，回顾 Writer 从 Hugging Face 用户、客户到开源模型贡献者的历程。
Hugging Face BlogAI 评分4141 BridgeTower 在 Habana Gaudi2 上的加速：视觉-语言模型微调基准测试
Optimum Habana v1.7 在 Habana Gaudi2 上微调 BridgeTower 时，相比 A100 实现 x2.5 加速，相比 H100 实现 x1.4 加速。
Hugging Face BlogAI 评分5151 Hugging Face 伦理与社会通讯 #4：文生图模型中的偏差
Hugging Face 发布伦理与社会通讯第 4 期，梳理文生图（TTI）模型中偏差的来源与应对方法。
Hugging Face Blog精选AI 评分6363 Hugging Face 解释 Open LLM Leaderboard 上 MMLU 分数差异的成因
Hugging Face 博客解释了 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何显著低于 LLaMA 论文报告值。
推荐理由：通过对比三套 MMLU 实现的分数差异，读者能理解评测分数为何不可直接跨库比较。
Hugging Face BlogAI 评分2525 Hugging Face Spaces 上线 Panel 模板
Hugging Face 与 Panel 达成合作，在 Hugging Face Spaces 中集成了 Panel 模板，帮助用户快速上手构建并部署 Panel 应用。
Hugging Face BlogAI 评分3434 Hugging Face 回应美国 NTIA 关于 AI 问责制的征求意见
Hugging Face 于 6 月 12 日向美国商务部 NTIA 提交了关于 AI 问责制政策的信息请求回应，强调文档与透明度规范在推动 AI 问责中的作用。
Hugging Face BlogAI 评分5757 Hugging Face 教程：用 Adapter 微调 MMS 做低资源语音识别
Hugging Face 官方博客给出用 MMS Adapter 微调低资源 ASR 的完整教程，只需 10-20 分钟微调即可取得很低的词错误率。
Hugging Face BlogAI 评分4545 Hugging Face：Transformer 在时间序列预测中确实有效（附 Autoformer）
Hugging Face 通过对比实验表明，Autoformer 在 Traffic、Exchange-Rate、Electricity 三个数据集上的 MASE 分数（0.910、1.087、0.751）均优于 AAAI 2023 论文所称更优的线性模型 DLinear（0.965、1.690、0.831）。
Hugging Face BlogAI 评分3838 将 Livebook notebooks 作为应用部署到 Hugging Face Spaces
Hugging Face 支持将 Elixir 的 Livebook notebooks 作为应用部署到 Spaces，15 分钟内即可用 Whisper 构建一个仅支持语音消息的聊天应用。
Hugging Face BlogAI 评分2323 Hugging Face 发布新版内容指南与政策
Hugging Face 更新了平台内容政策（Content Policy），以"同意"（consent）为核心价值，规范用户所见内容以及个人身份与表达的呈现方式。
Hugging Face BlogAI 评分4545 Hugging Face 与 AMD 合作，加速 CPU 和 GPU 平台上的前沿模型
Hugging Face 宣布 AMD 正式加入其 Hardware Partner Program，双方将共同在 AMD CPU 和 GPU 上实现前沿 transformer 模型的性能优化。
Hugging Face BlogAI 评分3838 面向画廊、图书馆、档案馆和博物馆的 Hugging Face Hub 使用指南
Hugging Face Hub 目前托管超过 190,000 个机器学习模型、33,000 个数据集和 100,000 个机器学习应用与 demo，面向画廊、图书馆、档案馆和博物馆（GLAM）从业者介绍如何查找、使用并贡献内容。
Hugging Face BlogAI 评分5757 Hugging Face 研究：GPT-4 评测与人类标注的相关性及偏差
Hugging Face 扩展 Open LLM Leaderboard，用 Scale AI 人类标注与 GPT-4 评测对比 Koala 13b、Vicuna 13b、OpenAssistant 12b、Dolly 12b 等开源模型在 327 条指令 prompt 上的表现。
Hugging Face BlogAI 评分5454 Hugging Face Hub 支持用 DuckDB 对 50,000+ 数据集执行 SQL 查询
Hugging Face Hub 新增功能，用户可用 DuckDB 对 Hub 上存储的 50,000+ 数据集直接执行 SQL 查询。数据集查看器会自动将所有公开数据集转换为 Parquet 文件，可通过 /parquet 端点获取文件 URL；配合 DuckDB 的 httpfs 扩展即可远程查询这些 Parquet 文件，且支持一次查询多个分片文件。
Hugging Face BlogAI 评分3838 fastText 加入 Hugging Face Hub
Hugging Face 与 Meta AI 合作，将 fastText 的官方镜像托管到 Hub，包括全部 157 种语言的词向量和最新的语言识别模型，用户可用几条命令下载使用。
Hugging Face Blog精选AI 评分6565 Falcon 系列模型接入 Hugging Face 生态并提供完整推理与微调指南
Hugging Face 官方博客介绍 Falcon 系列模型（Falcon-40B 与 Falcon-7B，由阿布扎比 Technology Innovation Institute 以 Apache 2.0 许可发布）接入其生态的完整用法。
推荐理由：文章系统梳理了 Falcon 在 Hugging Face 生态中的推理、量化与微调路径，可直接迁移为落地参考。
Hugging Face BlogAI 评分3838 用 Hugging Face Unity API 在 Unity 中实现语音识别教程
这篇教程演示如何用 Hugging Face Unity API 在 Unity 游戏中实现语音识别，可用于下达指令、与 NPC 对话或提升无障碍体验。
Hugging Face BlogAI 评分3434 Hugging Face 宣布首届 Open Source AI Game Jam
Hugging Face 宣布举办首届 Open Source AI Game Jam，参赛者需在 7 月 7-9 日的周末内用至少一个开源 AI 工具（如 Stable Diffusion）制作一款游戏，可用于纹理生成、AI NPC 或 text-to-speech 等环节。
Hugging Face BlogAI 评分4949 Hugging Face 推出 LLM Inference Container 用于 Amazon SageMaker 部署
Hugging Face 推出 LLM Inference Container（DLC），可在 Amazon SageMaker 上部署开源 LLM，底层由 Text Generation Inference（TGI）驱动。
Hugging Face BlogAI 评分1818 Hugging Face Hub 推出 BERTopic 集成
Hugging Face Hub 推出 BERTopic 集成，可直接在 Hub 上对模型和数据集进行主题建模。集成后可自动聚类并生成主题标签，例如 dialogue（14247）、speech asr（1833）、tuning（1369）等，覆盖问答、摘要、情感分析等常见 NLP 任务。
Hugging Face BlogAI 评分4444 用 NNCF 和 🤗 Optimum 优化 Stable Diffusion 在 Intel CPU 上的推理
Hugging Face 用 OpenVINO NNCF 的量化感知训练（QAT）结合 Token Merging 优化 Stable Diffusion，相比 PyTorch 实现 5.1x 推理加速和 4x 模型体积缩减。优化仅需 4096 次迭代，用一块 24 GB 显存的 GPU 不到一天即可完成。优化后的模型适合在客户端或边缘 CPU 等算力受限设备上运行。
Hugging Face Blog精选AI 评分8888 Hugging Face 推出基于 bitsandbytes 的 4-bit 量化与 QLoRA 集成
Hugging Face 与 bitsandbytes 再次合作，在 transformers 中支持以 4-bit 精度运行大部分 HF 模型（含文本、视觉、多模态），并可基于 4bit 模型训练适配器，对应 Dettmers 等人当天发布的 QLoRA 论文。
推荐理由：原文给出 4bit 加载的具体参数配置与显存实测对照，读者可据此在消费级显卡上复现微调方案。