Hugging Face 教程：用 PyTorch FSDP 微调 Llama 2 70B
Hugging Face 官方博客给出用 PyTorch FSDP、Transformers、Accelerate 和 TRL 在多机多卡环境微调 Llama 2 70B 的完整实践，训练约 13.5 小时完成。
#开源生态
Hugging Face BlogAI 评分5555
Hugging Face BlogAI 评分4040 SafeCoder 与闭源代码助手对比
Hugging Face 将开源企业级代码助手 SafeCoder 与 GitHub Copilot、Amazon CodeWhisperer 等闭源服务对比，强调其在透明度、可定制性、IT 灵活性和隐私安全上的优势。
Hugging Face BlogAI 评分5555 Hugging Face 与腾讯推出 T2I-Adapter-SDXL 及多种条件控制模型
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作，在 diffusers 中支持 SDXL 的 T2I-Adapter，并开源 lineart、sketch、canny、depth、openpose 等条件的 checkpoints。
Hugging Face Blog精选AI 评分7676 Hugging Face 迎来 TII 的 Falcon 180B 开源模型
Hugging Face 官方博客宣布 TII 的 Falcon 180B 加入 HuggingFace 生态，这是当时最大的公开可用语言模型，拥有 180B 参数、在 RefinedWeb 数据集上训练 3.5 trillion tokens，是开源模型中最长的单轮预训练。
推荐理由：文章给出了硬件需求和量化实测，读者可据此评估自己能否跑起这个 180B 模型。
Hugging Face BlogAI 评分5555 Hugging Face 教程：用 Diffusers 四项优化把 AudioLDM 2 推理从 14 秒降到 1 秒内
Hugging Face 官方博客演示如何在 🧨 Diffusers 中优化 AudioLDM 2 的推理速度，通过 flash attention（SDPA）。
Hugging Face Blog精选AI 评分7878 Hugging Face 集成 Code Llama 模型家族
Hugging Face 宣布在自身生态中集成 Meta 的 Code Llama 模型家族，包含 7B、13B、34B 三种参数规模，以及 Python 专精版和指令微调版，采用与 Llama 2 相同的宽松社区许可并可商用。
推荐理由：原文给出模型规格、上下文窗口扩展方法和多语言榜单成绩，便于评估其在代码任务上的定位。
Hugging Face Blog精选AI 评分6464 Hugging Face 将 AutoGPTQ 集成进 Transformers，支持 8/4/3/2-bit 量化
Hugging Face 宣布将 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法把模型量化到 8、4、3 甚至 2-bit 精度运行，4-bit 量化精度损失可忽略，小 batch 下推理速度接近 fp16 基线，同时支持 Nvidia 与 RoCm AMD GPU。
推荐理由：原文给出了量化位宽、显存与延迟的实测对比，读者可据此判断能否在自己的 GPU 上跑起大模型。
Hugging Face Blog精选AI 评分6464 Hugging Face 开源发布多模态模型 IDEFICS
Hugging Face 发布开放获取的视觉语言模型 IDEFICS，作为 DeepMind 未公开的 Flamingo 的开放复现，可接受任意图像与文本序列输入并生成文本输出。
推荐理由：原文交代了复现所用的公开数据与模型组件，读者可据此理解开放复现闭源模型的具体路径。
Hugging Face BlogAI 评分4444 Hugging Face 推出 SafeCoder：面向企业的自托管代码助手方案
Hugging Face 推出 SafeCoder，一套面向企业的端到端自托管代码助手方案，核心是基于 StarCoder 系列 Code LLM（15B 参数、8,192 tokens 上下文）在客户自有代码库上微调，训练与推理全程代码不出 VPC。
Hugging Face BlogAI 评分3838 用 BentoML 部署 Hugging Face 模型：DeepFloyd IF 实战
Hugging Face 博客演示了如何用开源模型服务框架 BentoML 部署开源文生图模型 DeepFloyd IF，覆盖模型下载到 Model Store、创建 Service、构建 Bento、容器化部署到 Kubernetes 或 Yatai 的完整流程。
Hugging Face BlogAI 评分5555 Hugging Face 发布 Swift Transformers 等工具，支持在 Apple 设备上运行 Llama 2 等端侧 LLM
Hugging Face 发布 swift-transformers Swift 包、swift-chat 演示应用，以及更新版 exporters 和 transformers-to-coreml 转换工具，帮助 Swift 开发者在 Apple 设备上通过 Core ML 运行 Llama 2 等大语言模型，并提供 Llama 2 7B、Falcon 7B 等已转换模型。
Hugging Face BlogAI 评分5555 Hugging Face 教你用 DPO 微调 Llama 2
Hugging Face 官方博客介绍如何用 TRL 库中的 DPO 方法微调 Llama 2 7B 模型，DPO 绕过奖励模型和 RL 优化步骤，直接在偏好数据上用交叉熵损失优化语言模型。
Hugging Face BlogAI 评分4545 基于 FHE 的加密大语言模型：Hugging Face GPT2 实践
Zama 展示了如何用全同态加密（FHE）让 Hugging Face transformers 库中的 GPT2 在加密数据上运行推理，同时保护用户隐私和模型 IP。
Hugging Face BlogAI 评分5050 Segmind 开源 SD-Small 和 SD-Tiny 蒸馏模型的代码与权重
Segmind 开源了基于知识蒸馏压缩的 SD-Small 和 SD-Tiny 模型的训练代码与预训练权重，两者参数量分别比基础模型少 35% 和 55%，图像保真度与基础模型相当，推理速度最高提升 100%。
Hugging Face Blog精选AI 评分6161 Hugging Face 与 Apple 推出 Stable Diffusion XL 的 Core ML 版本与混合位调色板压缩
Hugging Face 与 Apple 合作将 Stable Diffusion XL 移植到 Core ML，发布了 apple/coreml-stable-diffusion-xl-base 完整流水线和 apple/coreml-stable-diffusion-mixed-bit-palettization 版本。
推荐理由：原文给出混合位调色板压缩的逐层比特分配方法与实测体积数据，读者可迁移到自己的 Core ML 模型压缩上。
Hugging Face BlogAI 评分4646 Hugging Face 联合多家组织就 EU AI Act 提出五项开放 ML 政策建议
Hugging Face 联合 Creative Commons、Eleuther AI、GitHub、LAION 和 Open Future 发布立场文件，就 EU AI Act 提出五项建议，包括明确定义 AI 组件、澄清开源协作开发不受法案要求约束、支持 AI Office 与开源生态协作、确保 R&D 例外切实可行，以及为"基础模型"设置比例适当的要求。
Hugging Face BlogAI 评分4545 Hugging Face 推出 Agents.js：用 JavaScript 为 LLM 提供工具调用能力
Hugging Face 推出 Agents.js 库，可通过 npm 安装（`@huggingface/agents`），在浏览器或 Node 端为 LLM 提供工具调用能力，内置多模态工具并支持自定义工具与模型。
Hugging Face BlogAI 评分3838 Hugging Face 首届 Open Source AI Game Jam 结果公布：Snip It 夺冠
Hugging Face 首届 Open Source AI Game Jam 于 7 月 7 日至 7 月 11 日举办，吸引超过 1300 人报名，共收到 88 个游戏作品，ohmlet 的 Snip It 获评冠军。
Hugging Face BlogAI 评分4444 Hugging Face Diffusers 庆祝一周年：回顾一年来的重要功能更新
Hugging Face 的 Diffusers 库迎来一周年，回顾了社区共同贡献的一年重要功能更新。
Hugging Face Blog精选AI 评分8888 Hugging Face 全面支持 Meta Llama 2 发布并提供推理与微调指南
Meta 发布 Llama 2 系列开放大语言模型，Hugging Face 完成生态集成，Hub 上提供 12 个开放模型（3 个基础模型与 3 个微调模型及对应 transformers 版本），采用宽松社区许可并支持商用。
推荐理由：文章给出从推理部署到单卡微调的完整路径，可直接迁移用于自己的 Llama 2 实践。
Hugging Face BlogAI 评分4949 Hugging Face 开源文本生成与 LLM 生态概览
Hugging Face 盘点了其开源文本生成与 LLM 生态，涵盖 Llama 2、MPT-30B、XGen、Falcon、FLAN-T5、BLOOM 和 StarCoder 等模型。
Hugging Face BlogAI 评分5757 用 Transformers.js 打造浏览器端实时 ML 游戏 Doodle Dash 的教程
Hugging Face 官方博客介绍了如何用 Transformers.js 在浏览器中构建实时 ML 游戏 Doodle Dash，模型基于 Google Quick, Draw!
Hugging Face BlogAI 评分4141 使用 Hugging Face Inference Endpoints 部署 LLM 教程
Hugging Face Inference Endpoints 是一款托管 SaaS 服务，可通过几次点击将开源 LLM（如 Falcon 40B instruct）部署为生产级 API，支持自动扩缩容、scale-to-zero 降本与 SOC2 Type 2 安全认证。
Hugging Face BlogAI 评分1818 Hugging Face 对话 Writer CTO：从用户到开源模型贡献者
Hugging Face 与 Writer 联合创始人兼 CTO Waseem Alshikh 对谈，回顾 Writer 从 Hugging Face 用户、客户到开源模型贡献者的历程。
Hugging Face BlogAI 评分5757 Hugging Face 教程：用 Adapter 微调 MMS 做低资源语音识别
Hugging Face 官方博客给出用 MMS Adapter 微调低资源 ASR 的完整教程，只需 10-20 分钟微调即可取得很低的词错误率。
Hugging Face BlogAI 评分3838 将 Livebook notebooks 作为应用部署到 Hugging Face Spaces
Hugging Face 支持将 Elixir 的 Livebook notebooks 作为应用部署到 Spaces，15 分钟内即可用 Whisper 构建一个仅支持语音消息的聊天应用。
Hugging Face BlogAI 评分5656 Hugging Face 教你在 iPhone、iPad 和 Mac 上用 Core ML 更快运行 Stable Diffusion
Hugging Face 介绍 WWDC'23 后 Core ML 与 coremltools 的压缩优化更新，用 6-bit palettization 把 Stable Diffusion 权重从 16-bit 压到每参数 6 bit，推理时逐层即时解压以降低内存占用。
Hugging Face BlogAI 评分4545 Hugging Face 与 AMD 合作，加速 CPU 和 GPU 平台上的前沿模型
Hugging Face 宣布 AMD 正式加入其 Hardware Partner Program，双方将共同在 AMD CPU 和 GPU 上实现前沿 transformer 模型的性能优化。
Hugging Face BlogAI 评分3838 面向画廊、图书馆、档案馆和博物馆的 Hugging Face Hub 使用指南
Hugging Face Hub 目前托管超过 190,000 个机器学习模型、33,000 个数据集和 100,000 个机器学习应用与 demo，面向画廊、图书馆、档案馆和博物馆（GLAM）从业者介绍如何查找、使用并贡献内容。
Hugging Face Blog精选AI 评分6565 Falcon 系列模型接入 Hugging Face 生态并提供完整推理与微调指南
Hugging Face 官方博客介绍 Falcon 系列模型（Falcon-40B 与 Falcon-7B，由阿布扎比 Technology Innovation Institute 以 Apache 2.0 许可发布）接入其生态的完整用法。
推荐理由：文章系统梳理了 Falcon 在 Hugging Face 生态中的推理、量化与微调路径，可直接迁移为落地参考。
Hugging Face BlogAI 评分3434 Hugging Face 宣布首届 Open Source AI Game Jam
Hugging Face 宣布举办首届 Open Source AI Game Jam，参赛者需在 7 月 7-9 日的周末内用至少一个开源 AI 工具（如 Stable Diffusion）制作一款游戏，可用于纹理生成、AI NPC 或 text-to-speech 等环节。
Hugging Face BlogAI 评分4949 Hugging Face 推出 LLM Inference Container 用于 Amazon SageMaker 部署
Hugging Face 推出 LLM Inference Container（DLC），可在 Amazon SageMaker 上部署开源 LLM，底层由 Text Generation Inference（TGI）驱动。
Hugging Face Blog精选AI 评分8888 Hugging Face 推出基于 bitsandbytes 的 4-bit 量化与 QLoRA 集成
Hugging Face 与 bitsandbytes 再次合作，在 transformers 中支持以 4-bit 精度运行大部分 HF 模型（含文本、视觉、多模态），并可基于 4bit 模型训练适配器，对应 Dettmers 等人当天发布的 QLoRA 论文。
推荐理由：原文给出 4bit 加载的具体参数配置与显存实测对照，读者可据此在消费级显卡上复现微调方案。
Hugging Face BlogAI 评分4545 Hugging Face 与 Microsoft 合作在 Azure Machine Learning 上线 Hugging Face Model Catalog
Hugging Face 与 Microsoft 合作，在 Azure Machine Learning Studio 内原生上线 Hugging Face Model Catalog，收录 Hugging Face Hub 上数千个热门 Transformers 模型，用户只需几次点击即可在托管端点上完成部署。
Hugging Face BlogAI 评分5151 Hugging Face 与 IBM 合作，watsonx.ai 集成 Hugging Face 开源库
Hugging Face 宣布与 IBM 合作，为其新一代企业 AI studio watsonx.ai 提供支持。
Hugging Face BlogAI 评分5555 Hugging Face 宣布 safetensors 通过安全审计并将成为默认模型格式
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库进行外部安全审计，结果显示未发现可导致任意代码执行的严重漏洞，仅修复了规范不精确和缺失校验导致的 polyglot 文件问题。
Hugging Face BlogAI 评分4444 Q8-Chat：在 Xeon 上实现高效生成式 AI 体验
Hugging Face 与 Intel 推出 Q8-Chat，基于 SmoothQuant 8-bit 量化技术让 LLM 在 Intel CPU 上高效运行，模型体积缩小约 2 倍且精度基本无损。
Hugging Face Blog精选AI 评分6060 BigCode 背后的大规模近似去重实践
Hugging Face 官方博客详细讲解 BigCode 训练数据的文档级近似去重方法，覆盖 MinHash 加 LSH 的完整流程：shingling 分词、指纹计算、LSH 分桶、候选对聚类与去重决策。
推荐理由：系统梳理了 MinHash 加 LSH 的去重流程与四种扩展方案，并给出参数取舍的实验依据，可直接迁移到自有数据集。
Hugging Face BlogAI 评分3434 Hugging Face 入选 CNIL 数据保护强化支持计划
Hugging Face 被法国数据保护机构 CNIL 选中，进入其强化支持（Enhanced Support）计划，该计划从 40 多家候选企业中选出 3 家"经济发展潜力强"的公司，提供数据保护合规方面的指导。
Hugging Face BlogAI 评分4444 如何在单张 AMD GPU 上用 ROCm 运行类 ChatGPT 聊天机器人
Hugging Face 给出教程，展示如何在单张 AMD GPU 上通过 ROCm 运行开源聊天机器人 Vicuna 13B。Vicuna 由 UC Berkeley、CMU、Stanford、UC San Diego 团队基于 LLAMA 微调约 70K 条 ShareGPT 对话而成，以 GPT-4 为参照质量达 ChatGPT 的 90% 以上，训练成本约 $300。