Hugging Face 2023 年开源 LLM 年度回顾
Hugging Face 发布 2023 年开源 LLM 年度回顾，梳理了从 BLOOM、OPT、GLM-130B 到 LLaMA、Llama 2、Mistral、Qwen、Yi 等模型的发布脉络，以及 Chinchilla 范式转变带来的小模型加更多数据趋势。
推荐理由：系统梳理了开源 LLM 的技术要素与全年脉络，可作为理解开源模型生态的入门地图。
#Hugging Face
Hugging Face Blog精选AI 评分6060
Hugging Face Blog精选AI 评分7878 Hugging Face 完整集成 Mixtral 8x7B 模型
Mistral 发布开源大模型 Mixtral 8x7B，Hugging Face 完成生态集成，包括 Hub 模型卡、Transformers、Inference Endpoints 与 Text Generation Inference 支持。
推荐理由：文章解释了 MoE 架构如何让 45B 参数模型以 12B 密集模型速度解码，并给出量化与微调的实操路径。
Hugging Face BlogAI 评分4747 SetFitABSA：用 SetFit 实现少样本方面级情感分析
Intel Labs 与 Hugging Face 推出 SetFitABSA，一个用于少样本训练领域专用方面级情感分析（ABSA）模型的框架，在少样本场景下表现可与 Llama2、T5 等生成式模型竞争甚至超越。
Hugging Face BlogAI 评分5555 Hugging Face 宣布 Transformers 模型在 AMD Instinct GPU 上免改代码运行并支持 TGI
Hugging Face 宣布 Transformers 模型和任务现已可在 AMD Instinct GPU 上免改代码运行，并在 Text Generation Inference（TGI）中加入对 AMD Instinct MI210 和 MI250 的初始支持。
Hugging Face BlogAI 评分5656 Hugging Face 让 LoRA 推理提速 300%，冷启动从 25s 降到 3s
Hugging Face 在 Inference API 中实现 LoRA 动态加载，保持 Stable Diffusion 基础模型常驻热态、按请求切换适配器，把预热时间从 25s 降到 3s，用户响应时间从 35s 降到 13s，用不到 5 张 A10G 即可服务数百个不同 LoRA。
Hugging Face Blog精选AI 评分7474 Hugging Face 发布 LCM LoRA，让 SDXL 4 步完成图像生成
Hugging Face 官方博客宣布推出 Latent Consistency LoRAs（LCM LoRA），通过只训练少量 LoRA 适配器而非完整蒸馏模型，让 Stable Diffusion 和 SDXL 以 4 步完成推理，替代原本的 25 到 50 步。
推荐理由：给出了各硬件的实测耗时对比，读者可据此判断自己设备上能否跑近实时生成。
Hugging Face BlogAI 评分3838 Prodigy-HF 发布：Prodigy 与 Hugging Face 直接集成
Explosion 上周推出 Prodigy-HF 插件，通过 hf.train.ner 和 hf.train.textcat 等 recipe 让用户直接在 Prodigy 标注数据上微调 Hugging Face 模型（如 distilbert-base-uncased），并可用 hf.correct.ner 复用模型辅助标注。
Hugging Face BlogAI 评分4444 用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 通过 optimum-neuron 支持在 AWS Inferentia2 上部署 Llama 2 等 LLM 进行文本生成，只需将模型编译导出为 Neuron 格式即可用 transformers 库或 pipeline 生成文本。
Hugging Face BlogAI 评分3838 Hugging Face Hub 推出 Storage Regions 存储区域功能
Hugging Face 为 Enterprise Hub 计划推出 Storage Regions 功能，允许组织选择模型和数据集的存储位置，目前支持 US 和 EU，Asia-Pacific 即将推出。
Hugging Face BlogAI 评分5959 Hugging Face 教你用自有代码库微调 StarCoder 打造个人编码助手
Hugging Face 官方博客介绍如何用 Hugging Face GitHub 组织公开仓库的代码微调 StarCoder，打造了解自有代码库的个人编码助手 HugCoder。
Hugging Face BlogAI 评分3838 用一行代码交互式探索 Hugging Face 数据集
Renumics Spotlight 支持用一行代码 `spotlight.show(ds)` 对 Hugging Face datasets 库中的数据集（如 speech_commands、CIFAR-100）生成交互式可视化，无需复制或预处理数据。
Hugging Face BlogAI 评分5757 Hugging Face 复现 OpenAI RLHF 代码库并梳理 PPO 实现细节
Hugging Face 发布博客，复现 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences，在 sentiment 和 descriptiveness 等风格任务上得到与原版几乎一致的学习曲线，并整理出一份实现细节清单。
Hugging Face BlogAI 评分4444 使用 Hugging Face Inference Endpoints 部署 Embedding 模型
Hugging Face 介绍如何用 Text Embedding Inference（TEI）把开源 Embedding 模型部署到 Inference Endpoints，TEI 支持 MTEB 排行榜前 10 的模型，含 FlagEmbedding、GTE、E5 等。
Hugging Face BlogAI 评分5555 Hugging Face 分享 SDXL 推理的显存与速度优化方法
Hugging Face 官方博客在 A100 40GB 上测试 SDXL 推理优化，未优化管线需 28GB 显存、耗时 72.2 秒，改用 fp16 后降至 21.7GB、14.8 秒，叠加 PyTorch 2.0 的 SDPA 与 torch.compile 后进一步降至约 10.3 秒。
Hugging Face BlogAI 评分3838 ONNX Runtime 加速 Hugging Face 上超过 130,000 个模型
ONNX Runtime 已支持 Hugging Face 上超过 130,000 个 ONNX 模型，覆盖 90 多种模型架构，包括 BERT、GPT2、DistilBERT、Stable-Diffusion、Whisper 等 11 个最热门架构。以 whisper-tiny 为例，使用 ONNX Runtime 加速后，单次推理平均延迟相比 PyTorch 最高可降低 74.30%。
Hugging Face BlogAI 评分4747 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 推理 Stable Diffusion XL
Hugging Face Diffusers 现已支持用 JAX 在 Google Cloud TPU 上服务 Stable Diffusion XL（SDXL），实现高性能、低成本推理。
Hugging Face BlogAI 评分5555 Hugging Face 为 tokenizers 引入 chat_template 属性
Hugging Face 为 tokenizers 新增 chat_template 属性，用 Jinja 模板保存模型训练时所用的对话格式，避免推理或微调时因格式不匹配导致难以察觉的性能下降。
Hugging Face BlogAI 评分4141 使用 Inference API 部署 AI Comic Factory 教程
Hugging Face 发布教程，指导用户 fork 并配置 AI Comic Factory Space，通过 Inference API 部署到自己的私有 Space 以避免排队等待。
Hugging Face BlogAI 评分3636 Hugging Face 伦理与社会通讯 #5：Hugging Face 走进华盛顿及 2023 夏日随想
Hugging Face 发布伦理与社会通讯 #5，汇总其今夏在 E.U.、U.K.、U.S. 的 AI 监管参与，包括 CEO Clem 向美国国会作证、在参议院 AI Insight Forum 发言、就 E.U. AI Act 提供建议，以及首席伦理科学家 Meg 向民主党党团提交意见。
Hugging Face BlogAI 评分4747 通过 TRL 用 DDPO 微调 Stable Diffusion 模型
Hugging Face 在 trl 库中集成了 DDPOTrainer，支持用 Denoising Diffusion Policy Optimization（DDPO）微调 Stable Diffusion 等扩散模型。
Hugging Face BlogAI 评分4949 非工程师指南：零代码用 AutoTrain 微调 LLaMA 2 聊天机器人
Hugging Face 发布教程，展示如何通过 Spaces、AutoTrain 和 ChatUI 三个步骤、零代码微调 LLaMA 2 7b 并部署为可分享的聊天应用。
Hugging Face BlogAI 评分4444 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 测试了 Llama 2 7B、13B、70B 在 Amazon SageMaker 上 60 多种部署配置的延迟与吞吐表现，覆盖 g5.2xlarge、g5.12xlarge、g5.48xlarge、p4d.24xlarge 四种实例与 1、5、10、20 并发请求。
Hugging Face BlogAI 评分4848 Hugging Face 推出 Inference for PROs
Hugging Face 推出面向 PRO 用户的 Inference for PROs，提供精选模型的专属 API 端点和更高的免费 Inference API 速率限制。
Hugging Face BlogAI 评分3636 Rocket Money 如何用 Hugging Face Inference API 在生产环境扩展 ML 模型
Rocket Money 用 BERT 系列模型替换正则表达式系统，对 4000+ 类别的交易字符串做文本分类，并选择 Hugging Face Inference API 托管模型。
Hugging Face BlogAI 评分5555 Hugging Face 解释目标检测排行榜的评测指标与结果差异来源
Hugging Face 发布目标检测排行榜（Object Detection Leaderboard），并撰文解释其评测方法与常用指标。
Hugging Face BlogAI 评分4444 3D Gaussian Splatting 入门：原理、训练流程与图形学未来
Hugging Face 详解 3D Gaussian Splatting 这一光栅化技术，它能用少量图像样本实时渲染照片级场景，其流程包括用 COLMAP 做运动恢复结构（SfM）生成点云、转为高斯并用随机梯度下降训练可微光栅化。
Hugging Face Blog精选AI 评分6262 Hugging Face 教程：生产环境优化 LLM 的三类技术与实测数据
Hugging Face 官方博客给出生产环境优化 LLM 的三类技术并附实测：低精度量化、Flash Attention 与面向长文本的架构改进。
推荐理由：原文用同一模型的实测显存与耗时数据，把量化、Flash Attention 和 KV cache 优化的取舍讲得可直接迁移。
Hugging Face BlogAI 评分5656 Hugging Face 发布 Würstchen：42x 空间压缩的快速文生图扩散模型
Hugging Face 发布 Würstchen 扩散模型，其文本条件组件在高度压缩的图像潜在空间中工作，实现 42x 空间压缩，通过 Stage A（VQGAN）、Stage B（Diffusion Autoencoder）与 Stage C（Prior）三阶段设计，训练与推理成本大幅降低。
Hugging Face BlogAI 评分5555 Hugging Face Transformers 原生支持的量化方案对比：bitsandbytes 与 auto-gptq
Hugging Face 官方博客系统对比了 Transformers 原生支持的 bitsandbytes 与 auto-gptq 两种量化方案的优劣，并给出推理与微调的基准测试。
Hugging Face BlogAI 评分4040 SafeCoder 与闭源代码助手对比
Hugging Face 将开源企业级代码助手 SafeCoder 与 GitHub Copilot、Amazon CodeWhisperer 等闭源服务对比，强调其在透明度、可定制性、IT 灵活性和隐私安全上的优势。
Hugging Face BlogAI 评分5555 Hugging Face 与腾讯推出 T2I-Adapter-SDXL 及多种条件控制模型
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作，在 diffusers 中支持 SDXL 的 T2I-Adapter，并开源 lineart、sketch、canny、depth、openpose 等条件的 checkpoints。
Hugging Face Blog精选AI 评分7676 Hugging Face 迎来 TII 的 Falcon 180B 开源模型
Hugging Face 官方博客宣布 TII 的 Falcon 180B 加入 HuggingFace 生态，这是当时最大的公开可用语言模型，拥有 180B 参数、在 RefinedWeb 数据集上训练 3.5 trillion tokens，是开源模型中最长的单轮预训练。
推荐理由：文章给出了硬件需求和量化实测，读者可据此评估自己能否跑起这个 180B 模型。
Hugging Face BlogAI 评分1818 Fetch 借助 Amazon SageMaker 与 Hugging Face 将 ML 处理延迟降低 50%
Fetch 借助 Amazon SageMaker 与 Hugging Face 优化机器学习流水线，将最慢扫描的延迟降低 50%，文档理解模型准确率提升 200%。
Hugging Face BlogAI 评分5555 Hugging Face 教程：用 Diffusers 四项优化把 AudioLDM 2 推理从 14 秒降到 1 秒内
Hugging Face 官方博客演示如何在 🧨 Diffusers 中优化 AudioLDM 2 的推理速度，通过 flash attention（SDPA）。
Hugging Face Blog精选AI 评分7878 Hugging Face 集成 Code Llama 模型家族
Hugging Face 宣布在自身生态中集成 Meta 的 Code Llama 模型家族，包含 7B、13B、34B 三种参数规模，以及 Python 专精版和指令微调版，采用与 Llama 2 相同的宽松社区许可并可商用。
推荐理由：原文给出模型规格、上下文窗口扩展方法和多语言榜单成绩，便于评估其在代码任务上的定位。
Hugging Face BlogAI 评分4040 Hugging Face 停止支持 Git 密码认证
Hugging Face 将于 10 月 1 日起停止接受密码作为 Git 命令行操作的认证方式，用户需改用 personal access token 或 SSH key。token 与 SSH key 具备唯一、可撤销、随机等特性，安全性优于传统密码。依赖密码认证的用户会收到邮件提醒，需在 10 月 1 日前完成切换。
Hugging Face Blog精选AI 评分6464 Hugging Face 将 AutoGPTQ 集成进 Transformers，支持 8/4/3/2-bit 量化
Hugging Face 宣布将 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法把模型量化到 8、4、3 甚至 2-bit 精度运行，4-bit 量化精度损失可忽略，小 batch 下推理速度接近 fp16 基线，同时支持 Nvidia 与 RoCm AMD GPU。
推荐理由：原文给出了量化位宽、显存与延迟的实测对比，读者可据此判断能否在自己的 GPU 上跑起大模型。
Hugging Face Blog精选AI 评分6464 Hugging Face 开源发布多模态模型 IDEFICS
Hugging Face 发布开放获取的视觉语言模型 IDEFICS，作为 DeepMind 未公开的 Flamingo 的开放复现，可接受任意图像与文本序列输入并生成文本输出。
推荐理由：原文交代了复现所用的公开数据与模型组件，读者可据此理解开放复现闭源模型的具体路径。
Hugging Face BlogAI 评分4444 Hugging Face 推出 SafeCoder：面向企业的自托管代码助手方案
Hugging Face 推出 SafeCoder，一套面向企业的端到端自托管代码助手方案，核心是基于 StarCoder 系列 Code LLM（15B 参数、8,192 tokens 上下文）在客户自有代码库上微调，训练与推理全程代码不出 VPC。
Hugging Face BlogAI 评分3636 Hugging Face Hub 上线 AWS Marketplace，可用 AWS 账户付费
Hugging Face Hub 上线 AWS Marketplace，用户可直接用 AWS 账户订阅并支付 Hugging Face 服务费用，Inference Endpoints、Spaces Hardware Upgrades、AutoTrain 等托管服务的用量费用将自动计入 AWS 账单，而非由 Hugging Face 向组织信用卡扣款。