Hugging Face 介绍 Matryoshka 嵌入模型的训练与使用
Hugging Face 博客介绍 Matryoshka 嵌入模型的概念、训练方法与使用方式，并给出与普通嵌入模型的对比。
#开源生态
Hugging Face BlogAI 评分5555
Hugging Face Blog精选AI 评分7878 Google 发布开源大模型 Gemma，Hugging Face 完成全生态集成
Google 发布开源大模型系列 Gemma，包含 7B 和 2B 两种参数规模、各有 base 与 instruction-tuned 版本，共 4 个开放模型上线 Hugging Face Hub。
推荐理由：文章给出各尺寸模型的跑分对照和单卡微调命令，读者可据此判断在自有硬件上落地的可行性。
Hugging Face BlogAI 评分4747 Hugging Face 推出 Open Ko-LLM Leaderboard：引领韩语 LLM 评测生态
Upstage 于 2023 年 9 月发起 Open Ko-LLM Leaderboard，构建韩语 LLM 评测生态，采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA、Ko-CommonGEN V2 五项评测任务，并以私有测试集防止数据污染。
Hugging Face Blog精选AI 评分6868 Hugging Face 教程：用合成数据训练专用小模型，成本仅为 GPT4 API 的百分之一
Hugging Face 博客展示了用开源 LLM（Mixtral-8x7B-Instruct-v0.1）生成合成数据、再用 AutoTrain 微调约 0.13B 参数 RoBERTa-base 的完整流程。
推荐理由：通过具体成本与碳排数字对比，读者可直接判断何时该用合成数据训练专用小模型而非调用 LLM API。
Hugging Face BlogAI 评分3232 AMD Pervasive AI Developer Contest 开放报名，Hugging Face 提供模型部署支持
AMD 联合 Hugging Face 推出 Pervasive AI Developer Contest，面向全球开发者开放报名，设 Generative AI、Robotics AI、PC AI 三个赛道，单项奖金最高 $10,000 USD，总奖金 $160,000 USD，并提供 700 台 AMD 平台供参赛者使用。
Hugging Face BlogAI 评分5555 Hugging Face TGI 1.4.0 推出 OpenAI 兼容的 Messages API
Hugging Face 为 Text Generation Inference（TGI）1.4.0 和 Inference Endpoints 推出 Messages API。
Hugging Face Blog精选AI 评分6161 Hugging Face 开源 Constitutional AI 训练配方与 llm-swarm 工具
Hugging Face 发布用开源模型实现 Constitutional AI 的端到端配方，并开源基于 Slurm 集群、由 TGI 和 vLLM 支撑的可扩展合成数据生成工具 llm-swarm。
推荐理由：完整给出用开源模型做 Constitutional AI 的可复用配方与评测数据，便于迁移实践。
Hugging Face BlogAI 评分4444 Hugging Face Text Generation Inference 正式登陆 AWS Inferentia2 与 Amazon SageMaker
Hugging Face 宣布 Text Generation Inference (TGI) 正式在 AWS Inferentia2 和 Amazon SageMaker 上可用，为生产级 LLM 部署提供 GPU 之外的可行替代方案。
Hugging Face BlogAI 评分4747 用 🤗 Optimum Intel 在 Xeon 上加速 StarCoder：Q8/Q4 与投机解码
Hugging Face 在 Intel 第 4 代 Xeon 上通过 8bit/4bit 量化与投机解码（assisted generation）将 StarCoder-15B 推理加速 7 倍以上。
Hugging Face BlogAI 评分4949 Hugging Face 与 Google Cloud 达成战略合作，推动开放 AI 协作
Hugging Face 与 Google Cloud 宣布达成战略合作，将在开放科学、开源、云和硬件四个方向展开协作，让企业能用 Hugging Face 的开放模型和 Google Cloud 的云与硬件能力构建自有 AI。
Hugging Face BlogAI 评分5555 Hugging Face 解析 ReAct 智能体并评测开源 LLM 表现
Hugging Face 发布博客介绍 ReAct 智能体的工作原理，展示如何用 LangChain 的 ChatHuggingFace 类构建智能体，并评测多个开源 LLM 作为通用推理智能体的表现。
Hugging Face BlogAI 评分5757 Hugging Face 实测对比 DPO、IPO、KTO 三种偏好对齐方法
Hugging Face Blog 发布对 DPO、IPO、KTO 三种无强化学习偏好对齐方法的实证评测，在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 两个 7B 模型上扫描 β 从 0.01 到 0.9 的超参数并用 MT-Bench 评测。
Hugging Face BlogAI 评分5555 Hugging Face 介绍用 Unsloth 与 TRL 将 LLM 微调提速 2 倍
Hugging Face 官方博客介绍社区库 Unsloth，它与 Hub、transformers、PEFT、TRL 完全兼容，可让 LLM 微调提速 2 倍、显存占用降低 40% 且精度零损失。
Hugging Face BlogAI 评分5656 Hugging Face 开源 aMUSEd：基于掩码图像模型的高效文生图模型
Hugging Face 发布 aMUSEd，一个开源复现 Google MUSE 的非扩散文生图模型研究预览，采用 Masked Image Model 方法，参数量约 800M（含文本编码器和 VQ-GAN），推理速度快且支持零样本图像修复。
Hugging Face BlogAI 评分5858 Hugging Face 分享 SDXL Dreambooth LoRA 进阶训练指南与实验结果
Hugging Face Blog 发布了一份社区总结的 SDXL Dreambooth LoRA 进阶训练指南，将 Replicate SDXL Cog trainer 的 Pivotal Tuning 技术与 Kohya trainer 的 Prodigy 优化器等优化结合进 diffusers 训练脚本。
Hugging Face Blog精选AI 评分6060 Hugging Face 2023 年开源 LLM 年度回顾
Hugging Face 发布 2023 年开源 LLM 年度回顾，梳理了从 BLOOM、OPT、GLM-130B 到 LLaMA、Llama 2、Mistral、Qwen、Yi 等模型的发布脉络，以及 Chinchilla 范式转变带来的小模型加更多数据趋势。
推荐理由：系统梳理了开源 LLM 的技术要素与全年脉络，可作为理解开源模型生态的入门地图。
Mistral AI精选AI 评分8888 Mistral AI 开源发布 Mixtral 8x7B 稀疏专家模型
Mistral AI 发布 Mixtral 8x7B，一款采用 Apache 2.0 许可的稀疏混合专家（SMoE）模型，开放权重。它在多数基准上匹配或超过 Llama 2 70B 与 GPT3.5，推理速度提升 6x，支持 32k tokens 上下文和五种语言。
推荐理由：原文给出了架构细节与部署路径，读者可据此评估稀疏 MoE 在成本与性能上的取舍。
Mistral AIAI 评分5656 Mistral AI 开放 la Plateforme 平台 beta 访问，提供三个文本生成端点与一个 embedding 端点
Mistral AI 宣布开放其首个平台服务 la Plateforme 的 beta 访问，提供 mistral-tiny、mistral-small、mistral-medium 三个文本生成端点和 Mistral-embed embedding 端点。
Hugging Face Blog精选AI 评分7878 Hugging Face 完整集成 Mixtral 8x7B 模型
Mistral 发布开源大模型 Mixtral 8x7B，Hugging Face 完成生态集成，包括 Hub 模型卡、Transformers、Inference Endpoints 与 Text Generation Inference 支持。
推荐理由：文章解释了 MoE 架构如何让 45B 参数模型以 12B 密集模型速度解码，并给出量化与微调的实操路径。
Hugging Face Blog精选AI 评分6262 Hugging Face 博客详解 Mixture of Experts（MoE）
Hugging Face 官方博客发布 Mixture of Experts Explained，系统讲解 MoE 的组成、稀疏性、负载均衡、Switch Transformers、微调挑战与推理部署技巧。
推荐理由：系统梳理了 MoE 的原理、训练与推理权衡，读者可据此判断何时选用稀疏模型。
Hugging Face BlogAI 评分5555 Hugging Face 宣布 Transformers 模型在 AMD Instinct GPU 上免改代码运行并支持 TGI
Hugging Face 宣布 Transformers 模型和任务现已可在 AMD Instinct GPU 上免改代码运行，并在 Text Generation Inference（TGI）中加入对 AMD Instinct MI210 和 MI250 的初始支持。
Hugging Face BlogAI 评分5555 Hugging Face 发布 Optimum-NVIDIA 推理库，单行代码改动提速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，只需把 transformers 的 pipeline 导入改成 optimum.nvidia 即可获得最高 28x 吞吐提升和 1,200 tokens/second 的推理速度。
Hugging Face BlogAI 评分5656 Hugging Face 让 LoRA 推理提速 300%，冷启动从 25s 降到 3s
Hugging Face 在 Inference API 中实现 LoRA 动态加载，保持 Stable Diffusion 基础模型常驻热态、按请求切换适配器，把预热时间从 25s 降到 3s，用户响应时间从 35s 降到 13s，用不到 5 张 A10G 即可服务数百个不同 LoRA。
Hugging Face BlogAI 评分5252 Hugging Face 深入排查 Open LLM Leaderboard 上 DROP 评分异常并将其下线
Hugging Face 发现 Open LLM Leaderboard 上新增的 DROP 基准中绝大多数模型 f1 分数低于 10，深入排查后决定将 DROP 从榜单移除，等待新版本。
Hugging Face Blog精选AI 评分7474 Hugging Face 发布 LCM LoRA，让 SDXL 4 步完成图像生成
Hugging Face 官方博客宣布推出 Latent Consistency LoRAs（LCM LoRA），通过只训练少量 LoRA 适配器而非完整蒸馏模型，让 Stable Diffusion 和 SDXL 以 4 步完成推理，替代原本的 25 到 50 步。
推荐理由：给出了各硬件的实测耗时对比，读者可据此判断自己设备上能否跑近实时生成。
Hugging Face BlogAI 评分3838 Prodigy-HF 发布：Prodigy 与 Hugging Face 直接集成
Explosion 上周推出 Prodigy-HF 插件，通过 hf.train.ner 和 hf.train.textcat 等 recipe 让用户直接在 Prodigy 标注数据上微调 Hugging Face 模型（如 distilbert-base-uncased），并可用 hf.correct.ner 复用模型辅助标注。
Hugging Face BlogAI 评分3636 用 LoRA 对比 RoBERTa、Llama 2 和 Mistral 在灾难推文分类任务上的表现
Hugging Face 用 LoRA 微调 RoBERTa-large（355M 参数）、Llama-2-7b-hf 和 Mistral-7B-v0.1 三个模型，在 mehdiiraqui/twitter_disaster 数据集上做灾难推文二分类对比。
Hugging Face BlogAI 评分5959 Hugging Face 教你用自有代码库微调 StarCoder 打造个人编码助手
Hugging Face 官方博客介绍如何用 Hugging Face GitHub 组织公开仓库的代码微调 StarCoder，打造了解自有代码库的个人编码助手 HugCoder。
Hugging Face BlogAI 评分5757 Hugging Face 复现 OpenAI RLHF 代码库并梳理 PPO 实现细节
Hugging Face 发布博客，复现 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences，在 sentiment 和 descriptiveness 等风格任务上得到与原版几乎一致的学习曲线，并整理出一份实现细节清单。
Hugging Face BlogAI 评分5555 Hugging Face 推出 Gradio-lite，让 Gradio 应用纯浏览器运行
Hugging Face 发布 JavaScript 库 @gradio/lite，借助 Pyodide 让 Gradio 应用直接在浏览器中运行，无需服务器端基础设施。
Hugging Face BlogAI 评分3838 ONNX Runtime 加速 Hugging Face 上超过 130,000 个模型
ONNX Runtime 已支持 Hugging Face 上超过 130,000 个 ONNX 模型，覆盖 90 多种模型架构，包括 BERT、GPT2、DistilBERT、Stable-Diffusion、Whisper 等 11 个最热门架构。以 whisper-tiny 为例，使用 ONNX Runtime 加速后，单次推理平均延迟相比 PyTorch 最高可降低 74.30%。
Hugging Face BlogAI 评分5555 Hugging Face 为 tokenizers 引入 chat_template 属性
Hugging Face 为 tokenizers 新增 chat_template 属性，用 Jinja 模板保存模型训练时所用的对话格式，避免推理或微调时因格式不匹配导致难以察觉的性能下降。
Hugging Face BlogAI 评分3636 Hugging Face 伦理与社会通讯 #5：Hugging Face 走进华盛顿及 2023 夏日随想
Hugging Face 发布伦理与社会通讯 #5，汇总其今夏在 E.U.、U.K.、U.S. 的 AI 监管参与，包括 CEO Clem 向美国国会作证、在参议院 AI Insight Forum 发言、就 E.U. AI Act 提供建议，以及首席伦理科学家 Meg 向民主党党团提交意见。
Hugging Face BlogAI 评分4747 通过 TRL 用 DDPO 微调 Stable Diffusion 模型
Hugging Face 在 trl 库中集成了 DDPOTrainer，支持用 Denoising Diffusion Policy Optimization（DDPO）微调 Stable Diffusion 等扩散模型。
Hugging Face BlogAI 评分4949 非工程师指南：零代码用 AutoTrain 微调 LLaMA 2 聊天机器人
Hugging Face 发布教程，展示如何通过 Spaces、AutoTrain 和 ChatUI 三个步骤、零代码微调 LLaMA 2 7b 并部署为可分享的聊天应用。
Mistral AI精选AI 评分7878 Mistral AI 发布 7.3B 参数开源模型 Mistral 7B
Mistral AI 发布 7.3B 参数模型 Mistral 7B，称其在所有基准上超过 Llama 2 13B、在多数基准上超过 Llama 1 34B，代码能力接近 CodeLlama 7B。
推荐理由：原文给出了基准对比、注意力机制细节和部署入口，读者可据此评估该模型的性价比与迁移价值。
Mistral AI精选AI 评分7272 Mistral AI 发布 Mistral 7B 并阐述开放模型路线
Mistral AI 发布首个 7B 参数模型 Mistral 7B，称其在所有标准英文与代码基准上超过现有 13B 以下开源模型，以 Apache 2.0 许可开放使用。该模型基于三个月工作建成的 MLops 栈与数据处理管线，可做摘要、结构化和问答，生成速度与成本优于大型专有方案；公司同时开放 GitHub 仓库和 Discord 频道，并表示在开发商业产品的同时继续发布开源模型。
推荐理由：原文对比了开放模型与闭源 API 在定制、成本和数据隐私上的差异，读者可据此理解其开源路线的商业与技术理由。
Hugging Face BlogAI 评分4444 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 测试了 Llama 2 7B、13B、70B 在 Amazon SageMaker 上 60 多种部署配置的延迟与吞吐表现，覆盖 g5.2xlarge、g5.12xlarge、g5.48xlarge、p4d.24xlarge 四种实例与 1、5、10、20 并发请求。
Hugging Face BlogAI 评分4848 Hugging Face 推出 Inference for PROs
Hugging Face 推出面向 PRO 用户的 Inference for PROs，提供精选模型的专属 API 端点和更高的免费 Inference API 速率限制。
Hugging Face Blog精选AI 评分6262 Hugging Face 教程：生产环境优化 LLM 的三类技术与实测数据
Hugging Face 官方博客给出生产环境优化 LLM 的三类技术并附实测：低精度量化、Flash Attention 与面向长文本的架构改进。
推荐理由：原文用同一模型的实测显存与耗时数据，把量化、Flash Attention 和 KV cache 优化的取舍讲得可直接迁移。