Hugging Face 与 Dottxt 研究结构化生成如何提升 prompt 一致性
Hugging Face Leaderboards and Evals 团队与 Dottxt 合作研究发现，MMLU 上仅改变 prompt 格式就能让模型分数波动约 10 个点，Qwen1.5-7B 在不同格式下准确率从 51.2% 跌至 22.9%，few-shot 顺序变化也可带来最多 3 分差异，且模型排名会随之改变。
#推理
Hugging Face BlogAI 评分5656
Hugging Face BlogAI 评分4545 Hugging Face 推出 Open CoT Leaderboard：衡量 LLM 的思维链增益
Hugging Face 推出 Open CoT Leaderboard，通过对比模型在有无思维链（CoT）提示下的准确率差值（accuracy gain Δ），衡量 LLM 生成有效推理轨迹的能力，而非绝对准确率。该榜单使用 LogiQA、LSAT 等逻辑推理任务，已实现 Classic 和 Reflect 两种提示策略，旨在更稳健地评估模型推理能力并规避训练数据污染问题。
Hugging Face BlogAI 评分3838 NPHardEval 排行榜：用复杂度类与动态更新揭示大语言模型的推理能力
Hugging Face 上线 NPHardEval 排行榜，该基准由密歇根大学与罗格斯大学研究者开发，用 900 道覆盖 NP-Hard 及以下复杂度类的算法题评估大语言模型推理能力，并每月更新题目以防过拟合。
Hugging Face BlogAI 评分4747 用 🤗 Optimum Intel 在 Xeon 上加速 StarCoder：Q8/Q4 与投机解码
Hugging Face 在 Intel 第 4 代 Xeon 上通过 8bit/4bit 量化与投机解码（assisted generation）将 StarCoder-15B 推理加速 7 倍以上。
Hugging Face Blog精选AI 评分7878 Hugging Face 完整集成 Mixtral 8x7B 模型
Mistral 发布开源大模型 Mixtral 8x7B，Hugging Face 完成生态集成，包括 Hub 模型卡、Transformers、Inference Endpoints 与 Text Generation Inference 支持。
推荐理由：文章解释了 MoE 架构如何让 45B 参数模型以 12B 密集模型速度解码，并给出量化与微调的实操路径。
Hugging Face Blog精选AI 评分6262 Hugging Face 博客详解 Mixture of Experts（MoE）
Hugging Face 官方博客发布 Mixture of Experts Explained，系统讲解 MoE 的组成、稀疏性、负载均衡、Switch Transformers、微调挑战与推理部署技巧。
推荐理由：系统梳理了 MoE 的原理、训练与推理权衡，读者可据此判断何时选用稀疏模型。
Hugging Face BlogAI 评分5757 Hugging Face 复现 OpenAI RLHF 代码库并梳理 PPO 实现细节
Hugging Face 发布博客，复现 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences，在 sentiment 和 descriptiveness 等风格任务上得到与原版几乎一致的学习曲线，并整理出一份实现细节清单。
Mistral AI精选AI 评分7878 Mistral AI 发布 7.3B 参数开源模型 Mistral 7B
Mistral AI 发布 7.3B 参数模型 Mistral 7B，称其在所有基准上超过 Llama 2 13B、在多数基准上超过 Llama 1 34B，代码能力接近 CodeLlama 7B。
推荐理由：原文给出了基准对比、注意力机制细节和部署入口，读者可据此评估该模型的性价比与迁移价值。
Hugging Face BlogAI 评分4848 Hugging Face 推出 Inference for PROs
Hugging Face 推出面向 PRO 用户的 Inference for PROs，提供精选模型的专属 API 端点和更高的免费 Inference API 速率限制。
Hugging Face Blog精选AI 评分6262 Hugging Face 教程：生产环境优化 LLM 的三类技术与实测数据
Hugging Face 官方博客给出生产环境优化 LLM 的三类技术并附实测：低精度量化、Flash Attention 与面向长文本的架构改进。
推荐理由：原文用同一模型的实测显存与耗时数据，把量化、Flash Attention 和 KV cache 优化的取舍讲得可直接迁移。
Hugging Face BlogAI 评分4545 基于 FHE 的加密大语言模型：Hugging Face GPT2 实践
Zama 展示了如何用全同态加密（FHE）让 Hugging Face transformers 库中的 GPT2 在加密数据上运行推理，同时保护用户隐私和模型 IP。
Hugging Face Blog精选AI 评分8888 Hugging Face 全面支持 Meta Llama 2 发布并提供推理与微调指南
Meta 发布 Llama 2 系列开放大语言模型，Hugging Face 完成生态集成，Hub 上提供 12 个开放模型（3 个基础模型与 3 个微调模型及对应 transformers 版本），采用宽松社区许可并支持商用。
推荐理由：文章给出从推理部署到单卡微调的完整路径，可直接迁移用于自己的 Llama 2 实践。
Hugging Face BlogAI 评分4545 Hugging Face：Transformer 在时间序列预测中确实有效（附 Autoformer）
Hugging Face 通过对比实验表明，Autoformer 在 Traffic、Exchange-Rate、Electricity 三个数据集上的 MASE 分数（0.910、1.087、0.751）均优于 AAAI 2023 论文所称更优的线性模型 DLinear（0.965、1.690、0.831）。
OpenAI News精选AI 评分6666 OpenAI 用过程监督提升数学推理并取得新 SOTA
OpenAI 训练的模型通过奖励每一步正确的推理过程（过程监督）而非仅奖励最终答案（结果监督），在数学问题求解上取得新的 SOTA。原文指出过程监督除提升性能外，还能直接训练模型产出经人类认可的 chain-of-thought，带来对齐层面的收益。
推荐理由：原文对比了过程监督与结果监督的差异，读者可据此理解奖励每一步推理对性能和对齐的双重作用。
Hugging Face Blog精选AI 评分6060 RWKV 架构集成进 Hugging Face transformers 库
Hugging Face 官方博客宣布 RWKV 架构已通过 Pull Request 集成进 transformers 库，可通过源码安装或 main 分支使用，支持 pipeline 文本生成与 alpaca 风格的 RWKV-4 Raven 聊天模型调用，并提供 convert_rwkv_checkpoint_to_hf.py 脚本转换原始权重。
推荐理由：原文对比了 RWKV 与 Transformer、RNN 的取舍并给出可直接运行的代码，便于读者判断其适用场景。
Hugging Face Blog精选AI 评分6464 Hugging Face Transformers 推出 assisted generation 低延迟解码方法
Hugging Face 在 🤗 Transformers 的 .generate() 中推出新解码方法 assisted generation，用小模型生成候选 token、再由目标模型一次前向验证，在普通硬件上最高可将延迟降低 10x。
推荐理由：原文拆解了延迟瓶颈并给出可复现的加速数字，读者可据此判断该方法是否适配自己的部署场景。
Hugging Face BlogAI 评分4444 BLOOMZ 在 Habana Gaudi2 加速器上的大语言模型快速推理
Hugging Face 测评显示，BLOOMZ 176B 在 8 卡 Habana Gaudi2 上推理延迟 3.103 秒，比 A100 80GB 快 1.42x；BLOOMZ-7B 更是快 2.89x。
Hugging Face BlogAI 评分3636 Informer 在 🤗 Transformers 中实现多变量概率时间序列预测
Informer（AAAI21 best paper）现已加入 🤗 Transformers，可用于多变量概率时间序列预测任务，即预测未来时间序列目标向量的分布。
Hugging Face Blog精选AI 评分6060 Hugging Face 解读让对话智能体更有用的关键技术
Hugging Face 博客梳理了 ChatGPT 背后的 RLHF、IFT、SFT、CoT、红队测试等技术，对比了 LaMDA、BlenderBot 3、Sparrow、InstructGPT、Assistant 在公开访问、训练数据、模型架构和评测维度上的差异。
推荐理由：通过对比表和分类梳理，读者可快速理解 IFT、SFT、RLHF、CoT 各自作用与数据需求差异。
Hugging Face Blog精选AI 评分6060 Hugging Face 图解 RLHF：从人类反馈强化学习的三步训练流程
Hugging Face 博客系统图解了 RLHF 的三步流程：预训练语言模型、用人类排序数据训练奖励模型、再用 PPO 等强化学习算法微调语言模型。文中说明奖励模型将文本映射为标量奖励，奖励函数由偏好分数减去与初始模型的 KL 散度惩罚构成，以防止模型输出偏离初始模型的乱码。
推荐理由：文章把 RLHF 拆成预训练、奖励模型、PPO 微调三步并给出开源工具清单，便于读者建立完整流程认知。
Hugging Face BlogAI 评分4545 用 🤗 Transformers 做概率时间序列预测
Hugging Face 介绍如何用 🤗 Transformers 库内置的 Time Series Transformer 模型做单变量概率时间序列预测，即为每条序列预测其一维分布而非单点值。
Hugging Face BlogAI 评分5858 Hugging Face 在 transformers 中集成 Contrastive Search 解码方法
Hugging Face 宣布 Contrastive Search 现已在 transformers 库中可用，支持 PyTorch 和 TensorFlow，并提供与 beam search、top-k sampling、nucleus sampling 对比的 demo。
Hugging Face BlogAI 评分3838 Proximal Policy Optimization (PPO)
Hugging Face 深度强化学习课程第 8 单元讲解 Proximal Policy Optimization (PPO)，通过将当前与旧策略的概率比裁剪到 [1−ϵ, 1+ϵ] 区间来限制策略更新幅度，从而提升训练稳定性。文中对比了 TRPO 的 KL 散度约束方案，并将用 PyTorch 从零实现 PPO Agent，在 CartPole-v1 和 LunarLander-v2 上验证。
Hugging Face BlogAI 评分2626 Nyströmformer：用 Nyström 方法将自注意力近似为线性时间与内存复杂度
Nyströmformer 通过 Nyström 方法将标准自注意力的 O(n²) 复杂度降至 O(n)，在多项 NLP 与 CV 任务上保持与标准自注意力相当的性能。
Hugging Face BlogAI 评分3838 Hugging Face 深度强化学习课程 Unit 7：Advantage Actor Critic (A2C)
Hugging Face 深度强化学习课程 Unit 7 讲解 Advantage Actor Critic (A2C)，即结合策略基与价值基方法的 Actor-Critic 混合架构，用 Critic 评估动作价值以降低 Reinforce 中蒙特卡洛采样带来的高方差，从而稳定训练。
Hugging Face BlogAI 评分3838 Hugging Face 深度强化学习课程 Unit 5：用 PyTorch 实现 Policy Gradient（Reinforce）
Hugging Face 深度强化学习课程 Unit 5 讲解 Policy-Gradient 方法，并用 PyTorch 从零实现首个策略梯度算法 Reinforce（Monte Carlo Policy Gradient），随后在 CartPole-v1、PixelCopter 和 Pong 上测试其鲁棒性。
Hugging Face BlogAI 评分3636 Deep Q-Learning with Space Invaders：用深度强化学习玩 Space Invaders
Hugging Face 深度强化学习课程第 3 单元讲解 Deep Q-Learning，用神经网络近似 Q 值替代 Q-table，以解决 Atari 环境状态空间过大（256^100800）导致表格方法失效的问题。
Hugging Face BlogAI 评分2727 Q-Learning 入门（下）：从零实现并训练 Q-Learning 智能体
Hugging Face 深度强化学习课程第 2 单元下篇讲解 Q-Learning 算法，从零实现 Q-Learning 智能体，并在 Frozen Lake v1 和自动驾驶出租车两个环境中训练。内容涵盖 off-policy、value-based 方法、TD 更新、Q-Table 初始化与 Epsilon Greedy 策略，是学习 Deep Q-Learning（第 3 单元）的基础。
Hugging Face BlogAI 评分4444 Hugging Face 将 Decision Transformer 集成进 transformers 库
Hugging Face 宣布将离线强化学习方法 Decision Transformer 集成进 🤗 transformers 库和 Hugging Face Hub，并提供 9 个 Gym 环境连续控制任务的预训练模型 checkpoint。
OpenAI NewsAI 评分4444 OpenAI 用 Lean 神经定理证明器求解部分国际数学奥林匹克难题
OpenAI 构建了一个面向 Lean 的神经定理证明器，学会了求解多道有挑战性的高中数学竞赛题，涵盖 AMC12、AIME 竞赛题目，以及两道改编自 IMO 的题目。
OpenAI NewsAI 评分5555 OpenAI 训练出接近微调 GPT-3 两倍准确率的小学数学解题系统
OpenAI 训练了一个解小学数学应用题的系统，准确率接近微调 GPT-3 模型的两倍。在数据集抽样测试中，9-12 岁儿童得分为 60%，该系统在同样题目上得分为 55%，约为真实儿童解题量的 90%。
Hugging Face BlogAI 评分3838 Few-shot learning 实践：GPT-Neo 与 🤗 Accelerated Inference API
Hugging Face 介绍如何用 GPT-Neo 和 🤗 Accelerated Inference API 实现 Few-Shot Learning 预测，该 API 可托管运行 Model Hub 上 10,000+ 模型，相比 Transformers 默认部署最高提速 100x。
Hugging Face BlogAI 评分5050 Hugging Face 教你在 CPU 上扩展 BERT 推理（第一部分）
Hugging Face 发布系列博文第一部分，讲解如何在 CPU 上扩展 BERT 推理，重点覆盖硬件层面的优化。
Hugging Face BlogAI 评分4141 理解 BigBird 的 Block Sparse Attention
Hugging Face 博客深入讲解了 BigBird 的 block sparse attention 实现原理，说明其如何用滑动窗口、全局 token 和随机 token 三种注意力模式近似 BERT 的全注意力，将序列长度扩展到 4096 且计算成本远低于 BERT。
Hugging Face BlogAI 评分3838 Hugging Face Reads, 2021 年 2 月 - 长程 Transformer
Hugging Face 读书会 2021 年 2 月主题聚焦长程注意力，总结了 Longformer、Compressive Transformer、Linformer、Performer 四篇论文的思路。Longformer 用窗口化/全局注意力把内存开销从 n² 降到 wn+gn，可直接替换标准 self-attention 并复用预训练 checkpoint 微调。
Hugging Face BlogAI 评分3939 Hugging Face 如何为 🤗 API 客户将 Transformer 推理加速 100 倍
Hugging Face 通过两阶段优化将 🤗 Accelerated Inference API 上的 Transformer 推理整体提速 100 倍。
Hugging Face BlogAI 评分4444 Transformer-based Encoder-Decoder 模型详解
Hugging Face 博客详细讲解了 Transformer-based encoder-decoder 架构如何建模 sequence-to-sequence 问题，聚焦其数学模型与推理用法，并拆解 encoder 和 decoder 两部分，配合大量插图建立理论与 🤗Transformers 实际推理的联系。
OpenAI NewsAI 评分4545 用人类反馈强化学习训练摘要模型
OpenAI 将人类反馈强化学习（RLHF）应用于语言模型训练，使其摘要能力更强。
Hugging Face BlogAI 评分4545 Reformer：用不到 8GB 内存训练 50 万 token 长序列
Hugging Face 深入解析了 Reformer 模型，它能用不到 8GB 内存一次处理多达 50 万 token，而 bert-base-uncased 只能处理 512 token。
OpenAI News精选AI 评分7878 OpenAI 发布论文《Language models are few-shot learners》
OpenAI 发布论文《Language models are few-shot learners》，探讨语言模型的少样本学习能力。抓取失败，仅标题可用，正文内容缺失。