Mistral AI 发布 7.3B 参数开源模型 Mistral 7B
Mistral AI 发布 7.3B 参数模型 Mistral 7B，称其在所有基准上超过 Llama 2 13B、在多数基准上超过 Llama 1 34B，代码能力接近 CodeLlama 7B。
推荐理由：原文给出了基准对比、注意力机制细节和部署入口，读者可据此评估该模型的性价比与迁移价值。
#推理
Mistral AI精选AI 评分7878
Hugging Face BlogAI 评分4848 Hugging Face 推出 Inference for PROs
Hugging Face 推出面向 PRO 用户的 Inference for PROs，提供精选模型的专属 API 端点和更高的免费 Inference API 速率限制。
Hugging Face Blog精选AI 评分6262 Hugging Face 教程：生产环境优化 LLM 的三类技术与实测数据
Hugging Face 官方博客给出生产环境优化 LLM 的三类技术并附实测：低精度量化、Flash Attention 与面向长文本的架构改进。
推荐理由：原文用同一模型的实测显存与耗时数据，把量化、Flash Attention 和 KV cache 优化的取舍讲得可直接迁移。
Hugging Face BlogAI 评分4545 基于 FHE 的加密大语言模型：Hugging Face GPT2 实践
Zama 展示了如何用全同态加密（FHE）让 Hugging Face transformers 库中的 GPT2 在加密数据上运行推理，同时保护用户隐私和模型 IP。
Hugging Face Blog精选AI 评分8888 Hugging Face 全面支持 Meta Llama 2 发布并提供推理与微调指南
Meta 发布 Llama 2 系列开放大语言模型，Hugging Face 完成生态集成，Hub 上提供 12 个开放模型（3 个基础模型与 3 个微调模型及对应 transformers 版本），采用宽松社区许可并支持商用。
推荐理由：文章给出从推理部署到单卡微调的完整路径，可直接迁移用于自己的 Llama 2 实践。
Hugging Face BlogAI 评分4545 Hugging Face：Transformer 在时间序列预测中确实有效（附 Autoformer）
Hugging Face 通过对比实验表明，Autoformer 在 Traffic、Exchange-Rate、Electricity 三个数据集上的 MASE 分数（0.910、1.087、0.751）均优于 AAAI 2023 论文所称更优的线性模型 DLinear（0.965、1.690、0.831）。
OpenAI News精选AI 评分6666 OpenAI 用过程监督提升数学推理并取得新 SOTA
OpenAI 训练的模型通过奖励每一步正确的推理过程（过程监督）而非仅奖励最终答案（结果监督），在数学问题求解上取得新的 SOTA。原文指出过程监督除提升性能外，还能直接训练模型产出经人类认可的 chain-of-thought，带来对齐层面的收益。
推荐理由：原文对比了过程监督与结果监督的差异，读者可据此理解奖励每一步推理对性能和对齐的双重作用。
Hugging Face Blog精选AI 评分6060 RWKV 架构集成进 Hugging Face transformers 库
Hugging Face 官方博客宣布 RWKV 架构已通过 Pull Request 集成进 transformers 库，可通过源码安装或 main 分支使用，支持 pipeline 文本生成与 alpaca 风格的 RWKV-4 Raven 聊天模型调用，并提供 convert_rwkv_checkpoint_to_hf.py 脚本转换原始权重。
推荐理由：原文对比了 RWKV 与 Transformer、RNN 的取舍并给出可直接运行的代码，便于读者判断其适用场景。
Hugging Face Blog精选AI 评分6464 Hugging Face Transformers 推出 assisted generation 低延迟解码方法
Hugging Face 在 🤗 Transformers 的 .generate() 中推出新解码方法 assisted generation，用小模型生成候选 token、再由目标模型一次前向验证，在普通硬件上最高可将延迟降低 10x。
推荐理由：原文拆解了延迟瓶颈并给出可复现的加速数字，读者可据此判断该方法是否适配自己的部署场景。
Hugging Face BlogAI 评分4444 BLOOMZ 在 Habana Gaudi2 加速器上的大语言模型快速推理
Hugging Face 测评显示，BLOOMZ 176B 在 8 卡 Habana Gaudi2 上推理延迟 3.103 秒，比 A100 80GB 快 1.42x；BLOOMZ-7B 更是快 2.89x。
Hugging Face BlogAI 评分3636 Informer 在 🤗 Transformers 中实现多变量概率时间序列预测
Informer（AAAI21 best paper）现已加入 🤗 Transformers，可用于多变量概率时间序列预测任务，即预测未来时间序列目标向量的分布。
Hugging Face Blog精选AI 评分6060 Hugging Face 解读让对话智能体更有用的关键技术
Hugging Face 博客梳理了 ChatGPT 背后的 RLHF、IFT、SFT、CoT、红队测试等技术，对比了 LaMDA、BlenderBot 3、Sparrow、InstructGPT、Assistant 在公开访问、训练数据、模型架构和评测维度上的差异。
推荐理由：通过对比表和分类梳理，读者可快速理解 IFT、SFT、RLHF、CoT 各自作用与数据需求差异。
Hugging Face Blog精选AI 评分6060 Hugging Face 图解 RLHF：从人类反馈强化学习的三步训练流程
Hugging Face 博客系统图解了 RLHF 的三步流程：预训练语言模型、用人类排序数据训练奖励模型、再用 PPO 等强化学习算法微调语言模型。文中说明奖励模型将文本映射为标量奖励，奖励函数由偏好分数减去与初始模型的 KL 散度惩罚构成，以防止模型输出偏离初始模型的乱码。
推荐理由：文章把 RLHF 拆成预训练、奖励模型、PPO 微调三步并给出开源工具清单，便于读者建立完整流程认知。
Hugging Face BlogAI 评分4545 用 🤗 Transformers 做概率时间序列预测
Hugging Face 介绍如何用 🤗 Transformers 库内置的 Time Series Transformer 模型做单变量概率时间序列预测，即为每条序列预测其一维分布而非单点值。
Hugging Face BlogAI 评分5858 Hugging Face 在 transformers 中集成 Contrastive Search 解码方法
Hugging Face 宣布 Contrastive Search 现已在 transformers 库中可用，支持 PyTorch 和 TensorFlow，并提供与 beam search、top-k sampling、nucleus sampling 对比的 demo。
Hugging Face BlogAI 评分3838 Proximal Policy Optimization (PPO)
Hugging Face 深度强化学习课程第 8 单元讲解 Proximal Policy Optimization (PPO)，通过将当前与旧策略的概率比裁剪到 [1−ϵ, 1+ϵ] 区间来限制策略更新幅度，从而提升训练稳定性。文中对比了 TRPO 的 KL 散度约束方案，并将用 PyTorch 从零实现 PPO Agent，在 CartPole-v1 和 LunarLander-v2 上验证。
Hugging Face BlogAI 评分2626 Nyströmformer：用 Nyström 方法将自注意力近似为线性时间与内存复杂度
Nyströmformer 通过 Nyström 方法将标准自注意力的 O(n²) 复杂度降至 O(n)，在多项 NLP 与 CV 任务上保持与标准自注意力相当的性能。
Hugging Face BlogAI 评分3838 Hugging Face 深度强化学习课程 Unit 7：Advantage Actor Critic (A2C)
Hugging Face 深度强化学习课程 Unit 7 讲解 Advantage Actor Critic (A2C)，即结合策略基与价值基方法的 Actor-Critic 混合架构，用 Critic 评估动作价值以降低 Reinforce 中蒙特卡洛采样带来的高方差，从而稳定训练。
Hugging Face BlogAI 评分3838 Hugging Face 深度强化学习课程 Unit 5：用 PyTorch 实现 Policy Gradient（Reinforce）
Hugging Face 深度强化学习课程 Unit 5 讲解 Policy-Gradient 方法，并用 PyTorch 从零实现首个策略梯度算法 Reinforce（Monte Carlo Policy Gradient），随后在 CartPole-v1、PixelCopter 和 Pong 上测试其鲁棒性。
Hugging Face BlogAI 评分3636 Deep Q-Learning with Space Invaders：用深度强化学习玩 Space Invaders
Hugging Face 深度强化学习课程第 3 单元讲解 Deep Q-Learning，用神经网络近似 Q 值替代 Q-table，以解决 Atari 环境状态空间过大（256^100800）导致表格方法失效的问题。
Hugging Face BlogAI 评分2727 Q-Learning 入门（下）：从零实现并训练 Q-Learning 智能体
Hugging Face 深度强化学习课程第 2 单元下篇讲解 Q-Learning 算法，从零实现 Q-Learning 智能体，并在 Frozen Lake v1 和自动驾驶出租车两个环境中训练。内容涵盖 off-policy、value-based 方法、TD 更新、Q-Table 初始化与 Epsilon Greedy 策略，是学习 Deep Q-Learning（第 3 单元）的基础。
Hugging Face BlogAI 评分4444 Hugging Face 将 Decision Transformer 集成进 transformers 库
Hugging Face 宣布将离线强化学习方法 Decision Transformer 集成进 🤗 transformers 库和 Hugging Face Hub，并提供 9 个 Gym 环境连续控制任务的预训练模型 checkpoint。
OpenAI NewsAI 评分4444 OpenAI 用 Lean 神经定理证明器求解部分国际数学奥林匹克难题
OpenAI 构建了一个面向 Lean 的神经定理证明器，学会了求解多道有挑战性的高中数学竞赛题，涵盖 AMC12、AIME 竞赛题目，以及两道改编自 IMO 的题目。
OpenAI NewsAI 评分5555 OpenAI 训练出接近微调 GPT-3 两倍准确率的小学数学解题系统
OpenAI 训练了一个解小学数学应用题的系统，准确率接近微调 GPT-3 模型的两倍。在数据集抽样测试中，9-12 岁儿童得分为 60%，该系统在同样题目上得分为 55%，约为真实儿童解题量的 90%。
Hugging Face BlogAI 评分3838 Few-shot learning 实践：GPT-Neo 与 🤗 Accelerated Inference API
Hugging Face 介绍如何用 GPT-Neo 和 🤗 Accelerated Inference API 实现 Few-Shot Learning 预测，该 API 可托管运行 Model Hub 上 10,000+ 模型，相比 Transformers 默认部署最高提速 100x。
Hugging Face BlogAI 评分5050 Hugging Face 教你在 CPU 上扩展 BERT 推理（第一部分）
Hugging Face 发布系列博文第一部分，讲解如何在 CPU 上扩展 BERT 推理，重点覆盖硬件层面的优化。
Hugging Face BlogAI 评分4141 理解 BigBird 的 Block Sparse Attention
Hugging Face 博客深入讲解了 BigBird 的 block sparse attention 实现原理，说明其如何用滑动窗口、全局 token 和随机 token 三种注意力模式近似 BERT 的全注意力，将序列长度扩展到 4096 且计算成本远低于 BERT。
Hugging Face BlogAI 评分3838 Hugging Face Reads, 2021 年 2 月 - 长程 Transformer
Hugging Face 读书会 2021 年 2 月主题聚焦长程注意力，总结了 Longformer、Compressive Transformer、Linformer、Performer 四篇论文的思路。Longformer 用窗口化/全局注意力把内存开销从 n² 降到 wn+gn，可直接替换标准 self-attention 并复用预训练 checkpoint 微调。
Hugging Face BlogAI 评分3939 Hugging Face 如何为 🤗 API 客户将 Transformer 推理加速 100 倍
Hugging Face 通过两阶段优化将 🤗 Accelerated Inference API 上的 Transformer 推理整体提速 100 倍。
Hugging Face BlogAI 评分4444 Transformer-based Encoder-Decoder 模型详解
Hugging Face 博客详细讲解了 Transformer-based encoder-decoder 架构如何建模 sequence-to-sequence 问题，聚焦其数学模型与推理用法，并拆解 encoder 和 decoder 两部分，配合大量插图建立理论与 🤗Transformers 实际推理的联系。
OpenAI NewsAI 评分4545 用人类反馈强化学习训练摘要模型
OpenAI 将人类反馈强化学习（RLHF）应用于语言模型训练，使其摘要能力更强。
Hugging Face BlogAI 评分4545 Reformer：用不到 8GB 内存训练 50 万 token 长序列
Hugging Face 深入解析了 Reformer 模型，它能用不到 8GB 内存一次处理多达 50 万 token，而 bert-base-uncased 只能处理 512 token。
OpenAI News精选AI 评分7878 OpenAI 发布论文《Language models are few-shot learners》
OpenAI 发布论文《Language models are few-shot learners》，探讨语言模型的少样本学习能力。抓取失败，仅标题可用，正文内容缺失。
Hugging Face BlogAI 评分5555 Hugging Face 教程：用 transformers 实现各类文本解码方法
Hugging Face 官方博客讲解如何用 transformers 库实现不同解码方法，以 GPT2 为例演示 Greedy search、Beam search、Sampling、温度、Top-K 与 Top-p 的代码与输出差异。
OpenAI NewsAI 评分4444 Deep double descent：模型性能随规模先降后升的现象
OpenAI 研究发现，CNN、ResNet 和 transformer 中存在 double descent 现象：随着模型规模、数据量或训练时间增加，性能先提升、再变差、随后再次提升。该效应通常可通过细致的正则化规避，但其成因尚未被完全理解，OpenAI 认为进一步研究这一现象是重要的研究方向。
OpenAI NewsAI 评分5858 OpenAI 发布 Sparse Transformer：序列预测长度提升至30倍
OpenAI 发布 Sparse Transformer，这是一种深度神经网络，在文本、图像和声音的序列下一 token 预测上刷新纪录。它通过对注意力机制做算法改进，能从比此前可能长 30 倍的序列中提取模式。
OpenAI NewsAI 评分4444 OpenAI 用基于预测的奖励实现强化学习探索
OpenAI 开发了 Random Network Distillation (RND)，一种基于预测、通过好奇心驱动强化学习智能体探索环境的方法，首次在 Montezuma's Revenge 上超过人类平均水平。
OpenAI NewsAI 评分4545 OpenAI 发布实验性元学习方法 Evolved Policy Gradients
OpenAI 发布实验性元学习方法 Evolved Policy Gradients（EPG），通过进化学习智能体的损失函数实现新任务上的快速训练。用 EPG 训练的智能体在测试时能完成训练范围之外的基础任务，例如导航到与训练时放置位置不同一侧的物体。
OpenAI NewsAI 评分3737 OpenAI 发布可扩展的元学习算法 Reptile
OpenAI 开发了名为 Reptile 的可扩展元学习算法，通过反复采样任务、执行随机梯度下降并将初始参数向该任务学到的最终参数更新来工作。Reptile 是 Shortest Descent 算法在元学习场景下的应用，数学上与 first-order MAML 相似，只需对 SGD 或 Adam 等优化器进行黑盒调用，计算效率与性能相当。
OpenAI NewsAI 评分2525 OpenAI：Learning a hierarchy（分层强化学习算法）
OpenAI 开发了一种分层强化学习算法，能学习对多种任务有用的高层动作，快速解决需要数千个时间步的任务。该算法应用于一组导航问题时，发现了向不同方向行走和爬行的高层动作，使智能体能快速掌握新的导航任务。