跳到正文
2023年3月9日周四
  1. Hugging Face Blog68

    Hugging Face 官方发布 TRL 与 PEFT 集成,24GB 消费级 GPU 可用 RLHF 微调 20B 模型

    Hugging Face 官方正式发布 trl 与 peft 的集成,让大语言模型的 RLHF 微调在消费级硬件上更易实现。文中给出三步流程:用 8-bit 精度加载活跃模型、通过 peft 添加可训练的低秩适配器、利用 disable_adapters 复用同一模型同时得到参考与活跃 logits,从而省去两份模型副本。

    推荐理由:原文拆解了 8-bit 加载、LoRA 适配器与复用同一模型的三步流程,读者可直接迁移到自己的显存受限训练场景。

2023年3月3日周五
  1. Hugging Face Blog71

    Hugging Face Diffusers 集成 ControlNet 并发布 StableDiffusionControlNetPipeline

    Hugging Face 在 Diffusers 中集成 ControlNet,发布 StableDiffusionControlNetPipeline,支持用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 生成,论文提出的 8 种条件模型全部支持。

    推荐理由:原文给出完整可复现的代码与性能数字,读者可直接照搬这套省显存的 ControlNet 推理配置。

2023年3月1日周三
2023年2月24日周五
  1. Hugging Face Blog49

    大语言模型红队测试指南

    Hugging Face 介绍了大语言模型(LLM)的红队测试(Red-teaming),即通过构造自然语言提示词来诱发模型产生有害输出,与使用无意义字符串的对抗攻击不同,红队提示词看起来就是普通对话。文章指出红队测试可揭示模型泄露个人信息、生成偏见与仇恨内容等风险,输出可用于训练模型减少危害,但该领域仍处于早期阶段,随着模型能力涌现,需要持续演进的红队方法并推动多方协作共享数据集与最佳实践。

2023年2月23日周四
2023年2月15日周三
2023年2月7日周二
2023年2月6日周一
2023年2月3日周五
  1. Hugging Face Blog51

    Hugging Face 博客详解视觉语言模型的预训练策略与 Transformers 实践

    Hugging Face 官方博客系统介绍视觉语言模型,讲解对比学习、PrefixLM、交叉注意力融合、MLM/ITM 和免训练等五类预训练策略,并梳理常用预训练与下游数据集。文章列出 Transformers 支持的 CLIP、FLAVA、ViLT、CLIPSeg 等模型,给出用 ViLT 做 VQA 和用 CLIPSeg 做零样本图像分割的代码示例,还展望了医学、机器人等新兴研究方向。

2023年1月30日周一
2023年1月26日周四
  1. Hugging Face Blog65

    Hugging Face 介绍如何用 LoRA 高效微调 Stable Diffusion

    Hugging Face 官方博客介绍如何在 diffusers 中用 LoRA 微调 Stable Diffusion,训练可在 11 GB 显存的 2080 Ti 上完成,训练出的权重仅约 3 MB,比 UNet 原始体积小约一千倍。

    推荐理由:原文给出可直接复用的训练脚本与推理代码,并说明 LoRA 相比全量微调在显存和权重体积上的具体收益。

2023年1月24日周二
  1. Hugging Face Blog60

    Hugging Face 解读让对话智能体更有用的关键技术

    Hugging Face 博客梳理了 ChatGPT 背后的 RLHF、IFT、SFT、CoT、红队测试等技术,对比了 LaMDA、BlenderBot 3、Sparrow、InstructGPT、Assistant 在公开访问、训练数据、模型架构和评测维度上的差异。

    推荐理由:通过对比表和分类梳理,读者可快速理解 IFT、SFT、RLHF、CoT 各自作用与数据需求差异。

2023年1月20日周五
2023年1月16日周一
2023年1月9日周一
  1. Hugging Face Blog38

    AI 游戏开发教程:用 ChatGPT 做农场游戏设计(第 2 部分)

    Hugging Face 的 AI 游戏开发教程第 2 部分演示如何用 ChatGPT 辅助农场游戏设计,向其提问后得到作物多样性、进阶系统等建议,并灰盒实现前两项。文章随后科普语言模型、Transformer 架构与 RLHF 原理,指出 ChatGPT 会一本正经地给出错误答案(如四元数解释),建议将其作为头脑风暴与加速工具而非替代开发流程。

2023年1月3日周二
  1. Hugging Face Blog38

    Hugging Face:图机器学习入门

    Hugging Face 博客系统讲解图机器学习基础,涵盖图的定义、同构/异构与有向/无向等分类、图/节点/边/子图四个层级的预测任务,以及边集与邻接矩阵两种表示方式。文章指出图的拓扑不同于文本或图像,打乱边表或邻接矩阵行列仍是同一张图(置换不变性),并介绍从传统图特征方法到 Graph Neural Networks,再到图上 Transformer 的学习方法演进。

2023年1月2日周一
2022年12月21日周三
2022年12月15日周四
  1. Hugging Face Blog49

    Hugging Face 谈机器学习中的偏见:伦理与社会通讯 #2

    Hugging Face 伦理与社会团队发布通讯 #2,系统梳理机器学习开发各阶段应对偏见的经验与工具。文章指出 ML 模型作为社会技术系统会放大不平等,单一技术干预难以解决,需结合部署语境持续响应反馈。文中按任务定义、数据集筛选、模型训练等环节推荐了 🤗 团队开发的偏见分析工具。

2022年12月9日周五
  1. Hugging Face Blog60

    Hugging Face 图解 RLHF:从人类反馈强化学习的三步训练流程

    Hugging Face 博客系统图解了 RLHF 的三步流程:预训练语言模型、用人类排序数据训练奖励模型、再用 PPO 等强化学习算法微调语言模型。文中说明奖励模型将文本映射为标量奖励,奖励函数由偏好分数减去与初始模型的 KL 散度惩罚构成,以防止模型输出偏离初始模型的乱码。

    推荐理由:文章把 RLHF 拆成预训练、奖励模型、PPO 微调三步并给出开源工具清单,便于读者建立完整流程认知。

2022年12月8日周四
2022年12月2日周五
2022年12月1日周四
2022年11月30日周三
2022年11月25日周五
2022年11月21日周一
2022年11月17日周四
2022年11月8日周二
2022年11月7日周一
2022年11月3日周四
2022年10月24日周一
2022年10月21日周五
2022年10月13日周四
  1. Hugging Face Blog44

    Stable Diffusion 在 JAX / Flax 上的推理教程

    Hugging Face Diffusers 自 0.5.1 版本起支持 Flax,可在 Google TPU 上运行 Stable Diffusion 推理,教程演示了在 Colab 等环境用 8 个 TPU 加速器并行生成 8 张图片。模型权重以 bf16 版本提供,采用 CreativeML OpenRAIL-M 开放许可,允许再分发与商用,但需向用户附带相同使用限制。