跳到正文
2023年11月7日周二
2023年10月25日周三
2023年10月24日周二
2023年10月3日周二
2023年9月13日周三
2023年9月6日周三
  1. Hugging Face Blog76

    Hugging Face 迎来 TII 的 Falcon 180B 开源模型

    Hugging Face 官方博客宣布 TII 的 Falcon 180B 加入 HuggingFace 生态,这是当时最大的公开可用语言模型,拥有 180B 参数、在 RefinedWeb 数据集上训练 3.5 trillion tokens,是开源模型中最长的单轮预训练。

    推荐理由:文章给出了硬件需求和量化实测,读者可据此评估自己能否跑起这个 180B 模型。

2023年8月24日周四
2023年8月22日周二
2023年8月8日周二
2023年8月2日周三
2023年8月1日周二
2023年7月18日周二
  1. Hugging Face Blog88

    Hugging Face 全面支持 Meta Llama 2 发布并提供推理与微调指南

    Meta 发布 Llama 2 系列开放大语言模型,Hugging Face 完成生态集成,Hub 上提供 12 个开放模型(3 个基础模型与 3 个微调模型及对应 transformers 版本),采用宽松社区许可并支持商用。

    推荐理由:文章给出从推理部署到单卡微调的完整路径,可直接迁移用于自己的 Llama 2 实践。

2023年6月12日周一
2023年6月7日周三
  1. Hugging Face Blog54

    Hugging Face Hub 支持用 DuckDB 对 50,000+ 数据集执行 SQL 查询

    Hugging Face Hub 新增功能,用户可用 DuckDB 对 Hub 上存储的 50,000+ 数据集直接执行 SQL 查询。数据集查看器会自动将所有公开数据集转换为 Parquet 文件,可通过 /parquet 端点获取文件 URL;配合 DuckDB 的 httpfs 扩展即可远程查询这些 Parquet 文件,且支持一次查询多个分片文件。

2023年6月5日周一
  1. Hugging Face Blog65

    Falcon 系列模型接入 Hugging Face 生态并提供完整推理与微调指南

    Hugging Face 官方博客介绍 Falcon 系列模型(Falcon-40B 与 Falcon-7B,由阿布扎比 Technology Innovation Institute 以 Apache 2.0 许可发布)接入其生态的完整用法。

    推荐理由:文章系统梳理了 Falcon 在 Hugging Face 生态中的推理、量化与微调路径,可直接迁移为落地参考。

2023年5月24日周三
  1. Hugging Face Blog88

    Hugging Face 推出基于 bitsandbytes 的 4-bit 量化与 QLoRA 集成

    Hugging Face 与 bitsandbytes 再次合作,在 transformers 中支持以 4-bit 精度运行大部分 HF 模型(含文本、视觉、多模态),并可基于 4bit 模型训练适配器,对应 Dettmers 等人当天发布的 QLoRA 论文。

    推荐理由:原文给出 4bit 加载的具体参数配置与显存实测对照,读者可据此在消费级显卡上复现微调方案。

2023年5月23日周二
2023年5月16日周二
  1. Hugging Face Blog60

    BigCode 背后的大规模近似去重实践

    Hugging Face 官方博客详细讲解 BigCode 训练数据的文档级近似去重方法,覆盖 MinHash 加 LSH 的完整流程:shingling 分词、指纹计算、LSH 分桶、候选对聚类与去重决策。

    推荐理由:系统梳理了 MinHash 加 LSH 的去重流程与四种扩展方案,并给出参数取舍的实验依据,可直接迁移到自有数据集。

2023年4月27日周四
2023年4月26日周三
2023年4月12日周三
  1. Hugging Face Blog38

    用 Substra 构建隐私保护 AI:Hugging Face 联合推出联邦学习演示空间

    Hugging Face 与开源联邦学习框架 Substra 合作推出一个演示空间,展示联邦学习如何在数据不出本地的前提下训练模型。联邦学习只在服务器间传输模型权重,数据保留在本地,可在医疗等敏感领域打破数据孤岛,同时满足 HIPAA 等隐私法规。演示中可调整数据分布,观察联邦学习模型在验证集上通常优于单源数据训练的模型。

2023年4月5日周三
  1. Hugging Face Blog71

    Hugging Face 发布 StackLLaMA:用 RLHF 训练 LLaMA 回答 Stack Exchange 问题的实战指南

    Hugging Face 发布 StackLLaMA 模型与配套教程,展示用 SFT、奖励模型和 RLHF 三步在 LLaMA 7B 上训练 Stack Exchange 问答能力的完整流程,模型已上线 Hub,训练管线收录于 TRL 库。

    推荐理由:教程完整给出 RLHF 三阶段的可复现代码与显存估算,读者可据此在单卡上跑通流程。

2023年3月27日周一
2023年3月9日周四
  1. Hugging Face Blog68

    Hugging Face 官方发布 TRL 与 PEFT 集成,24GB 消费级 GPU 可用 RLHF 微调 20B 模型

    Hugging Face 官方正式发布 trl 与 peft 的集成,让大语言模型的 RLHF 微调在消费级硬件上更易实现。文中给出三步流程:用 8-bit 精度加载活跃模型、通过 peft 添加可训练的低秩适配器、利用 disable_adapters 复用同一模型同时得到参考与活跃 logits,从而省去两份模型副本。

    推荐理由:原文拆解了 8-bit 加载、LoRA 适配器与复用同一模型的三步流程,读者可直接迁移到自己的显存受限训练场景。

2023年2月23日周四
2023年2月10日周五
2023年1月26日周四
  1. Hugging Face Blog65

    Hugging Face 介绍如何用 LoRA 高效微调 Stable Diffusion

    Hugging Face 官方博客介绍如何在 diffusers 中用 LoRA 微调 Stable Diffusion,训练可在 11 GB 显存的 2080 Ti 上完成,训练出的权重仅约 3 MB,比 UNet 原始体积小约一千倍。

    推荐理由:原文给出可直接复用的训练脚本与推理代码,并说明 LoRA 相比全量微调在显存和权重体积上的具体收益。

2023年1月24日周二
  1. Hugging Face Blog60

    Hugging Face 解读让对话智能体更有用的关键技术

    Hugging Face 博客梳理了 ChatGPT 背后的 RLHF、IFT、SFT、CoT、红队测试等技术,对比了 LaMDA、BlenderBot 3、Sparrow、InstructGPT、Assistant 在公开访问、训练数据、模型架构和评测维度上的差异。

    推荐理由:通过对比表和分类梳理,读者可快速理解 IFT、SFT、RLHF、CoT 各自作用与数据需求差异。

2023年1月2日周一
2022年12月15日周四
  1. Hugging Face Blog49

    Hugging Face 谈机器学习中的偏见:伦理与社会通讯 #2

    Hugging Face 伦理与社会团队发布通讯 #2,系统梳理机器学习开发各阶段应对偏见的经验与工具。文章指出 ML 模型作为社会技术系统会放大不平等,单一技术干预难以解决,需结合部署语境持续响应反馈。文中按任务定义、数据集筛选、模型训练等环节推荐了 🤗 团队开发的偏见分析工具。

2022年9月7日周三
2022年8月22日周一
2022年7月28日周四
2022年7月16日周六
2022年7月14日周四
2022年6月23日周四
  1. OpenAI News55

    OpenAI 发布 Video PreTraining(VPT)让模型学会玩 Minecraft

    OpenAI 通过在大规模人类 Minecraft 玩法无标注视频上做 Video PreTraining(VPT),配合少量标注承包商数据,训练出一个神经网络来玩 Minecraft。微调后该模型能合成钻石工具,这一任务通常需要熟练人类耗时 20 分钟以上(24,000 次动作);模型使用键盘按键和鼠标移动这一原生人类接口,较为通用,是迈向通用计算机使用智能体的一步。

2022年6月9日周四
2022年5月23日周一
2022年5月17日周二