跳到正文
2023年1月26日周四
2023年1月24日周二
2023年1月19日周四
2023年1月2日周一
2022年12月14日周三
2022年12月9日周五
  1. Hugging Face Blog60

    Hugging Face 图解 RLHF:从人类反馈强化学习的三步训练流程

    Hugging Face 博客系统图解了 RLHF 的三步流程:预训练语言模型、用人类排序数据训练奖励模型、再用 PPO 等强化学习算法微调语言模型。文中说明奖励模型将文本映射为标量奖励,奖励函数由偏好分数减去与初始模型的 KL 散度惩罚构成,以防止模型输出偏离初始模型的乱码。

    推荐理由:文章把 RLHF 拆成预训练、奖励模型、PPO 微调三步并给出开源工具清单,便于读者建立完整流程认知。

2022年12月1日周四
2022年11月29日周二
2022年11月21日周一
2022年11月7日周一
2022年11月2日周三
2022年10月21日周五
2022年9月27日周二
2022年9月22日周四
2022年9月21日周三
2022年9月16日周五
2022年9月12日周一
2022年8月31日周三
2022年8月22日周一
2022年8月17日周三
2022年8月12日周五
2022年8月10日周三
2022年8月3日周三
2022年8月1日周一
2022年7月27日周三
2022年7月14日周四
2022年7月12日周二
  1. Hugging Face Blog78

    Hugging Face 发布 176B 参数开源多语言模型 BLOOM

    Hugging Face 发布 BLOOM,这是首个完全透明训练的多语言大语言模型,拥有 176B 参数,可生成 46 种自然语言和 13 种编程语言的文本。该项目由 70+ 国家、250+ 机构的 1000 多名研究人员协作完成,在法国巴黎南部的 Jean Zay 超算上训练 117 天(3 月 11 日至 7 月 6 日),算力资助价值约 €3M。

    推荐理由:原文交代了训练协作规模与开放许可细节,读者可据此理解大模型研究门槛如何被降低。

2022年6月28日周二
2022年6月7日周二
2022年5月25日周三
2022年5月17日周二
2022年5月13日周五
2022年5月10日周二
2022年5月9日周一
  1. Hugging Face Blog44

    Hugging Face 完成 1 亿美元 C 轮融资

    Hugging Face 宣布完成 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia、Coatue 等参投。其 Hub 已托管 100,000 个预训练模型与 10,000 个数据集,超过 10,000 家公司在用其产品构建机器学习应用。资金将用于加大研究、开源与产品投入,并推进 BigScience 项目训练世界最大的开源多语言语言模型。

2022年5月2日周一
2022年4月25日周一
2022年4月13日周三