Hugging Face Diffusers 0.3 版本新增图生图、Textual Inversion 等功能
Hugging Face 官方博客介绍 diffusers 0.3 版本的新功能,包括 Image to Image pipeline、Textual Inversion。
Hugging Face 官方博客介绍 diffusers 0.3 版本的新功能,包括 Image to Image pipeline、Textual Inversion。
Hugging Face 支持 RAIL Initiative 推出 OpenRAIL 许可框架,包含 Open(免版税访问、灵活下游使用与再分发)和 Responsible(在特定关键场景嵌入使用限制条款)两大特征,并要求下游再分发和衍生版本继承这些使用限制。
Hugging Face 官方博客介绍如何用 🧨 Diffusers 库运行 Stable Diffusion,涵盖安装 diffusers==0.10.2、用 StableDiffusionPipeline 生成图像、fp16 省显存、seed 与 guidance_scale、num_inference_steps、批量生成与非方形分辨率等用法。
Hugging Face 官方博客介绍 LLM.int8() 8-bit 矩阵乘法技术及其在 transformers 和 accelerate 库中的集成,可将大模型显存占用降至约 1/4 而不损失性能。
推荐理由:从数据类型基础讲到量化原理与集成细节,读者可据此理解大模型显存占用的成因与 8-bit 推理的落地方式。
Hugging Face 阐述了 transformers 库在 TensorFlow 上的设计哲学:所有 TensorFlow 模型均为 Keras Model 对象、所有层均为 Keras Layer 对象,用户可直接调用 fit()、compile() 和 predict()。
Hugging Face 发布教程,讲解如何从零构建或微调 Sentence Transformers 模型,涵盖数据集四种格式、损失函数选择、训练与分享至 Hugging Face Hub。
Hugging Face 推出 Private Hub(PH),为机器学习开发提供从研究到生产的一体化工具集,以安全合规的方式加速 ML 生命周期各环节。Hugging Face Hub 提供超过 60K 模型、6K 数据集和 6K ML demo 应用,模型覆盖 180 种语言、支持最多 25 个 ML 库。
Hugging Face 向白宫科技政策办公室和国家科学基金会提交了对 NAIRR 中期报告实施路线图的回应,提出五项建议。
Hugging Face transformers 库的文本生成现已支持用 XLA 编译 TensorFlow,速度最高提升 100x,甚至超过 PyTorch。
Hugging Face 官方博客详细解析了 176B 参数多语言模型 BLOOM 的训练技术,硬件为 384 张 A100 80GB GPU,软件栈为 Megatron-DeepSpeed,数据为 59 种语言的 350B tokens,训练耗时约 3.5 个月(约 1M compute hours)。
Hugging Face 发布 BLOOM,这是首个完全透明训练的多语言大语言模型,拥有 176B 参数,可生成 46 种自然语言和 13 种编程语言的文本。该项目由 70+ 国家、250+ 机构的 1000 多名研究人员协作完成,在法国巴黎南部的 Jean Zay 超算上训练 117 天(3 月 11 日至 7 月 6 日),算力资助价值约 €3M。
推荐理由:原文交代了训练协作规模与开放许可细节,读者可据此理解大模型研究门槛如何被降低。
Hugging Face 官方博客介绍如何用 Accelerate 库调用 DeepSpeed ZeRO 来训练大模型,无需改代码即可通过 accelerate config 启用 ZeRO Stage-2。
Hugging Face 发布由 AutoTrain 驱动的 Evaluation on the Hub,让用户无需写代码即可在 Hub 上对任意模型、任意数据集、任意指标进行评测。
Hugging Face 官方博客以 Ho et al. 2020 的 DDPM 论文为基础,基于 Phil Wang 的实现用 PyTorch 逐步讲解并实现扩散模型。
Hugging Face 深度强化学习课程第 3 单元讲解 Deep Q-Learning,用神经网络近似 Q 值替代 Q-table,以解决 Atari 环境状态空间过大(256^100800)导致表格方法失效的问题。
Hugging Face 宣布在 Hub 上推出 Pull Requests 和 Discussions 两项协作功能,面向所有仓库类型(models、datasets、Spaces)的 Community 标签页开放,任何社区成员都可创建和参与。
Hugging Face 推出 Fellowship 计划,通过提供计算资源、周边礼品和官方认可等方式,支持为开源机器学习生态做出贡献的关键贡献者。首批 Fellow 包括 María Grandury、Manuel Romero 等 8 人,提名由 Hugging Face 团队成员或现任 Fellow 发起,无申请截止日期。
Hugging Face 开放首届 Student Ambassador Program 申请,截止日期为 June 13,项目于 June 30 启动、December 31 结束。
Hugging Face 发布 Optimum 1.2,新增对 Transformers pipelines 的推理支持,用户只需把 AutoModelForXxx 替换为 ORTModelForXxx 即可调用 ONNX Runtime 等加速运行时,代码与 Transformers API 完全兼容。
Hugging Face 宣布完成 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia、Coatue 等参投。其 Hub 已托管 100,000 个预训练模型与 10,000 个数据集,超过 10,000 家公司在用其产品构建机器学习应用。资金将用于加大研究、开源与产品投入,并推进 BigScience 项目训练世界最大的开源多语言语言模型。
Hugging Face 官方博客介绍如何通过 Accelerate 库在不改代码的情况下启用 PyTorch FullyShardedDataParallel (FSDP) 训练大模型,并给出 GPT-2 Large (762M) 与 GPT-2 XL (1.5B) 的实测对比。
Hugging Face 推出面向大众、初学者和教师的教育计划,目标在 2023 年底前教会 500 万人机器学习。此前其 ML demo.cratization tour 已于 2022 年 3 月启动,为 16 个国家 1000 多名学生授课。
Hugging Face 播客 Machine Learning Experts 本期嘉宾为 Hugging Face 机器学习工程师 Lewis Tunstall。
Hugging Face Transformers 库有意不遵循 DRY 原则,转而采用“单模型文件策略”,即模型 forward 所需的全部代码只放在一个 modeling 文件中。该设计便于开源社区贡献者独立修复 bug 和提交新模型,也利于读者理解与修改代码。文章还指出机器学习领域演进极快,难以定义通用的标准组件,而模型发布后通常保持静态。
Hugging Face 宣布将离线强化学习方法 Decision Transformer 集成进 🤗 transformers 库和 Hugging Face Hub,并提供 9 个 Gym 环境连续控制任务的预训练模型 checkpoint。
Hugging Face 宣布推出 🤗 AI Research Residency Program,一个为期 9 个月的全职机器学习研究驻留项目,申请截止日期为 4 月 3 日。
Hugging Face 教程演示如何用 🤗 datasets 结合 sentence_transformers 和 faiss 构建图像搜索应用,使用 British Library 数字化书籍中提取的 10000 张 "embellishments" 图像数据集。
Hugging Face 在 🤗 Transformers 中推出 constrained beam search(约束束搜索)功能,通过 `model.generate()` 的 `force_words_ids` 参数在生成阶段强制输出包含指定词或词组,无需事后过滤。
Hugging Face 宣布将深度强化学习库 Stable-Baselines3 集成到 Hugging Face Hub,用户可通过 `huggingface_hub` 和 `huggingface_sb3` 两个库上传保存的模型并从社区加载模型。
Hugging Face 介绍如何用 Hugging Face Inference Toolkit 和 Amazon SageMaker 部署 EleutherAI 的 GPT-J 6B(6 billion 参数开源模型)做实时推理,用普通 NVIDIA T4 GPU 实例(约 500$/m)几行代码即可完成。
Hugging Face 宣布收购机器学习初创公司 Gradio,Gradio 创始人表示双方将合作让机器学习对任何有网络和浏览器的人都可及。Gradio 于 2019 年由斯坦福博士生发起,用于让非技术用户测试和分享模型,至今已有超过 300,000 个 demo 用其构建;文中开头的收购通稿段落由基于 Gradio 构建的 Acquisition Post Generator 演示生成。
Hugging Face 官方宣布将 DeepMind 的 Perceiver IO 加入 Transformers 库,这是首个可处理文本、图像、音频、视频、点云等各类模态及其组合的 Transformer 架构模型。
Hugging Face 发布教程,讲解如何从零训练用于 Python 代码补全的 GPT-2 模型 CodeParrot。
Hugging Face 与 Graphcore 合作推出首个 IPU 优化模型 BERT,开发者可通过开源库 Optimum 在 Graphcore IPU 上加速 Transformer 模型的训练、微调与推理。
Hugging Face 发布开源 Python 库与无代码界面 Data Measurements Tool(DMT),基于 Dataset 和 Spaces Hubs 配合 Streamlit 构建,可在线构建、度量和比较数据集。
Hugging Face 质疑 Megatron-Turing NLG 530B 这类超大模型趋势,认为其训练需数百台 $199,000 的 DGX A100 服务器、成本接近 $100 million,且碳足迹巨大(训练 BERT 相当于一次跨美飞行),但 benchmark 提升相对有限。
Hugging Face 宣布课程第二部分将于 11 月 15 日发布,并同步举办为期两天的社区活动,涵盖 token 分类、语言建模、翻译、摘要和问答等 NLP 任务及 🤗 Datasets、🤗 Tokenizers 生态工具。
Hugging Face 回顾了 6 至 8 月的进展:Hub 公开模型仓库从 10,000 个增至超过 16,000 个,并推出 Spaces Beta,支持用 Gradio 和 Streamlit 免费部署 ML demo 应用。
Hugging Face 介绍新方法 DeDLOC,让志愿者通过互联网协作预训练语言模型,并用 40 名志愿者训练出孟加拉语模型 sahajBERT。
Hugging Face Hub 集成 Sentence Transformers 框架,随 Sentence Transformers v2 发布新增 feature-extraction 和 sentence similarity 两个 widget,并提供 Inference API 端点供程序化调用。