AI for Game Development #4:用 Stable Diffusion 生成 2D 游戏素材
Hugging Face 的 AI for Game Development 系列第 4 篇讲解如何用 Stable Diffusion 的 Image2Image 功能生成 2D 游戏素材。
Hugging Face 的 AI for Game Development 系列第 4 篇讲解如何用 Stable Diffusion 的 Image2Image 功能生成 2D 游戏素材。
Hugging Face 与 Microsoft 的 ONNX Runtime 团队合作,通过 Optimum 库集成 ONNX Runtime 训练,可将许多 Hugging Face 模型的训练时间缩短 35% 以上。
Hugging Face transformers 开源库现已集成 Mask2Former 和 OneFormer 两个通用图像分割模型,可用统一架构完成实例、语义和全景分割三类任务。
Hugging Face 推出 AI 游戏开发系列教程,第 1 部分演示如何用 Stable Diffusion 1.5 生成农场游戏概念图,并在 Unity 2021.9.3f1 中搭建场景。
Hugging Face 用 🤗 Optimum Habana 对比了 Gaudi2、一代 Gaudi 与 Nvidia A100 80GB 的训练和推理性能,Gaudi2 在两项上均约快 2 倍。
Hugging Face 博客系统图解了 RLHF 的三步流程:预训练语言模型、用人类排序数据训练奖励模型、再用 PPO 等强化学习算法微调语言模型。文中说明奖励模型将文本映射为标量奖励,奖励函数由偏好分数减去与初始模型的 KL 散度惩罚构成,以防止模型输出偏离初始模型的乱码。
推荐理由:文章把 RLHF 拆成预训练、奖励模型、PPO 微调三步并给出开源工具清单,便于读者建立完整流程认知。
Hugging Face 介绍如何用 🤗 Transformers 库内置的 Time Series Transformer 模型做单变量概率时间序列预测,即为每条序列预测其一维分布而非单点值。
Hugging Face 官方博客介绍如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion,已将 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 的 Core ML 权重转换并上传至 Hugging Face Hub。
Hugging Face 宣布启动 2023 年实习计划,开放 7 个岗位,涵盖 Accelerate、Text to Speech、Embodied AI、Fast Distributed Training Framework。
Hugging Face 博客系统梳理了 Document AI 的六类用例(OCR、文档图像分类、版面分析、文档解析、表格抽取、DocVQA)及对应开源模型与评测指标。
Hugging Face 在 Diffusers 博客中分享用 Dreambooth 微调 Stable Diffusion 的实验结论与推荐设置:低学习率配合逐步增加训练步数,人脸训练在 batch size 2、LR 1e-6 下 800-1200 步效果较好,且人脸训练需要 prior preservation。
Hugging Face 宣布在 Optimum Intel 中加入 Intel OpenVINO,可直接用 OpenVINO Runtime 在各类 Intel 处理器上运行 Transformers 模型推理,并通过 NNCF 量化压缩模型体积与延迟。
Hugging Face 教程以 MNIST 训练为例,分三个抽象层级讲解多 GPU 分布式训练:原生 PyTorch DDP(`pytorch.distributed` 模块)。
Hugging Face 官方博客讲解 Accelerate 如何借助 PyTorch 让超大模型在免费 Colab 等消费级硬件上完成加载与推理。文章先指出传统加载流程的内存瓶颈:OPT-6.7B 仅创建模型就需约 26.8GB RAM,BLOOM 或 OPT-176B 这类 176B 参数模型按传统方式需 1.4TB CPU RAM。
Hugging Face 推出首期《伦理与社会》通讯,由公司内部跨部门的“Ethics and Society regulars”小组每季度在春分、秋分时发布,分享其在 AI 伦理落地方面的思考与实践。
OpenAI 宣布训练并开源神经网络 Whisper,称其在英文语音识别上接近人类水平的鲁棒性和准确性。
Hugging Face Blog 在 8x80GB A100 节点上对比了 Accelerate、DeepSpeed-Inference 和 DeepSpeed ZeRO 三套 BLOOM 176B 推理方案的加载时间与逐 token 吞吐。
Hugging Face 官方博客介绍 diffusers 0.3 版本的新功能,包括 Image to Image pipeline、Textual Inversion。
Hugging Face 支持 RAIL Initiative 推出 OpenRAIL 许可框架,包含 Open(免版税访问、灵活下游使用与再分发)和 Responsible(在特定关键场景嵌入使用限制条款)两大特征,并要求下游再分发和衍生版本继承这些使用限制。
Hugging Face 官方博客介绍如何用 🧨 Diffusers 库运行 Stable Diffusion,涵盖安装 diffusers==0.10.2、用 StableDiffusionPipeline 生成图像、fp16 省显存、seed 与 guidance_scale、num_inference_steps、批量生成与非方形分辨率等用法。
Hugging Face 官方博客介绍 LLM.int8() 8-bit 矩阵乘法技术及其在 transformers 和 accelerate 库中的集成,可将大模型显存占用降至约 1/4 而不损失性能。
推荐理由:从数据类型基础讲到量化原理与集成细节,读者可据此理解大模型显存占用的成因与 8-bit 推理的落地方式。
Hugging Face 阐述了 transformers 库在 TensorFlow 上的设计哲学:所有 TensorFlow 模型均为 Keras Model 对象、所有层均为 Keras Layer 对象,用户可直接调用 fit()、compile() 和 predict()。
Hugging Face 发布教程,讲解如何从零构建或微调 Sentence Transformers 模型,涵盖数据集四种格式、损失函数选择、训练与分享至 Hugging Face Hub。
Hugging Face 推出 Private Hub(PH),为机器学习开发提供从研究到生产的一体化工具集,以安全合规的方式加速 ML 生命周期各环节。Hugging Face Hub 提供超过 60K 模型、6K 数据集和 6K ML demo 应用,模型覆盖 180 种语言、支持最多 25 个 ML 库。
Hugging Face 向白宫科技政策办公室和国家科学基金会提交了对 NAIRR 中期报告实施路线图的回应,提出五项建议。
Hugging Face transformers 库的文本生成现已支持用 XLA 编译 TensorFlow,速度最高提升 100x,甚至超过 PyTorch。
Hugging Face 官方博客详细解析了 176B 参数多语言模型 BLOOM 的训练技术,硬件为 384 张 A100 80GB GPU,软件栈为 Megatron-DeepSpeed,数据为 59 种语言的 350B tokens,训练耗时约 3.5 个月(约 1M compute hours)。
Hugging Face 发布 BLOOM,这是首个完全透明训练的多语言大语言模型,拥有 176B 参数,可生成 46 种自然语言和 13 种编程语言的文本。该项目由 70+ 国家、250+ 机构的 1000 多名研究人员协作完成,在法国巴黎南部的 Jean Zay 超算上训练 117 天(3 月 11 日至 7 月 6 日),算力资助价值约 €3M。
推荐理由:原文交代了训练协作规模与开放许可细节,读者可据此理解大模型研究门槛如何被降低。
Hugging Face 官方博客介绍如何用 Accelerate 库调用 DeepSpeed ZeRO 来训练大模型,无需改代码即可通过 accelerate config 启用 ZeRO Stage-2。
Hugging Face 发布由 AutoTrain 驱动的 Evaluation on the Hub,让用户无需写代码即可在 Hub 上对任意模型、任意数据集、任意指标进行评测。
Hugging Face 官方博客以 Ho et al. 2020 的 DDPM 论文为基础,基于 Phil Wang 的实现用 PyTorch 逐步讲解并实现扩散模型。
Hugging Face 深度强化学习课程第 3 单元讲解 Deep Q-Learning,用神经网络近似 Q 值替代 Q-table,以解决 Atari 环境状态空间过大(256^100800)导致表格方法失效的问题。
Hugging Face 宣布在 Hub 上推出 Pull Requests 和 Discussions 两项协作功能,面向所有仓库类型(models、datasets、Spaces)的 Community 标签页开放,任何社区成员都可创建和参与。
Hugging Face 推出 Fellowship 计划,通过提供计算资源、周边礼品和官方认可等方式,支持为开源机器学习生态做出贡献的关键贡献者。首批 Fellow 包括 María Grandury、Manuel Romero 等 8 人,提名由 Hugging Face 团队成员或现任 Fellow 发起,无申请截止日期。
Hugging Face 开放首届 Student Ambassador Program 申请,截止日期为 June 13,项目于 June 30 启动、December 31 结束。
Hugging Face 发布 Optimum 1.2,新增对 Transformers pipelines 的推理支持,用户只需把 AutoModelForXxx 替换为 ORTModelForXxx 即可调用 ONNX Runtime 等加速运行时,代码与 Transformers API 完全兼容。
Hugging Face 宣布完成 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia、Coatue 等参投。其 Hub 已托管 100,000 个预训练模型与 10,000 个数据集,超过 10,000 家公司在用其产品构建机器学习应用。资金将用于加大研究、开源与产品投入,并推进 BigScience 项目训练世界最大的开源多语言语言模型。
Hugging Face 官方博客介绍如何通过 Accelerate 库在不改代码的情况下启用 PyTorch FullyShardedDataParallel (FSDP) 训练大模型,并给出 GPT-2 Large (762M) 与 GPT-2 XL (1.5B) 的实测对比。
Hugging Face 推出面向大众、初学者和教师的教育计划,目标在 2023 年底前教会 500 万人机器学习。此前其 ML demo.cratization tour 已于 2022 年 3 月启动,为 16 个国家 1000 多名学生授课。
Hugging Face 播客 Machine Learning Experts 本期嘉宾为 Hugging Face 机器学习工程师 Lewis Tunstall。