Hugging Face Infinity 案例研究:用现代 CPU 实现毫秒级延迟
Hugging Face Infinity 在 Amazon EC2 C6i(第 3 代 Intel Xeon)上运行 DistilBERT 序列分类任务,相比 cascade-lake 实例延迟与吞吐最高提升 34%,相比 ice-lake 上的 vanilla transformers 最高提升 800%。
Hugging Face Infinity 在 Amazon EC2 C6i(第 3 代 Intel Xeon)上运行 DistilBERT 序列分类任务,相比 cascade-lake 实例延迟与吞吐最高提升 34%,相比 ice-lake 上的 vanilla transformers 最高提升 800%。
Hugging Face 官方宣布将 DeepMind 的 Perceiver IO 加入 Transformers 库,这是首个可处理文本、图像、音频、视频、点云等各类模态及其组合的 Transformer 架构模型。
OpenAI 提供 GPT-3 微调功能,只需一条命令即可完成微调,让开发者针对自己的应用场景定制模型。
Hugging Face 发布首个基于 Unity ML-Agents 的自定义深度强化学习环境 Snowball Fight 1vs1,玩家可在线与深度强化学习 agent 对战,游戏托管于 Hugging Face Spaces。
Hugging Face 发布开源 Python 库与无代码界面 Data Measurements Tool(DMT),基于 Dataset 和 Spaces Hubs 配合 Streamlit 构建,可在线构建、度量和比较数据集。
OpenAI 宣布其 API 现已无需等待名单即可使用,开放范围更广,官方表示这一变化得益于安全方面的进展。
Hugging Face 推出开源库 Optimum,旨在为 Transformers 提供生产性能优化工具包,与硬件合作伙伴(如 Intel)协作,让工程师在特定硬件上高效训练和运行模型。
Hugging Face 在 2021 AI Hardware Summit 上宣布启动 Hardware Partner Program,Graphcore 作为创始成员加入,双方将通过开源工具库 Optimum 提供针对 Graphcore IPU 优化的模型,首批 IPU 优化模型将于当年晚些时候上线。
OpenAI 发布 Triton 1.0,一款类 Python 的开源编程语言,让没有 CUDA 经验的研究者也能编写高效 GPU 代码,多数情况下性能可与专家手写代码相当。
推荐理由:原文点明了 Triton 1.0 面向无 CUDA 经验研究者且性能接近专家水平,读者可据此判断它对 GPU 编程门槛的影响。
Hugging Face Hub 现已支持 spaCy,用户可通过一条命令上传 spaCy pipeline 并自动生成 model card,spaCy org 中已收录 60 多个来自 3.1 release 的官方模型。
Hugging Face 推出新的 Inference DLCs 与 SageMaker Hugging Face Inference Toolkit,只需一行代码即可将 Hugging Face Transformers 模型部署到 Amazon SageMaker,或从 Model Hub 的 10,000+ 公开模型中直接选择部署。
Hugging Face Hub 集成 Sentence Transformers 框架,随 Sentence Transformers v2 发布新增 feature-extraction 和 sentence similarity 两个 widget,并提供 Inference API 端点供程序化调用。
Gradio 2.0 让用户用 1 行代码即可加载并使用 Hugging Face Model Hub 上的几乎任何模型,生成带 GUI 的演示界面。默认调用 Hugging Face 托管的 Inference API,也可本地运行 transformers 计算。Gradio 还支持将多个模型并行对比或串联组合,用 3 行代码即可构建芬兰语新闻翻译加摘要的应用。
Hugging Face 发布开源库 Accelerate,让 PyTorch 用户在保留自定义训练循环的前提下,只需向标准脚本加入五行代码即可在多 GPU、多节点、TPU 等分布式环境以及混合精度下运行。
超过 300 个应用正通过 OpenAI API 提供 GPT-3 驱动的搜索、对话、文本补全等先进 AI 功能。这些应用覆盖搜索、对话、文本补全等多种场景,均通过 OpenAI API 接入 GPT-3。
Hugging Face 宣布与 Amazon 达成战略合作,选择 AWS 作为其首选云提供商,并推出新的 Hugging Face Deep Learning Containers(DLCs),让用户在 Amazon SageMaker 中更轻松地训练 Transformers 模型。
Hugging Face Transformers 3.1 版本与 Ray Tune 集成,通过 `trainer.hyperparameter_search` 几行代码即可调用 HyperBand、Bayesian Optimization、Population-Based Training 等算法做超参数搜索。
Hugging Face 发布 pytorch_block_sparse 扩展库,基于 NVIDIA CUTLASS 实现块稀疏矩阵乘法,可作为 torch.nn.Linear 的直接替代,让神经网络更小更快。75% 稀疏度下速度约为稠密矩阵的 2 倍,内存占用降至 1/4;当前稀疏实现比 cuBLAS 优化的稠密版本慢约 2 倍,但已比 PyTorch 原生稀疏实现快一个数量级。
OpenAI 发布 API,供开发者访问 OpenAI 开发的新 AI 模型。
OpenAI 发布 Jukebox,一个能以原始音频形式生成多种音乐流派和歌手风格音乐的神经网络,其中包含初步的歌唱能力。OpenAI 同时开源了模型权重和代码,并提供了一个用于浏览生成样本的工具。
推荐理由:原文说明了模型能生成的音频形态与开放程度,读者可据此判断其可复用性。
OpenAI 推出 OpenAI Microscope,收录了 8 个常用于可解释性研究的视觉"模型生物"中每个重要层和神经元的可视化。该工具让分析神经网络内部形成的特征变得更容易,OpenAI 希望它能帮助研究社区理解这些复杂系统。
OpenAI 发布 Safety Gym,一套用于测量强化学习智能体在训练中遵守安全约束进展的环境与工具集。该套件面向训练阶段的安全性评估,帮助研究者量化智能体在满足安全约束方面的进展。
OpenAI 开源了 Neural MMO,一个面向强化学习智能体的大规模多智能体游戏环境,支持在持久、开放式的任务中运行大量数量可变的智能体。引入多智能体与多物种机制可带来更好的探索、分化生态位形成以及整体能力提升。
OpenAI 发布强化学习训练环境 CoinRun,为智能体将经验迁移到新情境的能力提供量化指标,并已帮助澄清强化学习领域一个长期存在的谜题。CoinRun 的复杂度低于 Sonic the Hedgehog 等传统平台跳跃游戏,但仍对前沿算法构成泛化挑战。
OpenAI 发布了名为 Spinning Up in Deep RL 的深度强化学习教育资源,面向希望成为熟练实践者的学习者。该资源包含清晰的 RL 代码示例、教育练习、文档和教程。
OpenAI 宣布训练出一只类人机器人手,能够以前所未有的灵巧程度操作物理物体。
OpenAI 宣布其由五个神经网络组成的团队 OpenAI Five 已开始在 Dota 2 中击败业余人类队伍。
OpenAI 发布了用于强化学习研究的游戏平台 Gym Retro 完整版,支持游戏数量从此前公开的约 70 款 Atari 游戏和 30 款 Sega 游戏,扩展到覆盖多种底层模拟器的 1000 款以上游戏。OpenAI 同时开源了用于向该平台添加新游戏的工具。
OpenAI 推出 Retro Contest 迁移学习竞赛,用于衡量强化学习算法从过往经验中泛化的能力。
OpenAI 开源了八个模拟机器人环境和 Hindsight Experience Replay 的 Baselines 实现,均为过去一年内部研究所用。这些环境已被用于训练可在实体机器人上运行的模型,OpenAI 同时发布了若干机器人研究方向的请求(requests for robotics research)。
OpenAI 发布针对 block-sparse 权重神经网络的高性能 GPU kernels,根据所选稀疏度,速度可比 cuBLAS 或 cuSPARSE 快 orders of magnitude。OpenAI 已用其在文本情感分析以及文本和图像生成建模上取得 state-of-the-art 结果。
OpenAI 的最新机器人技术让完全在仿真中训练的机器人控制器部署到实体机器人后,能在完成简单任务时对环境中的意外变化做出反应。研究人员用这些技术构建了闭环系统,取代此前的开环系统。
OpenAI 发布了两个新的 OpenAI Baselines 实现:ACKTR 和 A2C。A2C 是 A3C 的同步、确定性变体,性能与 A3C 相当;ACKTR 是比 TRPO 和 A2C 更样本高效的强化学习算法,每次更新所需计算量仅比 A2C 略多。
OpenAI 开源了 RL-Teacher,一个通过偶尔的人类反馈而非手工设计奖励函数来训练 AI 的界面实现。该技术是迈向安全 AI 系统的一步,也适用于奖励难以明确指定的强化学习问题。
OpenAI 开源了内部强化学习算法复现项目 OpenAI Baselines,首批发布 DQN 及其三个变体,性能与已发表结果持平。OpenAI 表示将在未来几个月陆续发布更多算法。
OpenAI 创建了一套完全在模拟环境中训练、并部署到实体机器人上的机器人系统,机器人看过一次任务演示后即可学会执行该新任务。该系统实现了从模拟训练到物理机器人部署的迁移。
OpenAI 发布开源机器人仿真软件 Roboschool,已与 OpenAI Gym 集成。
OpenAI 打造出全球首个完全在模拟环境中训练、并部署到实体机器人上的垃圾信息检测 AI。该系统将模拟训练的模型直接迁移到物理机器人上运行,实现了从虚拟训练到真实部署的闭环。
OpenAI 发布 Universe,一个用于衡量和训练 AI 通用智能的软件平台,其训练与评测素材覆盖全球的游戏、网站和其他应用程序。
OpenAI 发布强化学习(RL)算法开发与比较工具包 OpenAI Gym 的公开 beta 版,包含从模拟机器人到 Atari 游戏的环境套件,以及一个用于比较和复现结果的网站。