Intel 加入 Hugging Face 硬件伙伴计划,推出 Optimum Intel 开源库
Intel 正式加入 Hugging Face 的 Hardware Partner Program,双方基于 Optimum 开源库合作打造 Transformer 模型的训练、微调与推理硬件加速。
Intel 正式加入 Hugging Face 的 Hardware Partner Program,双方基于 Optimum 开源库合作打造 Transformer 模型的训练、微调与推理硬件加速。
Graphcore 与 Hugging Face 将 Hugging Face Optimum 中可在 IPU 上运行的 Transformer 模型扩展至 10 个,覆盖 NLP、语音和计算机视觉,包括 ViT、GPT-2、RoBERTa、DeBERTa、BART、LXMERT、T5、HuBERT 和 Wav2Vec2。
Gradio 官方宣布 Gradio 3.0 发布,这是对该库的彻底重设计,此前已有超过 600,000 个 ML demo 用 Gradio 构建。新版前端改用 Svelte 等现代技术,页面体积更小、加载更快,Dataframe 支持拖拽 CSV,新增 Gallery 组件和 TabbedInterface 类。
Hugging Face 宣布 fastai 实践者现在可以用一行 Python 将模型分享到 Hugging Face Hub,通过 `push_to_hub_fastai` 上传 Learner、`from_pretrained_fastai` 加载模型。
Hugging Face 通过 huggingface_hub 的 emissions_thresholds 参数和 transformers 的 codecarbon 集成,帮助用户追踪、报告并按碳排放筛选模型。
Hugging Face 宣布将离线强化学习方法 Decision Transformer 集成进 🤗 transformers 库和 Hugging Face Hub,并提供 9 个 Gym 环境连续控制任务的预训练模型 checkpoint。
Hugging Face 发布指南,教你用 Python 完成情感分析:从概念、调用预训练模型、自建模型到分析推文。Hugging Face Hub 上有超过 27,000 个模型、215+ 个情感分析模型,用 5 行代码即可调用 pipeline 完成预测,还推荐了 Twitter-roberta-base-sentiment 等微调模型。
Hugging Face 发布首个基于 Unity ML-Agents 的自定义深度强化学习环境 Snowball Fight 1vs1,玩家可在线与深度强化学习 agent 对战,游戏托管于 Hugging Face Spaces。
Hugging Face 在 JAX/Flax 社区周期间,用 7 台 TPU v3-8 和多达 10 亿句对的语料训练出 SOTA 句子嵌入模型。训练采用 Multiple Negative Ranking Loss 对比学习,通过增大 batch size、加入 hard negatives 和跨数据集组 batch 提升质量,相似度缩放因子 C=20。
Hugging Face 介绍了如何用 Streamlit 在 Hugging Face Spaces 上托管模型和数据集并部署应用,以复现 "Write with Transformer" 为例,用 text_area、sidebar slider、number_input 等组件接收 GPT-2、XLNet 推理所需的超参数。
Gradio 与 Hugging Face Hub 完成集成,只需定义 Interface(模型仓库 ID、描述、示例输入)并调用 .launch(),即可通过 Inference API 用几行代码跑通模型演示。
Hugging Face 推出开源库 Optimum,旨在为 Transformers 提供生产性能优化工具包,与硬件合作伙伴(如 Intel)协作,让工程师在特定硬件上高效训练和运行模型。
Hugging Face 在 2021 AI Hardware Summit 上宣布启动 Hardware Partner Program,Graphcore 作为创始成员加入,双方将通过开源工具库 Optimum 提供针对 Graphcore IPU 优化的模型,首批 IPU 优化模型将于当年晚些时候上线。
OpenAI 发布 Triton 1.0,一款类 Python 的开源编程语言,让没有 CUDA 经验的研究者也能编写高效 GPU 代码,多数情况下性能可与专家手写代码相当。
推荐理由:原文点明了 Triton 1.0 面向无 CUDA 经验研究者且性能接近专家水平,读者可据此判断它对 GPU 编程门槛的影响。
Hugging Face Hub 现已支持 spaCy,用户可通过一条命令上传 spaCy pipeline 并自动生成 model card,spaCy org 中已收录 60 多个来自 3.1 release 的官方模型。
Hugging Face 介绍如何用 GPT-Neo 和 🤗 Accelerated Inference API 实现 Few-Shot Learning 预测,该 API 可托管运行 Model Hub 上 10,000+ 模型,相比 Transformers 默认部署最高提速 100x。
Gradio 2.0 让用户用 1 行代码即可加载并使用 Hugging Face Model Hub 上的几乎任何模型,生成带 GUI 的演示界面。默认调用 Hugging Face 托管的 Inference API,也可本地运行 transformers 计算。Gradio 还支持将多个模型并行对比或串联组合,用 3 行代码即可构建芬兰语新闻翻译加摘要的应用。
OpenAI 宣布 2021 届 OpenAI Scholars 学员完成为期六个月的导师制项目,并在 OpenAI 的津贴与支持下产出了开源研究项目。
Hugging Face Transformers 3.1 版本与 Ray Tune 集成,通过 `trainer.hyperparameter_search` 几行代码即可调用 HyperBand、Bayesian Optimization、Population-Based Training 等算法做超参数搜索。
Hugging Face 发布 pytorch_block_sparse 扩展库,基于 NVIDIA CUTLASS 实现块稀疏矩阵乘法,可作为 torch.nn.Linear 的直接替代,让神经网络更小更快。75% 稀疏度下速度约为稠密矩阵的 2 倍,内存占用降至 1/4;当前稀疏实现比 cuBLAS 优化的稠密版本慢约 2 倍,但已比 PyTorch 原生稀疏实现快一个数量级。
OpenAI 发布 Jukebox,一个能以原始音频形式生成多种音乐流派和歌手风格音乐的神经网络,其中包含初步的歌唱能力。OpenAI 同时开源了模型权重和代码,并提供了一个用于浏览生成样本的工具。
推荐理由:原文说明了模型能生成的音频形态与开放程度,读者可据此判断其可复用性。
OpenAI 发布 Safety Gym,一套用于测量强化学习智能体在训练中遵守安全约束进展的环境与工具集。该套件面向训练阶段的安全性评估,帮助研究者量化智能体在满足安全约束方面的进展。
OpenAI 开源了 Neural MMO,一个面向强化学习智能体的大规模多智能体游戏环境,支持在持久、开放式的任务中运行大量数量可变的智能体。引入多智能体与多物种机制可带来更好的探索、分化生态位形成以及整体能力提升。
OpenAI 发布强化学习训练环境 CoinRun,为智能体将经验迁移到新情境的能力提供量化指标,并已帮助澄清强化学习领域一个长期存在的谜题。CoinRun 的复杂度低于 Sonic the Hedgehog 等传统平台跳跃游戏,但仍对前沿算法构成泛化挑战。
OpenAI 推出可逆生成模型 Glow,采用可逆 1x1 卷积,简化了此前可逆生成模型的架构。Glow 能生成逼真的高分辨率图像、支持高效采样,并能发现可用于操纵数据属性的特征。OpenAI 同时开源了模型代码并上线在线可视化工具供人探索。
OpenAI 开源了八个模拟机器人环境和 Hindsight Experience Replay 的 Baselines 实现,均为过去一年内部研究所用。这些环境已被用于训练可在实体机器人上运行的模型,OpenAI 同时发布了若干机器人研究方向的请求(requests for robotics research)。
OpenAI 发布了两个新的 OpenAI Baselines 实现:ACKTR 和 A2C。A2C 是 A3C 的同步、确定性变体,性能与 A3C 相当;ACKTR 是比 TRPO 和 A2C 更样本高效的强化学习算法,每次更新所需计算量仅比 A2C 略多。
OpenAI 开源了 RL-Teacher,一个通过偶尔的人类反馈而非手工设计奖励函数来训练 AI 的界面实现。该技术是迈向安全 AI 系统的一步,也适用于奖励难以明确指定的强化学习问题。
OpenAI 开源了一个基于 MuJoCo 引擎的高性能 Python 机器人仿真库,源自其过去一年的机器人研究。该库面向机器人仿真场景,以 Python 库形式开放获取。
OpenAI 开源了内部强化学习算法复现项目 OpenAI Baselines,首批发布 DQN 及其三个变体,性能与已发表结果持平。OpenAI 表示将在未来几个月陆续发布更多算法。
OpenAI 发布开源机器人仿真软件 Roboschool,已与 OpenAI Gym 集成。
OpenAI 发布强化学习(RL)算法开发与比较工具包 OpenAI Gym 的公开 beta 版,包含从模拟机器人到 Atari 游戏的环境套件,以及一个用于比较和复现结果的网站。