Hugging Face 推出 ⚔️ AI vs. AI ⚔️ 多智能体强化学习对战排名系统
Hugging Face 推出开源工具 ⚔️ AI vs. AI ⚔️,通过让强化学习模型在多智能体对战中相互比拼,用 ELO 评分系统给出相对实力排名。该系统由 Spaces 上的匹配算法、存储比赛结果的 Dataset 和展示 ELO 的 Leaderboard 组成,新模型起始分为 1200。
Hugging Face 推出开源工具 ⚔️ AI vs. AI ⚔️,通过让强化学习模型在多智能体对战中相互比拼,用 ELO 评分系统给出相对实力排名。该系统由 Spaces 上的匹配算法、存储比赛结果的 Dataset 和展示 ELO 的 Leaderboard 组成,新模型起始分为 1200。
Hugging Face 在 Intel Sapphire Rapids 服务器上测试了 Hugging Face Optimum Intel 加速 PyTorch 推理的效果。
Hugging Face 官方博客系统介绍视觉语言模型,讲解对比学习、PrefixLM、交叉注意力融合、MLM/ITM 和免训练等五类预训练策略,并梳理常用预训练与下游数据集。文章列出 Transformers 支持的 CLIP、FLAVA、ViLT、CLIPSeg 等模型,给出用 ViLT 做 VQA 和用 CLIPSeg 做零样本图像分割的代码示例,还展望了医学、机器人等新兴研究方向。
Hugging Face 过去一年将计算机视觉支持扩展至 8 大核心任务,Hub 上已收录超过 3000 个模型和 100 个数据集,涵盖图像分类、分割、目标检测、深度估计等任务。
Hugging Face 官方博客介绍如何在 diffusers 中用 LoRA 微调 Stable Diffusion,训练可在 11 GB 显存的 2080 Ti 上完成,训练出的权重仅约 3 MB,比 UNet 原始体积小约一千倍。
推荐理由:原文给出可直接复用的训练脚本与推理代码,并说明 LoRA 相比全量微调在显存和权重体积上的具体收益。
Hugging Face 的 AI for Game Development 系列第 4 篇讲解如何用 Stable Diffusion 的 Image2Image 功能生成 2D 游戏素材。
Hugging Face 与 Microsoft 的 ONNX Runtime 团队合作,通过 Optimum 库集成 ONNX Runtime 训练,可将许多 Hugging Face 模型的训练时间缩短 35% 以上。
Hugging Face 的 AI 游戏开发教程第 3 篇指出,text-to-3D 目前还无法实际用于游戏开发,作者在 5 天农场游戏中改用不同颜色的立方体代表作物。
Hugging Face transformers 开源库现已集成 Mask2Former 和 OneFormer 两个通用图像分割模型,可用统一架构完成实例、语义和全景分割三类任务。
百度开源深度学习平台 PaddlePaddle 正式加入 Hugging Face Hub,其模型库将逐步与 Hub 集成,Hub 上已有超过 75 个 PaddlePaddle 模型,可通过 PaddlePaddle 库标签筛选。
Hugging Face 发布教程,讲解如何用 🤗 Transformers 和 🤗 datasets 库构建图像相似度系统,通过计算图像 embeddings 并用余弦相似度衡量查询图与候选图的相似程度。
Hugging Face 推出 AI 游戏开发系列教程,第 1 部分演示如何用 Stable Diffusion 1.5 生成农场游戏概念图,并在 Unity 2021.9.3f1 中搭建场景。
Hugging Face 官方博客介绍如何用 🤗 transformers 调用 CLIPSeg 零样本分割模型,通过文本提示词和图像提示词(visual prompting)生成粗分割掩码。
Hugging Face 推出 Model Card Creator Tool 和 Model Card Guide Book,前者提供图形界面,无需编程即可协作创建模型卡。同时更新了 huggingface_hub 库中的模型卡模板,提供默认提示文本,并附带带注释模板、Hugging Face 用户研究及 ML 文档现状的文献综述。
Hugging Face 发布音频数据集完全指南,介绍开源库 🤗 Datasets 如何用一行 Python 代码(load_dataset)下载并准备音频数据。
Hugging Face 伦理与社会团队发布通讯 #2,系统梳理机器学习开发各阶段应对偏见的经验与工具。文章指出 ML 模型作为社会技术系统会放大不平等,单一技术干预难以解决,需结合部署语境持续响应反馈。文中按任务定义、数据集筛选、模型训练等环节推荐了 🤗 团队开发的偏见分析工具。
Hugging Face 通过纯 Elixir 实现的 Bumblebee 库,将 GPT2 到 Stable Diffusion 等神经网络模型带入 Elixir 社区。
Hugging Face 发布面向生物学家和机器学习者的蛋白质深度学习教程,讲解 BERT、GPT 等大语言模型启发的蛋白质语言模型原理与迁移学习机制,并提供微调蛋白质语言模型(PyTorch / TensorFlow)和 ESMFold 蛋白质折叠(PyTorch)两套示例 notebooks。
Hugging Face 介绍如何用 🤗 Transformers 库内置的 Time Series Transformer 模型做单变量概率时间序列预测,即为每条序列预测其一维分布而非单点值。
Hugging Face 官方博客介绍如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion,已将 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 的 Core ML 权重转换并上传至 Hugging Face Hub。
VQ-Diffusion 是由中国科学技术大学与微软开发的条件隐空间扩散模型,其加噪与去噪过程在离散量化的隐空间上进行,与常见的连续扩散模型形成对比。
Hugging Face 宣布启动 2023 年实习计划,开放 7 个岗位,涵盖 Accelerate、Text to Speech、Embodied AI、Fast Distributed Training Framework。
Hugging Face 与 Jonathan Whitaker 合作的免费 Diffusion Models 课程将于 11 月 28 日发布,并在 11 月 30 日举办线上直播社区活动。
Hugging Face 梳理了从免费到生产级的推理方案:Inference Widget 免费单击试用模型,Inference API 通过 HTTP 请求免费调用 Hub 上任意模型(有速率限制,不建议生产使用)。
Hugging Face 博客系统梳理了 Document AI 的六类用例(OCR、文档图像分类、版面分析、文档解析、表格抽取、DocVQA)及对应开源模型与评测指标。
Hugging Face 与 arXiv 合作,Hugging Face Spaces 通过 arXivLabs 的 Demo 标签页集成到论文摘要页,用户可直接打开社区或作者构建的开源 demo。
Hugging Face 发布教程,演示如何用 Concrete-ML 库在全同态加密(FHE)数据上构建情感分析模型,无需密码学知识。
Hugging Face 取消 Inference API 的付费层,该服务将对所有人免费开放,同时推出面向企业级推理的新服务 Inference Endpoints,并为 Spaces 增加硬件升级。
Hugging Face 宣布 Contrastive Search 现已在 transformers 库中可用,支持 PyTorch 和 TensorFlow,并提供与 beam search、top-k sampling、nucleus sampling 对比的 demo。
Hugging Face 在 Diffusers 博客中分享用 Dreambooth 微调 Stable Diffusion 的实验结论与推荐设置:低学习率配合逐步增加训练步数,人脸训练在 batch size 2、LR 1e-6 下 800-1200 步效果较好,且人脸训练需要 prior preservation。
Hugging Face 发布教程,手把手演示如何用 🤗 Transformers 在 Google Colab 上微调 Whisper small(244M 参数)做多语言 ASR。
Hugging Face 宣布在 Optimum Intel 中加入 Intel OpenVINO,可直接用 OpenVINO Runtime 在各类 Intel 处理器上运行 Transformers 模型推理,并通过 NNCF 量化压缩模型体积与延迟。
Hugging Face 在 🤗 Evaluate 库中新增偏差度量,支持用 Toxicity、Polarity、Hurtfulness 三个基于提示词的任务评估 GPT-2、BLOOM 等因果语言模型的偏差。
Hugging Face 教程以 MNIST 训练为例,分三个抽象层级讲解多 GPU 分布式训练:原生 PyTorch DDP(`pytorch.distributed` 模块)。
Hugging Face 推出 MTEB 文本嵌入基准,涵盖 8 类任务、56 个数据集,榜单已汇总超过 2000 条结果,支持最多 112 种语言。
Hugging Face 推出 Inference Endpoints,可从 Hugging Face hub 通过几次点击将模型部署到所选云厂商的托管基础设施上。
Hugging Face Diffusers 自 0.5.1 版本起支持 Flax,可在 Google TPU 上运行 Stable Diffusion 推理,教程演示了在 Colab 等环境用 8 个 TPU 加速器并行生成 8 张图片。模型权重以 bf16 版本提供,采用 CreativeML OpenRAIL-M 开放许可,允许再分发与商用,但需向用户附带相同使用限制。
Hugging Face 分享了为 BLOOM(176B 参数、352GB bf16)构建高效推理服务器的完整过程,数周内实现延迟降低 5 倍、吞吐提升 50 倍。
Hugging Face 在 Hub 上线 DOI 生成功能,注册用户可在 repo settings 中为模型或数据集申请 DOI,其他人点击页面上的 "Cite this model/dataset" 即可引用。
rinna Co., Ltd. 基于 Stable Diffusion 微调推出日语专用文生图模型 Japanese Stable Diffusion,可直接接受日语提示词,理解日语特有词汇、拟声词与专有名词,生成反映日语文化语境的图像。