用 Substra 构建隐私保护 AI:Hugging Face 联合推出联邦学习演示空间
Hugging Face 与开源联邦学习框架 Substra 合作推出一个演示空间,展示联邦学习如何在数据不出本地的前提下训练模型。联邦学习只在服务器间传输模型权重,数据保留在本地,可在医疗等敏感领域打破数据孤岛,同时满足 HIPAA 等隐私法规。演示中可调整数据分布,观察联邦学习模型在验证集上通常优于单源数据训练的模型。
Hugging Face 与开源联邦学习框架 Substra 合作推出一个演示空间,展示联邦学习如何在数据不出本地的前提下训练模型。联邦学习只在服务器间传输模型权重,数据保留在本地,可在医疗等敏感领域打破数据孤岛,同时满足 HIPAA 等隐私法规。演示中可调整数据分布,观察联邦学习模型在验证集上通常优于单源数据训练的模型。
Hugging Face 发布 StackLLaMA 模型与配套教程,展示用 SFT、奖励模型和 RLHF 三步在 LLaMA 7B 上训练 Stack Exchange 问答能力的完整流程,模型已上线 Hub,训练管线收录于 TRL 库。
推荐理由:教程完整给出 RLHF 三阶段的可复现代码与显存估算,读者可据此在单卡上跑通流程。
在 Intel Sapphire Rapids CPU 上,Stable Diffusion v1-5 的 float32 推理平均延迟为 32.3 秒,改用 Optimum Intel 与 OpenVINO 并固定 512x512 分辨率后降至 4.7 秒,相比 Ice Lake Xeon 上约 45 秒的原始推理提速近 10x。
Hugging Face 测评显示,BLOOMZ 176B 在 8 卡 Habana Gaudi2 上推理延迟 3.103 秒,比 A100 80GB 快 1.42x;BLOOMZ-7B 更是快 2.89x。
Hugging Face 发布教程,演示如何用 Flower 框架对 Hugging Face 预训练 Transformer 模型 distilBERT 进行联邦学习式微调,在 IMDB 影评数据集上完成正负面情感的序列分类。
Hugging Face 官方博客详细讲解如何用 diffusers 训练 ControlNet,以基于面部关键点的 Uncanny Faces 模型为例,覆盖规划条件、构建数据集、训练三步流程。
Informer(AAAI21 best paper)现已加入 🤗 Transformers,可用于多变量概率时间序列预测任务,即预测未来时间序列目标向量的分布。
Hugging Face 官方博客复盘了 2023 年 2 月土耳其地震后志愿者团队如何用机器学习构建救援应用 afetharita 的实践。
推荐理由:复盘了灾后救援中从数据标注到模型部署的完整 MLOps 流程,可迁移方法具体。
Hugging Face 专家加速计划帮助 Witty Works 用 Sentence Transformers 和 SetFit 构建了上下文相关的非包容性词汇分类器,解决了基础方法在 85% 词汇上有效但对上下文依赖词失效的问题。
Hugging Face 介绍了大语言模型(LLM)的红队测试(Red-teaming),即通过构造自然语言提示词来诱发模型产生有害输出,与使用无意义字符串的对抗攻击不同,红队提示词看起来就是普通对话。文章指出红队测试可揭示模型泄露个人信息、生成偏见与仇恨内容等风险,输出可用于训练模型减少危害,但该领域仍处于早期阶段,随着模型能力涌现,需要持续演进的红队方法并推动多方协作共享数据集与最佳实践。
Fetch 通过 AWS Marketplace 上的 Hugging Face Expert Acceleration Program,用自研 AI 模型替换第三方"黑盒"方案,开发时间缩短 30%、处理延迟降低 50%,并以影子管线(shadow pipeline)在不中断业务的情况下完成切换。
Hugging Face 推出 Inference Endpoints 托管服务,可将 Hub 上几乎任何模型部署到 AWS、Azure 等云的多种实例类型(含 GPU),Hugging Face 自身已将部分 CPU 推理模型从 AWS ECS + Fargate 迁移过来。
Hugging Face 博客介绍 Salesforce Research 的 BLIP-2 如何在冻结的图像编码器与 LLM 之间加入轻量 Querying Transformer(Q-Former),以更少可训练参数实现多任务 SOTA。
Hugging Face 的 AI for Game Development 系列第 5 部分演示如何用 ChatGPT 为 5 天农场游戏生成故事,包括故事摘要、游戏描述与商店物品文案。
Hugging Face 在 Intel Sapphire Rapids 服务器上测试了 Hugging Face Optimum Intel 加速 PyTorch 推理的效果。
Hugging Face 官方博客系统介绍视觉语言模型,讲解对比学习、PrefixLM、交叉注意力融合、MLM/ITM 和免训练等五类预训练策略,并梳理常用预训练与下游数据集。文章列出 Transformers 支持的 CLIP、FLAVA、ViLT、CLIPSeg 等模型,给出用 ViLT 做 VQA 和用 CLIPSeg 做零样本图像分割的代码示例,还展望了医学、机器人等新兴研究方向。
Hugging Face 过去一年将计算机视觉支持扩展至 8 大核心任务,Hub 上已收录超过 3000 个模型和 100 个数据集,涵盖图像分类、分割、目标检测、深度估计等任务。
Hugging Face 官方博客介绍如何在 diffusers 中用 LoRA 微调 Stable Diffusion,训练可在 11 GB 显存的 2080 Ti 上完成,训练出的权重仅约 3 MB,比 UNet 原始体积小约一千倍。
推荐理由:原文给出可直接复用的训练脚本与推理代码,并说明 LoRA 相比全量微调在显存和权重体积上的具体收益。
Hugging Face 的 AI for Game Development 系列第 4 篇讲解如何用 Stable Diffusion 的 Image2Image 功能生成 2D 游戏素材。
Hugging Face 与 Microsoft 的 ONNX Runtime 团队合作,通过 Optimum 库集成 ONNX Runtime 训练,可将许多 Hugging Face 模型的训练时间缩短 35% 以上。
Hugging Face 博客梳理了 ChatGPT 背后的 RLHF、IFT、SFT、CoT、红队测试等技术,对比了 LaMDA、BlenderBot 3、Sparrow、InstructGPT、Assistant 在公开访问、训练数据、模型架构和评测维度上的差异。
推荐理由:通过对比表和分类梳理,读者可快速理解 IFT、SFT、RLHF、CoT 各自作用与数据需求差异。
Hugging Face 的 AI 游戏开发教程第 3 篇指出,text-to-3D 目前还无法实际用于游戏开发,作者在 5 天农场游戏中改用不同颜色的立方体代表作物。
Hugging Face 发布教程,讲解如何用 🤗 Transformers 和 🤗 datasets 库构建图像相似度系统,通过计算图像 embeddings 并用余弦相似度衡量查询图与候选图的相似程度。
Hugging Face 的 AI 游戏开发教程第 2 部分演示如何用 ChatGPT 辅助农场游戏设计,向其提问后得到作物多样性、进阶系统等建议,并灰盒实现前两项。文章随后科普语言模型、Transformer 架构与 RLHF 原理,指出 ChatGPT 会一本正经地给出错误答案(如四元数解释),建议将其作为头脑风暴与加速工具而非替代开发流程。
Hugging Face 博客系统讲解图机器学习基础,涵盖图的定义、同构/异构与有向/无向等分类、图/节点/边/子图四个层级的预测任务,以及边集与邻接矩阵两种表示方式。文章指出图的拓扑不同于文本或图像,打乱边表或邻接矩阵行列仍是同一张图(置换不变性),并介绍从传统图特征方法到 Graph Neural Networks,再到图上 Transformer 的学习方法演进。
Hugging Face 介绍如何在 AWS 上用 Intel 第四代 Xeon Sapphire Rapids 服务器集群加速 PyTorch 训练,通过 Intel oneAPI CCL 分布式训练并用 IPEX 自动启用 AMX 新指令,代码无需改动。
Hugging Face 推出 AI 游戏开发系列教程,第 1 部分演示如何用 Stable Diffusion 1.5 生成农场游戏概念图,并在 Unity 2021.9.3f1 中搭建场景。
Hugging Face 官方博客介绍如何用 🤗 transformers 调用 CLIPSeg 零样本分割模型,通过文本提示词和图像提示词(visual prompting)生成粗分割掩码。
Hugging Face 发布音频数据集完全指南,介绍开源库 🤗 Datasets 如何用一行 Python 代码(load_dataset)下载并准备音频数据。
Hugging Face 伦理与社会团队发布通讯 #2,系统梳理机器学习开发各阶段应对偏见的经验与工具。文章指出 ML 模型作为社会技术系统会放大不平等,单一技术干预难以解决,需结合部署语境持续响应反馈。文中按任务定义、数据集筛选、模型训练等环节推荐了 🤗 团队开发的偏见分析工具。
Hugging Face 博客系统图解了 RLHF 的三步流程:预训练语言模型、用人类排序数据训练奖励模型、再用 PPO 等强化学习算法微调语言模型。文中说明奖励模型将文本映射为标量奖励,奖励函数由偏好分数减去与初始模型的 KL 散度惩罚构成,以防止模型输出偏离初始模型的乱码。
推荐理由:文章把 RLHF 拆成预训练、奖励模型、PPO 微调三步并给出开源工具清单,便于读者建立完整流程认知。
OpenAI 超算团队工程师 Christian Gibson 分享了后端系统的细节。
Hugging Face 发布面向生物学家和机器学习者的蛋白质深度学习教程,讲解 BERT、GPT 等大语言模型启发的蛋白质语言模型原理与迁移学习机制,并提供微调蛋白质语言模型(PyTorch / TensorFlow)和 ESMFold 蛋白质折叠(PyTorch)两套示例 notebooks。
Hugging Face 介绍如何用 🤗 Transformers 库内置的 Time Series Transformer 模型做单变量概率时间序列预测,即为每条序列预测其一维分布而非单点值。
Hugging Face 官方博客介绍如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion,已将 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 的 Core ML 权重转换并上传至 Hugging Face Hub。
VQ-Diffusion 是由中国科学技术大学与微软开发的条件隐空间扩散模型,其加噪与去噪过程在离散量化的隐空间上进行,与常见的连续扩散模型形成对比。
Hugging Face 与 Jonathan Whitaker 合作的免费 Diffusion Models 课程将于 11 月 28 日发布,并在 11 月 30 日举办线上直播社区活动。
Hugging Face 梳理了从免费到生产级的推理方案:Inference Widget 免费单击试用模型,Inference API 通过 HTTP 请求免费调用 Hub 上任意模型(有速率限制,不建议生产使用)。
Hugging Face 博客系统梳理了 Document AI 的六类用例(OCR、文档图像分类、版面分析、文档解析、表格抽取、DocVQA)及对应开源模型与评测指标。
Hugging Face 发布教程,演示如何用 Concrete-ML 库在全同态加密(FHE)数据上构建情感分析模型,无需密码学知识。