用开源 ML 模型构建 Web 应用生成器
Hugging Face 发布教程,用 NodeJS + Express.js 调用 WizardCoder-15B(经 Inference Endpoints API)流式生成 HTML,实现文本生成网页应用。
Hugging Face 发布教程,用 NodeJS + Express.js 调用 WizardCoder-15B(经 Inference Endpoints API)流式生成 HTML,实现文本生成网页应用。
Optimum Habana v1.7 在 Habana Gaudi2 上微调 BridgeTower 时,相比 A100 实现 x2.5 加速,相比 H100 实现 x1.4 加速。
Hugging Face 发布伦理与社会通讯第 4 期,梳理文生图(TTI)模型中偏差的来源与应对方法。
Hugging Face 博客解释了 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何显著低于 LLaMA 论文报告值。
推荐理由:通过对比三套 MMLU 实现的分数差异,读者能理解评测分数为何不可直接跨库比较。
Hugging Face 官方博客给出用 MMS Adapter 微调低资源 ASR 的完整教程,只需 10-20 分钟微调即可取得很低的词错误率。
Hugging Face 通过对比实验表明,Autoformer 在 Traffic、Exchange-Rate、Electricity 三个数据集上的 MASE 分数(0.910、1.087、0.751)均优于 AAAI 2023 论文所称更优的线性模型 DLinear(0.965、1.690、0.831)。
Hugging Face 介绍 WWDC'23 后 Core ML 与 coremltools 的压缩优化更新,用 6-bit palettization 把 Stable Diffusion 权重从 16-bit 压到每参数 6 bit,推理时逐层即时解压以降低内存占用。
Hugging Face Hub 目前托管超过 190,000 个机器学习模型、33,000 个数据集和 100,000 个机器学习应用与 demo,面向画廊、图书馆、档案馆和博物馆(GLAM)从业者介绍如何查找、使用并贡献内容。
这篇教程演示如何用 Hugging Face Unity API 在 Unity 游戏中实现语音识别,可用于下达指令、与 NPC 对话或提升无障碍体验。
Hugging Face 用 OpenVINO NNCF 的量化感知训练(QAT)结合 Token Merging 优化 Stable Diffusion,相比 PyTorch 实现 5.1x 推理加速和 4x 模型体积缩减。优化仅需 4096 次迭代,用一块 24 GB 显存的 GPU 不到一天即可完成。优化后的模型适合在客户端或边缘 CPU 等算力受限设备上运行。
Hugging Face 探索了对 Stable Diffusion 进行指令微调,使其能按输入图像加指令(如"给图像加卡通滤镜")完成图像翻译与低层图像处理任务。
Hugging Face 官方博客详细讲解 BigCode 训练数据的文档级近似去重方法,覆盖 MinHash 加 LSH 的完整流程:shingling 分词、指纹计算、LSH 分桶、候选对聚类与去重决策。
推荐理由:系统梳理了 MinHash 加 LSH 的去重流程与四种扩展方案,并给出参数取舍的实验依据,可直接迁移到自有数据集。
Hugging Face 给出教程,展示如何在单张 AMD GPU 上通过 ROCm 运行开源聊天机器人 Vicuna 13B。Vicuna 由 UC Berkeley、CMU、Stanford、UC San Diego 团队基于 LLAMA 微调约 70K 条 ShareGPT 对话而成,以 GPT-4 为参照质量达 ChatGPT 的 90% 以上,训练成本约 $300。
Hugging Face 官方博客讲解如何把 BigCode 的 16B 参数开源代码模型 StarCoder 微调成对话式编码助手 StarChat。
推荐理由:完整给出从数据准备、ChatML 格式化到 DeepSpeed 训练与评测的可复现流程,适合想动手微调代码模型的读者。
Hugging Face 官方博客系统梳理了文生视频模型的过去、现在与未来,对比其与文生图任务的差异,指出计算成本高、高质量数据集稀缺、视频描述模糊等核心挑战。
Hugging Face Unity API 让开发者在 Unity 项目中通过 Inference API 调用 Hugging Face 模型,安装时在 Package Manager 中添加 git URL 并在 API Wizard 填入 API key 即可。
Hugging Face 发布教程,演示如何用 🤗 Transformers 配合 TensorFlow 和 TPUStrategy 在 TPU 上从零训练 RoBERTa(base)掩码语言模型。
Hugging Face 官方博客给出完整教程,用 🧨 diffusers 在免费版 Google Colab(13 GB CPU RAM、15 GB VRAM 的 T4)上运行 DeepFloyd 的 IF 文生图模型。
Hugging Face Spaces 除了托管机器学习 demo,还可以直接托管可玩的 Unity 游戏。
Hugging Face 教程演示如何用 Transformers 库(版本 >= 4.27.2)对图数据做分类,使用的是库中目前唯一的图 Transformer 模型 Microsoft Graphormer。
Hugging Face 与开源联邦学习框架 Substra 合作推出一个演示空间,展示联邦学习如何在数据不出本地的前提下训练模型。联邦学习只在服务器间传输模型权重,数据保留在本地,可在医疗等敏感领域打破数据孤岛,同时满足 HIPAA 等隐私法规。演示中可调整数据分布,观察联邦学习模型在验证集上通常优于单源数据训练的模型。
Hugging Face 发布 StackLLaMA 模型与配套教程,展示用 SFT、奖励模型和 RLHF 三步在 LLaMA 7B 上训练 Stack Exchange 问答能力的完整流程,模型已上线 Hub,训练管线收录于 TRL 库。
推荐理由:教程完整给出 RLHF 三阶段的可复现代码与显存估算,读者可据此在单卡上跑通流程。
在 Intel Sapphire Rapids CPU 上,Stable Diffusion v1-5 的 float32 推理平均延迟为 32.3 秒,改用 Optimum Intel 与 OpenVINO 并固定 512x512 分辨率后降至 4.7 秒,相比 Ice Lake Xeon 上约 45 秒的原始推理提速近 10x。
Hugging Face 测评显示,BLOOMZ 176B 在 8 卡 Habana Gaudi2 上推理延迟 3.103 秒,比 A100 80GB 快 1.42x;BLOOMZ-7B 更是快 2.89x。
Hugging Face 发布教程,演示如何用 Flower 框架对 Hugging Face 预训练 Transformer 模型 distilBERT 进行联邦学习式微调,在 IMDB 影评数据集上完成正负面情感的序列分类。
Hugging Face 官方博客详细讲解如何用 diffusers 训练 ControlNet,以基于面部关键点的 Uncanny Faces 模型为例,覆盖规划条件、构建数据集、训练三步流程。
Informer(AAAI21 best paper)现已加入 🤗 Transformers,可用于多变量概率时间序列预测任务,即预测未来时间序列目标向量的分布。
Hugging Face 官方博客复盘了 2023 年 2 月土耳其地震后志愿者团队如何用机器学习构建救援应用 afetharita 的实践。
推荐理由:复盘了灾后救援中从数据标注到模型部署的完整 MLOps 流程,可迁移方法具体。
Hugging Face 专家加速计划帮助 Witty Works 用 Sentence Transformers 和 SetFit 构建了上下文相关的非包容性词汇分类器,解决了基础方法在 85% 词汇上有效但对上下文依赖词失效的问题。
Hugging Face 介绍了大语言模型(LLM)的红队测试(Red-teaming),即通过构造自然语言提示词来诱发模型产生有害输出,与使用无意义字符串的对抗攻击不同,红队提示词看起来就是普通对话。文章指出红队测试可揭示模型泄露个人信息、生成偏见与仇恨内容等风险,输出可用于训练模型减少危害,但该领域仍处于早期阶段,随着模型能力涌现,需要持续演进的红队方法并推动多方协作共享数据集与最佳实践。
Fetch 通过 AWS Marketplace 上的 Hugging Face Expert Acceleration Program,用自研 AI 模型替换第三方"黑盒"方案,开发时间缩短 30%、处理延迟降低 50%,并以影子管线(shadow pipeline)在不中断业务的情况下完成切换。
Hugging Face 推出 Inference Endpoints 托管服务,可将 Hub 上几乎任何模型部署到 AWS、Azure 等云的多种实例类型(含 GPU),Hugging Face 自身已将部分 CPU 推理模型从 AWS ECS + Fargate 迁移过来。
Hugging Face 博客介绍 Salesforce Research 的 BLIP-2 如何在冻结的图像编码器与 LLM 之间加入轻量 Querying Transformer(Q-Former),以更少可训练参数实现多任务 SOTA。
Hugging Face 的 AI for Game Development 系列第 5 部分演示如何用 ChatGPT 为 5 天农场游戏生成故事,包括故事摘要、游戏描述与商店物品文案。
Hugging Face 在 Intel Sapphire Rapids 服务器上测试了 Hugging Face Optimum Intel 加速 PyTorch 推理的效果。
Hugging Face 官方博客系统介绍视觉语言模型,讲解对比学习、PrefixLM、交叉注意力融合、MLM/ITM 和免训练等五类预训练策略,并梳理常用预训练与下游数据集。文章列出 Transformers 支持的 CLIP、FLAVA、ViLT、CLIPSeg 等模型,给出用 ViLT 做 VQA 和用 CLIPSeg 做零样本图像分割的代码示例,还展望了医学、机器人等新兴研究方向。
Hugging Face 过去一年将计算机视觉支持扩展至 8 大核心任务,Hub 上已收录超过 3000 个模型和 100 个数据集,涵盖图像分类、分割、目标检测、深度估计等任务。
Hugging Face 官方博客介绍如何在 diffusers 中用 LoRA 微调 Stable Diffusion,训练可在 11 GB 显存的 2080 Ti 上完成,训练出的权重仅约 3 MB,比 UNet 原始体积小约一千倍。
推荐理由:原文给出可直接复用的训练脚本与推理代码,并说明 LoRA 相比全量微调在显存和权重体积上的具体收益。
Hugging Face 的 AI for Game Development 系列第 4 篇讲解如何用 Stable Diffusion 的 Image2Image 功能生成 2D 游戏素材。
Hugging Face 与 Microsoft 的 ONNX Runtime 团队合作,通过 Optimum 库集成 ONNX Runtime 训练,可将许多 Hugging Face 模型的训练时间缩短 35% 以上。