Hugging Face 对话 Writer CTO:从用户到开源模型贡献者
Hugging Face 与 Writer 联合创始人兼 CTO Waseem Alshikh 对谈,回顾 Writer 从 Hugging Face 用户、客户到开源模型贡献者的历程。
Hugging Face 与 Writer 联合创始人兼 CTO Waseem Alshikh 对谈,回顾 Writer 从 Hugging Face 用户、客户到开源模型贡献者的历程。
Hugging Face 官方博客给出用 MMS Adapter 微调低资源 ASR 的完整教程,只需 10-20 分钟微调即可取得很低的词错误率。
Hugging Face 支持将 Elixir 的 Livebook notebooks 作为应用部署到 Spaces,15 分钟内即可用 Whisper 构建一个仅支持语音消息的聊天应用。
Hugging Face 介绍 WWDC'23 后 Core ML 与 coremltools 的压缩优化更新,用 6-bit palettization 把 Stable Diffusion 权重从 16-bit 压到每参数 6 bit,推理时逐层即时解压以降低内存占用。
Hugging Face 宣布 AMD 正式加入其 Hardware Partner Program,双方将共同在 AMD CPU 和 GPU 上实现前沿 transformer 模型的性能优化。
Hugging Face Hub 目前托管超过 190,000 个机器学习模型、33,000 个数据集和 100,000 个机器学习应用与 demo,面向画廊、图书馆、档案馆和博物馆(GLAM)从业者介绍如何查找、使用并贡献内容。
Hugging Face 官方博客介绍 Falcon 系列模型(Falcon-40B 与 Falcon-7B,由阿布扎比 Technology Innovation Institute 以 Apache 2.0 许可发布)接入其生态的完整用法。
推荐理由:文章系统梳理了 Falcon 在 Hugging Face 生态中的推理、量化与微调路径,可直接迁移为落地参考。
Hugging Face 宣布举办首届 Open Source AI Game Jam,参赛者需在 7 月 7-9 日的周末内用至少一个开源 AI 工具(如 Stable Diffusion)制作一款游戏,可用于纹理生成、AI NPC 或 text-to-speech 等环节。
Hugging Face 推出 LLM Inference Container(DLC),可在 Amazon SageMaker 上部署开源 LLM,底层由 Text Generation Inference(TGI)驱动。
Hugging Face 与 bitsandbytes 再次合作,在 transformers 中支持以 4-bit 精度运行大部分 HF 模型(含文本、视觉、多模态),并可基于 4bit 模型训练适配器,对应 Dettmers 等人当天发布的 QLoRA 论文。
推荐理由:原文给出 4bit 加载的具体参数配置与显存实测对照,读者可据此在消费级显卡上复现微调方案。
Hugging Face 与 Microsoft 合作,在 Azure Machine Learning Studio 内原生上线 Hugging Face Model Catalog,收录 Hugging Face Hub 上数千个热门 Transformers 模型,用户只需几次点击即可在托管端点上完成部署。
Hugging Face 宣布与 IBM 合作,为其新一代企业 AI studio watsonx.ai 提供支持。
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库进行外部安全审计,结果显示未发现可导致任意代码执行的严重漏洞,仅修复了规范不精确和缺失校验导致的 polyglot 文件问题。
Hugging Face 与 Intel 推出 Q8-Chat,基于 SmoothQuant 8-bit 量化技术让 LLM 在 Intel CPU 上高效运行,模型体积缩小约 2 倍且精度基本无损。
Hugging Face 官方博客详细讲解 BigCode 训练数据的文档级近似去重方法,覆盖 MinHash 加 LSH 的完整流程:shingling 分词、指纹计算、LSH 分桶、候选对聚类与去重决策。
推荐理由:系统梳理了 MinHash 加 LSH 的去重流程与四种扩展方案,并给出参数取舍的实验依据,可直接迁移到自有数据集。
Hugging Face 被法国数据保护机构 CNIL 选中,进入其强化支持(Enhanced Support)计划,该计划从 40 多家候选企业中选出 3 家"经济发展潜力强"的公司,提供数据保护合规方面的指导。
Hugging Face 给出教程,展示如何在单张 AMD GPU 上通过 ROCm 运行开源聊天机器人 Vicuna 13B。Vicuna 由 UC Berkeley、CMU、Stanford、UC San Diego 团队基于 LLAMA 微调约 70K 条 ShareGPT 对话而成,以 GPT-4 为参照质量达 ChatGPT 的 90% 以上,训练成本约 $300。
Hugging Face 官方博客宣布 RWKV 架构已通过 Pull Request 集成进 transformers 库,可通过源码安装或 main 分支使用,支持 pipeline 文本生成与 alpaca 风格的 RWKV-4 Raven 聊天模型调用,并提供 convert_rwkv_checkpoint_to_hf.py 脚本转换原始权重。
推荐理由:原文对比了 RWKV 与 Transformer、RNN 的取舍并给出可直接运行的代码,便于读者判断其适用场景。
Hugging Face 在 🤗 Transformers 的 .generate() 中推出新解码方法 assisted generation,用小模型生成候选 token、再由目标模型一次前向验证,在普通硬件上最高可将延迟降低 10x。
推荐理由:原文拆解了延迟瓶颈并给出可复现的加速数字,读者可据此判断该方法是否适配自己的部署场景。
Hugging Face 官方博客讲解如何把 BigCode 的 16B 参数开源代码模型 StarCoder 微调成对话式编码助手 StarChat。
推荐理由:完整给出从数据准备、ChatML 格式化到 DeepSpeed 训练与评测的可复现流程,适合想动手微调代码模型的读者。
Hugging Face 与 ServiceNow 联合的 BigCode 项目发布代码大模型 StarCoder 和 StarCoderBase,基于 80+ 编程语言等许可数据训练,约 15B 参数、1 trillion tokens。
推荐理由:原文给出评测数据和提示词技巧,读者可了解开源代码模型的水平及提升分数的具体做法。
Hugging Face 官方博客给出完整教程,用 🧨 diffusers 在免费版 Google Colab(13 GB CPU RAM、15 GB VRAM 的 T4)上运行 DeepFloyd 的 IF 文生图模型。
Hugging Face 推出面向中文使用者的官方博客 hf.co/blog/zh,由志愿者团队翻译 transformers、diffusion、强化学习等博客与课程资源。
Hugging Face 发布 StackLLaMA 模型与配套教程,展示用 SFT、奖励模型和 RLHF 三步在 LLaMA 7B 上训练 Stack Exchange 问答能力的完整流程,模型已上线 Hub,训练管线收录于 TRL 库。
推荐理由:教程完整给出 RLHF 三阶段的可复现代码与显存估算,读者可据此在单卡上跑通流程。
Hugging Face 发布伦理与社会通讯 #3,阐述在开放与风险控制之间寻求平衡的"伦理式开放"策略。
在 Intel Sapphire Rapids CPU 上,Stable Diffusion v1-5 的 float32 推理平均延迟为 32.3 秒,改用 Optimum Intel 与 OpenVINO 并固定 512x512 分辨率后降至 4.7 秒,相比 Ice Lake Xeon 上约 45 秒的原始推理提速近 10x。
Hugging Face 测评显示,BLOOMZ 176B 在 8 卡 Habana Gaudi2 上推理延迟 3.103 秒,比 A100 80GB 快 1.42x;BLOOMZ-7B 更是快 2.89x。
Hugging Face 官方博客详细讲解如何用 diffusers 训练 ControlNet,以基于面部关键点的 Uncanny Faces 模型为例,覆盖规划条件、构建数据集、训练三步流程。
Informer(AAAI21 best paper)现已加入 🤗 Transformers,可用于多变量概率时间序列预测任务,即预测未来时间序列目标向量的分布。
Hugging Face 官方正式发布 trl 与 peft 的集成,让大语言模型的 RLHF 微调在消费级硬件上更易实现。文中给出三步流程:用 8-bit 精度加载活跃模型、通过 peft 添加可训练的低秩适配器、利用 disable_adapters 复用同一模型同时得到参考与活跃 logits,从而省去两份模型副本。
推荐理由:原文拆解了 8-bit 加载、LoRA 适配器与复用同一模型的三步流程,读者可直接迁移到自己的显存受限训练场景。
Hugging Face 与 Kakao Brain 联合开源 COYO 图文数据集(700M 对)以及在其上训练的 ViT 和 ALIGN 模型,这是 ALIGN 首次免费开源,也是首个附带训练数据的 ViT 与 ALIGN 发布。
Hugging Face 官方博客复盘了 2023 年 2 月土耳其地震后志愿者团队如何用机器学习构建救援应用 afetharita 的实践。
推荐理由:复盘了灾后救援中从数据标注到模型部署的完整 MLOps 流程,可迁移方法具体。
Hugging Face 在 Diffusers 库文档中发布伦理框架,以透明、一致、简洁、可访问、可复现、负责任六项原则指导社区贡献的技术决策。
Hugging Face 官方 Mac 应用 Swift Diffusers 1.1 上架 Mac App Store,将社区贡献的 SoTA 文生图模型转换为 Core ML 运行,文生图速度最高可提升至两倍,并自动为当前机型选择最佳加速器。
Hugging Face 介绍了大语言模型(LLM)的红队测试(Red-teaming),即通过构造自然语言提示词来诱发模型产生有害输出,与使用无意义字符串的对抗攻击不同,红队提示词看起来就是普通对话。文章指出红队测试可揭示模型泄露个人信息、生成偏见与仇恨内容等风险,输出可用于训练模型减少危害,但该领域仍处于早期阶段,随着模型能力涌现,需要持续演进的红队方法并推动多方协作共享数据集与最佳实践。
Hugging Face 与 AWS 扩大长期战略合作,Hugging Face 将 AWS 作为首选云提供商,借助 Amazon SageMaker、AWS Trainium、AWS Inferentia 让开发者训练、微调和部署模型。
Hugging Face 推出 🤗 PEFT 库,与 🤗 Transformers 和 🤗 Accelerate 无缝集成,目前支持 LoRA、Prefix Tuning、P-Tuning v2、Prompt Tuning、P-Tuning 等方法。
推荐理由:原文给出了在消费级硬件上微调大模型的具体配置与产出体积对比,可直接迁移复用。
Hugging Face 的 AI for Game Development 系列第 5 部分演示如何用 ChatGPT 为 5 天农场游戏生成故事,包括故事摘要、游戏描述与商店物品文案。
Hugging Face 过去一年将计算机视觉支持扩展至 8 大核心任务,Hub 上已收录超过 3000 个模型和 100 个数据集,涵盖图像分类、分割、目标检测、深度估计等任务。
Hugging Face 官方博客介绍如何在 diffusers 中用 LoRA 微调 Stable Diffusion,训练可在 11 GB 显存的 2080 Ti 上完成,训练出的权重仅约 3 MB,比 UNet 原始体积小约一千倍。
推荐理由:原文给出可直接复用的训练脚本与推理代码,并说明 LoRA 相比全量微调在显存和权重体积上的具体收益。