跳到正文
2023年7月3日周一
2023年6月29日周四
2023年6月26日周一
2023年6月23日周五
2023年6月19日周一
2023年6月16日周五
2023年6月15日周四
2023年6月12日周一
2023年6月2日周五
2023年5月25日周四
  1. Hugging Face Blog44

    用 NNCF 和 🤗 Optimum 优化 Stable Diffusion 在 Intel CPU 上的推理

    Hugging Face 用 OpenVINO NNCF 的量化感知训练(QAT)结合 Token Merging 优化 Stable Diffusion,相比 PyTorch 实现 5.1x 推理加速和 4x 模型体积缩减。优化仅需 4096 次迭代,用一块 24 GB 显存的 GPU 不到一天即可完成。优化后的模型适合在客户端或边缘 CPU 等算力受限设备上运行。

2023年5月23日周二
2023年5月16日周二
  1. Hugging Face Blog60

    BigCode 背后的大规模近似去重实践

    Hugging Face 官方博客详细讲解 BigCode 训练数据的文档级近似去重方法,覆盖 MinHash 加 LSH 的完整流程:shingling 分词、指纹计算、LSH 分桶、候选对聚类与去重决策。

    推荐理由:系统梳理了 MinHash 加 LSH 的去重流程与四种扩展方案,并给出参数取舍的实验依据,可直接迁移到自有数据集。

2023年5月15日周一
2023年5月9日周二
2023年5月8日周一
2023年5月1日周一
2023年4月27日周四
2023年4月26日周三
2023年4月21日周五
2023年4月14日周五
2023年4月12日周三
  1. Hugging Face Blog38

    用 Substra 构建隐私保护 AI:Hugging Face 联合推出联邦学习演示空间

    Hugging Face 与开源联邦学习框架 Substra 合作推出一个演示空间,展示联邦学习如何在数据不出本地的前提下训练模型。联邦学习只在服务器间传输模型权重,数据保留在本地,可在医疗等敏感领域打破数据孤岛,同时满足 HIPAA 等隐私法规。演示中可调整数据分布,观察联邦学习模型在验证集上通常优于单源数据训练的模型。

2023年4月5日周三
  1. Hugging Face Blog71

    Hugging Face 发布 StackLLaMA:用 RLHF 训练 LLaMA 回答 Stack Exchange 问题的实战指南

    Hugging Face 发布 StackLLaMA 模型与配套教程,展示用 SFT、奖励模型和 RLHF 三步在 LLaMA 7B 上训练 Stack Exchange 问答能力的完整流程,模型已上线 Hub,训练管线收录于 TRL 库。

    推荐理由:教程完整给出 RLHF 三阶段的可复现代码与显存估算,读者可据此在单卡上跑通流程。

2023年3月28日周二
2023年3月27日周一
2023年3月24日周五
2023年3月10日周五
2023年3月3日周五
2023年3月1日周三
2023年2月24日周五
  1. Hugging Face Blog49

    大语言模型红队测试指南

    Hugging Face 介绍了大语言模型(LLM)的红队测试(Red-teaming),即通过构造自然语言提示词来诱发模型产生有害输出,与使用无意义字符串的对抗攻击不同,红队提示词看起来就是普通对话。文章指出红队测试可揭示模型泄露个人信息、生成偏见与仇恨内容等风险,输出可用于训练模型减少危害,但该领域仍处于早期阶段,随着模型能力涌现,需要持续演进的红队方法并推动多方协作共享数据集与最佳实践。

2023年2月23日周四
2023年2月15日周三
2023年2月7日周二
2023年2月6日周一
2023年2月3日周五
  1. Hugging Face Blog51

    Hugging Face 博客详解视觉语言模型的预训练策略与 Transformers 实践

    Hugging Face 官方博客系统介绍视觉语言模型,讲解对比学习、PrefixLM、交叉注意力融合、MLM/ITM 和免训练等五类预训练策略,并梳理常用预训练与下游数据集。文章列出 Transformers 支持的 CLIP、FLAVA、ViLT、CLIPSeg 等模型,给出用 ViLT 做 VQA 和用 CLIPSeg 做零样本图像分割的代码示例,还展望了医学、机器人等新兴研究方向。

2023年1月30日周一
2023年1月26日周四
  1. Hugging Face Blog65

    Hugging Face 介绍如何用 LoRA 高效微调 Stable Diffusion

    Hugging Face 官方博客介绍如何在 diffusers 中用 LoRA 微调 Stable Diffusion,训练可在 11 GB 显存的 2080 Ti 上完成,训练出的权重仅约 3 MB,比 UNet 原始体积小约一千倍。

    推荐理由:原文给出可直接复用的训练脚本与推理代码,并说明 LoRA 相比全量微调在显存和权重体积上的具体收益。

2023年1月24日周二