Hugging Face 教程:用 Gradio 把 ComfyUI 工作流免费跑在 Spaces ZeroGPU 上
Hugging Face 官方教程分步讲解如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Hugging Face Spaces 的 ZeroGPU serverless 环境免费推理。
Hugging Face 官方教程分步讲解如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Hugging Face Spaces 的 ZeroGPU serverless 环境免费推理。
Vectara 基于 Hugging Face 开源的 leaderboard template 上线了 HHEM 幻觉排行榜,用于评估 GPT-4、Google Gemini、Meta Llama 2 等 LLM 生成文档摘要时的幻觉频率。
Hugging Face 官方博客介绍社区库 Unsloth,它与 Hub、transformers、PEFT、TRL 完全兼容,可让 LLM 微调提速 2 倍、显存占用降低 40% 且精度零损失。
Hugging Face Blog 发布了一份社区总结的 SDXL Dreambooth LoRA 进阶训练指南,将 Replicate SDXL Cog trainer 的 Pivotal Tuning 技术与 Kohya trainer 的 Prodigy 优化器等优化结合进 diffusers 训练脚本。
Hugging Face 博客演示如何用 Speculative Decoding 把 Whisper 推理时间缩短为原来的 1/2,且数学上保证输出与原模型完全一致,可直接替换现有 Whisper 流程。
Hugging Face 发布 2023 年开源 LLM 年度回顾,梳理了从 BLOOM、OPT、GLM-130B 到 LLaMA、Llama 2、Mistral、Qwen、Yi 等模型的发布脉络,以及 Chinchilla 范式转变带来的小模型加更多数据趋势。
推荐理由:系统梳理了开源 LLM 的技术要素与全年脉络,可作为理解开源模型生态的入门地图。
Hugging Face 官方博客发布 Mixture of Experts Explained,系统讲解 MoE 的组成、稀疏性、负载均衡、Switch Transformers、微调挑战与推理部署技巧。
推荐理由:系统梳理了 MoE 的原理、训练与推理权衡,读者可据此判断何时选用稀疏模型。
Hugging Face 用 LoRA 微调 RoBERTa-large(355M 参数)、Llama-2-7b-hf 和 Mistral-7B-v0.1 三个模型,在 mehdiiraqui/twitter_disaster 数据集上做灾难推文二分类对比。
Hugging Face 通过 optimum-neuron 支持在 AWS Inferentia2 上部署 Llama 2 等 LLM 进行文本生成,只需将模型编译导出为 Neuron 格式即可用 transformers 库或 pipeline 生成文本。
Hugging Face 官方博客介绍如何用 Hugging Face GitHub 组织公开仓库的代码微调 StarCoder,打造了解自有代码库的个人编码助手 HugCoder。
Renumics Spotlight 支持用一行代码 `spotlight.show(ds)` 对 Hugging Face datasets 库中的数据集(如 speech_commands、CIFAR-100)生成交互式可视化,无需复制或预处理数据。
Hugging Face 介绍如何用 Text Embedding Inference(TEI)把开源 Embedding 模型部署到 Inference Endpoints,TEI 支持 MTEB 排行榜前 10 的模型,含 FlagEmbedding、GTE、E5 等。
Hugging Face 官方博客在 A100 40GB 上测试 SDXL 推理优化,未优化管线需 28GB 显存、耗时 72.2 秒,改用 fp16 后降至 21.7GB、14.8 秒,叠加 PyTorch 2.0 的 SDPA 与 torch.compile 后进一步降至约 10.3 秒。
Hugging Face Diffusers 现已支持用 JAX 在 Google Cloud TPU 上服务 Stable Diffusion XL(SDXL),实现高性能、低成本推理。
Hugging Face 发布教程,指导用户 fork 并配置 AI Comic Factory Space,通过 Inference API 部署到自己的私有 Space 以避免排队等待。
Hugging Face 在 trl 库中集成了 DDPOTrainer,支持用 Denoising Diffusion Policy Optimization(DDPO)微调 Stable Diffusion 等扩散模型。
Hugging Face 发布教程,展示如何通过 Spaces、AutoTrain 和 ChatUI 三个步骤、零代码微调 LLaMA 2 7b 并部署为可分享的聊天应用。
Hugging Face 测试了 Llama 2 7B、13B、70B 在 Amazon SageMaker 上 60 多种部署配置的延迟与吞吐表现,覆盖 g5.2xlarge、g5.12xlarge、g5.48xlarge、p4d.24xlarge 四种实例与 1、5、10、20 并发请求。
Rocket Money 用 BERT 系列模型替换正则表达式系统,对 4000+ 类别的交易字符串做文本分类,并选择 Hugging Face Inference API 托管模型。
Hugging Face 发布目标检测排行榜(Object Detection Leaderboard),并撰文解释其评测方法与常用指标。
Hugging Face 详解 3D Gaussian Splatting 这一光栅化技术,它能用少量图像样本实时渲染照片级场景,其流程包括用 COLMAP 做运动恢复结构(SfM)生成点云、转为高斯并用随机梯度下降训练可微光栅化。
Hugging Face 官方博客给出生产环境优化 LLM 的三类技术并附实测:低精度量化、Flash Attention 与面向长文本的架构改进。
推荐理由:原文用同一模型的实测显存与耗时数据,把量化、Flash Attention 和 KV cache 优化的取舍讲得可直接迁移。
Hugging Face 官方博客给出用 PyTorch FSDP、Transformers、Accelerate 和 TRL 在多机多卡环境微调 Llama 2 70B 的完整实践,训练约 13.5 小时完成。
Hugging Face 官方博客系统对比了 Transformers 原生支持的 bitsandbytes 与 auto-gptq 两种量化方案的优劣,并给出推理与微调的基准测试。
Fetch 借助 Amazon SageMaker 与 Hugging Face 优化机器学习流水线,将最慢扫描的延迟降低 50%,文档理解模型准确率提升 200%。
OpenAI 发布了一份教师在课堂上使用 ChatGPT 的指南,内容包括建议的提示词、ChatGPT 的工作原理与局限性说明、AI 检测工具的有效性以及偏见问题。
Hugging Face 官方博客演示如何在 🧨 Diffusers 中优化 AudioLDM 2 的推理速度,通过 flash attention(SDPA)。
Hugging Face 通过教程演示如何用 🤗 Transformers、Optimum 和 Accelerate 三个库对 Suno AI 的 TTS 模型 Bark 做推理优化,基线(suno/bark-small)在 5 次迭代下平均延迟 9.38 秒、显存占用 1.91 GB。
Hugging Face 博客演示了如何用开源模型服务框架 BentoML 部署开源文生图模型 DeepFloyd IF,覆盖模型下载到 Model Store、创建 Service、构建 Bento、容器化部署到 Kubernetes 或 Yatai 的完整流程。
Hugging Face 官方博客介绍如何用 TRL 库中的 DPO 方法微调 Llama 2 7B 模型,DPO 绕过奖励模型和 RL 优化步骤,直接在偏好数据上用交叉熵损失优化语言模型。
Hugging Face 通过 Inference Endpoints 的 custom handler 机制,让 MusicGen 这类没有现成 pipeline 的模型也能几点击部署上线。
Hugging Face 推出 Huggy Lingo,用机器学习检测 Hub 上缺失语言元数据的数据集,并由 librarian-bots 提交 pull request 补充元数据。
Zama 展示了如何用全同态加密(FHE)让 Hugging Face transformers 库中的 GPT2 在加密数据上运行推理,同时保护用户隐私和模型 IP。
Hugging Face 博客给出一套用生成式 AI 制作 PS1 风格 3D 资产的分步教程:先在 Shap-E Hugging Face Space 用开源 Shap-E 扩散模型从文本生成 3D 模型,再导入 Blender 3.1+ 用 Decimate 修改器把面数降到 0.02 左右。
Hugging Face 的 Diffusers 库迎来一周年,回顾了社区共同贡献的一年重要功能更新。
Hugging Face 推出实验性 AI WebTV,用开源模型自动生成并直播视频流。流水线以 ChatGPT 生成分镜提示词,经 Zeroscope V2(zeroscope_v2_576 生成 576x320、zeroscope_v2_XL 升采样至 1024x576)出片,再用 FILM 插帧并配 MusicGen 音乐,最终由 FFmpeg 推流至 RTMP。
Hugging Face 盘点了其开源文本生成与 LLM 生态,涵盖 Llama 2、MPT-30B、XGen、Falcon、FLAN-T5、BLOOM 和 StarCoder 等模型。
Hugging Face 展示了如何在 Intel Sapphire Rapids CPU 集群上用 textual inversion 微调 Stable Diffusion 模型,只需 5 张示例图片。
Hugging Face 官方博客介绍了如何用 Transformers.js 在浏览器中构建实时 ML 游戏 Doodle Dash,模型基于 Google Quick, Draw!
Hugging Face Inference Endpoints 是一款托管 SaaS 服务,可通过几次点击将开源 LLM(如 Falcon 40B instruct)部署为生产级 API,支持自动扩缩容、scale-to-zero 降本与 SOC2 Type 2 安全认证。