Hugging Face 教你在消费级显卡上用 QLoRA 微调 FLUX.1-dev
Hugging Face 官方博客给出用 diffusers 库以 QLoRA 微调 FLUX.1-dev 的完整教程,在 RTX 4090 上峰值显存约 9GB,700 步训练约 41 分钟,而同配置 BF16 LoRA 需 26GB、无优化全量微调估计约 120GB。
推荐理由:给出了完整的显存数据和可复现命令,读者可据此评估自己硬件能否跑通并直接照做。
Hugging Face 官方博客给出用 diffusers 库以 QLoRA 微调 FLUX.1-dev 的完整教程,在 RTX 4090 上峰值显存约 9GB,700 步训练约 41 分钟,而同配置 BF16 LoRA 需 26GB、无优化全量微调估计约 120GB。
推荐理由:给出了完整的显存数据和可复现命令,读者可据此评估自己硬件能否跑通并直接照做。
Hugging Face 官方博客以 Flux-dev(BF16 加载约 31.447 GB)为例,实测 Diffusers 集成的 bitsandbytes、torchao、Quanto、GGUF 和 FP8 Layerwise Casting 五种量化后端的显存与推理表现。
ChatGPT 图像生成可从提示词、草图或上传图片创建品牌视觉与产品样机。该功能通过提示词、草图或上传图片三种输入方式生成符合品牌调性的视觉素材与产品样机。
OpenAI 宣布其最新图像生成模型 gpt-image-1 现已通过 API 提供,开发者和企业可将专业级、可定制的视觉生成能力直接集成到自己的工具和平台中。
OpenAI 在 GPT-4o 中推出原生图像生成功能,包括更强的文字渲染和指令遵循能力,可进一步了解 ChatGPT Images 2.5。
OpenAI 发布 GPT-4o System Card 补充说明,介绍 4o image generation 这一新的图像生成方式。官方称其能力显著强于此前的 DALL·E 3 系列模型,可生成照片级真实感输出,并支持以图像作为输入进行变换。
ChatGPT 被用于寻找美甲艺术的灵感。原文仅简要说明了这一用途,未提供具体功能、参数或数据细节。
Hugging Face 推出 AI 艺术工具通讯创刊号,回顾 2024 年 AI & Arts 关键里程碑并展望 2025。
Stable Diffusion 3.5 已上线 Hugging Face Hub 并可用 Diffusers 调用,提供 8B 参数版和 timestep-distilled 少步推理版两个 checkpoint。
推荐理由:文章给出了量化推理和 LoRA 训练的具体配置,读者可直接迁移到自己的消费级显卡上跑 SD3.5 Large。
OpenAI 提出 Consistency Models,解决扩散模型依赖迭代采样导致生成缓慢的问题。扩散模型已显著推动图像、音频和视频生成,但其迭代采样过程造成生成速度慢,一致性模型旨在改善这一瓶颈。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)现已在 Hugging Face Hub 上线并支持 🧨 Diffusers,同时提供 SD3 Dreambooth 和 LoRA 训练脚本。
推荐理由:原文给出显存与速度的实测对照表,读者可据此选择适合自己硬件的运行方案。
Hugging Face 上线 Artificial Analysis Text to Image Leaderboard 与 Arena,基于 45,000 次人类图像偏好投票计算 ELO 分数,覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
Canva 推出 AI 驱动的 Magic Studio,面向每月超 1.75 亿用户的视觉沟通平台。该平台结合易用界面、海量素材库与省时工具,让缺乏设计训练的知识工作者也能创作出视觉内容。
Hugging Face 博客介绍如何用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理,在所有测试的 batch size 与步数组合上 ONNX Runtime 都优于 PyTorch,SDXL Turbo 吞吐提升最高达 229%、SD Turbo 达 120%。
Hugging Face 官方教程分步讲解如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Hugging Face Spaces 的 ZeroGPU serverless 环境免费推理。
Hugging Face 发布 aMUSEd,一个开源复现 Google MUSE 的非扩散文生图模型研究预览,采用 Masked Image Model 方法,参数量约 800M(含文本编码器和 VQ-GAN),推理速度快且支持零样本图像修复。
Hugging Face Blog 发布了一份社区总结的 SDXL Dreambooth LoRA 进阶训练指南,将 Replicate SDXL Cog trainer 的 Pivotal Tuning 技术与 Kohya trainer 的 Prodigy 优化器等优化结合进 diffusers 训练脚本。
Hugging Face 官方博客宣布推出 Latent Consistency LoRAs(LCM LoRA),通过只训练少量 LoRA 适配器而非完整蒸馏模型,让 Stable Diffusion 和 SDXL 以 4 步完成推理,替代原本的 25 到 50 步。
推荐理由:给出了各硬件的实测耗时对比,读者可据此判断自己设备上能否跑近实时生成。
Hugging Face 官方博客在 A100 40GB 上测试 SDXL 推理优化,未优化管线需 28GB 显存、耗时 72.2 秒,改用 fp16 后降至 21.7GB、14.8 秒,叠加 PyTorch 2.0 的 SDPA 与 torch.compile 后进一步降至约 10.3 秒。
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用,并表示为面向更广泛发布准备 DALL·E 3 构建了一套安全缓解体系,同时分享了来源研究(provenance research)的更新。
Hugging Face Diffusers 现已支持用 JAX 在 Google Cloud TPU 上服务 Stable Diffusion XL(SDXL),实现高性能、低成本推理。
Hugging Face 在 trl 库中集成了 DDPOTrainer,支持用 Denoising Diffusion Policy Optimization(DDPO)微调 Stable Diffusion 等扩散模型。
Hugging Face 发布 Würstchen 扩散模型,其文本条件组件在高度压缩的图像潜在空间中工作,实现 42x 空间压缩,通过 Stage A(VQGAN)、Stage B(Diffusion Autoencoder)与 Stage C(Prior)三阶段设计,训练与推理成本大幅降低。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作,在 diffusers 中支持 SDXL 的 T2I-Adapter,并开源 lineart、sketch、canny、depth、openpose 等条件的 checkpoints。
Hugging Face 博客演示了如何用开源模型服务框架 BentoML 部署开源文生图模型 DeepFloyd IF,覆盖模型下载到 Model Store、创建 Service、构建 Bento、容器化部署到 Kubernetes 或 Yatai 的完整流程。
Segmind 开源了基于知识蒸馏压缩的 SD-Small 和 SD-Tiny 模型的训练代码与预训练权重,两者参数量分别比基础模型少 35% 和 55%,图像保真度与基础模型相当,推理速度最高提升 100%。
Hugging Face 与 Apple 合作将 Stable Diffusion XL 移植到 Core ML,发布了 apple/coreml-stable-diffusion-xl-base 完整流水线和 apple/coreml-stable-diffusion-mixed-bit-palettization 版本。
推荐理由:原文给出混合位调色板压缩的逐层比特分配方法与实测体积数据,读者可迁移到自己的 Core ML 模型压缩上。
Hugging Face 的 Diffusers 库迎来一周年,回顾了社区共同贡献的一年重要功能更新。
Hugging Face 展示了如何在 Intel Sapphire Rapids CPU 集群上用 textual inversion 微调 Stable Diffusion 模型,只需 5 张示例图片。
Hugging Face 介绍 WWDC'23 后 Core ML 与 coremltools 的压缩优化更新,用 6-bit palettization 把 Stable Diffusion 权重从 16-bit 压到每参数 6 bit,推理时逐层即时解压以降低内存占用。
Hugging Face 用 OpenVINO NNCF 的量化感知训练(QAT)结合 Token Merging 优化 Stable Diffusion,相比 PyTorch 实现 5.1x 推理加速和 4x 模型体积缩减。优化仅需 4096 次迭代,用一块 24 GB 显存的 GPU 不到一天即可完成。优化后的模型适合在客户端或边缘 CPU 等算力受限设备上运行。
Hugging Face 探索了对 Stable Diffusion 进行指令微调,使其能按输入图像加指令(如"给图像加卡通滤镜")完成图像翻译与低层图像处理任务。
Hugging Face 官方博客给出完整教程,用 🧨 diffusers 在免费版 Google Colab(13 GB CPU RAM、15 GB VRAM 的 T4)上运行 DeepFloyd 的 IF 文生图模型。
Hugging Face 官方博客详细讲解如何用 diffusers 训练 ControlNet,以基于面部关键点的 Uncanny Faces 模型为例,覆盖规划条件、构建数据集、训练三步流程。
Hugging Face 在 Diffusers 中集成 ControlNet,发布 StableDiffusionControlNetPipeline,支持用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 生成,论文提出的 8 种条件模型全部支持。
推荐理由:原文给出完整可复现的代码与性能数字,读者可直接照搬这套省显存的 ControlNet 推理配置。
Hugging Face 官方 Mac 应用 Swift Diffusers 1.1 上架 Mac App Store,将社区贡献的 SoTA 文生图模型转换为 Core ML 运行,文生图速度最高可提升至两倍,并自动为当前机型选择最佳加速器。
Hugging Face 官方博客介绍如何在 diffusers 中用 LoRA 微调 Stable Diffusion,训练可在 11 GB 显存的 2080 Ti 上完成,训练出的权重仅约 3 MB,比 UNet 原始体积小约一千倍。
推荐理由:原文给出可直接复用的训练脚本与推理代码,并说明 LoRA 相比全量微调在显存和权重体积上的具体收益。
Hugging Face 的 AI for Game Development 系列第 4 篇讲解如何用 Stable Diffusion 的 Image2Image 功能生成 2D 游戏素材。
Hugging Face 推出 AI 游戏开发系列教程,第 1 部分演示如何用 Stable Diffusion 1.5 生成农场游戏概念图,并在 Unity 2021.9.3f1 中搭建场景。
Hugging Face 官方博客介绍如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion,已将 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 的 Core ML 权重转换并上传至 Hugging Face Hub。