Photoroom PRX Part 3:24 小时、32 张 H200 训练文生图模型的完整配方
Photoroom 在 PRX 系列第三篇中把此前验证有效的扩散模型技巧组合起来,用 32 张 H200、约 $1500 总算力预算完成 24 小时文生图模型训练,并开源代码到 https://github.com/Photoroom/PRX 。
推荐理由:原文把像素空间训练、token 路由、感知损失等技巧的组合方式和超参写全,可直接复现其 24 小时训练配方。
Photoroom 在 PRX 系列第三篇中把此前验证有效的扩散模型技巧组合起来,用 32 张 H200、约 $1500 总算力预算完成 24 小时文生图模型训练,并开源代码到 https://github.com/Photoroom/PRX 。
推荐理由:原文把像素空间训练、token 路由、感知损失等技巧的组合方式和超参写全,可直接复现其 24 小时训练配方。
Photoroom 在 Hugging Face Blog 发布 PRX 文生图模型训练系列第二篇,以 PRX-1.2B 在 256×256 Flux VAE 潜空间的 Flow Matching 基线(100k 步、1M MidJourneyV6 合成数据、AdamW lr 1e-4)为参照,系统消融四类训练技巧并报告 FID、CMMD、DINO-MMD 与吞吐变化。
推荐理由:以统一基线系统消融十余种训练技巧,给出各方法在质量与吞吐上的真实取舍,可直接迁移到自己的训练配置。
Hugging Face 官方博客给出用 diffusers 库以 QLoRA 微调 FLUX.1-dev 的完整教程,在 RTX 4090 上峰值显存约 9GB,700 步训练约 41 分钟,而同配置 BF16 LoRA 需 26GB、无优化全量微调估计约 120GB。
推荐理由:给出了完整的显存数据和可复现命令,读者可据此评估自己硬件能否跑通并直接照做。
Hugging Face 与 Apple 合作将 Stable Diffusion XL 移植到 Core ML,发布了 apple/coreml-stable-diffusion-xl-base 完整流水线和 apple/coreml-stable-diffusion-mixed-bit-palettization 版本。
推荐理由:原文给出混合位调色板压缩的逐层比特分配方法与实测体积数据,读者可迁移到自己的 Core ML 模型压缩上。
Hugging Face 在 Diffusers 中集成 ControlNet,发布 StableDiffusionControlNetPipeline,支持用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 生成,论文提出的 8 种条件模型全部支持。
推荐理由:原文给出完整可复现的代码与性能数字,读者可直接照搬这套省显存的 ControlNet 推理配置。
Hugging Face 官方博客介绍如何在 diffusers 中用 LoRA 微调 Stable Diffusion,训练可在 11 GB 显存的 2080 Ti 上完成,训练出的权重仅约 3 MB,比 UNet 原始体积小约一千倍。
推荐理由:原文给出可直接复用的训练脚本与推理代码,并说明 LoRA 相比全量微调在显存和权重体积上的具体收益。