3D Gaussian Splatting 入门:原理、训练流程与图形学未来
Hugging Face 详解 3D Gaussian Splatting 这一光栅化技术,它能用少量图像样本实时渲染照片级场景,其流程包括用 COLMAP 做运动恢复结构(SfM)生成点云、转为高斯并用随机梯度下降训练可微光栅化。
Hugging Face 详解 3D Gaussian Splatting 这一光栅化技术,它能用少量图像样本实时渲染照片级场景,其流程包括用 COLMAP 做运动恢复结构(SfM)生成点云、转为高斯并用随机梯度下降训练可微光栅化。
Hugging Face 官方博客给出生产环境优化 LLM 的三类技术并附实测:低精度量化、Flash Attention 与面向长文本的架构改进。
推荐理由:原文用同一模型的实测显存与耗时数据,把量化、Flash Attention 和 KV cache 优化的取舍讲得可直接迁移。
Hugging Face 官方博客给出用 PyTorch FSDP、Transformers、Accelerate 和 TRL 在多机多卡环境微调 Llama 2 70B 的完整实践,训练约 13.5 小时完成。
Hugging Face 官方博客系统对比了 Transformers 原生支持的 bitsandbytes 与 auto-gptq 两种量化方案的优劣,并给出推理与微调的基准测试。
Fetch 借助 Amazon SageMaker 与 Hugging Face 优化机器学习流水线,将最慢扫描的延迟降低 50%,文档理解模型准确率提升 200%。
OpenAI 发布了一份教师在课堂上使用 ChatGPT 的指南,内容包括建议的提示词、ChatGPT 的工作原理与局限性说明、AI 检测工具的有效性以及偏见问题。
Hugging Face 官方博客演示如何在 🧨 Diffusers 中优化 AudioLDM 2 的推理速度,通过 flash attention(SDPA)。
Hugging Face 通过教程演示如何用 🤗 Transformers、Optimum 和 Accelerate 三个库对 Suno AI 的 TTS 模型 Bark 做推理优化,基线(suno/bark-small)在 5 次迭代下平均延迟 9.38 秒、显存占用 1.91 GB。
Hugging Face 博客演示了如何用开源模型服务框架 BentoML 部署开源文生图模型 DeepFloyd IF,覆盖模型下载到 Model Store、创建 Service、构建 Bento、容器化部署到 Kubernetes 或 Yatai 的完整流程。
Hugging Face 官方博客介绍如何用 TRL 库中的 DPO 方法微调 Llama 2 7B 模型,DPO 绕过奖励模型和 RL 优化步骤,直接在偏好数据上用交叉熵损失优化语言模型。
Hugging Face 通过 Inference Endpoints 的 custom handler 机制,让 MusicGen 这类没有现成 pipeline 的模型也能几点击部署上线。
Hugging Face 推出 Huggy Lingo,用机器学习检测 Hub 上缺失语言元数据的数据集,并由 librarian-bots 提交 pull request 补充元数据。
Zama 展示了如何用全同态加密(FHE)让 Hugging Face transformers 库中的 GPT2 在加密数据上运行推理,同时保护用户隐私和模型 IP。
Hugging Face 博客给出一套用生成式 AI 制作 PS1 风格 3D 资产的分步教程:先在 Shap-E Hugging Face Space 用开源 Shap-E 扩散模型从文本生成 3D 模型,再导入 Blender 3.1+ 用 Decimate 修改器把面数降到 0.02 左右。
Hugging Face 的 Diffusers 库迎来一周年,回顾了社区共同贡献的一年重要功能更新。
Hugging Face 推出实验性 AI WebTV,用开源模型自动生成并直播视频流。流水线以 ChatGPT 生成分镜提示词,经 Zeroscope V2(zeroscope_v2_576 生成 576x320、zeroscope_v2_XL 升采样至 1024x576)出片,再用 FILM 插帧并配 MusicGen 音乐,最终由 FFmpeg 推流至 RTMP。
Hugging Face 盘点了其开源文本生成与 LLM 生态,涵盖 Llama 2、MPT-30B、XGen、Falcon、FLAN-T5、BLOOM 和 StarCoder 等模型。
Hugging Face 展示了如何在 Intel Sapphire Rapids CPU 集群上用 textual inversion 微调 Stable Diffusion 模型,只需 5 张示例图片。
Hugging Face 官方博客介绍了如何用 Transformers.js 在浏览器中构建实时 ML 游戏 Doodle Dash,模型基于 Google Quick, Draw!
Hugging Face Inference Endpoints 是一款托管 SaaS 服务,可通过几次点击将开源 LLM(如 Falcon 40B instruct)部署为生产级 API,支持自动扩缩容、scale-to-zero 降本与 SOC2 Type 2 安全认证。
Hugging Face 发布教程,用 NodeJS + Express.js 调用 WizardCoder-15B(经 Inference Endpoints API)流式生成 HTML,实现文本生成网页应用。
Optimum Habana v1.7 在 Habana Gaudi2 上微调 BridgeTower 时,相比 A100 实现 x2.5 加速,相比 H100 实现 x1.4 加速。
Hugging Face 发布伦理与社会通讯第 4 期,梳理文生图(TTI)模型中偏差的来源与应对方法。
Hugging Face 博客解释了 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何显著低于 LLaMA 论文报告值。
推荐理由:通过对比三套 MMLU 实现的分数差异,读者能理解评测分数为何不可直接跨库比较。
Hugging Face 官方博客给出用 MMS Adapter 微调低资源 ASR 的完整教程,只需 10-20 分钟微调即可取得很低的词错误率。
Hugging Face 通过对比实验表明,Autoformer 在 Traffic、Exchange-Rate、Electricity 三个数据集上的 MASE 分数(0.910、1.087、0.751)均优于 AAAI 2023 论文所称更优的线性模型 DLinear(0.965、1.690、0.831)。
Hugging Face 介绍 WWDC'23 后 Core ML 与 coremltools 的压缩优化更新,用 6-bit palettization 把 Stable Diffusion 权重从 16-bit 压到每参数 6 bit,推理时逐层即时解压以降低内存占用。
Hugging Face Hub 目前托管超过 190,000 个机器学习模型、33,000 个数据集和 100,000 个机器学习应用与 demo,面向画廊、图书馆、档案馆和博物馆(GLAM)从业者介绍如何查找、使用并贡献内容。
这篇教程演示如何用 Hugging Face Unity API 在 Unity 游戏中实现语音识别,可用于下达指令、与 NPC 对话或提升无障碍体验。
Hugging Face 用 OpenVINO NNCF 的量化感知训练(QAT)结合 Token Merging 优化 Stable Diffusion,相比 PyTorch 实现 5.1x 推理加速和 4x 模型体积缩减。优化仅需 4096 次迭代,用一块 24 GB 显存的 GPU 不到一天即可完成。优化后的模型适合在客户端或边缘 CPU 等算力受限设备上运行。
Hugging Face 探索了对 Stable Diffusion 进行指令微调,使其能按输入图像加指令(如"给图像加卡通滤镜")完成图像翻译与低层图像处理任务。
Hugging Face 官方博客详细讲解 BigCode 训练数据的文档级近似去重方法,覆盖 MinHash 加 LSH 的完整流程:shingling 分词、指纹计算、LSH 分桶、候选对聚类与去重决策。
推荐理由:系统梳理了 MinHash 加 LSH 的去重流程与四种扩展方案,并给出参数取舍的实验依据,可直接迁移到自有数据集。
Hugging Face 给出教程,展示如何在单张 AMD GPU 上通过 ROCm 运行开源聊天机器人 Vicuna 13B。Vicuna 由 UC Berkeley、CMU、Stanford、UC San Diego 团队基于 LLAMA 微调约 70K 条 ShareGPT 对话而成,以 GPT-4 为参照质量达 ChatGPT 的 90% 以上,训练成本约 $300。
Hugging Face 官方博客讲解如何把 BigCode 的 16B 参数开源代码模型 StarCoder 微调成对话式编码助手 StarChat。
推荐理由:完整给出从数据准备、ChatML 格式化到 DeepSpeed 训练与评测的可复现流程,适合想动手微调代码模型的读者。
Hugging Face 官方博客系统梳理了文生视频模型的过去、现在与未来,对比其与文生图任务的差异,指出计算成本高、高质量数据集稀缺、视频描述模糊等核心挑战。
Hugging Face Unity API 让开发者在 Unity 项目中通过 Inference API 调用 Hugging Face 模型,安装时在 Package Manager 中添加 git URL 并在 API Wizard 填入 API key 即可。
Hugging Face 发布教程,演示如何用 🤗 Transformers 配合 TensorFlow 和 TPUStrategy 在 TPU 上从零训练 RoBERTa(base)掩码语言模型。
Hugging Face 官方博客给出完整教程,用 🧨 diffusers 在免费版 Google Colab(13 GB CPU RAM、15 GB VRAM 的 T4)上运行 DeepFloyd 的 IF 文生图模型。
Hugging Face Spaces 除了托管机器学习 demo,还可以直接托管可玩的 Unity 游戏。
Hugging Face 教程演示如何用 Transformers 库(版本 >= 4.27.2)对图数据做分类,使用的是库中目前唯一的图 Transformer 模型 Microsoft Graphormer。