Gradio reload mode 如何快速构建 AI 应用
Gradio 的 reload mode 让开发者用 `gradio app.py` 启动应用后,源码改动即时生效、无需重启服务器,UI 更新瞬间可见。相比 uvicorn 自带的自动重载,它支持选择性重载,可用 `if gr.NO_RELOAD:` 标记不需重载的代码(如已加载的 AI 模型或 InferenceClient),避免每次改动都重新加载模型。
Gradio 的 reload mode 让开发者用 `gradio app.py` 启动应用后,源码改动即时生效、无需重启服务器,UI 更新瞬间可见。相比 uvicorn 自带的自动重载,它支持选择性重载,可用 `if gr.NO_RELOAD:` 标记不需重载的代码(如已加载的 AI 模型或 InferenceClient),避免每次改动都重新加载模型。
Hugging Face 官方博客介绍视觉语言模型的构成、开源模型概览、选型与评测方式,并给出用 transformers 推理和用 TRL SFTTrainer 微调的完整代码。
DuckDB-NSQL-7B-v0.1 是 MotherDuck 和 Numbers Station 基于 Llama-2-7b 微调的 DuckDB SQL 专用 LLM,可将自然语言转为有效 DuckDB SQL。
Hugging Face 展示了如何用 🤗 Optimum Intel 将 SetFit 模型在 Intel Xeon CPU 上的推理速度提升 7.8 倍,通过 Intel Neural Compressor 对模型主体做 post-training static quantization(PTQ)即可实现。
Hugging Face 博客介绍嵌入向量的二值(binary)与标量(int8)量化方法,可在保持大部分检索性能的同时大幅降低内存、磁盘与成本。
Hugging Face 发布了一篇面向零基础读者的 Hugging Face Transformers 入门教程,通过在 Hugging Face Spaces 上部署 JupyterLab notebook 并运行 Microsoft 的 Phi-2 LLM 的完整示例,讲解 Transformers 库、Hub、Spaces 等核心概念。
Hugging Face 通过 Optimum Intel 集成 Intel OpenVINO,将 2.7B 参数的 Phi-2 模型做 4-bit 权重量化,在搭载 Core Ultra 7 155H 的中端笔记本上运行本地推理。
Hugging Face 官方博客介绍 GaLore 如何利用梯度的低秩结构和投影技术,把优化器状态显存降低超过 82.5%,从而在 NVIDIA RTX 4090 这类消费级 GPU 上训练最多 70 亿参数的 Llama 架构模型。
Hugging Face 官方博客展示了如何用 Optimum Intel、Intel Neural Compressor 和 IPEX 对 BGE small/base/large(45M/110M/355M 参数)做 int8 静态量化。
Hugging Face 展示了如何用 Optimum Habana 的自定义 GaudiTextGenerationPipeline 在 Intel® Gaudi® 2 上以几行代码运行 Llama 2(7b、13b、70b)文本生成,涵盖预处理与后处理。
Hugging Face 发布博客介绍 AI 生成内容的水印技术,涵盖生成时嵌入与生成后添加两种方式,并讨论开放与闭源水印的权衡。
Hugging Face 官方博客介绍如何用 Transformers 和 PEFT 库在 GPU 与 Cloud TPU 上对 Gemma 模型做参数高效微调(PEFT)。
Hugging Face 博客介绍 Matryoshka 嵌入模型的概念、训练方法与使用方式,并给出与普通嵌入模型的对比。
Hugging Face 博客展示了用开源 LLM(Mixtral-8x7B-Instruct-v0.1)生成合成数据、再用 AutoTrain 微调约 0.13B 参数 RoBERTa-base 的完整流程。
推荐理由:通过具体成本与碳排数字对比,读者可直接判断何时该用合成数据训练专用小模型而非调用 LLM API。
Hugging Face 发布用开源模型实现 Constitutional AI 的端到端配方,并开源基于 Slurm 集群、由 TGI 和 vLLM 支撑的可扩展合成数据生成工具 llm-swarm。
推荐理由:完整给出用开源模型做 Constitutional AI 的可复用配方与评测数据,便于迁移实践。
Hugging Face 博客给出 PatchTST 时序预测模型的上手示例,先在 Electricity 数据集上直接训练并评估,再用已训练模型对 ETTh1 数据集做零样本预测,随后进行线性探测与微调。
Hugging Face 在 Intel 第 4 代 Xeon 上通过 8bit/4bit 量化与投机解码(assisted generation)将 StarCoder-15B 推理加速 7 倍以上。
Hugging Face 发布博客介绍 ReAct 智能体的工作原理,展示如何用 LangChain 的 ChatHuggingFace 类构建智能体,并评测多个开源 LLM 作为通用推理智能体的表现。
Hugging Face 发布教程,演示如何用 🤗 Transformers 微调 MetaAI 的 Wav2Vec2-BERT 预训练 checkpoint facebook/w2v-bert-2.0,在低资源蒙古语 Common Voice 16.0 数据集(约 14 小时验证训练数据)上完成 ASR 任务。
Hugging Face 博客介绍如何用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理,在所有测试的 batch size 与步数组合上 ONNX Runtime 都优于 PyTorch,SDXL Turbo 吞吐提升最高达 229%、SD Turbo 达 120%。
Hugging Face 官方教程分步讲解如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Hugging Face Spaces 的 ZeroGPU serverless 环境免费推理。
Vectara 基于 Hugging Face 开源的 leaderboard template 上线了 HHEM 幻觉排行榜,用于评估 GPT-4、Google Gemini、Meta Llama 2 等 LLM 生成文档摘要时的幻觉频率。
Hugging Face 官方博客介绍社区库 Unsloth,它与 Hub、transformers、PEFT、TRL 完全兼容,可让 LLM 微调提速 2 倍、显存占用降低 40% 且精度零损失。
Hugging Face Blog 发布了一份社区总结的 SDXL Dreambooth LoRA 进阶训练指南,将 Replicate SDXL Cog trainer 的 Pivotal Tuning 技术与 Kohya trainer 的 Prodigy 优化器等优化结合进 diffusers 训练脚本。
Hugging Face 博客演示如何用 Speculative Decoding 把 Whisper 推理时间缩短为原来的 1/2,且数学上保证输出与原模型完全一致,可直接替换现有 Whisper 流程。
Hugging Face 发布 2023 年开源 LLM 年度回顾,梳理了从 BLOOM、OPT、GLM-130B 到 LLaMA、Llama 2、Mistral、Qwen、Yi 等模型的发布脉络,以及 Chinchilla 范式转变带来的小模型加更多数据趋势。
推荐理由:系统梳理了开源 LLM 的技术要素与全年脉络,可作为理解开源模型生态的入门地图。
Hugging Face 官方博客发布 Mixture of Experts Explained,系统讲解 MoE 的组成、稀疏性、负载均衡、Switch Transformers、微调挑战与推理部署技巧。
推荐理由:系统梳理了 MoE 的原理、训练与推理权衡,读者可据此判断何时选用稀疏模型。
Hugging Face 用 LoRA 微调 RoBERTa-large(355M 参数)、Llama-2-7b-hf 和 Mistral-7B-v0.1 三个模型,在 mehdiiraqui/twitter_disaster 数据集上做灾难推文二分类对比。
Hugging Face 通过 optimum-neuron 支持在 AWS Inferentia2 上部署 Llama 2 等 LLM 进行文本生成,只需将模型编译导出为 Neuron 格式即可用 transformers 库或 pipeline 生成文本。
Hugging Face 官方博客介绍如何用 Hugging Face GitHub 组织公开仓库的代码微调 StarCoder,打造了解自有代码库的个人编码助手 HugCoder。
Renumics Spotlight 支持用一行代码 `spotlight.show(ds)` 对 Hugging Face datasets 库中的数据集(如 speech_commands、CIFAR-100)生成交互式可视化,无需复制或预处理数据。
Hugging Face 介绍如何用 Text Embedding Inference(TEI)把开源 Embedding 模型部署到 Inference Endpoints,TEI 支持 MTEB 排行榜前 10 的模型,含 FlagEmbedding、GTE、E5 等。
Hugging Face 官方博客在 A100 40GB 上测试 SDXL 推理优化,未优化管线需 28GB 显存、耗时 72.2 秒,改用 fp16 后降至 21.7GB、14.8 秒,叠加 PyTorch 2.0 的 SDPA 与 torch.compile 后进一步降至约 10.3 秒。
Hugging Face Diffusers 现已支持用 JAX 在 Google Cloud TPU 上服务 Stable Diffusion XL(SDXL),实现高性能、低成本推理。
Hugging Face 发布教程,指导用户 fork 并配置 AI Comic Factory Space,通过 Inference API 部署到自己的私有 Space 以避免排队等待。
Hugging Face 在 trl 库中集成了 DDPOTrainer,支持用 Denoising Diffusion Policy Optimization(DDPO)微调 Stable Diffusion 等扩散模型。
Hugging Face 发布教程,展示如何通过 Spaces、AutoTrain 和 ChatUI 三个步骤、零代码微调 LLaMA 2 7b 并部署为可分享的聊天应用。
Hugging Face 测试了 Llama 2 7B、13B、70B 在 Amazon SageMaker 上 60 多种部署配置的延迟与吞吐表现,覆盖 g5.2xlarge、g5.12xlarge、g5.48xlarge、p4d.24xlarge 四种实例与 1、5、10、20 并发请求。
Rocket Money 用 BERT 系列模型替换正则表达式系统,对 4000+ 类别的交易字符串做文本分类,并选择 Hugging Face Inference API 托管模型。
Hugging Face 发布目标检测排行榜(Object Detection Leaderboard),并撰文解释其评测方法与常用指标。