Hugging Face 教你用 Gradio MCP Servers 为 LLM 添加新能力
Hugging Face 官方博客介绍如何通过 MCP 协议为 LLM 接入新能力:Gradio 自 5.28.0 起支持 MCP 协议,使 Hugging Face Spaces 成为可检索的 MCP App Store。
Hugging Face 官方博客介绍如何通过 MCP 协议为 LLM 接入新能力:Gradio 自 5.28.0 起支持 MCP 协议,使 Hugging Face Spaces 成为可检索的 MCP App Store。
Hugging Face 与 AMD 合作开源了针对 8 MI300X 节点上用 VLLM 跑 Llama 3.1 405B FP8 推理的优化 kernel,代码发布在 hf-rocm-kernels 仓库。
Hugging Face 博客基于 nanoVLM 项目排查训练 GPU 空闲问题,发现数据流水线浪费严重,朴素 padding 下约 60% 的 batch 是无用 token。
Hugging Face 基础设施团队详解支撑其生产环境的三大关键告警:NAT Gateway 出口流量阈值告警、Hub 请求日志归档成功率告警,以及第三项告警。日志管线由 Filebeat 采集、Logstash 富化(含 GeoIP)、Elasticsearch 存储构成,告警用于在问题演变为重大事故前及时发现并响应,保障平台稳定性与可用性。
Hugging Face 官方博客给出用 Sentence Transformers 微调稀疏编码器(Sparse Encoder)的完整教程,涵盖模型、数据集、损失函数、训练参数、评估器与 Trainer 各组件,并介绍 SPLADE、Inference-free SPLADE、CSR 三种架构的选型。
Hugging Face 官方博客给出用 diffusers 库以 QLoRA 微调 FLUX.1-dev 的完整教程,在 RTX 4090 上峰值显存约 9GB,700 步训练约 41 分钟,而同配置 BF16 LoRA 需 26GB、无优化全量微调估计约 120GB。
推荐理由:给出了完整的显存数据和可复现命令,读者可据此评估自己硬件能否跑通并直接照做。
TNG 在自托管的 24 张 H100 集群上为 50 多个应用提供 LLM 服务,日处理超 1 亿输入 token、生成超 1000 万输出 token,文章分析了长提示词如何阻塞 prefill 队列并拖慢并发 decode。
NVIDIA 发布教程,演示如何用单个开源 LeRobot SO-101 机械臂的遥操作数据对 Isaac GR00T N1.5 做后训练微调。
Hugging Face 在 nanoVLM 仓库中从零实现了 KV Cache,使生成速度提升 38%。文章先解释自回归生成中每步都重算全部 K、V 的冗余,再说明缓存各层 K、V 后只需为新 token 计算增量的原理。
Arm 合作伙伴兼生态负责人 Michael Gamble 构建了一个在 Arm CPU 上完全本地运行的个人声音生成应用,基于 Stability AI 的 Stable Audio Open 模型与 PyTorch、TorchAudio,无需 GPU 和云端推理,几秒内即可从提示词生成 .wav 文件。
用户在使用 liger loss 配合 DeepSpeed ZeRO3、以 bf16 精度训练 Qwen/Qwen2.5-0.5B-Instruct 时遇到 shape mismatch 报错,错误发生在 TRL 的 GRPO trainer 调用 liger_kernel 的 LigerFusedLinearGRPOFunction 计算 loss 的过程中。
Hugging Face 发布教程,介绍如何用 Python 构建约 70 行代码的 MCP 驱动 Tiny Agent,并宣布 tiny-agents 已支持 AGENTS.md 标准。
推荐理由:文章拆解了 MCPClient 与 Agent 的关键代码,读者可据此理解一个 MCP 智能体如何用极少代码搭起来。
Hugging Face 发布 nanoVLM,一个用纯 PyTorch 训练视觉语言模型的轻量工具包,灵感来自 Andrej Karpathy 的 nanoGPT,可在免费 Colab 上启动训练。
Hugging Face 官方博客以 Flux-dev(BF16 加载约 31.447 GB)为例,实测 Diffusers 集成的 bitsandbytes、torchao、Quanto、GGUF 和 FP8 Layerwise Casting 五种量化后端的显存与推理表现。
OpenAI 介绍如何用 custom instructions(自定义指令)让 ChatGPT 根据你的角色、偏好和工作场景进行个性化设置。该功能允许用户在对话中持续注入个人背景信息,使模型回复更贴合实际需求。
Hugging Face 发布博客回顾过去一年视觉语言模型(VLM)的发展,覆盖 any-to-any 模型、推理模型、小模型、MoE 解码器、VLA、目标检测与分割、多模态安全、多模态 RAG、多模态 Agent、视频语言模型、DPO 对齐技术和新基准等主题。
LeRobot 官方博客把机器人泛化定义为数据问题,介绍社区数据集在 Hugging Face Hub 上快速增长的现状,并指出当前数据集在任务标注、特征命名、episode 完整性和动作维度上的常见问题。
Hugging Face 博客通过对比 Qwen-3 与 Qwen-2.5、QwQ 的 Jinja 聊天模板,总结出四点设计变化。Qwen-3 可通过 enable_thinking 标志关闭推理,用滚动检查点保留工具调用后的完整 think 块并裁剪更早内容,工具参数仅在非字符串时才做 tojson 序列化,且不再内置默认系统提示词。这些改动旨在提升智能体工作流的可靠性与效率。
Hugging Face 官方教程介绍如何用 Gradio 把任意 Python 函数变成 LLM 可调用的 MCP 工具,只需在 launch 中设置 mcp_server=True 即可启动 MCP 服务器并获得 SSE 端点。
Hugging Face 发布 Tiny Agent,用约 50 行 TypeScript 代码实现一个由 MCP 驱动的 Agent,核心思路是 MCP 客户端之上套一个 while 循环。
推荐理由:文章把 MCP 客户端与 Agent 的实现拆解到 50 行代码级别,读者可直接照搬这套 while 循环结构到自己的项目。
TNG 基于 olmOCR-7B-0225-preview 微调出忠实 OCR 引擎,解决了原模型忽略页眉页脚关键信息(如发票)的问题。团队用 Qwen2.5-VL-72B-Instruct 生成 8,000 份文档数据集,在 8xH100 节点上以 4 步梯度累积训练 2.5 epochs,微调后模型能完整提取页眉页脚内容并仍可解析表格,已开源至 HuggingFace。
Hugging Face 博客详解 LLM 并发请求处理中 Prefill(计算首个输出 token,可并行)与 Decode(逐 token 生成,无法并行)两阶段的性能差异及其对延迟、吞吐量和 GPU 利用率的影响。
Gradio 官方博客列出 17 个理由,说明它不只是 UI 库,而是通过 UI 与 API 交互机器学习模型的框架。
ChatGPT 的 canvas 功能可将产品需求文档直接转化为可运行的 HTML/React 原型。文章演示了从 PRD 到原型的完整流程,展示如何用 canvas 快速完成从需求到可交互代码的落地。
ChatGPT 可以规划调研、搜索并阅读资料来源,最终整理出一份详细的调研报告,用于支持市场分析。
Mistral AI 介绍了用 LLM as a Judge 评估 RAG 系统的方法:由一个 judge LLM 按数值、二元或定性量表给 generator LLM 的答案打分,并在评测数据集上取平均得到总分。
ChatGPT 可以通过分析背景、生成备选方案并把决策转化为后续步骤,来支持战略规划。
Gradio 官方博客宣布其每月被超过 100 万开发者用于构建和分享 AI web 应用,包括 Automatic1111、Oobabooga 的 Text Generation WebUI、Dall-E Mini 和 LLaMA-Factory 等知名开源项目。
Hugging Face 官方博客发布 TNG Technology Consulting 关于 LLM 服务性能系列文章的第一篇,讲解多应用共享 GPU 时的请求排队与调度策略。
Hugging Face 评估 HashiCorp Vault 后选择 Infisical,将密钥管理从 AWS-only 迁移到多云环境(Azure、GCP),并整合 Okta SSO 实现细粒度 RBAC 权限控制。
Hugging Face 官方博客给出用 Sentence Transformers 微调 reranker(Cross Encoder)模型的完整教程,覆盖数据集、硬负例挖掘、损失函数、训练参数、评估器与 CrossEncoderTrainer 各组件,并附完整训练脚本。
推荐理由:教程给出可复用的训练配方和评测对照,读者可据此判断在自有数据上微调 reranker 能带来多大提升。
Gradio 官方发布 gr.Dataframe 组件的大版本更新,过去 6 周关闭了超过 70 个相关 issue。新功能包括多单元格选择、行号与 pinned_columns 固定列、复制与全屏按钮、回顶按钮、改进的键盘导航与 styler 参数、整行整列选择事件、static_columns 静态列,以及通过 show_search 设置的搜索和过滤功能。
教程介绍如何在本地用 LM Studio 运行 OlympicCoder 7B 并接入 VS Code:安装 LM Studio,从 hub 拉取 4bit GGUF 版本(推荐 Q4_K_M 量化)。
Hugging Face 发布教程,指导用 React Native 构建可在 Android 和 iOS 上从 Hugging Face Hub 下载 GGUF 模型并完全离线本地推理的聊天应用,完整代码在 EdgeLLM 仓库。
Mistral AI 推出 TranscriptToPRDTicket agentic workflow,由 PRDAgent 和 TicketCreationAgent 两个组件构成,均基于 Mistral Large 2 驱动,可将会议记录自动转化为 PRD 和结构化开发任务。
Arize Phoenix 提供集中式平台,可实时追踪、评估和调试 Agent 的决策过程。教程以 smolagents 构建的 CodeAgent 为例,通过 OpenTelemetry + OpenInference 自动捕获 smolagents 调用的 trace。
Hugging Face 博客给出一套测算大规模分类与嵌入推理成本和延迟的方法,覆盖硬件选择、部署、负载测试与推理服务四个环节,并开源了代码 https://github.com/datavistics/encoder-analysis。
Hugging Face 发布面向视频生成模型微调的数据集构建工具链,包含下载、预处理过滤与打标三阶段流水线,用 yt-dlp 下载、LAION-5B-WatermarkDetection 检测水印、improved-aesthetic-predictor 打美学分、OpenCV 计算运动分,并用 Florence-2 或 Qwen2.5 生成字幕。
Hugging Face 博客用 GRPO 和 Countdown Game 在 4x NVIDIA H100 上复现 DeepSeek R1 的 aha moment,训练 Qwen2.5-3B-Instruct 学会自我验证与搜索。
推荐理由:教程给出可复现的 GRPO 训练配置与超参调整过程,读者可据此在自有硬件上复现类似实验。
Hugging Face 与 AWS 合作发布持续更新的文档,介绍如何在 AWS 上部署和微调 DeepSeek R1 系列模型。