Google Cloud C4 搭配 Intel 与 Hugging Face 实现 GPT OSS 70% TCO 改善
Intel 与 Hugging Face 合作测试显示,Google Cloud C4 虚拟机(搭载 Intel Xeon 6 处理器)运行 OpenAI GPT OSS 大语言模型时,总拥有成本(TCO)较上一代 C3 虚拟机改善 1.7 倍(约 70%)。
Intel 与 Hugging Face 合作测试显示,Google Cloud C4 虚拟机(搭载 Intel Xeon 6 处理器)运行 OpenAI GPT OSS 大语言模型时,总拥有成本(TCO)较上一代 C3 虚拟机改善 1.7 倍(约 70%)。
Hugging Face 用 Optimum Intel 和 OpenVINO 演示了 3 步在 Intel CPU 上本地运行 VLM 的流程,无需 GPU,示例模型为 HuggingFaceTB/SmolVLM2-256M-Video-Instruct。
Hugging Face 发布三部分系列第一篇,讲解如何把 RedNote 的 3B 参数 OCR 模型 dots.ocr(在 OmniDocBench 上超过 Gemini 2.5 Pro)通过 Core ML 和 MLX 组合转到端侧运行,其中视觉编码器用 Core ML、Qwen2.5-1.5B 语言骨干用 MLX。
Hugging Face 博客发布 VibeGame,一个基于 three.js、rapier 和 bitecs 构建的高层声明式游戏引擎,专为 AI 辅助游戏开发设计,采用类 XML 声明式语法与 ECS 架构,并附带面向 AI 的 llms.txt 文档。
Hugging Face 用 OpenVINO.GenAI 的投机解码把 Qwen3-8B 在 Intel® Core™ Ultra 上的生成速度提升约 1.3×,再对 Qwen3-0.6B 草稿模型剪掉 28 层中的 6 层并微调,加速比推到约 1.4×。
Hugging Face 推出 SyGra,一个面向 LLM 和 SLM 的低代码/无代码数据构建框架,支持 Q&A 生成、DPO 偏好对、推理增强、多语言转换、质量过滤等数据创建与对齐任务。SyGra 提供 Python 库,可集成 vLLM、Hugging Face TGI、Triton、Ollama 等多种推理后端,让用户专注提示词工程而无需编写复杂脚本。
Hugging Face 官方博客详解为支持 OpenAI gpt-oss 系列而对 transformers 库做的多项升级,包括可从 Hub 下载的零构建 kernels、MXFP4 量化、Tensor Parallelism、Expert Parallelism、动态滑动窗口层与缓存、连续批处理与 Paged Attention 以及更快加载大模型。
推荐理由:逐项拆解了可直接复用的配置参数与代码片段,读者可按需移植到自己的模型上。
Hugging Face 官方博客介绍如何在 ZeroGPU Spaces 中接入 PyTorch ahead-of-time (AoT) 编译,利用 spaces 包提供的 aoti_capture。
推荐理由:文章给出可直接复用的 AoT 编译接入步骤和多种进阶技巧,读者可据此改造自己的 ZeroGPU 应用。
Hugging Face 官方教程介绍如何把 Claude 连接到 Hugging Face MCP Server,从而调用 ZeroGPU 驱动的 Spaces 生成图像。
Hugging Face 介绍如何通过 MCP(Model Context Protocol)让 AI 用自然语言调用研究工具,自动完成跨 arXiv、GitHub、Hugging Face 的论文、代码、模型与数据集检索。
Hugging Face 官方博客给出使用 kernel-builder 库从零构建 CUDA kernel 的完整教程,以 RGB 转灰度图为例,演示项目结构。
Hugging Face 在 Accelerate 中通过 ParallelismConfig 类支持任意组合 DP、FSDP、Tensor Parallel、Context Parallel 等并行策略,并同步集成进 Axolotl,配置只需在 config 文件中添加 dp_shard_size、tensor_parallel_size 等字段。
Mistral AI 演示了用 LoRA 微调 Pixtral-12B 在 Aerial Image Dataset(AID)上做卫星影像场景分类的完整流程。
Hugging Face 官方博客介绍如何用 Gradio 的 MCP 集成把 Python 函数自动转成 LLM 可调用的工具,并以 IDM-VTON 虚拟试衣模型为例构建 AI 购物助手。
Intercom 分享了构建可扩展 AI 平台的三个关键经验,涵盖从评估(evaluations)到架构设计,以在客户支持领域保持领先。文章由 OpenAI News 发布,聚焦 AI 平台的可持续优势建设路径。
Hugging Face 官方博客介绍了在 Diffusers 和 PEFT 中优化 Flux.1-Dev 模型 LoRA 推理速度的方案,通过 Flash Attention 3、torch.compile、FP8 量化和支持热交换的加载方式,在 H100 上相比基线取得 2.23 倍加速。
Hugging Face 发布 Arc Virtual Cell Challenge 入门指南,面向无生物学背景的 ML 工程师,讲解如何训练模型预测 CRISPR 沉默基因对细胞的影响。
Consilium 是在 Gradio Agents & MCP Hackathon 中构建的多 LLM 协作平台,让多个模型通过结构化辩论就复杂问题达成共识,提供 Gradio 可视化界面和 MCP server 两种形态,可集成到 Cline 等应用。
Hugging Face 官方博客详解其 hf.co/mcp MCP Server 的构建过程与设计取舍,生产环境采用 Streamable HTTP 的无状态 Direct Response 配置,理由是资源开销最低且现有工具无需在请求间维护状态。
Hugging Face 官方博客介绍异步推理方案,将策略推理与动作执行拆分到 PolicyServer 和 RobotClient 两个进程,通过 gRPC 通信,让机器人在推理期间继续执行当前动作队列,消除空闲等待。
Hugging Face 官方博客介绍如何通过 MCP 协议为 LLM 接入新能力:Gradio 自 5.28.0 起支持 MCP 协议,使 Hugging Face Spaces 成为可检索的 MCP App Store。
Hugging Face 与 AMD 合作开源了针对 8 MI300X 节点上用 VLLM 跑 Llama 3.1 405B FP8 推理的优化 kernel,代码发布在 hf-rocm-kernels 仓库。
Hugging Face 博客基于 nanoVLM 项目排查训练 GPU 空闲问题,发现数据流水线浪费严重,朴素 padding 下约 60% 的 batch 是无用 token。
Hugging Face 基础设施团队详解支撑其生产环境的三大关键告警:NAT Gateway 出口流量阈值告警、Hub 请求日志归档成功率告警,以及第三项告警。日志管线由 Filebeat 采集、Logstash 富化(含 GeoIP)、Elasticsearch 存储构成,告警用于在问题演变为重大事故前及时发现并响应,保障平台稳定性与可用性。
Hugging Face 官方博客给出用 Sentence Transformers 微调稀疏编码器(Sparse Encoder)的完整教程,涵盖模型、数据集、损失函数、训练参数、评估器与 Trainer 各组件,并介绍 SPLADE、Inference-free SPLADE、CSR 三种架构的选型。
Hugging Face 官方博客给出用 diffusers 库以 QLoRA 微调 FLUX.1-dev 的完整教程,在 RTX 4090 上峰值显存约 9GB,700 步训练约 41 分钟,而同配置 BF16 LoRA 需 26GB、无优化全量微调估计约 120GB。
推荐理由:给出了完整的显存数据和可复现命令,读者可据此评估自己硬件能否跑通并直接照做。
TNG 在自托管的 24 张 H100 集群上为 50 多个应用提供 LLM 服务,日处理超 1 亿输入 token、生成超 1000 万输出 token,文章分析了长提示词如何阻塞 prefill 队列并拖慢并发 decode。
NVIDIA 发布教程,演示如何用单个开源 LeRobot SO-101 机械臂的遥操作数据对 Isaac GR00T N1.5 做后训练微调。
Hugging Face 在 nanoVLM 仓库中从零实现了 KV Cache,使生成速度提升 38%。文章先解释自回归生成中每步都重算全部 K、V 的冗余,再说明缓存各层 K、V 后只需为新 token 计算增量的原理。
Arm 合作伙伴兼生态负责人 Michael Gamble 构建了一个在 Arm CPU 上完全本地运行的个人声音生成应用,基于 Stability AI 的 Stable Audio Open 模型与 PyTorch、TorchAudio,无需 GPU 和云端推理,几秒内即可从提示词生成 .wav 文件。
用户在使用 liger loss 配合 DeepSpeed ZeRO3、以 bf16 精度训练 Qwen/Qwen2.5-0.5B-Instruct 时遇到 shape mismatch 报错,错误发生在 TRL 的 GRPO trainer 调用 liger_kernel 的 LigerFusedLinearGRPOFunction 计算 loss 的过程中。
Hugging Face 发布教程,介绍如何用 Python 构建约 70 行代码的 MCP 驱动 Tiny Agent,并宣布 tiny-agents 已支持 AGENTS.md 标准。
推荐理由:文章拆解了 MCPClient 与 Agent 的关键代码,读者可据此理解一个 MCP 智能体如何用极少代码搭起来。
Hugging Face 发布 nanoVLM,一个用纯 PyTorch 训练视觉语言模型的轻量工具包,灵感来自 Andrej Karpathy 的 nanoGPT,可在免费 Colab 上启动训练。
Hugging Face 官方博客以 Flux-dev(BF16 加载约 31.447 GB)为例,实测 Diffusers 集成的 bitsandbytes、torchao、Quanto、GGUF 和 FP8 Layerwise Casting 五种量化后端的显存与推理表现。
OpenAI 介绍如何用 custom instructions(自定义指令)让 ChatGPT 根据你的角色、偏好和工作场景进行个性化设置。该功能允许用户在对话中持续注入个人背景信息,使模型回复更贴合实际需求。
Hugging Face 发布博客回顾过去一年视觉语言模型(VLM)的发展,覆盖 any-to-any 模型、推理模型、小模型、MoE 解码器、VLA、目标检测与分割、多模态安全、多模态 RAG、多模态 Agent、视频语言模型、DPO 对齐技术和新基准等主题。
LeRobot 官方博客把机器人泛化定义为数据问题,介绍社区数据集在 Hugging Face Hub 上快速增长的现状,并指出当前数据集在任务标注、特征命名、episode 完整性和动作维度上的常见问题。
Hugging Face 博客通过对比 Qwen-3 与 Qwen-2.5、QwQ 的 Jinja 聊天模板,总结出四点设计变化。Qwen-3 可通过 enable_thinking 标志关闭推理,用滚动检查点保留工具调用后的完整 think 块并裁剪更早内容,工具参数仅在非字符串时才做 tojson 序列化,且不再内置默认系统提示词。这些改动旨在提升智能体工作流的可靠性与效率。
Hugging Face 官方教程介绍如何用 Gradio 把任意 Python 函数变成 LLM 可调用的 MCP 工具,只需在 launch 中设置 mcp_server=True 即可启动 MCP 服务器并获得 SSE 端点。
Hugging Face 发布 Tiny Agent,用约 50 行 TypeScript 代码实现一个由 MCP 驱动的 Agent,核心思路是 MCP 客户端之上套一个 while 循环。
推荐理由:文章把 MCP 客户端与 Agent 的实现拆解到 50 行代码级别,读者可直接照搬这套 while 循环结构到自己的项目。