跳到正文
  1. Hugging Face Blog74

    Sentence Transformers v6.0 新增 MultiVectorEncoder 支持 ColBERT 式晚期交互检索

    Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder,用同一套 API 加载 PyLate、Stanford-NLP ColBERT 和 colpali-engine 检查点,支持 ColBERT 式晚期交互检索。

    推荐理由:原文给出索引体积代价的具体数据和四种向量库的实测耗时,读者可据此评估落地成本。

  1. Hugging Face Blog62

    Hugging Face 发布 upskill 工具,用 Claude 生成 CUDA 内核技能并迁移到开源小模型

    Hugging Face 发布开源工具 upskill,用 Claude Opus 4.5 等大模型生成并评测 agent skill,再迁移到更小或本地模型使用,本次以编写 diffusers 模型的 CUDA 内核为基准任务。

    推荐理由:原文给出用大模型生成技能再迁移到小模型的完整流程与实测数据,读者可据此判断能否降低自己的调用成本。

  1. Hugging Face Blog61

    TRL 支持 vLLM 共置模式,GRPO 训练提速最高 1.73×

    Hugging Face 在 TRL 中通过 PR #3394 引入 vLLM colocate 模式,让训练与推理共享同一组 GPU、在同一进程组内轮流执行,取代此前需要独立 GPU 和 HTTP 通信的 server 模式。

    推荐理由:原文给出 colocate 模式的实测加速数据和踩坑清单,可帮助判断何时该从 server 模式迁移。

  1. Hugging Face Blog71

    Hugging Face 开源复现 OpenAI Deep Research,GAIA 验证集达 55.15%

    Hugging Face 在 24 小时冲刺中开源复现 OpenAI 的 Deep Research,基于 smolagents 构建的开源智能体在 GAIA 验证集上取得 55.15% 的成绩,超过此前开源框架 Magentic-One 约 46% 的水平。

    推荐理由:文中给出了代码动作相对 JSON 的具体优势和可复现的性能差距,读者可据此判断智能体框架选型的影响。

  1. Hugging Face Blog61

    Hugging Face Open-R1 项目一周进展:复现评测、GRPO 训练与合成数据生成

    Hugging Face 发布 Open-R1 项目首周更新,称已在 MATH-500 Benchmark 上基本复现 DeepSeek-R1 蒸馏模型的报告分数,并上线了公开评测 leaderboard。

    推荐理由:汇总了复现进度、训练管线细节和社区数据集,读者可据此评估开源复现 DeepSeek-R1 的可行性与路径。

  1. Hugging Face Blog61

    Hugging Face 与 Apple 推出 Stable Diffusion XL 的 Core ML 版本与混合位调色板压缩

    Hugging Face 与 Apple 合作将 Stable Diffusion XL 移植到 Core ML,发布了 apple/coreml-stable-diffusion-xl-base 完整流水线和 apple/coreml-stable-diffusion-mixed-bit-palettization 版本。

    推荐理由:原文给出混合位调色板压缩的逐层比特分配方法与实测体积数据,读者可迁移到自己的 Core ML 模型压缩上。

  1. Hugging Face Blog64

    Hugging Face Transformers 推出 assisted generation 低延迟解码方法

    Hugging Face 在 🤗 Transformers 的 .generate() 中推出新解码方法 assisted generation,用小模型生成候选 token、再由目标模型一次前向验证,在普通硬件上最高可将延迟降低 10x。

    推荐理由:原文拆解了延迟瓶颈并给出可复现的加速数字,读者可据此判断该方法是否适配自己的部署场景。

  1. Hugging Face Blog68

    Hugging Face 官方发布 TRL 与 PEFT 集成,24GB 消费级 GPU 可用 RLHF 微调 20B 模型

    Hugging Face 官方正式发布 trl 与 peft 的集成,让大语言模型的 RLHF 微调在消费级硬件上更易实现。文中给出三步流程:用 8-bit 精度加载活跃模型、通过 peft 添加可训练的低秩适配器、利用 disable_adapters 复用同一模型同时得到参考与活跃 logits,从而省去两份模型副本。

    推荐理由:原文拆解了 8-bit 加载、LoRA 适配器与复用同一模型的三步流程,读者可直接迁移到自己的显存受限训练场景。

  1. Hugging Face Blog71

    Hugging Face Diffusers 集成 ControlNet 并发布 StableDiffusionControlNetPipeline

    Hugging Face 在 Diffusers 中集成 ControlNet,发布 StableDiffusionControlNetPipeline,支持用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 生成,论文提出的 8 种条件模型全部支持。

    推荐理由:原文给出完整可复现的代码与性能数字,读者可直接照搬这套省显存的 ControlNet 推理配置。

已经到底了