跳到正文
9月30日 · 周三

最新精选

9月17日周四
  1. GitHub Blog · AI & ML75

    GitHub 用 Copilot 将 Copilot 运行时迁移到 Rust 的实践复盘

    GitHub 工程师 Stephen Toub 复盘用 GitHub Copilot 把 Copilot agent runtime 从 TypeScript 重写为超过 80 万行生产级 Rust 的过程,代码主要由 AI 智能体编写,横跨 128 个 PR 并增量上线,性能提升数个数量级。

    推荐理由:GitHub 工程师复盘用 Copilot 把运行时从 TypeScript 迁到 Rust 的全过程,含多智能体协作与提示缓存数据。

9月10日周四
  1. Hugging Face Blog61

    Hugging Face 用 LoRA 适配器同步与 KV 前缀路由把 AsyncGRPO 跨 Job 训练提速 3.9 倍

    Hugging Face 博客展示了一个基于 TRL v1.14 AsyncGRPOTrainer 的跨 Hugging Face Jobs 异步 GRPO 训练方案:训练端只训练 LoRA 适配器,通过 Storage Bucket 挂载的共享文件系统把几 MB 的适配器传给 vLLM,无需 NCCL。

    推荐理由:原文给出五轮对照实验的完整指标变化,读者可据此学会用 AsyncGRPO 指标定位训练瓶颈并复现提速路径。

9月9日周三
  1. Mistral AI62

    Mistral 如何用 AI 智能体迁移 4 万行 Fortran 遗留代码

    Mistral 帮助一家欧洲能源运营商把 4 万行 Fortran 77 物理油藏模拟器迁移到 C++,该代码库没有测试套件和集中文档。团队先搭建数值一致性校验框架,用自定义解析器生成调用树并让上百个智能体补文档,再以规划、编码、测试、审查的智能体工作流逐模块迁移,由人工审查 PR 把关。

    推荐理由:Mistral 公开了用智能体迁移 4 万行 Fortran 的完整流程,含一致性校验与人工审查节点的取舍。

9月3日周四
  1. Hugging Face Blog61

    用 TRL 和 OpenEnv 开源复现训练代码模型画水彩的完整配方

    作者用 TRL 和 OpenEnv 开源复现了 Surya Narreddi 训练语言模型写 p5.brush 代码画水彩的配方,参考池数据集、RL 环境、训练脚本和模型全部公开,整条流水线可在 Hugging Face 上一条命令跑通。

    推荐理由:文章完整拆解了用 TRL 和 OpenEnv 复现审美奖励训练的全过程,含三组奖励配比对比与踩坑记录,可直接迁移。

8月26日周三
  1. Hugging Face Blog61

    Sentence Transformers v6.0 教你训练与微调多向量嵌入模型

    Hugging Face 官方博客介绍 Sentence Transformers v6.0 新增的 MultiVectorEncoder 模型类型及其完整训练方法,用于 ColBERT 式后期交互检索。

    推荐理由:原文给出可复现的完整训练脚本与关键超参取舍,读者可据此在消费级 GPU 上自建领域多向量检索模型。

8月21日周五
  1. Hugging Face Blog62

    Hugging Face 解析 Papers with Code 混合搜索的架构与实践

    Hugging Face 官方博客介绍其为 Papers with Code 复兴构建的混合搜索系统:PostgreSQL 全文检索提供词法基线,pgvector 加语义召回,再用 RRF 融合排序,目前维护超过 110,000 篇来自 arXiv 和 Daily Papers 的论文向量。

    推荐理由:文章拆解了离线批量与在线查询两条路径的分工方式,以及冷启动降级到全文检索的兜底设计,可迁移性强。

8月18日周二
  1. Hugging Face Blog74

    Sentence Transformers v6.0 新增 MultiVectorEncoder 支持 ColBERT 式晚期交互检索

    Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder,用同一套 API 加载 PyLate、Stanford-NLP ColBERT 和 colpali-engine 检查点,支持 ColBERT 式晚期交互检索。

    推荐理由:原文给出索引体积代价的具体数据和四种向量库的实测耗时,读者可据此评估落地成本。

7月10日周五
  1. Hugging Face Blog60

    PyTorch Profiling 系列第三篇:在 profiler 下对比六种注意力实现

    Hugging Face 发布 Profiling in PyTorch 系列第三篇,用 NVIDIA A100-SXM4-80GB 逐一 profile 注意力实现:手写朴素注意力、把 masked_fill 改成 masked_fill_ 的原地版本,以及 SDPA 的 math、efficient、flash、cudnn 四个后端。

    推荐理由:通过同一注意力实现在 profiler 下的六种形态对比,读者能学会先猜测再看 trace 的具体分析方法。

1月22日周四
  1. Mistral AI61

    Mistral AI 排查 vLLM 分离式部署内存泄漏:UCX mmap hook 是元凶

    Mistral AI 在 Engineering Deep Dive 系列首篇文章中复盘了排查 vLLM 内存泄漏的过程:在 Mistral Medium 3.1 配合 Prefill/Decode 分离式部署且启用 graph compilation 时,系统内存以 400 MB/分钟线性增长。

    推荐理由:逐层递进的排查路径和每种工具的失效原因,对定位同类底层内存问题有直接可迁移的方法价值。

已经到底了

扫码用小程序

爱心宝 小程序码
爱心宝
副业 小程序码
副业