跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

88 条精选近 30 天 29 条共收录 713 条

更新

精选归档 · 第 2 页

10月22日周四第 21–40 条
10月21日周三
  1. NVIDIA Blog61

    NVIDIA 在 GTC Berlin 公布 RTX Spark、DGX Spark、DGX Station 本地 AI 硬件全线更新

    NVIDIA 在 GTC Berlin 公布本地 AI 硬件全线进展:DGX Spark 64GB 版本 10 月 23 日起出货,NVIDIA Sync 本月支持最多八台 DGX Spark 组集群并新增 Model Launcher,DGX Station for Windows 将于 12 月上市。

    推荐理由:原文系统梳理了本地 AI 硬件产品线的分工与配套软件更新,读者可据此判断本地算力方案的选型边界。

  2. NVIDIA Blog62

    NVIDIA 在 GTC Berlin 2026 主题演讲发布 DSX POD、OpenShell 智能体安全架构等新品

    NVIDIA CEO 黄仁勋在 GTC Berlin 2026 主题演讲中宣布多项新品,包括 Vera Rubin AI 工厂参考设计 NVIDIA DSX POD,可将现场部署时间从六个月缩短至 14 天,其 AI Factory 平台可减少最多 100% 冷却用水和最多 30% 电力消耗。

    推荐理由:梳理了主题演讲中围绕智能体安全、开源模型和数据中心部署的具体产品与架构,便于对照理解其欧洲布局的落地路径。

10月20日周二
  1. Hugging Face Blog67

    Hugging Face 推出 TorchTPU,让 TPU 成为 PyTorch 原生设备

    Hugging Face 发布 TorchTPU,一个把 TPU 作为 PyTorch 原生后端的项目,Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行,只需 device_map="tpu" 即可加载模型,不再依赖 torch_xla 或 Optimum TPU。

    推荐理由:原文给出了从 torch_xla 迁移到原生后端的具体改动和实测加速数字,读者可据此评估 TPU 工作流的实际收益。

  2. Hugging Face Blog74

    PyTorch 2.15 为 Mac 的 MPS 后端带来 FP8 支持与更快的 LLM 解码

    Hugging Face 的 PyTorch 团队发布 PyTorch 2.15 的 MPS 更新:FP8(torch.float8_e4m3fn)登陆 Mac,可用 F.scaled_mm 直接做缩放矩阵乘法,占用内存为 BF16 的一半。

    推荐理由:原文用具体吞吐和内存数字说明了 MPS 后端在 Mac 上的能力变化,读者可据此判断本地推理与视频生成工作流的可行性提升。

  3. AWS Machine Learning Blog60

    Amazon Bedrock 为 Anthropic Claude 模型推出结构化输出功能

    Amazon Bedrock 现已正式为所有 Anthropic Claude 模型提供结构化输出,在 bedrock-runtime 和 bedrock-mantle 端点上均可返回符合 JSON schema 的响应,无需自定义解析、重试或后处理。

    推荐理由:原文说明了约束解码如何把输出从概率性变为确定性,并给出 schema 缓存与最佳实践,可直接迁移到自己的集成中。

10月17日周六
  1. AWS Machine Learning Blog62

    AWS 用 Amazon Bedrock AgentCore 构建九阶段智能体评估框架

    AWS SMGS Operations 团队分享了基于 Amazon Bedrock AgentCore Evaluations 的九阶段评估框架,覆盖从首次提交到生产响应的完整智能体生命周期,用于保障面向 AWS 全球现场销售的多智能体系统质量。

    推荐理由:原文用真实生产故障和九阶段框架展示了如何把智能体质量从一次性验收变成贯穿生命周期的持续机制,可迁移性强。

10月16日周五
  1. The Decoder76

    Black Forest Labs 开源图像模型 FLUX 3 Image Klein,8 GB 显存即可运行

    Black Forest Labs 发布 56 亿参数的开源权重图像模型 FLUX 3 Image Klein,支持文生图、图像编辑和最多十张参考图生成,具备原生 4K 输出、像素级精确编辑和边界框定位元素。

    推荐理由:原文给出了参数量、显存门槛和许可条款,读者可以据此判断它能否在本地工作流中替代闭源图像模型。

10月14日周三
  1. AWS Machine Learning Blog62

    在 Amazon Bedrock 上用 Grok 4.7 构建长程智能体并评测推理档位

    AWS 博客介绍 Grok 4.7 已在 Amazon Bedrock 上线,并构建一个工具调用智能体,在三个需要搜索而非查表的任务上以四个 reasoning effort 档位各跑 6 次共 72 次,答对 67 次:xhigh 全对 18/18,low 答对 15/18 但输出 token 约为 xhigh 的八分之一。

    推荐理由:原文给出可复现的评测设计与四档推理档位的 token 与正确率对照,读者可据此在自己任务上量测成本质量权衡。

10月9日周五
  1. Hugging Face Blog62

    Ai2 用 GPU 时间预算重构集群调度器

    Ai2 团队用 GPU 时间预算、层级公平份额分配和时间片合约取代了原有的优先级调度器,把 GPU 时间分配从逐案协商变成透明的预算流程。新系统要求每个请求由预算支撑,配合 7 天回看窗口的公平份额排序和 8 小时最小运行时保护,30 天测试期内团队拿到了 98% 应得 GPU 小时,集群占用率保持 98%,调试任务 p90 等待时间从 2 小时降到 30 秒,需人工介入的维修下降 74%。

    推荐理由:原文完整拆解了从优先级调度到预算制调度的迁移过程与量化收益,可迁移性强。

10月6日周二
10月2日周五
  1. NVIDIA Blog62

    NVIDIA DGX Spark 推出 64GB 版本,10 月 23 日开售

    NVIDIA 宣布 DGX Spark 将于本月推出 64GB 统一内存版本,10 月 23 日起在 Acer、ASUS、Dell、Gigabyte、HP、MSI 开售,起价 $4,999,预装 DGX OS 与 NVIDIA AI 软件栈,支持在设备本地运行最高 100-billion-parameter 模型。

    推荐理由:原文给出配置、价格与组网扩展路径,读者可据此评估本地跑智能体的可行方案。

10月1日周四
9月29日周二
  1. AWS Machine Learning Blog62

    Claude Sonnet 5.5 上线 Amazon Bedrock 与 Claude Platform on AWS

    AWS 宣布 Claude Sonnet 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上可用,定位为面向聚焦编码与知识工作的更高效 Sonnet 模型,多数任务单任务成本更低、速度更快。

    推荐理由:官方给出 Sonnet 5.5 在 Amazon Bedrock 上的能力定位与调用示例,可据此判断它适合承接哪类持续运行的编码任务。

9月24日周四
  1. Microsoft Research62

    微软研究:将物理 AI 推理卸载到边缘或云端可提升机器人性能与续航

    微软研究院对移动机器人操作负载的系统性测量显示,把物理 AI 推理从机载 GPU 卸载到边缘或云端 GPU 可提升任务表现并延长续航。

    推荐理由:微软对机器人推理负载的系统性测量显示,把推理从机载 GPU 卸载到边缘或云端可提升任务成功率与续航,并给出可复用的 Kubernetes 工具链。

  2. Google DeepMind62

    Google 为 Private AI Compute 引入安全服务端持久记忆

    Google 公布 Private AI Compute 的新架构,将持久化服务端记忆引入该平台,使 AI 助手能在跨设备场景下保留上下文。数据存放在加密存储中,解密密钥仅保留在用户个人设备上,模型需要访问时通过端到端加密通道连接云端安全隔离区,在隔离内存中临时解密、处理并重新加密。

    推荐理由:Google 公开了 Private AI Compute 的服务端持久记忆架构,读者可了解云端 AI 如何在保留设备端隐私标准的前提下跨设备记忆。