llama.cpp 与 ggml 发布 v1.0.0 库版本
llama.cpp 与 ggml 发布 v1.0.0 库版本，libllama 与 libggml 分别对应 LLM 推理与张量库的公共头文件。此后 ggml-org 项目在公共 C API 出现不兼容变更时将提升主版本号，向后兼容的功能与后端更新升 MINOR，无 API 变更的修复升 PATCH。
推荐理由：语义化版本规则和分发渠道清单，说明了本地推理库如何向下游开发者承诺接口稳定性。
技术方向
部署工程 最新动态
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
83 条精选近 30 天 27 条共收录 682 条
更新
部署工程的精选
Hugging Face Blog精选AI 评分6262 AWS Machine Learning Blog精选AI 评分6363 AWS 发布下一代 AgentCore runtime：会话启动提速 15 倍、隔离扩展到数据
AWS 宣布 Amazon Bedrock AgentCore runtime 的下一代版本正式可用，覆盖北美、南美、欧洲和亚太区域。
推荐理由：原文给出启动速度、算力上限、计费方式和数据隔离四方面具体变化，可据此评估它对生产级智能体部署成本与安全的影响。
AWS Machine Learning Blog精选AI 评分6161 AWS 教程：在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏
AWS 发布教程，介绍如何在 Amazon SageMaker HyperPod 的 PyTorch DDP 训练循环中加入三道检查来检测静默数据损坏（SDC）：all-reduce 前后的 NaN/Inf 梯度检查、跨节点重放的 ring replay 审计、以及 optimizer 更新后的权重指纹比对。
推荐理由：原文给出三道检查的实现代码与开销实测数据，读者可据此评估在自己训练任务中落地的成本与收益。
AWS Machine Learning Blog精选AI 评分6262 Amazon Bedrock AgentCore 推出 Web Search API
AWS 宣布在 Amazon Bedrock AgentCore 上推出 Web Search API，让开发者用一次 API 调用直接搜索网页，返回带文本摘录及可选标题、URL、发布时间的排序结果，无需先创建资源。
推荐理由：原文对比了 API 与 Gateway 的适用场景，读者可据此判断自己的项目该走哪条接入路径。
NVIDIA Blog精选AI 评分6262 NVIDIA 在 KubeCon 贡献 OpenShell 并发布 DSX AI Factory Platform 三个新组件
NVIDIA 在 KubeCon + CloudNativeCon 宣布将开源的智能体安全运行时 NVIDIA OpenShell 贡献给 CNCF（成为 CNCF Sandbox 项目）。
推荐理由：原文给出三个新组件的定位和实测数字，读者可据此评估它们对 Kubernetes 上 GPU 基础设施部署与推理扩容的实际改善。
Hugging Face Blog精选AI 评分6262 Hugging Face 推出 Decision Models 决策模型接口与生态支持
Hugging Face 介绍决策模型（decision model）概念及其在生态中的落地：模型接收 state 与 questions，直接返回带概率的结构化决策而不生成文本，接口包含 choice、score、noul 三种原语，并给出 confidence 计算方式。
推荐理由：原文梳理了决策模型的接口设计与三种原语，并说明 Transformers 和 llama.cpp 如何通过同一 API 提供服务。
AWS Machine Learning Blog精选AI 评分7575 Claude Fable 5.2 与 Claude Mythos 5.2 在 Amazon Bedrock 上线
AWS 宣布 Claude Fable 5.2 和 Claude Mythos 5.2 现已在 Amazon Bedrock 与 Claude Platform on AWS 上可用，通过 US Geo CRIS 和 Global CRIS inference profiles 提供。
推荐理由：原文同时给出模型能力定位、数据保留策略与迁移路径，读者可据此评估在 Amazon Bedrock 上接入新模型的实际门槛。
AWS Machine Learning Blog精选AI 评分6262 Amazon SageMaker Inference 支持 GPU 分区以提升端点 GPU 利用率
Amazon SageMaker Inference 现支持基于 NVIDIA MIG 的 GPU 分区，可将一张物理 GPU 切成多个硬件隔离的分区，让一个端点容纳多于 GPU 数量的模型，并可选择较新型号 GPU 的一部分而非整卡。
推荐理由：原文给出分区配置方法与实测对比数据，读者可据此判断如何为自己的负载选择合适分区规格。
NVIDIA Blog精选AI 评分6262 NVIDIA Vera CPU 发布：兼顾 Agent 速度与每瓦容量
NVIDIA 宣布 Vera CPU 同时提供快速的 Agent 性能和高每瓦容量，让服务商用单一 CPU 覆盖各类 Agent 工作负载，无需混搭快与密集的 x86 部件。
推荐理由：原文用多家伙伴的实测数据说明 Vera 在速度与每瓦容量上的表现，便于评估其对 AI 工厂选型的影响。
Mistral AI精选AI 评分6262 Mistral AI 扩展 Mistral Studio，新增托管智能体、工作流与应用能力
Mistral AI 宣布扩展其企业 AI 平台 Mistral Studio，新增托管智能体（managed agents）、应用、工作流能力，以及 enterprise context、agent observability 和 evaluations 等功能，配合 Mistral Large 4（Le Chonk）模型使用。
推荐理由：原文给出托管智能体、工作流与应用的具体能力和部署选项，可据此评估企业如何在保留数据控制的前提下落地智能体。
Hugging Face Blog精选AI 评分6767 Hugging Face 发布端侧 TTS 模型 Phonon 并开源权重
Hugging Face 发布可在本地设备运行的文本转语音模型 Phonon，无需服务器和网络，两周内下载量超过 200,000 次。模型提供约 65 MB 和 75 MB 两个尺寸，支持英语、法语、德语、西班牙语和葡萄牙语五种语言及 100 多个内置声音；Phonon 31m 仅支持英语并采用 Apache 2.0 许可，Phonon 40m 覆盖五种语言但限非商业使用。
推荐理由：原文交代了小模型兼顾音质与体积的技术路线、许可证差异和排行榜成绩，可帮助判断端侧语音方案的可用性。
AWS Machine Learning Blog精选AI 评分6262 AWS 教程：生产级 AI 智能体的四层上下文工程实践
AWS Machine Learning Blog 发布教程第二篇，讲解生产级 AI 智能体的四层上下文工程方法，并以开源多智能体数据分析方案 Deep Insight（基于 Strands Agents SDK 和 Amazon Bedrock AgentCore）作为参考实现展示代码。
推荐理由：以开源参考实现逐层给出可直接照抄的代码与配置，把四层上下文工程从概念落到具体实现。
Google DeepMind精选AI 评分6262 Google DeepMind 的规划辅助工具 PlanAssist 将新增 12 个英国地方规划局
Google DeepMind 宣布其 AI 规划工具 PlanAssist 将新增 12 个英国地方规划局，参与总数达 15 个，并进入为期 12 个月、使用真实申请的 Beta 阶段。
推荐理由：原文给出了试点中规划评估时间下降的具体幅度和报告免改通过率，可据此判断该工具在公共服务场景的实际可用程度。
AWS Machine Learning Blog精选AI 评分6262 Amazon SageMaker AI 多轮强化学习实战指南：Wordle 上把 gpt-oss-20b 解题率从 61% 提到 84%
AWS 官方教程演示如何在 Amazon SageMaker AI 上用多轮强化学习（MTRL）训练托管在 Amazon Bedrock AgentCore 上的智能体，以 Wordle 为例走通部署、数据准备、训练、MLflow 监控与评测全流程。
推荐理由：原文完整给出多轮强化学习的端到端流程、成本拆解和踩坑记录，可直接迁移到自有多步任务的训练设计。
NVIDIA Blog精选AI 评分6161 NVIDIA 扩展 Cosmos 平台，新增世界模型训练、评估与部署工具
NVIDIA 扩展 Cosmos 平台，新增训练工具、仿真检查点和 Cosmos Data Factory 蓝图，其在六个开放模型排行榜上均进入前五。
推荐理由：原文给出了数据、训练、部署三层工具的具体入口和落地数字，读者可据此判断世界模型开发流程的变化。
Hugging Face Blog精选AI 评分6161 Hugging Face 与 NVIDIA 教你用 Isaac Lab 训练 Microduck 行走并部署到真机
Hugging Face Blog 发布教程，介绍如何用 Isaac Lab 与 Newton 训练开源双足机器人 Microduck 的行走策略，导出 ONNX 后部署到真机。
推荐理由：教程给出从仿真训练到真机部署的完整命令与接口约束，读者可照此复现双足机器人行走策略的迁移流程。
NVIDIA Blog精选AI 评分6262 Google Cloud 与 NVIDIA 宣布 Vera Rubin A5X 实例正式可用
Google Cloud 与 NVIDIA 宣布 Vera Rubin 基础设施 A5X 实例正式可用，下月开放并计划扩展至欧洲，为云客户提供面向训练、推理和大规模强化学习的一体化平台。
推荐理由：原文说明了A5X实例的硬件构成和首批客户用例，读者可据此判断该平台面向的训练与强化学习负载形态。
NVIDIA Blog精选AI 评分6161 NVIDIA 在 GTC Berlin 公布 RTX Spark、DGX Spark、DGX Station 本地 AI 硬件全线更新
NVIDIA 在 GTC Berlin 公布本地 AI 硬件全线进展：DGX Spark 64GB 版本 10 月 23 日起出货，NVIDIA Sync 本月支持最多八台 DGX Spark 组集群并新增 Model Launcher，DGX Station for Windows 将于 12 月上市。
推荐理由：原文系统梳理了本地 AI 硬件产品线的分工与配套软件更新，读者可据此判断本地算力方案的选型边界。
NVIDIA Blog精选AI 评分6262 NVIDIA 在 GTC Berlin 2026 主题演讲发布 DSX POD、OpenShell 智能体安全架构等新品
NVIDIA CEO 黄仁勋在 GTC Berlin 2026 主题演讲中宣布多项新品，包括 Vera Rubin AI 工厂参考设计 NVIDIA DSX POD，可将现场部署时间从六个月缩短至 14 天，其 AI Factory 平台可减少最多 100% 冷却用水和最多 30% 电力消耗。
推荐理由：梳理了主题演讲中围绕智能体安全、开源模型和数据中心部署的具体产品与架构，便于对照理解其欧洲布局的落地路径。
Latent Space精选AI 评分8888 DeepSeek 开源 DeepInfer 推理栈，vLLM 复现其吞吐并引发盈利讨论
DeepSeek 开源了支撑 V4.1 Flash 的生产推理栈 DeepInfer，官方披露单集群 155T tokens/day、96% 输入缓存命中、$38/加速卡小时的离峰收入。
推荐理由：原文梳理了开源推理栈的经济数据与vLLM的对照复现，读者可据此判断推理盈利说法的边界。