如何设计经得起考验的 AI serving harness

企业 AI 竞争优势正从"选哪个模型"转向"围绕模型构建什么"，核心是 serving harness——包括架构、内存管理、调度和优化在内的工程系统。文章建议从工作负载而非模型出发设计架构，先测量再优化（如 KV cache 随并发和上下文长度增长导致 GPU 显存瓶颈），并构建可随模型和硬件演进而灵活调整的架构，而非围绕当前 benchmark 一次性重建平台。