跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

62 条精选近 30 天 17 条共收录 464 条

更新

精选归档 · 第 4 页

6月5日周一第 61–62 条
  1. Hugging Face Blog65

    Falcon 系列模型接入 Hugging Face 生态并提供完整推理与微调指南

    Hugging Face 官方博客介绍 Falcon 系列模型(Falcon-40B 与 Falcon-7B,由阿布扎比 Technology Innovation Institute 以 Apache 2.0 许可发布)接入其生态的完整用法。

    推荐理由:文章系统梳理了 Falcon 在 Hugging Face 生态中的推理、量化与微调路径,可直接迁移为落地参考。

7月28日周三
  1. OpenAI News66

    OpenAI 开源 GPU 编程语言 Triton 1.0

    OpenAI 发布 Triton 1.0,一款类 Python 的开源编程语言,让没有 CUDA 经验的研究者也能编写高效 GPU 代码,多数情况下性能可与专家手写代码相当。

    推荐理由:原文点明了 Triton 1.0 面向无 CUDA 经验研究者且性能接近专家水平,读者可据此判断它对 GPU 编程门槛的影响。