DeepSeek 开源 DeepInfer 推理栈,vLLM 复现其吞吐并引发盈利讨论
DeepSeek 开源了支撑 V4.1 Flash 的生产推理栈 DeepInfer,官方披露单集群 155T tokens/day、96% 输入缓存命中、$38/加速卡小时的离峰收入。
推荐理由:原文梳理了开源推理栈的经济数据与vLLM的对照复现,读者可据此判断推理盈利说法的边界。
公司与模型
DeepSeek(深度求索)的模型发布、开源权重、技术报告与 API 价格变化。
6 条精选近 30 天 2 条共收录 19 条
DeepSeek 开源了支撑 V4.1 Flash 的生产推理栈 DeepInfer,官方披露单集群 155T tokens/day、96% 输入缓存命中、$38/加速卡小时的离峰收入。
推荐理由:原文梳理了开源推理栈的经济数据与vLLM的对照复现,读者可据此判断推理盈利说法的边界。
DeepSeek 发布 DeepSeek-V4.1-Flash-1017,现已通过官网、App 和 API 提供,并在 Hugging Face 和 ModelScope 开源模型权重,同时首次向外部开发者开放其自研搜索引擎的 Search & Fetch API。
推荐理由:原文给出了新模型在成本与准确率上的具体对比数字,读者可据此评估小模型替代更大竞品的可行性。
DeepSeek 发布 DeepSeek-V4,两个 MoE 检查点上线 Hub:DeepSeek-V4-Pro 为 1.6T 总参数 / 49B 激活,DeepSeek-V4-Flash 为 284B 总参数 / 13B 激活,均支持 1M token 上下文窗口。
推荐理由:文章拆解了长上下文推理成本与智能体后训练设计,读者可据此理解它为何适合长时程智能体任务。
DeepSeek-V3 0324 上周悄然登陆 Hugging Face Hub,它是 R1 推理模型底层基座 DeepSeek-V3 的更新版本,架构与原版相同并改用 MIT 许可证。
推荐理由:文章梳理了新模型的基准提升与部署方式,并给出开源模型下载和使用的安全注意事项。
Hugging Face 博客用 GRPO 和 Countdown Game 在 4x NVIDIA H100 上复现 DeepSeek R1 的 aha moment,训练 Qwen2.5-3B-Instruct 学会自我验证与搜索。
推荐理由:教程给出可复现的 GRPO 训练配置与超参调整过程,读者可据此在自有硬件上复现类似实验。
Hugging Face 发布 Open-R1 项目,旨在系统性重建 DeepSeek-R1 的数据与训练管线、验证其技术报告中的主张,并推动开源推理模型的发展。
推荐理由:原文拆解了 DeepSeek-R1 训练配方中尚未公开的部分,并给出 Open-R1 的三步复现路线,便于读者理解开源社区如何补齐这些环节。