跳到正文
The Decoder· Matthias Bastian·· 3 小时前AI 评分62

百度开源 ERNIE 5.5 Flash Base 基座模型,280B 参数 MoE 架构

Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model

AI 导读

百度发布开源基座模型 ERNIE-5.5-Flash-Base,刻意不带微调与后训练,由开发者自行决定后续方向,后训练版本计划随后推出。该模型采用 MoE 架构,280B 参数中每次输入激活 14B,预训练使用 33.5 trillion tokens,训练上下文最长 128,000 tokens,微调与推理阶段设计支持至 1M tokens。

来源:The Decoder · the-decoder.com