Hugging Face Blog·· 2024-08-12精选AI 评分66
Hugging Face 发布 Falcon Mamba 7B：首个强性能无注意力 7B 模型
Welcome Falcon Mamba: The first strong attention-free 7B model
AI 导读
Hugging Face 与阿布扎比 TII 联合发布 Falcon Mamba 7B，基于 Mamba 架构并加入额外 RMS 归一化层，以约 5500GT 数据训练，可处理任意长度序列且生成每个 token 耗时恒定，能装进单张 A10 24GB GPU。
推荐理由
原文对比了 SSM 与 Transformer 在长序列上的内存与吞吐差异，读者可据此理解无注意力架构的适用边界。
来源：Hugging Face Blog · huggingface.co