跳到正文
Zyphra Research·· 2024-04-16精选AI 评分61

Zyphra 发布 7B 混合架构基础模型 Zamba

ZAMBA

AI 导读

Zyphra 发布 7B 基础模型 Zamba,采用 Mamba 块加每 6 层共享权重的全局注意力层的混合架构。

推荐理由

官方原文给出架构设计、训练规模和开放 checkpoints 细节,读者可以据此评估 Mamba 混合架构在本地部署上的取舍。

来源:Zyphra Research · zyphra.com