Prime Intellect·· 2024-11-29精选AI 评分67
Prime Intellect 发布 INTELLECT-1：首个全球分布式训练的 10B 参数模型
INTELLECT-1 Release The First Globally Trained 10B Parameter Model
AI 导读
Prime Intellect 发布 INTELLECT-1，称其为首个全球协作训练的 10B 参数语言模型，基于 Llama-3 架构在 1T token 上训练 42 天，跨五国三洲最多同时使用 112 张 H100。
推荐理由
原文给出分布式训练的关键数字和 PRIME 框架细节，读者可以了解跨洲协作训练 10B 模型的可行性与工程代价。
来源：Prime Intellect · primeintellect.ai