Amazon Science·· 22 天前精选AI 评分61
AWS 提出 priming 方法，可将预训练 Transformer 改造成混合状态空间架构
Can we change an AI model’s architecture without retraining it from scratch?
AI 导读
AWS 团队发布论文《Priming: Hybrid state space models from pre-trained Transformers》，提出 priming 方法，复用预训练 Transformer 权重构建混合架构，将预训练成本降低逾 99%，全流程消耗不足源模型 0.5% 的 token 预算。
推荐理由
AWS 团队提出 priming 方法，把预训练 Transformer 改造成混合架构的预训练成本降低逾 99%，并开源了 8B 和 32B 模型与代码。
来源：Amazon Science · amazon.science