跳到正文
vLLM 官方博客·· 2026-08-12精选AI 评分72

vLLM 提供 Qwen3.8-2.4T-A95B Day-0 支持

Day 0 Support for Qwen3.8-2.4T-A95B on vLLM

AI 导读

vLLM 宣布对 Qwen3.8-2.4T-A95B 提供 Day-0 支持,该模型是基于 Qwen 3.5 架构的 2.4 万亿参数稀疏 MoE 模型,含 512 个专家,92 层混合骨干中每 4 层使用一次 full attention,其余 69 层为线性注意力。

推荐理由

原文给出架构细节、量化方案和硬件要求,读者可以据此评估部署这个 2.4T 参数开源权重模型的成本与配置。

来源:vLLM 官方博客 · vllm.ai