vLLM 官方博客·· 13 天前
vLLM Day-0 支持 Recursive 40B MoE 模型 Flint，单卡推理约 500 tokens/s
AI 导读
vLLM 宣布 Day-0 支持 Recursive 的 Flint，其 NVFP4 和 BF16 checkpoint 均可在单张 GPU 上运行，在一张 GB200、100K token 上下文下单请求解码约 500 tokens/s。
来源：vLLM 官方博客 · vllm.ai
vLLM Day-0 支持 Recursive 40B MoE 模型 Flint，单卡推理约 500 tokens/s