它是什么
MoE 的取舍在这里最明显:权重体积按 30B 算(要装进显存/内存),但每次推理只跑 3B 的激活量(所以快)。显存不够时它反而比同尺寸稠密模型更容易卡在加载这一步。来源:https://github.com/QwenLM/Qwen3https://github.com/QwenLM/Qwen3
怎么用起来
本地跑:先把 30B 的权重装下(Q4_K_M 约 18GB 起),内存/显存吃紧时 24GB 是舒适线。来源:https://github.com/QwenLM/Qwen3https://github.com/QwenLM/Qwen3
以上坑来自 https://github.com/QwenLM/Qwen3https://github.com/QwenLM/Qwen3 与官方文档。
来源与署名
Mentioned from:https://github.com/QwenLM/Qwen3https://github.com/QwenLM/Qwen3 · 原作者 阿里云通义千问(Qwen)(Apache-2.0)。