阿里开源 Qwen3 系列“混合”推理模型，据称全面超越 Llama 4

备受关注的Qwen3 终于来了。

此前就陆续有消息宣称阿里将于4 月更新其 Qwen 系列模型，终于，在四月的最后两天，阿里巴巴 Qwen Team 对外发布了其 Qwen 系列大型语言模型的新成员——Qwen3。

此次发布的Qwen3 系列涵盖了从小型到超大型的多个模型，旨在满足不同应用场景下的需求。其中，最吸引人眼球的当属旗舰模型Qwen3-235B-A22B。这是一款采用 MoE（Mixture of Experts, 混合专家）架构的大模型，拥有 2350 亿总参数量，在推理时激活其中的 220 亿参数。

除了旗舰模型，Qwen Team 还同时开源了另一款 MoE 模型Qwen3-30B-A3B 。该模型总参数量约为 300 亿，激活参数量为 30 亿。官方资料显示，这款模型的激活参数量仅为 Qwen 团队另一款模型 QwQ-32B 的 10% ，但在性能上却表现更优。这使得 Qwen3-30B-A3B 在需要高效推理和本地部署的场景下非常具有优势，例如本地编程。

此外，Qwen3 系列还包含六款传统的 Dense（密集）架构模型，参数规模从 0.6B 到 32B 不等，具体包括：Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B 、Qwen3-8B、Qwen3-14B 和 Qwen3-32B。这些 Dense 模型采用了更传统的架构，所有参数在推理时都会参与计算。Qwen Team 对这些模型的权重也进行了全面开源。

图丨模型参数（来源：Qwen）

基准测试结果显示，Qwen3 系列的表现相当亮眼。

尽管参数量相对较小，但旗舰模型Qwen3-235B-A22B 在代码生成与理解、数学推理、通用能力等关键领域，与 DeepSeek-R1、o1、o3-mini 、Grok-3 以及 Google 的 Gemini-2.5-Pro 等顶级模型不相上下甚至有所超越。最重要的是，在各项评估中，它都用不到一半的参数量实现了对直接竞争对手 LLaMA-4-Maverick 的全面超越。

图丨基准测试结果（来源：Qwen）

小型MoE 模型Qwen3-30B-A3B的表现同样出色。尽管其激活参数量仅为 30 亿，但在 ArenaHard、LiveCodeBench 等多项测试中，其性能不仅超越了参数量更大的 Qwen2.5-72B-Instruct 模型，还在某些项目上接近或超过了 GPT-4o。甚至参数量相当小的Qwen3-4B，也能在部分基准测试中匹敌或超越参数量远大于它的 Qwen2.5-72B-Instruct。

此外，和Gemini 2.5 Flash 一样，Qwen 3 系列最大的亮点是引入了思考/非思考这两种可切换的思考模式，这种设计允许用户根据任务需求，在推理深度（可能带来更高质量的答案）和响应速度（效率更高）之间进行权衡。官方称之为“思考预算 ”（Thinking Budget）控制。

Qwen 团队的数据显示，模型的性能提升与分配的计算推理预算（以 K tokens 为单位衡量）直接相关，并且展现出可扩展且平滑的性能曲线。这意味着用户可以通过调整预算，在成本效益和推理质量之间找到最佳平衡点。

（来源：Qwen）

在实际使用中，用户可以通过API 调用时的参数（如 enable_thinking=True/False）来控制默认模式。而且，Qwen3 还支持在多轮对话中通过在用户输入中添加特定指令（如 /think 或 /no_think）来动态切换当前轮次的思考模式，模型会遵循最近的指令。

Qwen3 的另一个亮点是，在多语言方面做出了重大改善，官方宣布其支持多达119 种语言和方言 。这覆盖了全球主要的语系，包括：

图丨Qwen 3 支持的语言（来源：Qwen）

除了基础的语言理解和生成能力，现代大型语言模型在执行复杂任务、与外部工具交互（即Agent 能力）以及编写和理解代码方面的能力也日益受到重视。Qwen3 在这些方面也进行了重点优化。

官方表示，Qwen3 模型的 Agent 能力和代码能力得到了显著提升，并且加强了对 MCP（Model Context Protocol）的支持，使得 Qwen 3 能更有效地参与到多智能体协作的场景中。

另外值得一提的是，据 Qwen 团队研究员郑楚杰透露，Qwen3 还有一些未在模型卡中透露出的有趣特性，或许能为研究和产品开辟出一些新的空间，值得我们期待一下。

图丨相关推文（来源：X）

在训练方面，Qwen 3 使用了约 36 万亿个 token 进行预训练，几乎是 Qwen2.5（18 万亿 token）的两倍。团队不仅从网络收集数据，还从 PDF 文档中提取信息，并利用 Qwen2.5-VL（Vision Language，视觉语言）和 Qwen2.5 改善提取内容质量。为增加数学和代码数据，团队还利用 Qwen2.5-Math 和 Qwen2.5-Coder 这两个领域专家模型合成数据。

预训练过程分为三个阶段：首先在超过30 万亿个 token 上进行基础预训练；其次增加知识密集型数据比例并额外训练 5 万亿个 token；最后使用高质量长上下文数据将上下文长度扩展到 32K token。

模型架构的改进也是Qwen3 性能提升的关键因素之一。官方提到，由于模型架构的改进、训练数据的增加以及更有效的训练方法，Qwen3 的 Dense 基础模型在整体性能上已经能与参数量更多的 Qwen2.5 基础模型相媲美。例如，Qwen3 的 1.7B 到 32B 的 Dense 模型分别能达到 Qwen2.5 的 3B 到 72B Base 模型的水平。对于 MoE 模型，在仅使用约 10% 激活参数的情况下，就能达到与 Qwen2.5 Dense 基础模型相似的性能，显著节省了训练和推理成本。

图丨基准测试结果（来源：Qwen）