阿里巴巴Qwen发布全新4B模型，256K长上下文大幅提升小型LLM能力

阿里巴巴通义千问（Qwen）团队为其紧凑型语言模型套件推出了两款引人注目的新成员：Qwen3-4B-Instruct-2507和Qwen3-4B-Thinking-2507。尽管它们规模适中，仅有40亿参数，但这些模型经过精心设计，能够在各种通用和专业任务中提供强大的性能，同时在标准消费级硬件上高效运行。这两款模型的突出特点是它们原生支持256,000个token的上下文窗口，使其能够处理异常长的输入——例如大量代码库、多文档档案或冗长对话——而无需外部修改。

从核心来看，这两款模型都构建于36个Transformer层之上，总共包含40亿参数（不包括嵌入层为36亿）。它们利用了分组查询注意力（Grouped Query Attention，GQA），包含32个查询头和8个键/值头，这种设计选择显著提升了效率和内存管理，对于处理超大上下文尤为关键。与混合专家模型不同，这些是密集型Transformer架构，确保在各种任务中提供一致的性能。令人印象深刻的262,144个token上下文容量直接集成到其架构中，每个模型都经过广泛的预训练，随后进行细致的对齐和安全后训练，以确保负责任的高质量输出。

Qwen3-4B-Instruct-2507模型专门针对速度、清晰度和精确指令遵循进行了优化。它旨在提供直接答案，而无需明确详细说明其推理过程，这使其非常适合用户优先考虑简洁响应而非复杂思维序列的应用。其多语言能力扩展到100多种语言，使其成为全球部署的有力候选者，适用于聊天机器人、客户支持、教育平台和跨语言搜索等领域。得益于其原生256K上下文支持，该模型可以无缝管理分析大型法律文档、处理数小时转录或总结海量数据集等任务，而无需进行内容分割。在性能方面，它在通用知识（MMLU-Pro）中获得69.6分，推理（AIME25）中获得47.4分，通用问答（SuperGPQA）中获得42.8分，编码（LiveCodeBench）中获得35.1分。值得注意的是，它在创意写作中表现出色，获得83.5分，多语言理解（MultiIF）达到69.0分，展示了其从语言辅导到生成丰富叙事内容的广泛通用性，同时在更分析的领域也表现出色。

相比之下，Qwen3-4B-Thinking-2507模型专为深度推理和复杂问题解决而设计。它通过在其输出中自动生成明确的“思维链”来区分自己，从而提供对其决策过程的透明度。此功能在数学、科学研究和编程等复杂领域中尤为有价值。该模型在技术诊断、科学数据解释和多步逻辑分析方面表现出熟练度。它非常适合需要结构化推理过程才能提供解决方案的高级AI代理、研究助手和编码伴侣。其基准测试强调了这一重点：数学（AIME25）中令人印象深刻的81.3%，科学（HMMT25）中55.5%，通用问答（GPQA）中65.8%，编码（LiveCodeBench）中55.2%，工具使用（BFCL）中71.2%，以及人类对齐中87.4%。这些分数表明，Qwen3-4B-Thinking-2507在推理密集型基准测试中可以与更大规模的模型竞争甚至超越其性能，为任务关键型应用提供更准确和可解释的结果。

Instruct和Thinking变体除了其专业功能外，还共享显著的进步。256K原生上下文窗口是一个共同的优势，使它们能够无缝处理极长的输入，而无需依赖外部内存变通方案。此外，两款模型都具有改进的对齐能力，从而在创意和多轮对话中产生更自然、连贯和上下文感知的响应。它们还“具备代理能力”，开箱即支持API调用、多步推理和工作流编排。从实际部署的角度来看，它们的效率是一项重要资产；它们可以在主流消费级GPU上运行，并提供量化选项以减少内存使用，并与现代推理框架完全兼容。这种灵活性使开发人员能够将它们部署在本地或在云环境中进行扩展，而无需大量的资源投入。

这些模型提供了广泛的框架兼容性，便于将它们集成到几乎任何现代机器学习管道中。它们的应用范围广泛，从边缘设备和企业虚拟助手到研究机构、编码环境和创意工作室。例如，指令遵循模式非常适合客户支持机器人、多语言教育助手和实时内容生成。另一方面，思维模式则专为科学研究分析、法律推理、高级编码工具和复杂的代理自动化而定制。

Qwen3-4B-Instruct-2507和Qwen3-4B-Thinking-2507的推出强调了一个令人信服的事实：精心设计的小型语言模型确实可以在特定领域与大型模型竞争，甚至超越其性能。它们结合了长上下文处理、强大的多语言能力、深度推理（在Thinking模式下）和增强的对齐能力，使其成为日常和专业AI应用的强大工具。通过这些发布，阿里巴巴有效地设定了新标准，使高性能、256K就绪的AI模型在全球范围内更易于开发者获取。