2024-08-09 12:21:25,
Qwen2-Math是什么?
Qwen2-Math是阿里巴巴最新开源的数学推理大模型,是基于 Qwen2 LLM 构建的专门用于数学解题的一系列语言模型。Qwen2-Math 提供了基础和指令微调两种版本,分别有1.5B(15亿)、7B(79亿)和72B(720亿)三种参数规模,以适应不同的应用需求。
在多项数学基准测试中,Qwen2-Math展现出卓越的性能,超越了包括GPT-4o、Claude-3.5-Sonnet和Gemini-1.5 Pro在内的当前市场上一些领先的开闭源模型,跻身全球顶尖数学推理模型行列。
虽然Qwen2-Math目前仅支持英文,但阿里巴巴已宣布即将推出中英双语版本,这将助力更广泛的用户群体开发和利用生成式AI应用。
Qwen2-Math的主要特性
- 支持多版本: Qwen2-Math 提供了基础和指令微调两种版本,分别有1.5B、7B和72B三种参数规模,适应不同的应用需求。
- 卓越的数学推理能力: 该模型在多个数学基准测试上表现出色,包括 GSM8K、Math、MMLU-STEM 以及中国的高考数学题目,尤其是在数学竞赛题目的解答上表现优异。
- 先进的训练方法: Qwen2-Math 在高质量的数学专用语料库上进行预训练,并结合密集的奖励信号与二元信号进行微调优化,确保模型的高准确性和自我校正能力。
- 去污染处理: 为了确保测试结果的公正性,模型在训练和微调过程中对重叠样本进行了去污染处理,特别是清除了与知名基准测试数据集有重叠的污染样本。
- 未来发展: 目前,Qwen2-Math 仅支持英文版本,阿里巴巴计划很快推出中英双语版本,以支持更多用户开发生成式 AI 应用。
Qwen2-Math的性能评测
在一系列数学基准评测上评估了我们的数学专用模型 Qwen2-Math。在 Math 上的评测结果表明,我们最大的数学专用模型 Qwen2-Math-72B-Instruct 超越了最先进的模型,包括 GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Pro 和 Llama-3.1-405B。
如何使用Qwen2-Math?
目前,Qwen2-Math模型仅支持英文,但阿里表示会很快推出中英双语版本,并且多语言模型也在开发之中。