Chaoyue Cup: OpenSeek's Journey Beyond - Co-Creation of LLM Challenge Competition
承办单位：北京智源人工智能研究院
由北京智源研究院发起的OpenSeek开源计划诚邀全球AI开发者共同参与，以技术众创模式挑战构建超越DeepSeek的下一代大语言模型。本赛事作为人工智能领域的公益性技术攻关项目，将通过算法突破，数据革新和系统进化三大核心维度展开协同创新。
背景：
超越杯是琶洲和智源围绕OpenSeek项目打造的大模型挑战赛。OpenSeek是由北京智源人工智能研究院（BAAI）发起的开源项目，旨在联合全球开源社区，推动算法、数据和系统的协同创新，开发出超越DeepSeek的下一代模型。该项目从Bigscience和OPT等大模型计划中汲取灵感，致力于构建一个开源自主的算法创新体系。 自DeepSeek模型开源以来，学术界涌现出众多算法改进和突破，但这些创新往往缺乏完整的代码实现、必要的计算资源和高质量的数据支持。OpenSeek项目期望通过联合开源社区，探索高质量数据集构建机制，推动大模型训练全流程的开源开放，构建创新的训练和推理代码以支持多种AI芯片，促进自主技术创新和应用发展。
一、算法赛道介绍
算法赛道旨在鼓励参赛队伍在大模型训练与优化领域进行深入探索与创新。本赛道将提供统一的基准模型和丰富的训练资源，参赛选手需在给定条件下，通过调整预训练数据策略、预训练超参数、优化模型结构、强化学习后训练等方式，提升模型的性能与效率。赛道分为初赛和决赛两个阶段，旨在全面考验选手的数据策略、算法设计、模型优化以及强化学习等模型能力提升，推动大模型技术在实践中的应用与发展。
1.初赛赛题
初赛阶段，参赛队伍将基于赛事方提供的基线模型（模型总参数量1.4B，激活参数量0.4B的MoE模型）进行初始化，并使用100B规模的数据集进行训练优化。本阶段重点考察选手的数据策略、训练策略以及模型优化等方面的能力，鼓励在资源受限的情况下取得最佳效果。
参赛选手可以选择但不限于以下策略：
- 数据策略：
- 数据配比：参赛队伍可以根据自身对数据的理解和训练目标，灵活调整100B数据集中不同类型数据的采样比例和组合方式（最多选用30B数据）。合理的数据配比能够引导模型更好地学习特定领域的知识或提升在某些任务上的表现。
- 课程学习：参赛队伍可以设计并实现自定义的数据输入策略，例如采用由易到难的课程学习方法、数据去重、数据排序或动态调整数据输入顺序等，以优化模型的训练过程，加速收敛并提升最终性能。
- 训练策略：参赛队伍可以根据训练需求，灵活调整包括学习率（learning rate）、批次大小（batch size）、优化器、学习率调度器以及正则化方法在内的各类超参数。
- 模型结构：在遵守参数量限制的前提下，参赛队伍可以对基线模型结构进行修改和创新，要求必须是 MoE 模型，例如调整层数、改变专家路由方式、改变注意力机制计算方式、引入新的模块或优化现有模块的连接方式等，以探索更高效、更具表现力的模型架构。
赛题说明：
- 参赛队伍可以选择调整模型结构的策略，但模型参数量不能超过基线模型的总参数量及激活参数量。
- 严禁使用赛事方给定的100B数据之外的数据进行训练，一经发现，将取消比赛资格。
- 训练过程中，只能使用100B数据中的不超过30B数据进行训练。这旨在模拟实际资源受限场景，考验选手在有限数据下的优化能力。
- 如果参赛队伍调整模型结构，则需要参赛选手自行负责转换模型检查点(ckpt)，以确保其与评测系统兼容。
- 初赛排名中，若出现分数相同的情况，修改了模型结构的队伍将排名靠前，以鼓励技术创新和模型优化。
2. 决赛赛题
决赛阶段，参赛队伍将基于赛事方提供的经过SFT的基线模型（模型总参数量1.4B，激活参数量0.4B的MoE模型），并利用强化学习的方法，旨在显著提升模型在数学推理问题解决方面的能力。本阶段重点考察选手对强化学习算法的理解、数学任务的设计能力的创新策略。
参赛选手可以进行的调整策略：
参赛选手可以选择但不限于以下策略：
- 强化学习算法选择与优化： 参赛选手可以根据自身对强化学习的理解和训练目标，选择并优化包括但不限于PPO、DPO、GRPO等各类强化学习算法。合理选择和精细调整算法参数能够更有效地引导模型学习数学知识和解题策略。
- 训练数据生成与利用： 参赛队伍可以利用已有的数学数据集，探索生成新的、更具挑战性的数学问题或解题路径。在遵守数据限制的前提下，合理利用数据生成策略能够为强化学习过程提供更丰富的学习信号。
- 数学任务设计与奖励机制： 参赛队伍需要设计并实现针对数学能力提升的特定任务和环境，并构建有效的奖励机制。这可能包括但不限于：定义不同难度级别的数学问题并采用课程学习的方式进行训练、设计中间步骤的奖励信号、对最终答案的准确性和解题效率进行奖励等。精巧的任务设计和奖励函数能够引导模型更深入地理解数学概念并掌握解题技巧。
二、系统赛道介绍
随着大模型参数的快速增长（如千亿参数大模型），如何在有限的计算资源下高效完成模型的推理和训练已成为工业界与学术界的核心挑战。为探索分布式AI系统优化的前沿技术，本次比赛要求参赛者在固定集群配置下，对给定的模型架构与超参数进行推理与训练性能优化，充分挖掘硬件潜力，提升推理和训练任务的性能效率。本次比赛的代码基于FlagScale（大模型训推一体开源框架，以及高性能算子库FlagGems。
1. 初赛赛题
- 基于赛事方提供的模型（模型总参数量1.4B，激活参数量0.4B）、固定的超参（topk等）以及推理框架（FlagScale），参赛队伍对框架进行推理相关优化。本阶段重点考察选手在不影响计算精度的前提下，对吞吐指标的性能优化能力。
- 优化目标：在保持模型精度的基础上（-2%～）提升Throughput性能
- 允许的优化手段：包括但不限于：模型并行策略优化、显存管理（KV Cache压缩、动态批处理）、计算逻辑优化（算子融合、内核重写）、通信调度优化、模型压缩、投机采样等。
2. 决赛赛题
- 基于赛事方提供的模型（模型总参数量1.4B，激活参数量0.4B）、固定的超参配置（topk等）以及推理框架（FlagScale），参赛队伍对框架进行推理相关优化。本阶段重点考察选手在不影响计算精度的前提下，对延迟指标的性能优化能力。
- 优化目标：在保持模型精度的基础上（-2%～）提升Latency性能
- 允许的优化手段：包括但不限于：模型并行策略优化、显存管理（KV Cache压缩、动态批处理）、计算逻辑优化（算子融合、内核重写）、通信调度优化、模型压缩、投机采样等。