这项由多伦多大学、向量研究所联卡内基梅隆大学、普林斯顿大学、伊利诺伊大学厄巴纳-香槟分校、图宾根ELLIS研究所以及马克斯·普朗克智能系统研究所的研究团队共同完成的工作，于2026年6月发表在arXiv预印本平台，论文编号为arXiv:2606.25178。对这向感兴趣的读者可以通过该编号直接检索原文。

从道有趣的问题说起：如果你是位庭教师，手头只有有限的时间，需要同时帮助个学生提数学、编程、逻辑、科学、阅读表格和模拟理六门课的成绩，你会怎么分配上课时间？平均分配固然公平，但那未聪明。也许某门课的进步会带动其他课的提升，也许死盯某门分课反而耽误了整体发展。这个问题，正是这篇论文要回答的核心挑战——只不过这里的"学生"是个人工智能大语言模型，而"老师"是套被称为"迁移感知课程"（Transfer-AwareCurriculum，简称TAC）的自动训练调度系统。

、为什么让AI同时学多门课这么难

现代大语言模型的训练，早已不只是让它学数学了。研究人员希望训练出个"全科优等生"——既能解程、写代码，也能处理逻辑谜题、阅读科学文献、分析复杂表格，甚至模拟程序运行结果。这听起来很美好，但实操起来问题重重。

研究团队做了个关键实验：他们分别用六个不同域的题目单训练模型，然后观察每个域的训练对其他五个域成绩的影响。结果非常有意思，可以把它想象成张"学科相互帮助"的地图。用表格类题目训练的模型，其模拟理能力提升了14.6个百分点；而用数学题训练的模型，同样的模拟理能力只提升了5个百分点。换句话说，不同科目之间的"知识迁移"能力差异巨大——有些课学了能带动片，有些课学了只能顾好自己那亩三分地。

这就带出了个很自然的问题：在有限的训练时间里，应该优先让模型练哪个域的题？过去的研究通常给出两种答案：要么按比例随机抽取各域的题目（随机均匀策略），要么依据"这个域现在学得怎么样"来决定多练还是少练。后者听起来很理，类似于"哪门课进步空间大就多学哪门"。但这两种法都有个共同的盲点——它们都没有考虑"学这门课，会不会顺带帮到其他课"。

二、个关键的区分：正在进步的域vs.带动全局的域

研究团队的核心洞察是：个域"当前容易学"和"学了对整体有好处"，是两件不同的事。

以这项研究的数据为例，数学是AI域常被训练的科目，模型在数学上的进步也确实可以量化——所以单从"进步空间"的角度来看，数学始终是个"值得多练"的选项。然而，团队发现数学训练产生的梯度向（可以理解为"学习这道题时大脑经网络调整的向"）与其他五个域的调整向几乎不致，有时甚至向相反。这意味着，拼命练数学虽然提了数学分，但对提升逻辑、表格、科学等向的帮助微乎其微，甚至可能稍有干扰。

相比之下，表格理这个域的训练梯度向，与模拟理、科学理、逻辑理这三个域的梯度向度致——也就是说，练表格题的时候，模型经网络的调整式同时也对这三个域有利，举多得。研究团队将这种"训练个域对其他域也有好处"的质称为"跨域迁移"。

这就引出了TAC的核心设计哲学：在决定"现在该练哪个域的题"时，不光要看这个域"现在能让模型有多大进步"，还要看这个域的训练"能不能顺带帮助其他域"。前者叫做"可学"，后者叫做"迁移"，TAC把这两个信号结在起，共同决定每步训练的重心。

三、TAC是怎么工作的：个自适应调度员

为了直观理解TAC的运作式，可以把它比作位聪明的职业教练，负责安排支六人队伍（六个训练域）的日常练习计划。这位教练每天都会观察每个队员的状态，并且评估"今天让张三多练，是否会顺带帮到李四和五"，然后据此分配每个人的练习时间。

TAC在技术上采用了种被称为"多臂老虎机"的决策框架。这个名字来源于赌场里那种同时有多个拉杆的老虎机——玩需要决定每次拉哪个拉杆，以获得多励。TAC的"拉杆"就是六个训练域，"励"就是训练果。每步训练鄂州pvc管粘接胶 ，TAC都从六个域中选个来练，然后根据实际果新自己对这六个域的"价值评估"，再决定下步练哪个。

TAC计每个域的"综得分"，这个得分由两部分加权成。部分是"可学"信号：通过观察模型在这个域做题时，回答对了多少道、答错了多少道，判断当前该域是否处于"进步区间"。如果个域的题目模型全会做，或者全不会做，这个域的可学就很低——前者说明已经掌握，后者说明出能力范围，两种情况都不适此刻训练。当答对和答错的题目数量接近均等时，可学，意味着正在从"不会"向"会"过渡，是佳学习时机。

二部分是"迁移"信号，这是TAC真正的创新所在。每次训练某个域时，模型内部会产生个"梯度向量"（可以理解为这次学习让经网络调整的向和幅度）。TAC把这个向量投影到个低维空间里（类似于把个复杂的三维物体投影成个简化的二维轮廓，保留主要特征但大幅压缩计量），并为每个域维护个随时间新的"向积累值"。每隔两步训练，TAC就计次六个域之间的"向相似度"——如果A域和B、C、D域的梯度向很接近，就说明训练A能顺带帮到B、C、D，A的迁移就。TAC利用这个相似度来新每个域的迁移评分，并通过归化处理，确保比较的是"相对谁好"，而非对数值。

整个计过程几乎不额外增加训练时间，实测发现TAC的额外开销不到整体训练时间的1，在实用上可以忽略不计。

四、TAC的细节设计：让系统既灵活又稳定

个好的调度系统不只需要正确的策略，还需要各种稳定运行的工程设计。TAC在细节上做了相当多的考量。

先是"探索与利用"的平衡问题。如果TAC直选综得分的域，那么得分稍低的域会长时间没有训练，其"价值评估"就会越来越陈旧，终失去参考意义。TAC采用了种带有"探索励"的选择机制——那些很久没被选到的域会自动获得额外加分，以确保所有域都定期被训练到。这就像位教练会定期给板凳球员上场机会，止他们的状态因为缺乏实战而退步。

其次是训练数据用完怎么办。当某个域的题目库被抽完时，TAC会把这个库重新洗，继续从头抽取，而不是切换到其他域。这样做保证了评分的域可以被重复练习，同时也不会把任何域的数据搁置。

再次是"双阶段新"机制。传统的老虎机策略只新被选中的那个"拉杆"的得分。但TAC的迁移信号是针对所有域同时计的——每次计完迁移，所有域的评分都应该新，而不只是被选中的那个。因此TAC在每次选中某个域后立即新它，并且每隔两步，顺带用新的迁移得分新其余所有域的评分（其可学得分则沿用上次被选中时的缓存值）。这相当于每个域都会定期"被动"地收到关于自身价值的新信息，而不等到被选中才新。

后是开始阶段的"热身"设计。训练刚开始时，TAC还没有积累足够的信息来判断哪个域有价值，贸然依赖不成熟的评估反而会偏颇。于是TAC在每个训练轮次开始时，先强制执行五轮"轮流上课"——六个域各训练次，顺序随机乱，确保每个域都有足够的初始数据，让后续的可学和迁移评估可靠。

五、真实果：数字背后的故事

研究团队在两个不同规模的语言模型上验证了TAC的果：个是阿里巴巴开发的Qwen3-1.7B基础模型，另个是Meta开发的Llama3.2-3B指令模型。他们用14个业测试集覆盖六个域，对比了四种法：不做任何强化学习训练的原始模型、随机均匀采样、人工设计的"先数学后其他"两阶段课程，以及只看可学不看迁移的先前优法SEC。

在Qwen3-1.7B上，TAC的综平均正确率达到33.9，比随机均匀采样出2.1个百分点，比单看可学的SEC出1.8个百分点。在Llama3.2-3B上，TAC达到31.3，比随机均匀采样出2.1个百分点，比人工设计课程出1.6个百分点。这些数字看起来不大，但在14个测试集的综平均上稳定提升2个百分点左右，在AI训练域已经是相当显著的系统改进，相当于10的相对提升幅度。

具体到各个域，TAC的改进尤为明显的是逻辑理（斑马谜题测试上比随机策略出近10个百分点）、数学（在Llama模型的MATH-500测试上比随机策略出5个百分点）、以及表格理（FinQA测试上在Llama模型上比随机策略出7.5个百分点）。科学理（GPQA）也在Qwen模型上提升了约2个百分点。唯TAC没有明显优势的是模拟理域的部分测试集（CodeI/O和CruxEval-O），研究团队认为这是因为该域的可学和迁移信号本身就比较平稳，调度策略的杠杆作用有限。

值得关注的是各法的稳定差异。SEC在Qwen模型上表现尚可鄂州pvc管粘接胶 ，但在Llama模型上反而比随机均匀采样还差0.7个百分点，差也大，说明单靠可学来调度存在较大的运气成分——碰巧哪个域在开头阶段可学，泡沫板橡塑板专用胶策略就会被"锁定"在那里，而这个判断在不同模型上并不致。TAC通过加入迁移这个"全局视角"有避了这种情况。

六、训练过程中发生了什么：场动态的资源博弈

研究团队对训练过程进行了详细的动态追踪，记录了每个域在每个训练步骤被选中的概率变化，以及可学和迁移评分的实时演化，结果相当耐人寻味。

在训练的前30步，TAC和SEC的行为几乎样——都在探索各个域，没有明显偏好。从30步到50步之间，科学理（STEM）域的可学突然飙升，这是因为模型此时正处于从"几乎全错"向"部分答对"的过渡阶段，学习信号非常强。SEC感知到这个信号后，迅速将大量训练资源集中到科学理域。到60步时，科学理占据了SEC将近半的训练时间，并且此后直维持主地位。

TAC同样感知到了科学理的可学，也短暂增加了对它的投入，但与此同时，迁移信号发出了不同的声音——表格理域的梯度向开始与其他多个域度对齐，其迁移评分逐渐攀升至六个域中的位。于是TAC在短暂倾向科学理后，逐渐将资源重新分配给表格理，后者在训练末期占据了大的训练份额。逻辑理域也受益于类似的迁移优势，获得了比随机策略多的训练时间。

与此同时，数学和代码生成域的迁移评分始终处于六个域中的末位——它们的梯度向与其他域普遍不致，有时甚至相反。TAC因此给这两个域分配了少的训练时间。研究团队认为这背后有个很自然的解释：Qwen3这类基础模型在预训练阶段已经消化了海量数学和代码数据，数学和代码能力早已相当成熟。继续在强化学习阶段大量练习这两个域，相当于反复磨个已经很锋利的刃口，收益递减，而且这种"磨数学的动作"和"磨逻辑思维的动作"之间几乎没有共同之处——所以数学的梯度向孤立于其他域之外，迁移自然低。

从验证集的准确率曲线来看，TAC、SEC和随机策略在前40步几乎重叠。从40步开始，TAC逐渐拉开差距，SEC则基本紧贴随机策略线，没有明显优势。这条曲线清晰地说明：单凭老虎机的决策机制本身并不能带来改进，关键在于给老虎机提供什么样的反馈信号——只有迁移信号的加入，才让智能调度真正发挥了作用。

七、不均衡数据下的压力测试

现实中的训练数据往往不是均衡的。数学和科学类题库通常远比逻辑、表格类题库庞大，如果按原始数据量训练，数学和科学会主整个训练过程，其他域几乎没有发声机会。

研究团队门设计了组不均衡数据实验：数学和科学各有1500道题，模拟理和表格各只有500道题，其余域保持1000道题。在这种情况下，TAC的综准确率达到32.7，比随机策略1.9个百分点，比SEC1.5个百分点，在14个测试集中有11个排名。

TAC的优势在不均衡场景下甚至加突出。原因不难理解：当数学和科学的数据量是表格和模拟理的三倍时，初始调度自然倾向于数学和科学。SEC只看可学，旦数学和科学的可学信号（因为数据多、被抽到多、信号也稳定）占据主，就很难给小域留出空间。而TAC的迁移信号发现，旦数学和科学的梯度向对其他域贡献趋于饱和，就会主动释放资源给表格和模拟理这类"迁移"的域，从而避了资源向大域的过度集中。

八、系统有多灵活：参数稳定分析

个好用的系统不能"特别娇气"——如果只在某个精确的参数设置下才表现好，稍有偏差就急剧退化，那么实际应用价值就会大折扣。研究团队对TAC的三个关键参数进行了系统测试。

重要的参数是可学和迁移的混比例β。当β=1时，TAC退化为纯粹的可学策略，等价于SEC；当β=0时，TAC退化为纯粹的迁移策略。实验发现β=0.2时果好，说明迁移应该占主地位（80的权重），但可学的贡献也不可或缺。当β从0.2升至1时，能急剧下降，再次印证了迁移信号的核心价值；而β=0的纯迁移策略也比β=1略差，说明两者结才是优解。

老虎机学习率α控制每次训练后评分新的速度。α=0.3时果好，小的值新太慢（强化学习阶段梯度结构变化很快，太慢跟不上），大的值引入过多随机噪声。用于计迁移的梯度投影层数N的影响小——即使只取后两层，果也与取全部层相当，说明后几层经网络确实承载了大部分的域间对齐信息。

此外，研究团队还在大范围内测试了TAC的扩展，包括Qwen3-0.6B和Qwen3-4B两个规模的模型。在小的0.6B模型上，TAC比随机策略3.5个百分点；在4B模型上，TAC比随机策略2.2个百分点。论模型规模变大还是变小，TAC的改进都稳定存在，说明这套法并不依赖特定的模型规模，具有普遍适用。

说到底，这项研究回答了个既简单又刻的问题：在有限的时间里，让AI同时变聪明，应该怎么安排"课表"？答案并不是平均分配，也不是只盯着"当前进步快"的科目，而是要优先那些"学了能带动片"的科目。表格理不是耀眼的域，但它的训练果会悄悄渗透进逻辑、科学和模拟理；数学很重要，但在已经足够强大的基础上继续大量投入，产出的收益正在迅速边际递减，反而挤占了其他域的成长空间。

这个发现对AI行业的实际训练实践有直接的参考价值。未来的大模型训练不应该只是简单地堆数据、随机采样，而是需要在训练过程中持续监测各域之间的"知识流动向"，动态调整资源分配。TAC提供了套几乎成本（不到1的时间开销）实现这目标的法，且需额外的标注数据、评估测试集或者任何外部信息，自给自足地从训练过程本身提取信号。

当然，TAC的局限也很清晰：它只解决了"课表怎么排"的问题，不涉及"题目怎么出"或"评分标准怎么定"的问题。而且目前TAC的测试还局限在有明确对错判断的任务上，对于那些需要人类主观评价的开放问题（比如写作质量），这套体系还需要进步扩展。

如果你对这项研究的完整技术细节感兴趣，可以通过arXiv编号2606.25178找到原论文，那里有详尽的数学、实验设置和附录数据。

Q&A

Q1：TAC和普通的随机多域训练相比，到底好在哪里？

A：普通随机训练按固定比例抽取各域题目，不管当前模型的状态，也不考虑各域训练之间的相互影响。TAC每步都动态评估两件事：这个域现在是否处于模型的佳学习区间（可学），以及训练这个域是否会顺带帮助其他域进步（迁移）。通过将这两个信号结起来决定训练重心，TAC在六个域的综准确率上比随机策略稳定出约2个百分点，相当于10的相对提升。

Q2：TAC为什么发现数学域的迁移低，而表格理的迁移？

A：TAC通过比较各域训练时经网络的"调整向"来判断迁移。数学训练产生的调整向与逻辑、表格、科学等域的调整向几乎不致，原因是Qwen3等基础模型在预训练阶段已经大量学习了数学和代码，相关能力已经成熟，强化学习阶段的数学训练只是在"已有技能上反复磨"，走的向跟其他域差别很大。而表格理涉及结构化信息提取和多步理，这些能力与逻辑、科学理度重叠，训练表格时的"调整向"自然与这些域对齐。

Q3：TAC的额外计开销大吗，普通实验室能用吗？

A：TAC的额外计开销非常小，实测不到整体训练时间的1，在配备4块H100显卡的单机上，每个训练步骤仅多耗时约1秒（总步骤耗时约115秒）。核心原因是TAC的梯度投影只针对模型后几层参数，且采用随机投影降维到4096维，计量低。论文的全部实验都在单台4卡H100服务器上完成，每个训练运行约7小时，对于有定力条件的研究团队可行。相关词条:不锈钢保温     塑料管材设备     预应力钢绞线    玻璃棉板厂家    pvc管道管件胶

奥力斯    PVC管道管件粘结胶价格     联系人：王经理    手机：18231788377（微信同号）    地址：河北省任丘市北辛庄乡南代河工业区/p>

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述鄂州pvc管粘接胶 ，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。