Understanding the Progression of Educational Topics via Semantic Matching
Ministry of Education, United Arab Emirates(阿拉伯联合酋长国教育部);University of Exeter(埃克塞特大学);Heuristic World(启发世界)
本研究针对课程修订中多层比较繁琐的问题,采用BERT主题建模提取课程主题以分析科目关联、追踪主题演进、识别概念缺口,搭建配套仪表板并经专家验证有效,助力课程优化。
2024-02-10 cs.CL cs.CY cs.LG
Bandit Guided Submodular Curriculum for Adaptive Subset Selection
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本文提出ONLINESUBMOD方法,通过多臂老虎机框架和亚模函数优化,实现自适应子集选择,提升课程学习的准确性与效率。
2025-11-28 cs.AI cs.LG
Maneuver Decision-Making Through Automatic Curriculum Reinforcement Learning Without Handcrafted Reward functions
Aeronautics Engineering College, Air Force Engineering University(空军工程大学航空工程学院)
针对无人作战飞机自主空战机动决策问题,提出一种无需手工奖励函数的自动课程强化学习方法,按初始状态难度由易到难安排子任务,并验证其有效性与可解释性。
2023-07-12 cs.AI cs.LG cs.RO
A gray-box approach for curriculum learning
University of Leeds(利兹大学);Sapienza University of Rome(罗马第一大学)
课程学习通常用于深度强化学习,以让智能体更快地朝着更好的行为前进。文献中用于课程学习的数值方法仅提供初始启发式解决方案,其质量几乎没有保证。我们定义了一个新的灰箱函数,包括一个合适的调度问题,可以有效地用于重新制定的课程学习问题。我们提出了不同的有效的数值方法来解决这个灰盒重新制定。在课程学习文献中的基准任务上的初步数值结果显示了所提出的方法的可行性。
2019-06-17 cs.AI cs.LG math.OC
Improving Environment Robustness of Deep Reinforcement Learning Approaches for Autonomous Racing Using Bayesian Optimization-based Curriculum Learning
Cornell University(康奈尔大学)
针对深度强化学习策略环境鲁棒性不足、人工设计课程耗费人力的问题,提出用贝叶斯优化推断课程-奖励函数以获取鲁棒课程,在自主竞速避障任务中性能优于普通深度强化学习与人工课程方案。
2023-12-16 cs.LG cs.RO
Curriculum Reinforcement Learning for Complex Reward Functions
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
本文针对多奖励项复杂奖励函数中难以平衡且易被利用的问题,提出一种两阶段奖励课程方法,先优化简单奖励再自动过渡到完整复杂奖励,并引入灵活replay buffer实现高效阶段迁移,在DeepMind control suite和移动机器人场景中显著提升了策略性能与约束满足能力。
2025-02-10 cs.LG cs.RO
Understanding the Complexity Gains of Single-Task RL with a Curriculum
UC Berkeley(加州大学伯克利分校)
本研究将单任务强化学习重新表述为带课程的多任务问题,证明在温和条件下顺序求解更高效,并转化为加速模拟机器人任务学习的实用算法。
2023-06-18 cs.LG
Scaling Curriculum Learning For Autonomous Driving
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Bosch Center for AI(博世人工智能中心)
该研究提出CL4AD,将课程学习集成到批量自动驾驶模拟器中,在GPUDRIVE实验中使自动驾驶RL智能体的训练效率大幅提升,提前10亿步达到99%成功率,减少77%的时间,样本效率提升67%。
2026-08-25 cs.AI cs.LG
StarCraft Micromanagement with Reinforcement Learning and Curriculum Transfer Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
实时策略游戏是近年来游戏人工智能研究的一个重要领域。本文提出了一种强化学习和课程迁移学习的方法来控制星际微观管理中的多个单元。我们定义了一个有效的状态表示,它打破了游戏环境中的大状态空间所造成的复杂性。然后提出了一种参数共享的多智能体梯度下降Sarsa(λ)算法(PS-MAGDS)来对单元进行训练。我们的单位之间共享学习政策,以鼓励合作行为。我们使用一个神经网络作为函数逼近器来估计动作-价值函数,并提出一个奖励函数来帮助单位平衡他们的移动和攻击。此外,还使用了一种迁移学习方法将我们的模型扩展到更困难的场景,加快了训练过程,提高了学习性能。在小规模的场景中,我们的单位成功地学会了战斗,并以100%的胜率击败了内置的AI。在大规模场景下,课程迁移学习方法被用来逐步训练一组单元,并在目标场景下显示出优于一些基线方法的性能。通过强化学习和课程迁移学习,我们的单位能够在星际争霸微观管理场景中学习适当的策略。
2018-04-03 cs.AI cs.LG cs.MA
Variational Curriculum Reinforcement Learning for Unsupervised Discovery of Skills
KAIST(韩国科学技术院);UNIST(蔚山国立科学技术院)
本文提出变分课程强化学习(VCRL)和价值不确定性变分课程(VUVC),将变分赋能重构为目标条件强化学习中的课程学习,以提升无监督技能发现的样本效率与状态覆盖速度,并在真实机器人导航中验证其零样本能力。
2023-10-30 cs.AI cs.LG cs.RO
Cross-Episodic Curriculum for Transformer Agents
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学);NVIDIA Research(英伟达研究院)
提出跨情节课程(CEC)算法,通过将跨情节经验置于Transformer上下文中构建课程,提升智能体在强化学习和模仿学习中的效率与泛化能力。
2023-10-12 cs.AI cs.LG cs.RO
CuRLA: Curriculum Learning Based Deep Reinforcement Learning for Autonomous Driving
Birla Institute of Technology & Science, Pilani(毕拉理工与科学学院皮拉尼分校)
本文提出CuRLA,将PPO、VAE与双重课程学习结合,在CARLA中通过渐进难度和碰撞惩罚提升自动驾驶智能体的泛化性、安全性与多奖励平衡能力。
2025-01-09 cs.AI cs.LG cs.RO
Adaptive Curriculum Generation from Demonstrations for Sim-to-Real Visuomotor Control
University of Freiburg(弗莱堡大学);Toyota Research Institute(丰田研究院)
我们提出了自适应课程生成演示(ACGD)的强化学习在稀疏奖励的存在。ACGD不是设计成形的奖励函数,而是通过控制从演示轨迹中采样的位置以及使用哪组模拟参数来自适应地为学习者设置适当的任务难度。我们表明,在模拟中训练基于视觉的控制策略,同时通过ACGD逐渐增加任务的难度,提高了向现实世界的策略转移。领域随机化的程度也随着任务难度的增加而逐渐增加。我们展示了两个现实世界的操作任务:拾取和堆装和块堆叠的zero-shot转移。显示结果的视频可以在https://lmb.informatik.uni-freiburg.de/projects/curriculum/上找到
2020-07-08 cs.CV cs.LG cs.RO
Decoupling Task and Behavior: A Two-Stage Reward Curriculum in Reinforcement Learning for Robotics
Chalmers University of Technology(查尔姆斯理工大学);Gothenburg University(哥德堡大学)
本文提出了一种两阶段奖励课程方法,通过分离任务目标与行为术语,提升机器人强化学习中奖励函数设计的有效性和稳定性。
2026-03-05 cs.LG cs.RO
Achieving Optimal Tissue Repair Through MARL with Reward Shaping and Curriculum Learning
College of Interdisciplinary Studies, Zayed University(扎耶德大学跨学科研究学院);College of Engineering, The Hashemite University(哈希米特大学工程学院)
本文提出集成随机反应扩散系统、类神经电化学通信和生物启发奖励函数的MARL框架,结合课程学习优化组织修复,硅基实验展现动态分泌控制等涌现修复策略。
2025-04-14 cs.AI cs.LG cs.MA
Baby Sophia: A Developmental Approach to Self-Exploration through Self-Touch and Hand Regard
Robotics Institute, Athena Research Center(机器人研究所,阿提卡研究中心);HERON – Hellenic Robotics Center of Excellence(HERON – 希腊机器人 excellence 中心);Institute for Language and Speech Processing, Athena Research Center(语言和语音处理研究所,阿提卡研究中心)
受婴儿发育启发,提出强化学习框架Baby Sophia,在BabyBench环境中通过内在奖励和课程学习实现自触摸与手部注视的自主探索,证明纯好奇心信号可驱动多模态协调学习。
2025-11-12 cs.AI cs.LG cs.RO
TAROT: Test-driven and Capability-adaptive Curriculum Reinforcement Fine-tuning for Code Generation with Large Language Models
Electronics and Telecommunications Research Institute(电信研究所);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);Hugging Face;Ant Group(蚂蚁集团)
TAROT通过测试驱动和能力适应的课程强化微调方法,提升大语言模型生成代码的功能正确性和稳健性。
2026-02-17 cs.CL cs.LG cs.SE
Theory of Curriculum Learning, with Convex Loss Functions
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本研究为课程学习提供理论分析,证明在凸损失下收敛率随难度分数单调变化,并调和了课程学习与困难数据挖掘的矛盾。
2018-12-09 cs.LG stat.ML
Statistical Measures For Defining Curriculum Scoring Function
Indian Institute of Technology Gandhinagar(印度理工学院甘地纳加尔分校)
课程学习是一种训练策略,它根据训练样本的难度对它们进行排序,并逐渐将它们暴露给学习者以提高网络性能。出于我们的见解,从内隐课程排序,我们首先介绍了一个简单的课程学习策略,使用统计措施,如标准差和熵值评分的难度数据点的真实图像分类任务。我们在多个真实图像数据集上用卷积和全连接神经网络实证地展示了其性能的改进。我们还提出并研究了一个动态的课程学习算法的性能。我们的动态课程算法试图在任何训练步骤中减少网络权重与最佳权重之间的距离,方法是对具有指向最佳权重的梯度的示例进行greenhouse采样。此外,我们使用我们的算法来讨论为什么课程学习是有帮助的。
2021-07-27 cs.LG
Generalization on the Unseen, Logic Reasoning and Degree Curriculum
EPFL(洛桑联邦理工学院);Apple(苹果公司)
本文研究布尔函数在未见数据上的泛化,证明稀疏函数和Transformer等模型会学习最小度数插值器,并据此提出度数课程学习算法以更高效地学习单项式。
2024-11-20 cs.LG stat.ML
Hierarchical Class-Based Curriculum Loss
Samsung Research America(三星美国研究院)
机器学习中的分类算法通常假设平坦标签空间。然而,大多数真实世界的数据在标签之间具有依赖性,这通常可以通过使用层次结构来捕获。利用这种关系,可以帮助开发一个模型,能够满足依赖关系,提高模型的准确性和可解释性。此外,由于层次结构中的不同级别对应于不同的粒度,因此同等地惩罚每个标签可能不利于模型学习。在本文中,我们提出了一个损失函数,分层课程损失,具有两个属性:(i)满足标签空间中存在的分层约束,以及(ii)根据标签在层次结构中的级别为标签提供非均匀权重,通过训练范式隐式学习。我们从理论上表明,建议的损失函数是一个更严格的0-1损失的限制相比,任何其他损失满足层次约束。我们测试我们的损失函数在现实世界的图像数据集,并表明,它显着大幅优于多个基线。
2020-06-05 cs.CV cs.LG stat.ML
Development and Comparison of Scoring Functions in Curriculum Learning
Yildiz Technical University(耶尔德兹技术大学)
课程学习是将样本以有意义的顺序而不是随机顺序呈现给机器学习模型。课程学习的主要挑战是确定如何对这些样本进行排序。样本的排序由评分函数表示。在这项研究中,使用数据集特征,使用待训练的模型,以及使用另一个模型及其集成版本来比较评分函数。对4幅图像和4个文本数据集进行了实验。在文本数据集的评分函数之间没有发现显著差异,但是与经典模型训练和图像数据集的其他评分函数相比,使用迁移学习创建的评分函数获得了显著改进。这表明,不同的新的评分功能,等待被发现的文本分类任务。
2022-03-15 cs.AI cs.LG
A Curriculum View of Robust Loss Functions
Zhihu Inc.(知乎公司);Westlake University(西湖大学)
该研究从课程视角分析鲁棒损失函数,将其重写为同类别分数间隔、不同样本加权函数的形式,解释欠拟合与鲁棒性的成因,通过调整课程提升欠拟合鲁棒损失的性能,并指出训练调度对噪声鲁棒性的重要影响。
2023-05-03 cs.CL cs.LG
Curriculum Learning Meets Weakly Supervised Modality Correlation Learning
Sun Yat-sen University(中山大学)
在多模态情感分析(MSA)领域,一些研究利用存储在样本中的固有模态相关信息进行自监督学习。然而,他们以随机顺序喂养训练对,而不考虑难度。在没有人工注释的情况下,自监督学习生成的训练对通常包含噪声。如果在简单阶段使用噪声或硬对进行训练,模型可能会陷入糟糕的局部最优。本文将课程学习引入到弱监督模态相关学习中。弱监督相关学习利用标签信息来生成负对的分数,以学习更具鉴别力的嵌入空间,其中负对被定义为来自不同样本的两个单峰嵌入。为了辅助相关学习,我们提出的课程学习,其中包括精心设计的评分和喂养功能,根据难度的训练对喂给模型。评分函数使用预先训练的和当前的相关性预测器来计算对的难度,其中具有大损失的对被定义为硬对。值得注意的是,在我们的算法中丢弃了最难的对,这些对被假设为噪声对。此外,馈送函数将相关损失的差异作为反馈来确定馈送动作("停留"、"后退"或"前进")。所提出的方法在MSA上达到了最先进的性能。
2022-12-15 cs.LG
A Mathematical Model for Curriculum Learning for Parities
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Massachusetts Institute of Technology(麻省理工学院)
本文提出课程学习的数学模型,证明特定乘积分布的训练样本能显著降低神经网络学习k-奇偶函数的计算成本,但对汉明混合函数无益。
2024-04-23 cs.LG
Localized Physics-informed Gaussian Processes with Curriculum Training for Topology Optimization
University of California, Irvine(加州大学欧文分校)
本研究提出一种基于物理信息高斯过程的无网格拓扑优化框架,通过定制DNN参数化共享多输出均值函数,结合局部损失权重与课程训练,在斯托克斯流耗散功率最小化问题上表现优于商用COMSOL。
2025-03-18 cs.LG
Heuristic Search Planning with Deep Neural Networks using Imitation, Attention and Curriculum Learning
Czech Technical University in Prague(布拉格捷克理工大学)
学习一个消息灵通的启发式函数的硬任务规划域是一个难以捉摸的问题。虽然已知有神经网络体系结构来表示这种启发式知识,但学习到什么具体信息以及旨在理解结构的技术是否有助于提高启发式知识的质量并不明显。本文提出了一种网络模型,学习启发式能够通过最优计划模仿的状态空间的遥远的部分,使用注意力机制,这大大提高了学习一个好的启发式功能。为了克服该方法在创建难度越来越大的问题时的局限性,我们演示了课程学习的使用,将新解决的问题实例添加到训练集中,这反过来有助于解决更高复杂性的问题,远远超过了所有现有基线的性能,包括经典的规划算法。我们证明了它的有效性网格型PDDL域。
2021-12-03 cs.AI cs.LG
Internalizing Curriculum Judgment for LLM Reinforcement Fine-Tuning
MIT(麻省理工学院);Amazon AGI(亚马逊人工智能实验室)
本文提出METIS框架,通过内部化课程判断提升LLM强化微调效率与性能,利用训练结果动态分配训练资源,实现闭环优化。
2026-09-29 cs.AI cs.LG
Mitigating the Stability-Plasticity Dilemma in Adaptive Train Scheduling with Curriculum-Driven Continual DQN Expansion
Goethe University(歌德大学);HessianAI(黑森人工智能公司)
针对自适应列车调度中的稳定性-可塑性困境,提出基于课程学习的持续DQN扩展算法(CDE),通过动态调整Q函数子空间并融合EWC与自适应激活函数,显著提升学习效率与适应性。
2026-09-15 cs.LG cs.NE
Advancing Parkinson's Disease Progression Prediction: Comparing Long Short-Term Memory Networks and Kolmogorov-Arnold Networks
IIIT Naya Raipur(奈拉普尔印度信息技术学院)
本研究比较LSTM与KAN在帕金森病进展预测中的表现,发现KAN凭借样条动态学习能力优于其他方法,为AI辅助PD临床预测提供了新思路。
2024-12-30 cs.AI cs.LG