Worst-Case-Aware Curriculum Learning for Zero and Few Shot Transfer
National University of Defense Technology(国防科技大学);University of Copenhagen(哥本哈根大学)
基于预训练语言编码器的多任务迁移学习在一系列任务中实现了最先进的性能。标准方法隐含地假设我们有训练数据的任务同样代表我们感兴趣的任务,这一假设通常很难证明。本文提出了一种更不可知的方法来多任务迁移学习,它使用自动化的课程学习,以尽量减少一个新的家庭的最坏情况下意识的损失跨任务。这些损失不仅导致在异常值任务上的更好的性能;它们还导致在zero-shot和Few-Shot传输设置中的更好的性能。
2020-09-23 cs.CL cs.LG
Transfer Learning and Curriculum Learning in Sokoban
Leiden University(莱顿大学)
迁移学习可以加快机器学习的训练速度,并经常用于分类任务。它重用其他任务的先验知识,为新任务预训练网络。在强化学习中,学习可以应用于新环境的行为策略的动作仍然是一个挑战,特别是对于涉及大量计划的任务。推箱子是一个具有挑战性的益智游戏。它已被广泛用作基于规划的强化学习的基准。在本文中,我们展示了先验知识如何提高推箱子任务的学习。我们发现,重用以前学习的特征表示可以加速学习新的,更复杂的实例。实际上,我们展示了课程学习,从简单到复杂的任务,是如何在推箱子中工作的。此外,在更简单的情况下学习的特征表示更一般,因此导致向更复杂的任务的积极转移,但反之亦然。我们还研究了知识的哪一部分对于成功转移最重要,并确定了哪些层应该用于预训练。
2021-09-10 cs.AI cs.LG
Improving Environment Robustness of Deep Reinforcement Learning Approaches for Autonomous Racing Using Bayesian Optimization-based Curriculum Learning
Cornell University(康奈尔大学)
针对深度强化学习策略环境鲁棒性不足、人工设计课程耗费人力的问题,提出用贝叶斯优化推断课程-奖励函数以获取鲁棒课程,在自主竞速避障任务中性能优于普通深度强化学习与人工课程方案。
2023-12-16 cs.LG cs.RO
Label-Conditioned Cross-Modal Fusion for Adult-to-Pediatric ECG Transfer via Curriculum-Gated Contrastive Alignment
School of Instrument Science and Engineering, Southeast University(东南大学仪器科学与工程学院);Nanjing Medical University(南京医科大学);Zhengzhou University(郑州大学)
本文提出PEACE框架,通过预训练和适应性融合提升儿童ECG诊断,采用对比学习和课程适应策略,在有限标注下实现高准确率。
2026-06-07 cs.LG
StarCraft Micromanagement with Reinforcement Learning and Curriculum Transfer Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
实时策略游戏是近年来游戏人工智能研究的一个重要领域。本文提出了一种强化学习和课程迁移学习的方法来控制星际微观管理中的多个单元。我们定义了一个有效的状态表示,它打破了游戏环境中的大状态空间所造成的复杂性。然后提出了一种参数共享的多智能体梯度下降Sarsa(λ)算法(PS-MAGDS)来对单元进行训练。我们的单位之间共享学习政策,以鼓励合作行为。我们使用一个神经网络作为函数逼近器来估计动作-价值函数,并提出一个奖励函数来帮助单位平衡他们的移动和攻击。此外,还使用了一种迁移学习方法将我们的模型扩展到更困难的场景,加快了训练过程,提高了学习性能。在小规模的场景中,我们的单位成功地学会了战斗,并以100%的胜率击败了内置的AI。在大规模场景下,课程迁移学习方法被用来逐步训练一组单元,并在目标场景下显示出优于一些基线方法的性能。通过强化学习和课程迁移学习,我们的单位能够在星际争霸微观管理场景中学习适当的策略。
2018-04-03 cs.AI cs.LG cs.MA
Confusion-Aware Transfer Teacher Curriculum Learning Framework: Disentangling Scoring and Pacing Effects
Faculty of Computing, Sri Lanka Institute of Information Technology, Sri Lanka(斯里兰卡信息科技学院计算机学院,斯里兰卡);Faculty of Engineering, University of Sri Jayewardenepura, Sri Lanka(斯里兰卡贾亚韦达内普拉大学工程学院,斯里兰卡);Faculty of Engineering, Sri Lanka Institute of Information Technology, Sri Lanka(斯里兰卡信息科技学院工程学院,斯里兰卡);University of Sheffield, United Kingdom(谢菲尔德大学,英国);Utrecht University, The Netherlands(乌得勒支大学,荷兰)
提出混淆感知难度评分,通过阶段性子集测试和随机基线解耦课程学习的评分与节奏效应,在CIFAR-10上验证评分可解释性,但全数据下无提升,仅在小数据量下提升数据效率。
2026-06-17 cs.AI cs.LG
Exploring CausalWorld: Enhancing robotic manipulation via knowledge transfer and curriculum learning
University of Southern California(南加州大学)
本研究针对三指机械臂操作任务,在soft actor-critic架构中采用微调和课程学习两种知识迁移策略,通过对比多种迁移变体与课程设计参数,分析了它们在上下文感知与不感知场景下的效果,为基于学习的工程应用提供了指导。
2024-03-25 cs.AI cs.LG cs.RO
Long-term simulation of physical and mechanical behaviors using curriculum-transfer-learning based physics-informed neural networks
College of Mechanics and Engineering Science, Hohai University(河海大学力学与工程科学学院);China Three Gorges Corporation(中国长江三峡集团有限公司);Cairo University(开罗大学);Leibniz Universität Hannover(汉诺威莱布尼茨大学)
本文针对物理力学行为长期模拟问题,提出CTL-PINN模型,通过分解长期问题为短期子问题,结合课程学习与迁移学习,克服现有模型局限,在多场景验证了其有效性与鲁棒性。
2025-02-11 cs.LG cs.NA math.NA
Accuracy-based Curriculum Learning in Deep Reinforcement Learning
Sorbonne Université(索邦大学);INRIA(法国国家信息与自动化研究所)
在本文中,我们研究了一种新的形式的自动化课程学习的基础上自适应选择的准确性要求,称为基于准确性的课程学习。使用基于深度确定性策略梯度算法的强化学习代理并解决Reacher环境,我们首先表明,使用随机抽样的各种准确性要求训练的代理比要求始终非常准确时更有效地学习。然后,我们表明,自适应选择的准确性要求,根据当地的能力进步的措施,自动生成一个课程的难度逐步增加,从而导致更好的学习效率比随机抽样。
2018-09-21 cs.AI cs.LG stat.ML
Solving Hard AI Planning Instances Using Curriculum-Driven Deep Reinforcement Learning
Cornell University(康奈尔大学)
尽管人工智能规划取得了重大进展,但某些领域仍然超出了当前人工智能规划系统的范围。Sokoban是一个PSPACE完整的规划任务,代表了当前AI规划者最难的领域之一。由于硬实例上的指数搜索复杂性,即使是特定于领域的专门搜索方法也会很快失败。我们的方法基于深度强化学习,并采用了一种基于知识驱动的方法,这是第一个在一天的训练时间内解决困难实例的方法,而其他现代求解器无法在任何合理的时间限制内解决这些实例。与以前的努力,使用精心手工修剪技术,我们的方法自动发现域结构。我们的研究结果表明,深度强化学习为解决以前未解决的人工智能规划问题提供了一个有前途的框架,前提是可以设计适当的培训课程。
2020-06-04 cs.AI cs.LG
TeachMyAgent: a Benchmark for Automatic Curriculum Learning in Deep RL
Inria(法国国家信息与自动化研究所);Microsoft Research(微软研究院)
训练能够泛化到多个任务的自主智能体是深度强化学习(DRL)研究的一个关键目标。在改进DRL算法本身的同时,自动课程学习(ACL)研究教师算法如何通过使任务选择适应其不断发展的能力来更有效地训练DRL代理。虽然存在多个标准基准来比较DRL代理,但目前还没有ACL算法。因此,比较现有的方法是困难的,因为太多的实验参数不同的纸张。在这项工作中,我们确定了ACL算法面临的几个关键挑战。在此基础上,我们提出了TeachMyAgent(TA),一个基准的当前ACL算法利用程序任务生成。它包括1)使用程序化Box2D双足步行器环境变体的挑战特定单元测试,以及2)结合大多数ACL挑战的新程序化跑酷环境,使其成为全球性能评估的理想选择。然后,我们使用TeachMyAgent进行比较研究的代表性现有的方法,展示了一些ACL算法,不使用专家知识的竞争力。我们还表明,跑酷环境仍然是一个开放的问题。我们开源了我们的环境,所有学习ACL算法(从开源代码中收集或重新实现),并在https://github.com/flowersteam/TeachMyAgent上提供Python包中的DRL学生。
2021-06-09 cs.LG
Curriculum-based Asymmetric Multi-task Reinforcement Learning
Nanyang Technological University(南洋理工大学);Tencent Inc.(腾讯公司);JD.com Inc.(京东集团)
我们介绍CAMRL,第一个基于非对称多任务学习(AMTL)算法,用于处理多个强化学习(RL)任务。为了减轻基于CAMRL的AMTL中定制一次性训练顺序的负面影响,CAMRL根据训练时间、总体性能和任务间性能差距的指标,在并行单任务RL和非对称多任务RL(MTRL)之间切换其训练模式。为了灵活地利用多源先验知识并减少AMTL中的负传递,我们定制了具有多个可微排序函数的复合损失,并通过交替优化和Frank-Wolfe算法来优化损失。基于不确定性的超参数自动调整也被应用于消除在优化过程中费力的超参数分析的需要。通过优化复合损失,CAMRL预测下一个训练任务,并不断重新访问传递矩阵和网络权重。我们已经在多任务RL中进行了广泛的基准测试,包括Gym-minigrid,Meta-world,Atari视频游戏,基于视觉的PyBullet任务和RLBench,以显示CAMRL相对于相应的单任务RL算法和最先进的MTRL算法的改进。代码可在以下网址获得:https://github.com/huanghanchi/CAMRL
2022-11-07 cs.LG
Code-Switching Curriculum Learning for Multilingual Transfer in LLMs
KAIST(韩国科学技术院);NAVER Cloud;Sogang University(西江大学);NAVER AI Lab
本文提出语码转换课程学习CSCL,通过token级、句子级语码转换到单语语料的渐进训练提升LLM跨语言迁移,并在多语言、多模型实验中验证其增益与公平性。
2025-06-11 cs.AI cs.CL cs.LG
Improving the Reliability of Semantic Segmentation of Medical Images by Uncertainty Modeling with Bayesian Deep Networks and Curriculum Learning
Hiroshima University(广岛大学);Nagoya Institute of Technology(名古屋工业大学)
在本文中,我们提出了一种新的方法,该方法通过课程学习利用贝叶斯深度网络提供的不确定性度量,以便将不确定性估计反馈给系统,从而在不确定性较高的区域更密集地重新采样训练数据。我们表明,在具体设置的语义分割任务(iPS细胞集落分割),该系统能够显着增加模型的可靠性。
2021-08-26 cs.CV cs.LG cs.NE
Automatic Curriculum Learning For Deep RL: A Short Survey
Inria(法国国家信息与自动化研究所);OpenAI(开放人工智能研究中心);Microsoft Research(微软研究院)
自动课程学习(ACL)已成为深度强化学习(DRL)最近取得成功的基石。这些方法通过向智能体挑战适合其能力的任务来塑造智能体的学习轨迹。近年来,它们已被用于提高样本效率和渐近性能,组织探索,鼓励推广或解决稀疏奖励问题等。这项工作的野心是双重的:1)提出了一个紧凑和易于访问的介绍自动课程学习文学和2)绘制一个更大的图片ACL的艺术现状,以鼓励现有概念的杂交繁殖和新思想的出现。
2020-05-28 cs.AI cs.LG stat.ML
Curriculum goal masking for continuous deep reinforcement learning
Department of Informatics Universit\"at Hamburg Germany
深度强化学习最近已经获得了对策略或价值函数独立于目标的问题的关注。有证据表明,目标抽样对学习绩效有很强的影响,但缺乏一般的机制,专注于优化目标抽样过程。在这项工作中,我们提出了一个简单而通用的目标掩蔽方法,也使我们能够估计目标的难度水平,从而实现深度RL的课程学习方法。我们的研究结果表明,专注于中等难度的目标是适当的深度确定性策略梯度(DDPG)的方法,而“瞄准星星,达到月球的战略”,硬目标的采样比简单的目标,导致最好的学习性能的情况下,DDPG结合后见之明的经验重放(HER)。我们证明,该方法显着优于标准的目标采样不同的机器人对象操作问题。
2019-02-13 cs.LG stat.ML
Proximal Curriculum with Task Correlations for Deep Reinforcement Learning
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);The Alan Turing Institute(艾伦·图灵研究所)
本文提出 ProCuRL-Target 课程设计方法,利用任务相关性在上下文多任务强化学习中平衡任务难度与目标分布推进,并通过理论分析和多领域实验验证其加速深度 RL 训练的有效性。
2024-05-03 cs.AI cs.LG
Curriculum-based Deep Reinforcement Learning for Quantum Control
University of New South Wales(新南威尔士大学);University of Duisburg-Essen(杜伊斯堡-埃森大学);Nanjing University(南京大学)
深度强化学习被认为是一种有效的技术,可以在没有控制环境先验知识的情况下为不同的复杂系统设计最优策略。为了实现对量子系统的快速精确控制,我们提出了一种新的深度强化学习方法,通过构建由一组由保真度阈值定义的中间任务组成的课程。课程中的任务可以使用经验知识静态确定,也可以随着学习过程自适应地生成。通过在两个连续的任务之间转移知识并根据任务的难度对任务进行排序,所提出的基于神经网络的深度强化学习(CDRL)方法使智能体能够在早期阶段专注于简单的任务,然后转向困难的任务,并最终接近最终任务。对封闭量子系统和开放量子系统的数值仿真表明,该方法不仅提高了量子系统的控制性能,而且为用较少的控制脉冲确定最优策略提供了一种有效的方法.
2021-01-02 cs.LG cs.SY eess.SY
Explorative Curriculum Learning for Strongly Correlated Electron Systems
Graduate School of Information Science and Technology, The University of Osaka(信息科学与技术研究生院,大阪大学);Fujitsu Limited(富士通株式会社);Center for Advanced Intelligence Project, RIKEN(先进智能项目中心,理化学研究所)
针对神经网络量子态计算成本高且难以泛化的问题,提出基于迁移学习的课程学习框架与Pairing-Net架构,实现高效稳定的参数空间探索,计算速度提升约200倍。
2025-05-01 cond-mat.str-el cs.LG
Layer-wise Curriculum Learning for Efficient LLM Compression
Ajou University(亚洲大学)
本文提出逐层课程学习压缩LLM,通过分段知识迁移与特征缓存,在BERT和GPT-2上减少超50%GPU内存和训练时间,并在LLaMA和Qwen上超越其他剪枝方法。
2026-09-18 cs.AI cs.LG
State Dropout-Based Curriculum Reinforcement Learning for Self-Driving at Unsignalized Intersections
Carnegie Mellon University(卡内基梅隆大学)
穿越交叉路口是自动驾驶车辆面临的一个挑战性问题,特别是在交叉路口没有交通控制的情况下。最近,深度强化学习由于其在处理自动驾驶任务方面的成功而受到广泛关注。在这项工作中,我们解决了穿越无信号交叉口使用深度强化学习的新课程的问题。所提出的课程导致:1)强化学习代理的更快的训练过程,以及2)与没有课程训练的代理相比,更好的性能。我们的主要贡献是两方面的:1)提出了一个独特的课程,用于训练深度强化学习代理,和2)显示所提出的课程的应用程序的无信号交叉路口遍历任务。该框架期望从自动驾驶车辆的感知系统对周围环境进行处理观察。我们测试我们的方法在T型交叉口和四路交叉口的CommonRoad运动规划模拟器。
2022-07-10 cs.AI cs.LG cs.RO
Curriculum Learning for Deep Generative Models with Clustering
Xiaomi AI Lab(小米人工智能实验室);Chinese University of Hong Kong(香港中文大学);Peking University(北京大学)
训练像生成对抗网络(GAN)这样的生成模型对于噪声数据来说是一个挑战。提出了一种新的基于聚类的课程学习算法。课程建设是基于数据点的底层集群的中心性。在训练期间,高中心性的数据点优先被馈送到生成模型中。为了使我们的算法可扩展到大规模数据,设计了活动集,在这个意义上,每一轮的训练只在包含一小部分已经训练过的数据和较低中心度的增量数据的活动子集上进行。此外,本文还从几何学的角度分析了集群课程生成模式的必要性。在猫和人脸数据上的实验验证了我们的算法能够学习最佳生成模型(例如ProGAN),并针对噪声数据的指定质量度量。一个有趣的发现是,最佳集群课程是密切相关的临界点的几何渗流过程中制定的文件。
2019-09-26 cs.CV cs.LG stat.ML
Adaptively Point-weighting Curriculum Learning
本文提出自适应点加权课程学习方法,通过根据训练损失动态调整样本权重,提升深度网络训练效果和泛化能力。
2026-01-22 cs.LG
Heuristic Search Planning with Deep Neural Networks using Imitation, Attention and Curriculum Learning
Czech Technical University in Prague(布拉格捷克理工大学)
学习一个消息灵通的启发式函数的硬任务规划域是一个难以捉摸的问题。虽然已知有神经网络体系结构来表示这种启发式知识,但学习到什么具体信息以及旨在理解结构的技术是否有助于提高启发式知识的质量并不明显。本文提出了一种网络模型,学习启发式能够通过最优计划模仿的状态空间的遥远的部分,使用注意力机制,这大大提高了学习一个好的启发式功能。为了克服该方法在创建难度越来越大的问题时的局限性,我们演示了课程学习的使用,将新解决的问题实例添加到训练集中,这反过来有助于解决更高复杂性的问题,远远超过了所有现有基线的性能,包括经典的规划算法。我们证明了它的有效性网格型PDDL域。
2021-12-03 cs.AI cs.LG
Adaptive Curriculum Generation from Demonstrations for Sim-to-Real Visuomotor Control
University of Freiburg(弗莱堡大学);Toyota Research Institute(丰田研究院)
我们提出了自适应课程生成演示(ACGD)的强化学习在稀疏奖励的存在。ACGD不是设计成形的奖励函数,而是通过控制从演示轨迹中采样的位置以及使用哪组模拟参数来自适应地为学习者设置适当的任务难度。我们表明,在模拟中训练基于视觉的控制策略,同时通过ACGD逐渐增加任务的难度,提高了向现实世界的策略转移。领域随机化的程度也随着任务难度的增加而逐渐增加。我们展示了两个现实世界的操作任务:拾取和堆装和块堆叠的zero-shot转移。显示结果的视频可以在https://lmb.informatik.uni-freiburg.de/projects/curriculum/上找到
2020-07-08 cs.CV cs.LG cs.RO
Curriculum Learning for Cumulative Return Maximization
University of Leeds(利兹大学)
课程学习已经成功地应用于强化学习中,通过在日益复杂的任务之间进行知识转移来加速学习过程。关键任务,其中次优的探索行动必须最小化,可以受益于课程学习,其通过迁移塑造探索的能力。我们提出了一个任务排序算法最大化的累积回报,即在所有的学习情节的代理获得的回报。通过最大化累积回报,代理不仅旨在尽可能快地获得高回报,而且还在限制次优行为的同时实现这一目标。我们的实验比较我们的任务排序算法的几个流行的元启发式算法的组合优化,并表明,它实现了显着更好的性能的问题上的累积回报最大化。此外,我们在一个关键任务上验证了我们的算法,优化了微能源网的家庭控制器。
2019-06-13 cs.AI cs.LG stat.ML
CuRLA: Curriculum Learning Based Deep Reinforcement Learning for Autonomous Driving
Birla Institute of Technology & Science, Pilani(毕拉理工与科学学院皮拉尼分校)
本文提出CuRLA,将PPO、VAE与双重课程学习结合,在CARLA中通过渐进难度和碰撞惩罚提升自动驾驶智能体的泛化性、安全性与多奖励平衡能力。
2025-01-09 cs.AI cs.LG cs.RO
Improving the Accuracy of Early Exits in Multi-Exit Architectures via Curriculum Learning
Aarhus University(奥胡斯大学)
使用边缘计算系统为时间敏感和资源受限的环境(如物联网)部署深度学习服务是一项具有挑战性的任务,需要动态调整推理时间。多出口架构允许深度神经网络提前终止其执行,以便以牺牲准确性为代价遵守严格的截止日期。为了减轻这种成本,在本文中,我们介绍了一种新的方法,称为多出口课程学习,利用课程学习,训练策略的神经网络,模仿人类的学习排序的训练样本的基础上,他们的困难,并逐步引入到网络。在CIFAR-10和CIFAR-100数据集以及各种配置的多出口架构上的实验表明,与标准训练方法相比,我们的方法始终提高了早期出口的准确性。
2021-04-22 cs.CV cs.LG
Curriculum Learning in Deep Neural Networks for Financial Forecasting
Stanford University(斯坦福大学);Microsoft Corp.(微软公司)
对于任何金融组织来说,计算各种产品的准确季度预测是最关键的操作之一。随着预测所需粒度的增加,传统的统计时间序列模型可能无法很好地扩展。我们通过试验自然语言处理(编码器-解码器LSTM)和计算机视觉(扩展CNN)的技术,以及结合迁移学习,将深度神经网络应用于预测领域。本文的一个新的贡献是应用课程学习的神经网络模型建立的时间序列预测。我们使用微软的收入数据来说明我们的模型的性能,这些数据对应于企业,中小型和企业产品,跨越全球约60个地区的8个不同的业务部门,总额约为数百亿美元。我们将我们的模型的性能与Microsoft Finance目前使用的传统统计和机器学习技术的集成模型进行了比较。以这个生产模型为基准,我们的实验在测试数据的总体准确性上提高了大约30%。我们发现,我们的课程学习基于LSTM的模型表现最好,这表明它是合理的,实现我们提出的方法,而不会过度拟合中等规模的数据。
2019-07-24 cs.LG q-fin.GN stat.ML
Using Deep Reinforcement Learning with Automatic Curriculum Learning for Mapless Navigation in Intralogistics
University of Luebeck(吕贝克大学);KION Group AG(凯傲集团股份公司);Montanuniversität Leoben(莱奥本矿业大学)
我们提出了一种深度强化学习方法来解决仓库场景中的无地图导航问题。在我们的方法中,自动引导车辆配备了LiDAR和正面RGB传感器,并学习执行有针对性的导航任务。挑战在于用于学习的正样本的稀疏性、具有部分可观测性的多模态传感器感知、对精确转向机动的需求以及长训练周期。为了解决这些问题,我们提出NavACL-Q作为一种自动课程学习的方法,结合分布式版本的软演员-评论家算法。学习算法的性能在一个看不见的仓库环境中进行了详尽的评估,以验证学习策略的鲁棒性和通用性。NVIDIA Isaac Sim中的结果表明,经过训练的智能体的性能明显优于NVIDIA Isaac Sim提供的基于地图的导航管道,其智能体目标距离增加了3米,初始相对智能体目标旋转了45度。消融研究还表明,NavACL-Q极大地促进了学习过程,与随机开始的训练相比,性能增益约为40%,并且使用预训练的特征提取器明显提高了约60%的性能。
2022-03-16 cs.LG cs.RO
Learning Tennis Strategy Through Curriculum-Based Dueling Double Deep Q-Networks
Independent Researcher(独立研究者)
本文提出基于课程学习的对战双深Q网络,用于优化网球策略,通过模拟环境实现高胜率和高效发回球表现,但存在防守偏见问题。
2025-12-20 cs.AI cs.LG
Learning to Guide Multiple Heterogeneous Actors from a Single Human Demonstration via Automatic Curriculum Learning in StarCraft II
Army Research Laboratory(陆军研究实验室);Columbia University(哥伦比亚大学)
传统上,通过直接行为克隆从人类示范中学习可以导致高性能的策略,因为该算法可以访问大量的高质量数据,这些数据涵盖了代理操作时最可能遇到的场景。然而,在现实世界的情况下,专家数据是有限的,它是期望的训练的代理,学习的行为策略一般足以处理的情况下,没有证明的人类专家。另一种选择是通过深度强化学习在没有监督的情况下学习这些策略,然而,这些算法需要大量的计算时间才能在高维状态和动作空间的复杂任务上表现良好,例如在星际争霸II中发现的那些。自动课程学习是一种最近的机制,包括设计用于通过根据代理的当前能力调整要解决的当前任务的难度来加速深度强化学习的技术。然而,对于足够复杂的任务,设计适当的课程可能具有挑战性,因此我们利用人类演示作为在训练期间指导代理探索的一种方式。在这项工作中,我们的目标是训练深度强化学习代理,可以命令多个异构演员的起始位置和任务的整体难度由一个自动生成的课程从一个单一的人类示范控制。我们的研究结果表明,通过自动课程学习训练的智能体可以超越最先进的深度强化学习基线,并在模拟的指挥和控制任务中与人类专家的表现相匹配。
2022-05-11 cs.LG cs.MA
Teacher algorithms for curriculum learning of Deep RL in continuously parameterized environments
Inria(法国国家信息与自动化研究所);Microsoft Research(微软研究院)
我们考虑教师算法如何使未知的深度强化学习(DRL)学生能够在各种不同的环境中掌握技能的问题。为此,我们研究了教师算法如何学习生成学习课程,从而顺序采样控制随机程序生成环境的参数。因为它最初并不知道学生的能力,教师面临的一个关键挑战是发现哪些环境是容易的,困难的或不可学习的,以及以何种顺序提出它们以最大限度地提高学习效率。为了实现这一点,这个问题被转化为一个代理连续的强盗问题,教师样本的环境,以最大限度地提高绝对学习进度的学生。提出了一种基于高斯混合模型的绝对学习过程建模算法(ALP-GMM)。我们还适应现有的算法,并提供了一个完整的研究DRL的上下文中。使用参数化的双足步行环境的变体,我们研究他们的效率,个性化的学习课程,为不同的学习者(实施例),他们的鲁棒性的可学习/不可学习的环境的比例,和他们的可扩展性,非线性和高维参数空间。视频和代码可在https://github.com/flowersteam/teachDeepRL上获得。
2019-10-16 cs.LG cs.RO stat.ML
Curriculum Learning for ab initio Deep Learned Refractive Optics
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
本文提出基于课程学习的DeepLens方法,可从随机初始化表面自动设计复合折射透镜,无需良好初始设计,并成功设计了经典成像镜头和手机形态的大视场扩展景深计算镜头。
2024-08-07 cs.CV cs.LG eess.IV
Self-Paced Deep Reinforcement Learning
Intelligent Autonomous Systems, Technische Universität Darmstadt(达姆施塔特工业大学智能自主系统(Intelligent Autonomous Systems, Technische Universität Darmstadt));Department of Electrical Engineering and Automation, Aalto University(阿尔托大学电气工程与自动化系(Department of Electrical Engineering and Automation, Aalto University))
课程强化学习(CRL)通过在整个学习过程中将智能体暴露于一系列定制的任务来提高智能体的学习速度和稳定性。尽管取得了经验上的成功,但CRL中的一个悬而未决的问题是如何为给定的强化学习(RL)代理自动生成课程,避免手动设计。在本文中,我们提出了一个答案,通过解释课程生成的推理问题,在任务的分布逐步学习接近目标任务。这种方法导致自动课程生成,其速度由代理控制,具有坚实的理论动机,并且易于与深度RL算法集成。在所进行的实验中,使用所提出的算法生成的课程显着提高了几种环境和深度RL算法的学习性能,匹配或优于现有的最先进的CRL算法。
2020-10-23 cs.AI cs.LG stat.ML
A Curriculum-Based Deep Reinforcement Learning Framework for the Electric Vehicle Routing Problem
Industrial and Systems Engineering, University of Miami(工业与系统工程,迈阿密大学);Faculty of Engineering, Cyprus International University(工程学院,塞浦路斯国际大学);Engineering Management and Systems Engineering, Missouri University of Science and Technology(工程管理与系统工程,密苏里科学与技术大学)
本文提出基于课程的学习深度强化学习框架,用于解决带有时间窗的电动汽车路径规划问题,通过分阶段训练提升稳定性与泛化能力。
2026-01-21 cs.AI cs.LG
Probabilistic Curriculum Learning for Goal-Based Reinforcement Learning
University of Queensland(昆士兰大学);Electrical Engineering and Computer Science(电气工程与计算机科学学院)
针对强化学习中目标自动创建的挑战,提出一种概率课程学习算法,通过为连续控制和导航任务中的智能体建议目标,系统分解复杂行为以实现多模态策略。
2025-04-02 cs.AI cs.LG
CURO: Curriculum Learning for Relative Overgeneralization
University of Michigan(密歇根大学);University College London(伦敦大学学院);University of Liverpool(利物浦大学)
针对合作型多智能体任务中的相对过泛化(RO)问题,提出课程学习方法CURO,通过微调奖励生成源任务并结合值函数与缓冲区迁移,有效提升了QMIX等算法的协调性能。
2024-09-23 cs.AI cs.LG cs.MA
See Through the Fog: Curriculum Learning with Progressive Occlusion in Medical Imaging
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
提出基于课程学习的方法,通过渐进引入遮挡训练深度学习模型,并设计WCL、IAL和GCL三种遮挡合成策略,显著提升了模型在遮挡医学图像上的鲁棒性和诊断准确性。
2023-06-30 cs.CV cs.LG
An Empirical Exploration of Curriculum Learning for Neural Machine Translation
Johns Hopkins University(约翰斯·霍普金斯大学);University of Notre Dame(圣母大学);Air Force Research Laboratory(空军研究实验室);University of Maryland(马里兰大学)
基于深度神经网络的机器翻译系统的训练成本很高。课程学习的目的是通过选择训练过程中样本的呈现顺序来解决这个问题,以帮助更快地训练更好的模型。我们采用概率观点的课程学习,这使我们能够灵活地评估课程设计的影响,并进行了广泛的探索上的德英翻译任务。结果表明,它是可能的,以提高收敛时间在不损失翻译质量。然而,结果是高度敏感的样本难度标准,课程表和其他超参数的选择。
2018-11-02 cs.CL cs.LG
Curriculum-Enhanced Residual Soft An-Isotropic Normalization for Over-smoothness in Deep GNNs
Fuzhou University(福州大学);HKUST (Guangzhou)(香港科技大学(广州));Shandong Provincial Key Laboratory of Computer Networks(山东省计算机网络重点实验室);Shandong Fundamental Research Center for Computer Science(山东计算机科学基础研究中心)
针对深度图神经网络的过平滑问题,提出软图归一化方法结合残差连接保留节点嵌入多样性,同时设计基于标签平滑的课程学习框架优化训练,在12个基准上优于现有方法,有效提升深度GNN性能。
2023-12-14 cs.AI cs.LG
Medical Knowledge-Guided Deep Curriculum Learning for Elbow Fracture Diagnosis from X-Ray Images
University of Pittsburgh(匹兹堡大学)
肘关节骨折是最常见的骨折类型之一。肘关节骨折的诊断通常需要经过多年培训的专业放射科医生阅读和分析放射成像的帮助。由于深度学习的最新进展,一个可以分类和检测不同类型骨折的模型只需要几个小时的训练,并且已经显示出有希望的结果。然而,大多数现有的深度学习模型都是纯数据驱动的,缺乏来自人类专家的已知领域知识。在这项工作中,我们提出了一种新的深度学习方法,通过将特定领域的医学知识整合到课程学习框架中,从肘部X射线图像中诊断肘部骨折。在我们的方法中,训练数据通过在每个训练时期开始时不替换的采样来排列。每个训练样本的采样概率由基于来自人类专家的临床已知知识构建的评分标准指导,其中评分指示不同肘关节骨折亚型的诊断难度。我们还提出了一种算法,更新采样概率在每个时期,这是适用于其他基于采样的课程学习框架。我们设计了一个实验,1865肘X射线图像骨折/正常的二进制分类任务,并比较我们提出的方法的基线方法和以前的方法,使用多个指标。我们的研究结果表明,该方法实现了最高的分类性能。此外,我们提出的概率更新算法提高了以前的方法的性能。
2021-10-20 cs.CV cs.LG eess.IV
DCUR: Data Curriculum for Teaching via Samples with Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
深度强化学习(RL)已经取得了巨大的经验成功,但存在脆性和样本效率低下的问题。一个潜在的补救措施是使用以前培训的政策作为监督的来源。在这项工作中,我们将这些政策称为教师,并研究如何通过关注数据使用将他们的专业知识转移到新的学生政策中。我们提出了一个框架,强化学习的数据库(DCUR),它首先使用在线深度RL培训教师,并存储记录的环境交互历史。然后,学生通过运行离线RL或使用教师数据结合少量自我生成的数据来学习。DCUR的中心思想涉及定义一类数据课程,作为训练时间的函数,限制学生从完整教师数据的固定子集中采样。我们使用最先进的深度RL算法测试教师和学生在各种数据课程中的表现。结果表明,数据课程的选择会显著影响学生的学习,并且在早期训练阶段限制数据,同时随着时间的推移逐渐增加数据可用性是有益的。我们确定学生何时可以离线学习并匹配教师的表现,而无需依赖于专门的离线RL算法。此外,我们表明,收集一小部分在线数据提供了与数据课程的互补优势。补充材料可在https://tinyurl.com/teach-dcur上查阅。
2021-09-15 cs.LG cs.RO
Principled Curriculum Learning using Parameter Continuation Methods
Department of Data Science, Worcester Polytechnic Institute, USA(数据科学系,沃斯特理工学院,美国);Department of Mathematics, Computer and Data Science, Worcester Polytechnic Institute, USA(数学、计算机与数据科学系,沃斯特理工学院,美国)
本研究提出一种基于参数延拓法的有原则课程学习神经网络优化方法,具备理论依据,在有监督与无监督学习任务中泛化性能优于ADAM等现有最优优化技术。
2025-07-29 cs.AI cs.LG
Improving the Efficiency of a Deep Reinforcement Learning-Based Power Management System for HPC Clusters Using Curriculum Learning
Department of Computer Science and Electronics, Universitas Gadjah Mada(加雅达大学计算机科学与电子系);Cyberscience Center, Tohoku University(东大网络科学中心);Department of Industrial Management, National Taiwan University of Science and Technology(台湾科技大学工业管理系)
本研究通过课程学习改进HPC集群电源管理的深度强化学习效率,实现能耗降低和作业执行优化。
2025-03-14 cs.DC cs.LG
MetaVA: Curriculum Meta-learning and Pre-fine-tuning of Deep Neural Networks for Detecting Ventricular Arrhythmias based on ECGs
National University of Singapore(新加坡国立大学);HeartVoice Medical Technology(心声医疗科技);University of Science and Technology of China(中国科学技术大学);Sir Run Run Shaw Hospital, Zhejiang University School of Medicine(浙江大学医学院附属邵逸夫医院);Peking University(北京大学);Institute of Medical Technology, Health Science Center of Peking University(北京大学医学部医学技术研究院)
室性心律失常是心脏性猝死的主要原因。开发基于心电图(ECG)检测VA的机器学习方法可以帮助挽救人们的生命。然而,开发用于ECG的这种机器学习模型是具有挑战性的,因为以下原因:1)来自不同受试者的组水平多样性和2)来自单个受试者的不同时刻的个体水平多样性。在本研究中,我们的目标是解决这些问题的预训练和微调阶段。在预训练阶段,我们提出了一种新的模型不可知的元学习(MAML)与课程学习(CL)的方法来解决组级的多样性。MAML有望更好地从大型数据集中转移知识,并仅使用少量记录来快速调整模型以适应新的人。CL应该通过从简单到困难的任务进行元学习来进一步改进MAML。对于微调阶段,我们提出了改进的预微调,以解决个人水平的多样性。我们使用三个公开的ECG数据集的组合进行实验。结果表明,我们的方法优于比较方法的所有评价指标。消融研究表明,MAML和CL可以帮助更均匀地执行,并且预微调可以更好地将模型拟合到训练数据。
2022-03-01 cs.AI cs.LG
Curriculum Loss: Robust Learning and Generalization against Label Corruption
Centre for Artificial Intelligence, University of Technology Sydney(悉尼科技大学人工智能中心)
深度神经网络(DNN)具有强大的表达能力,甚至可以记住带有错误标签的样本。在DNN中重申鲁棒性和泛化性对标签损坏至关重要。为此,本文研究了0-1损失,它与经验对手(重新加权)风险\citep{hu2016does}具有单调关系。虽然0-1损失具有一些鲁棒性,但难以优化。为了有效地优化0-1损失,同时保持其鲁棒性,我们提出了一种非常简单和有效的损失,即课程损失(CL)。我们的CL是一个更严格的上限的0-1损失相比,传统的总和为基础的替代损失。此外,CL可以自适应地选择用于模型训练的样本。因此,我们的损失可以被视为课程样本选择策略的一个新视角,它在课程学习和鲁棒学习之间架起了一座桥梁。基准数据集上的实验结果验证了所提出的损失的鲁棒性。
2020-02-21 cs.LG stat.ML
Learning a High-quality Robotic Wiping Policy Using Systematic Reward Analysis and Visual-Language Model Based Curriculum
Georgia Institute of Technology(佐治亚理工学院);Electronics and Telecommunications Research Institute(电子通信研究院)
针对自主机器人擦拭任务中深度强化学习需大量奖励工程的问题,通过分析质量关键型擦拭的收敛性提出有界奖励公式,结合基于视觉语言模型的课程改进学习过程,在多条件表面上实现了基线方法无法学到的理想擦拭策略。
2025-02-18 cs.LG cs.RO
Curriculum By Smoothing
University of Toronto(多伦多大学);Vector Institute(向量研究所);Nvidia(英伟达);Mila(米拉研究所);Google Brain(谷歌大脑)
卷积神经网络(CNN)在图像分类、检测和分割等计算机视觉任务中表现出令人印象深刻的性能。此外,最近在生成对抗网络(GANs)中的工作通过逐步增加学习任务的难度来强调学习的重要性[26]。当从头开始学习网络时,在训练的早期阶段在网络内传播的信息可能包含由于噪声而导致的失真伪影,这可能对训练有害。在本文中,我们提出了一种优雅的基于课程的方案,该方案使用抗混叠或低通滤波器平滑CNN的特征嵌入。我们建议通过控制CNN内传播的高频信息量来增强CNN的训练,随着训练的进行,通过卷积每层的CNN特征图的输出与高斯内核。通过降低高斯核的方差,我们逐渐增加网络中可用于推理的高频信息量。随着特征图中的信息量在训练过程中增加,网络能够逐步学习更好的数据表示。我们提出的增强训练方案显着提高了CNN在各种视觉任务上的性能,而无需添加额外的可训练参数或辅助正则化目标。通过CNN架构中四种不同任务的经验性能增益来证明我们方法的通用性:迁移学习,跨任务迁移学习和生成模型。
2021-01-05 cs.CV cs.LG stat.ML
CES-KD: Curriculum-based Expert Selection for Guided Knowledge Distillation
McGill University(麦吉尔大学)
知识蒸馏(KD)是压缩边缘设备深分类模型的有效工具。然而,KD的性能受到教师和学生网络之间的大容量差距的影响。最近的方法已经求助于KD的多教师助理(TA)设置,其顺序地减小教师模型的大小以相对地弥合这些模型之间的大小差距。本文提出了一种新的技术,称为课程专家选择知识蒸馏(CES-KD),有效地提高能力差距问题下的紧凑型学生的学习。这种技术是建立在这样的假设之上的,即学生网络应该使用分层教学课程来逐步引导,因为它从较低(较高)容量的教师网络中更好、更快地学习简单(硬)数据样本。具体来说,我们的方法是一个渐进的TA为基础的KD技术,选择一个单一的教师,每个输入图像的基础上,课程驱动的分类图像的难度。在这项工作中,我们根据经验验证了我们的假设,并对CIFAR-10、CIFAR-100、CINIC-10和ImageNet数据集进行了严格的实验,并在VGG类模型、ResNets和WideResNets架构上显示出更高的准确性。
2022-09-15 cs.CV cs.LG
Single-cell Curriculum Learning-based Deep Graph Embedding Clustering
East China Normal University(华东师范大学);Stevens Institute of Technology(史蒂文斯理工学院)
针对scRNA-seq数据分析面临的复杂分布、dropout事件及低质量训练节点问题,提出基于单细胞课程学习的深度图嵌入聚类方法scCLG,结合多准则切比雪夫图卷积自编码器与选择性训练策略,实证结果优于现有方法。
2024-11-27 cs.AI cs.LG q-bio.GN
Coarse-to-Fine Curriculum Learning
Carnegie Mellon University(卡内基梅隆大学);Microsoft Semantic Machines(微软语义机器公司)
当面临学习具有挑战性的新任务时,人类通常遵循一系列步骤,这些步骤使他们能够逐步建立执行这些新任务所需的技能。然而,在机器学习中,模型通常是直接训练来解决目标任务的。受人类学习的启发,我们提出了一种新的课程学习方法,该方法将具有挑战性的任务分解为一系列更容易的中间目标,用于在处理目标任务之前预训练模型。我们专注于分类任务,并使用自动构造的标签层次结构设计的中间任务。我们在层次结构的每个级别上对模型进行训练,从粗略的标签到精细的标签,在这些级别之间传输所获得的知识。例如,模型将首先学习区分动物和物体,然后在学习分类更细粒度的类(如猫、狗、汽车和卡车)时使用这些获得的知识。大多数现有的监督学习的课程学习算法包括调度训练样本被呈现给模型的顺序。相比之下,我们的方法侧重于模型的输出空间。我们在几个已建立的数据集上评估了我们的方法,并显示出显着的性能增益,特别是在具有许多标签的分类问题上。我们还评估了一个新的合成数据集,这使我们能够研究我们方法的多个方面。
2021-06-08 cs.AI cs.LG
Causal-Paced Deep Reinforcement Learning
本文提出因果节奏深度强化学习(CP-DRL),通过交互数据近似任务间结构因果模型差异并结合奖励增益衡量可学习性,构建统一课程目标,在多个基准上验证了其提升收敛速度、回报和样本效率的有效性。
2025-06-24 cs.AI cs.LG stat.ML
Easy Begun is Half Done: Spatial-Temporal Graph Modeling with ST-Curriculum Dropout
Southern University of Science and Technology(南方科技大学);Research Institute of Trustworthy Autonomous Systems, SUSTech(南方科技大学可信自主系统研究院);The Chinese University of Hong Kong(香港中文大学);University of Tokyo(东京大学);Huawei Technologies CO.LTD(华为技术有限公司)
时空图建模是深度学习领域的重要研究内容,如交通速度预测、出租车需求预测等。然而,对于图中的节点,由于ST数据的异构性,它们的ST模式在建模的难度上可以有很大的差异。我们认为,以一个有意义的顺序(从简单到复杂)向模型揭示节点可以提供比传统训练过程更好的性能。这一思想源于课程学习,它表明在训练模型的早期阶段,模型可能对噪声和困难样本敏感。在本文中,我们提出了ST课程辍学,一种新颖的和易于实现的时空图建模策略。具体来说,我们评估了高级特征空间中每个节点的学习难度,并删除了那些困难的节点,以确保模型在开始时只需要处理基本的ST关系,然后逐渐转向困难的关系。我们的策略可以应用于任何规范的深度学习架构,而无需额外的可训练参数,并在广泛的数据集上进行了大量的实验,以说明通过控制ST关系的难度水平,随着训练的进行,该模型能够捕获更好的数据表示,从而产生更好的泛化。
2022-11-28 cs.AI cs.DB cs.LG