Curriculum goal masking for continuous deep reinforcement learning
Department of Informatics Universit\"at Hamburg Germany
深度强化学习最近已经获得了对策略或价值函数独立于目标的问题的关注。有证据表明,目标抽样对学习绩效有很强的影响,但缺乏一般的机制,专注于优化目标抽样过程。在这项工作中,我们提出了一个简单而通用的目标掩蔽方法,也使我们能够估计目标的难度水平,从而实现深度RL的课程学习方法。我们的研究结果表明,专注于中等难度的目标是适当的深度确定性策略梯度(DDPG)的方法,而“瞄准星星,达到月球的战略”,硬目标的采样比简单的目标,导致最好的学习性能的情况下,DDPG结合后见之明的经验重放(HER)。我们证明,该方法显着优于标准的目标采样不同的机器人对象操作问题。
2019-02-13 cs.LG stat.ML
Automating Curriculum Learning for Reinforcement Learning using a Skill-Based Bayesian Network
Naval Research Laboratory(海军研究实验室);Brown University(布朗大学);University of Maryland(马里兰大学)
针对强化学习中自动生成课程的难题,提出技能-环境贝叶斯网络SEBN建模技能、目标与环境特征的概率关系,结合预期改进度加权任务的算法,在三类环境中表现优于基准。
2025-02-21 cs.AI cs.LG
Curriculum Generation under Structured Parametric Environments for Robust Navigation Policies
Cornell University(康奈尔大学)
本文针对结构化参数环境提出重参数化课程生成框架,结合分布偏移正则化,在OpenAI Gym的两类连续控制环境中,显著优于多种基线方法,提升了导航策略的鲁棒性。
2026-08-11 cs.LG cs.RO
Teacher algorithms for curriculum learning of Deep RL in continuously parameterized environments
Inria(法国国家信息与自动化研究所);Microsoft Research(微软研究院)
我们考虑教师算法如何使未知的深度强化学习(DRL)学生能够在各种不同的环境中掌握技能的问题。为此,我们研究了教师算法如何学习生成学习课程,从而顺序采样控制随机程序生成环境的参数。因为它最初并不知道学生的能力,教师面临的一个关键挑战是发现哪些环境是容易的,困难的或不可学习的,以及以何种顺序提出它们以最大限度地提高学习效率。为了实现这一点,这个问题被转化为一个代理连续的强盗问题,教师样本的环境,以最大限度地提高绝对学习进度的学生。提出了一种基于高斯混合模型的绝对学习过程建模算法(ALP-GMM)。我们还适应现有的算法,并提供了一个完整的研究DRL的上下文中。使用参数化的双足步行环境的变体,我们研究他们的效率,个性化的学习课程,为不同的学习者(实施例),他们的鲁棒性的可学习/不可学习的环境的比例,和他们的可扩展性,非线性和高维参数空间。视频和代码可在https://github.com/flowersteam/teachDeepRL上获得。
2019-10-16 cs.LG cs.RO stat.ML
Curriculum Reinforcement Learning using Optimal Transport via Gradual Domain Adaptation
Carnegie Mellon University(卡内基梅隆大学)
课程强化学习(CRL)旨在创建一系列任务,从简单的任务开始,逐渐向困难的任务学习。在这项工作中,我们专注于框架CRL作为源(辅助)和目标任务分布之间的插值的想法。虽然现有的研究已经表明了这一想法的巨大潜力,但仍然不清楚如何正式量化和生成任务分布之间的移动。受半监督学习中逐步领域自适应的启发,我们通过将CRL中潜在的大任务分布转移分解为较小的转移来创建自然课程。我们提出梯度,它制定CRL作为一个最佳的运输问题与量身定制的任务之间的距离度量。具体来说,我们生成一系列任务分布作为测地线插值(即,Wasserstein重心)之间的源和目标分布。与许多现有的方法不同,我们的算法考虑了任务相关的上下文距离度量,并且能够处理连续和离散上下文设置中的非参数分布。此外,我们从理论上表明,梯度,在一定条件下,在课程的后续阶段之间的顺利转移。我们在运动和操作任务中进行了广泛的实验,并表明我们提出的GRADIENT在学习效率和渐近性能方面比基线实现了更高的性能。
2022-10-18 cs.AI cs.LG
Meta Automatic Curriculum Learning
INRIA(法国国家信息与自动化研究所);Microsoft Research(微软研究院)
深度RL(DRL)社区的一个主要挑战是训练代理能够在训练中从未见过的情况下推广他们的控制策略。对不同任务的训练已被确定为良好泛化的关键因素,这促使研究人员使用通过复杂连续参数空间控制的丰富程序任务生成系统。在如此复杂的任务空间中,必须依赖某种形式的自动课程学习(ACL)来使任务采样分布适应给定的学习代理,而不是随机采样任务,因为许多任务最终可能是微不足道的或不可行的。由于很难获得有关此类任务空间的先验知识,因此许多ACL算法探索任务空间以检测随时间推移的进度小生境,这是一个需要为每个新学习代理执行的代价高昂的tabula-rasa过程,尽管它们的能力配置文件可能具有相似性。为了解决这个问题,我们引入了元ACL的概念,并在黑盒RL学习者的上下文中将其形式化,即试图将课程生成推广到学习者(未知)分布的算法。在这项工作中,我们提出了再次,元ACL的第一个实例,并展示了它的好处,在多个模拟环境中,包括程序生成的跑酷环境与不同形态的学习者的课程生成经典ACL。视频和代码可在https://sites.google.com/view/meta-acl上获得。
2021-09-01 cs.AI cs.LG
Self Paced Gaussian Contextual Reinforcement Learning
Department of Electrical and Computer Engineering(电气与计算机工程系);North Carolina State University(北卡罗来纳州立大学);Department of Statistics(统计系)
本文提出自适应高斯课程学习方法,通过闭式更新规则减少计算开销,提升高维情境空间下的样本效率和稳定性,实验表明其在连续和部分可观测领域表现优异。
2026-03-24 cs.AI cs.LG
Boosting Reinforcement Learning in 3D Visuospatial Tasks Through Human-Informed Curriculum Design
York University(约克大学)
本文通过人类指导的课程设计提升强化学习在复杂三维视觉空间任务中的性能。
2025-11-17 cs.AI cs.LG
Discretization of continuous input spaces in the hippocampal autoencoder
Donders Institute for Brain, Cognition and Behaviour(唐德斯脑、认知与行为研究所);Radboud University(拉德堡德大学)
本研究通过稀疏自编码器将视觉事件离散化为类似海马位置细胞的空间调谐,并扩展至听觉域,证明极高维编码可平铺输入空间,支持强化学习智能体完成视觉空间认知任务。
2024-05-23 cs.AI cs.LG q-bio.NC
Curriculum Offline Imitation Learning
Shanghai Jiao Tong University(上海交通大学);Microsoft Research(微软研究院)
离线强化学习(RL)任务要求智能体从预先收集的数据集中学习,而不需要与环境进行进一步的交互。尽管有可能超越行为策略,但基于RL的方法通常是不切实际的,因为训练不稳定性和自举外推误差,这总是需要通过在线评估进行仔细的超参数调整。相比之下,离线模仿学习(IL)没有这样的问题,因为它直接学习策略而不通过自举估计价值函数。然而,IL通常受限于行为策略的能力,并且倾向于从由策略混合收集的数据集中学习平庸的行为。在本文中,我们的目标是利用IL,但减轻这样的缺点。观察到行为克隆是能够模仿邻居的政策与更少的数据,我们提出了\textit{Curriculum Offline Imitation Learning (COIL)},它利用了一个经验挑选策略,模仿从适应性的邻居的政策,具有较高的回报,并改善了目前的政策沿课程阶段。在连续控制基准测试中,我们将COIL与基于模仿和基于RL的方法进行了比较,表明它不仅避免了在混合数据集上学习平庸的行为,而且甚至与最先进的离线RL方法竞争。
2022-01-12 cs.AI cs.LG
CL-MAE: Curriculum-Learned Masked Autoencoders
Aalborg University(奥尔堡大学);University Politehnica of Bucharest(布加勒斯特理工大学);University of Bucharest(布加勒斯特大学);Milestone Systems(迈尔斯通系统公司);SecurifAI(SecurifAI公司)
本文提出 CL-MAE,利用可学习掩码模块在 MAE 自监督训练中生成由易到难的重建课程,并在 ImageNet 及五个下游任务上验证其优于 MAE 的表示学习效果。
2024-02-28 cs.AI cs.CV cs.LG
Cross-Episodic Curriculum for Transformer Agents
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学);NVIDIA Research(英伟达研究院)
提出跨情节课程(CEC)算法,通过将跨情节经验置于Transformer上下文中构建课程,提升智能体在强化学习和模仿学习中的效率与泛化能力。
2023-10-12 cs.AI cs.LG cs.RO
Learning Tennis Strategy Through Curriculum-Based Dueling Double Deep Q-Networks
Independent Researcher(独立研究者)
本文提出基于课程学习的对战双深Q网络,用于优化网球策略,通过模拟环境实现高胜率和高效发回球表现,但存在防守偏见问题。
2025-12-20 cs.AI cs.LG
Curriculum Learning for Cooperation in Multi-Agent Reinforcement Learning
Mila(米拉研究所);Laval University(拉瓦尔大学);AI Redefined;University of Alberta(阿尔伯塔大学)
针对多智能体强化学习中协作训练的队友选择及课程设计问题,本文通过Overcooked游戏实验发现低技能预训练队友利于团队奖励但不利于智能体学习,且技能递减的队友课程表现更优。
2023-12-19 cs.AI cs.LG cs.MA
An A* Curriculum Approach to Reinforcement Learning for RGBD Indoor Robot Navigation
Ford Greenfield Labs(福特格林菲尔德实验室)
训练机器人在不同的环境中导航是一个具有挑战性的问题,因为它涉及到几个不同的感知任务,如地图和定位,其次是最佳路径规划和控制的融合。最近发布的照片逼真模拟器(如Habitat)允许训练直接从感知输出控制动作的网络:代理使用深度强化学习(DRL)以端到端的方式直接从相机图像回归到控制输出。这是数据效率低下的,并且可能需要几天的时间在GPU上进行训练。本文试图通过分离感知和控制神经网络的训练,并使用课程方法逐渐增加路径复杂度来克服这个问题。具体地,预训练的双变分自编码器(VAE)用于将来自环境的RGBD(RGB &深度)感测压缩成潜在嵌入,其然后用于训练基于DRL的控制策略。传统的路径规划器A* 被用作策略的指南,并且随着训练的进行,起始位置和目标位置之间的距离沿着A* 路线逐渐增加。我们证明了所提出的方法的有效性,无论是在人居模拟环境中的PointNav任务的性能提高和训练时间减少。这种改进基于直接感知的DRL导航策略的策略预计将加速工业界特别感兴趣的机器人的部署,例如工厂车间的协作机器人和最后一英里交付机器人。
2021-01-05 cs.LG cs.RO
EDCO: Dynamic Curriculum Orchestration for Domain-specific Large Language Model Fine-tuning
Huawei Technologies Co., Ltd(华为技术有限公司)
EDCO通过动态课程编排和熵估计提升领域特定大语言模型微调效率与准确性。
2026-01-07 cs.LG
AceGRPO: Adaptive Curriculum Enhanced Group Relative Policy Optimization for Autonomous Machine Learning Engineering
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院)
本文提出AceGRPO,通过动态数据缓冲和可学习潜力函数提升自主机器学习工程的持续迭代优化能力,实验证明其在MLE-Bench-Lite上达到100%有效提交率。
2026-05-07 cs.AI cs.LG
BaRC: Backward Reachability Curriculum for Robotic Reinforcement Learning
Department of Mechanical Engineering, Stanford University(斯坦福大学机械工程系);School of Computing Science, Simon Fraser University(西蒙弗雷泽大学计算机科学学院)
本文提出BaRC方法,利用物理先验知识设计课程方案,通过逆向可达性策略加速连续控制MDP中模型无关RL算法的训练,提升性能并减少探索需求。
2018-09-17 cs.LG cs.RO cs.SY
Distributionally Robust Self Paced Curriculum Reinforcement Learning
University of Maryland College Park(马里兰大学学院公园分校);Purdue University West Lafayette(普渡大学西拉法叶分校)
分布鲁棒自适应课程强化学习通过动态调整鲁棒性预算,平衡性能与鲁棒性,提升在分布偏移下的稳定性与表现。
2026-03-08 cs.LG
Curriculum-based Asymmetric Multi-task Reinforcement Learning
Nanyang Technological University(南洋理工大学);Tencent Inc.(腾讯公司);JD.com Inc.(京东集团)
我们介绍CAMRL,第一个基于非对称多任务学习(AMTL)算法,用于处理多个强化学习(RL)任务。为了减轻基于CAMRL的AMTL中定制一次性训练顺序的负面影响,CAMRL根据训练时间、总体性能和任务间性能差距的指标,在并行单任务RL和非对称多任务RL(MTRL)之间切换其训练模式。为了灵活地利用多源先验知识并减少AMTL中的负传递,我们定制了具有多个可微排序函数的复合损失,并通过交替优化和Frank-Wolfe算法来优化损失。基于不确定性的超参数自动调整也被应用于消除在优化过程中费力的超参数分析的需要。通过优化复合损失,CAMRL预测下一个训练任务,并不断重新访问传递矩阵和网络权重。我们已经在多任务RL中进行了广泛的基准测试,包括Gym-minigrid,Meta-world,Atari视频游戏,基于视觉的PyBullet任务和RLBench,以显示CAMRL相对于相应的单任务RL算法和最先进的MTRL算法的改进。代码可在以下网址获得:https://github.com/huanghanchi/CAMRL
2022-11-07 cs.LG
Self-Supervised Curriculum Generation for Autonomous Reinforcement Learning without Task-Specific Knowledge
Seoul National University(首尔大学)
提出一种无需任务特定知识的自主强化学习算法,通过自监督训练的成功判别器生成自适应课程,使智能体能高效解决稀疏奖励任务并显著减少手动重置次数。
2024-02-18 cs.LG cs.RO
Realistic Curriculum Reinforcement Learning for Autonomous and Sustainable Marine Vessel Navigation
本文提出基于现实课程强化学习的框架,结合数据驱动的海洋模拟和机器学习预测模块,以实现自主且可持续的船舶导航。
2026-01-15 cs.LG
CTSAC: Curriculum-Based Transformer Soft Actor-Critic for Goal-Oriented Robot Exploration
School of Information and Control Engineering, China University of Mining and Technology(中国矿业大学信息与控制工程学院)
针对强化学习机器人探索中推理弱、收敛慢和仿真到现实迁移难的问题,提出融合 Transformer、SAC 与周期性回顾课程学习的 CTSAC,并在仿真和真实实验中验证其更优探索与迁移性能。
2025-03-18 cs.AI cs.RO
Collaborative Training of GANs in Continuous and Discrete Spaces for Text Generation
Seoul National University(首尔国立大学);Adobe Research(奥多比研究院)
由于语言的离散性,将生成对抗网络(GANs)应用于文本相关任务具有挑战性。一系列研究通过采用强化学习(RL)并直接在离散动作空间中优化下一个词的采样策略来解决这个问题。这种方法从完整的句子中计算奖励,避免了由于暴露偏差而导致的错误积累。其他方法采用近似技术,将文本映射到连续表示,以规避不可微的离散过程。特别是,基于自动编码器的方法有效地产生鲁棒的表示,可以模拟复杂的离散结构。在本文中,我们提出了一种新的文本GAN架构,促进连续空间和离散空间方法的协同训练。我们的方法采用自动编码器来学习隐式数据流形,为连续空间中的对抗训练提供学习目标。此外,完整的文本输出直接评估和更新通过RL在离散空间。两种对抗训练之间的协作相互作用有效地规范了不同空间中的文本表示。在三个标准基准数据集上的实验结果表明,我们的模型在质量,多样性和全局一致性方面大大优于最先进的文本GANs。
2020-11-04 cs.AI cs.CL cs.LG
Tutor-Student Reinforcement Learning: A Dynamic Curriculum for Robust Deepfake Detection
School of Computer Science, Wuhan University(武汉大学计算机学院);School of Integrated Circuits, Peking University(北京大学集成电路学院);School of Information, Huazhong Agricultural University(华中农业大学信息学院);Cyberspace Institute of Advanced Technology, Guangzhou University(广州大学先进技术网络研究院)
本文提出了一种 tutor-student 强化学习框架,通过动态优化训练课程来提高深度伪造检测的鲁棒性和泛化能力。
2026-05-20 cs.CV cs.LG
Curriculum Group Policy Optimization: Adaptive Sampling for Unleashing the Potential of Text-to-Image Generation
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院);Beijing Key Laboratory of Multimodal Data Intelligent Perception and Governance(北京多模态数据智能感知与治理重点实验室)
本文提出了一种适应性课程训练框架CGPO,通过动态调整采样策略来提高文本到图像生成的训练效率,同时解决多类别数据集中的数据不平衡问题。
2026-05-18 cs.AI cs.CV
The Physical Basis of Prediction: World Model Formation in Neural Organoids via an LLM-Generated Curriculum
Department of Computer Science University of Wisconsin-Madison(计算机科学系 威斯康星大学麦迪逊分校)
本文提出利用LLM生成课程在人类神经类器官中形成世界模型的框架,设计三个闭环虚拟环境训练生物智能体并探究突触学习机制,通过多模态评估量化突触可塑性,弥合了强化学习与计算神经科学的鸿沟。
2025-11-04 cs.AI cs.LG cs.NE
DeliveryGym: An RL Environment for Long-Horizon Embodied Agent Planning with Adaptive Curriculum
UC San Diego(加州大学圣迭戈分校);Johns Hopkins University(约翰斯·霍普金斯大学);Cornell University(康奈尔大学)
DeliveryGym是一个3D强化学习环境,通过模拟连续快递轮班中的资源依赖和轨迹奖励,训练具身智能体进行长时程规划,实验表明RL提升净收入54.3%,自适应课程进一步改善测试性能。
2026-09-24 cs.LG
Curriculum-Based Reinforcement Learning for Autonomous UAV Navigation in Unknown Curved Tubular Conduit
DGA Techniques Navales - Direction Générale de l’Armement(法国国防总局海军技术部);LIRMM, TETIS, CNRS, Université de Montpellier Paul-Valéry(蒙彼利埃大学保罗-瓦莱里耶大学);LIS, CNRS, Université de Toulon(土伦大学)
本文提出基于课程学习的强化学习方法,使无人机在未知弯曲管状环境中实现自主导航,通过结合激光雷达和视觉信息,克服部分可观测性挑战,提升导航稳定性与泛化能力。
2025-12-11 cs.LG cs.RO
Adversarial Fine-tuning in Offline-to-Online Reinforcement Learning for Robust Robot Control
Graduate School of Science and Engineering(科学与工程研究生院);Chiba University(千叶大学);Graduate School of Informatics(信息学研究生院)
本研究提出一种离线到在线强化学习框架,通过对抗微调提升机器人控制在不确定环境中的鲁棒性,实验表明其在连续控制任务中优于传统方法。
2026-02-27 cs.AI cs.RO
CARNet: A Dynamic Autoencoder for Learning Latent Dynamics in Autonomous Driving Tasks
Georgia Institute of Technology(佐治亚理工学院);Ford Motor Company(福特汽车公司)
自动驾驶在汽车行业受到了广泛关注,通常被视为交通运输的未来。配备有各种传感器的乘用车(例如,相机、前置雷达、LiDAR和IMU)变得越来越普遍。这些传感器提供了一系列高维、时间相关的数据,这对于可靠的自动驾驶至关重要。自动驾驶系统应该有效地使用从各种传感器收集的信息,以便形成对世界的抽象描述并保持态势感知。自动编码器等深度学习模型可以用于此目的,因为它们可以从传入数据流中学习紧凑的潜在表示。然而,大多数自动编码器模型独立地处理数据,而不假设任何时间上的相互依赖性。因此,需要在其架构中明确考虑数据的时间依赖性的深度学习模型。这项工作提出了CARNet,这是一种组合动态自动编码器网络架构,它利用自动编码器与递归神经网络相结合来学习当前的潜在表示,此外,还可以在自动驾驶的背景下预测未来的潜在表示。我们使用模拟和真实数据集在模仿和强化学习设置中证明了所提出的模型的有效性。我们的研究结果表明,该模型优于基线最先进的模型,同时具有显着更少的可训练参数。
2022-05-26 cs.LG cs.RO
Curriculum reinforcement learning with measurable task representation learning
Harbin Institute of Technology(哈尔滨工业大学);Fuzhou University(福州大学);China Academy of Sciences(中国科学院)
提出一种基于可度量任务表征学习的自动课程生成方法,通过变分自编码器将任务空间映射到具有相似性度量的潜在空间,并据此生成逐步接近目标任务的课程,在复杂导航任务中优于现有插值和生成对抗网络方法。
2026-05-22 cs.AI cs.LG
Deep Spatial Autoencoders for Visuomotor Learning
University of California, Berkeley(加州大学伯克利分校)
强化学习为自动获取机器人运动技能提供了一个强大而灵活的框架。然而,应用强化学习需要足够详细的状态表示,包括任务相关对象的配置。我们提出了一种方法,通过学习状态表示直接从相机图像自动化的状态空间的建设。我们的方法使用深度空间自动编码器来获取一组描述当前任务环境的特征点,例如对象的位置,然后使用基于局部线性模型的高效强化学习方法使用这些特征点学习运动技能。由此产生的控制器不断地对学习到的特征点做出反应,使机器人能够通过闭环控制动态地操纵世界中的物体。我们演示了我们的方法与PR2机器人的任务,包括推动一个独立的玩具块,拿起一袋大米使用抹刀,挂在钩子上的绳子在不同的位置。在每个任务中,我们的方法自动学习跟踪任务相关的对象,并使用机器人的手臂操纵它们的配置。
2016-03-01 cs.CV cs.LG cs.RO
CLUTR: Curriculum Learning via Unsupervised Task Representation Learning
University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
CLUTR通过两阶段优化(先学习任务流形,再基于遗憾目标生成课程)解决UED的非平稳性,在CarRacing和导航环境中分别实现10.6倍和45%的零样本泛化提升,且交互次数减少500倍。
2023-03-07 cs.AI cs.LG
Enhancing Continuous Domain Adaptation with Multi-Path Transfer Curriculum
Tsinghua University(清华大学)
本文提出W-MPOT方法,基于Wasserstein距离构建迁移课程,通过多路径连续最优传输和双向一致性约束解决连续域适应中的域排序与误差累积问题,在阿尔茨海默病分类和电池容量估计上显著提升性能。
2024-03-18 cs.LG
CuMoLoS-MAE: A Masked Autoencoder for Remote Sensing Data Reconstruction
Courant Institute of Mathematical Sciences, New York University(纽约大学Courant数学科学研究所)
CuMoLoS-MAE通过课程引导的蒙特卡洛随机集合屏蔽自动编码器,实现遥感数据的细尺度特征恢复和像素级不确定性量化,提升对流诊断与气候再分析精度。
2026-01-14 cs.LG physics.ao-ph
Learn Your Own Thoughts: Abstract Token Curriculum
UC Berkeley(加州大学伯克利分校);UC San Diego(加州大学圣迭戈分校);EPFL(洛桑联邦理工学院);Google DeepMind(谷歌DeepMind)
提出抽象令牌课程(ATC),一种无需直接监督的课程学习框架,通过逐步增加问题复杂度训练LLM在连续表示空间中形成内部抽象思考,并在理论和实验上证明其在图可达性和算术任务上的优势。
2026-09-24 cs.AI cs.CL cs.LG
Continuous Representation of Molecules Using Graph Variational Autoencoder
University of California, Irvine(加州大学欧文分校)
为了连续地表示分子,我们提出了一个生成模型的VAE的形式,这是操作上的二维图形结构的分子。采用侧预测器来修剪潜在空间,并帮助解码器生成有意义的分子邻接张量。除了在药物设计和性质预测中的潜在适用性之外,我们还展示了这种技术与其他类似方法相比的优越性能,这些方法基于分子的SMILES表示,具有基于RNN的编码器和解码器。
2020-04-17 cs.LG
Teach the Way It Thinks: Guiding LLM Post-training Data Engineering with Sparse Autoencoders
Tsinghua University(清华大学)
提出SAERL框架,通过稀疏自编码器提取模型内部状态,建模数据多样性、难度和质量,用于强化学习数据工程,提升准确率并减少训练步数。
2026-11-06 cs.AI cs.CL cs.LG
Evolutionary Curriculum Learning Improves Biological Sequence Modeling
该研究提出进化课程学习(ECL),将其应用于VAE模型的蛋白质变异预测与RNA序列生成任务,提升了下游任务性能,证实进化距离是生物序列建模中排序训练课程的有效归纳偏置。
2026-08-11 cs.AI cs.LG q-bio.BM
Repurposing Pre-trained LLMs as High Fidelity Continuous Text Autoencoders
University of California, Irvine(加州大学尔湾分校)
本文提出LLMAE,通过暴露中间固定长度潜瓶颈,将预训练解码器语言模型重用作连续文本自编码器,实现高保真重建并支持下游潜文本扩散模型用于图像描述。
2026-10-05 cs.LG
Single-cell Curriculum Learning-based Deep Graph Embedding Clustering
East China Normal University(华东师范大学);Stevens Institute of Technology(史蒂文斯理工学院)
针对scRNA-seq数据分析面临的复杂分布、dropout事件及低质量训练节点问题,提出基于单细胞课程学习的深度图嵌入聚类方法scCLG,结合多准则切比雪夫图卷积自编码器与选择性训练策略,实证结果优于现有方法。
2024-11-27 cs.AI cs.LG q-bio.GN
Coarse Grained Exponential Variational Autoencoders
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
变分自编码器(VAE)通常使用高斯分布或类别分布来对推理过程进行建模。这限制了变分学习,因为这种简化的假设与真实的后验分布不匹配,后者通常要复杂得多。为了打破这一限制,并在推理过程中应用任意的参数分布,本文推导了一个\emph{semi-continuous}潜在的表示,它近似的连续密度达到规定的精度,并且更容易分析比连续的副本,因为它是从根本上离散的。我们展示的命题应用多项式指数族分布作为后验,这是普遍的概率密度函数发生器。我们的实验结果表明,常用的VAE模型一致的改进。
2017-02-25 cs.LG
Continuity-Preserving Convolutional Autoencoders for Learning Continuous Latent Dynamical Models from Images
National University of Singapore(新加坡国立大学)
本文提出保连续性卷积自编码器(CpAEs),通过促进卷积滤波器连续性来保持潜在状态连续,从而从离散图像帧中学习更准确的连续潜在动力学模型。
2025-02-02 cs.CV cs.LG
FOSSIL: Regret-Minimizing Curriculum Learning for Metadata-Free and Low-Data Mpox Diagnosis
Computer Science Division, Gwinnett Technical College, Lawrenceville, GA, USA(基普顿技术学院计算机科学系);Department of Computer Science, University of Kentucky, Lexington, KY, USA(肯塔基大学计算机科学系);Department of Biomedical Engineering, Kumoh National Institute of Technology, Gumi, South Korea(Kumoh国立技术学院生物医学工程系);Department of Biology, Georgia Institute of Technology, Atlanta, GA, USA(佐治亚理工学院生物学系);Oaro Dermatology Center, Seongnam, Gyeonggi-do, South Korea(Oaro皮肤科中心)
针对小规模不平衡生物医学数据集的优化与泛化难题,提出最小化遗憾的加权框架FOSSIL,通过基于softmax的不确定性构建四阶段课程学习,在无元数据和合成增强的Mpox诊断中显著提升了模型的判别力、校准与鲁棒性。
2025-10-11 cs.AI cs.LG
Continuous-time Autoencoders for Regular and Irregular Time Series Imputation
Yonsei University(延世大学)
针对时间序列插补需求,该研究基于神经控制微分方程(NCDEs)提出连续时间自编码器(CTA),以连续隐路径编码实现插补,在4个数据集19个基线上几乎均取得最优性能。
2024-06-24 cs.IR cs.LG
Disentangled Representation via Variational AutoEncoder for Continuous Treatment Effect Estimation
National University of Defense Technology(国防科技大学);College of Systems Engineering(系统工程学院)
针对连续处理效应估计中协变量混杂与噪声问题,提出DRVAE模型将协变量解耦为工具、混杂、调整和噪声因子,通过平衡混杂因子提升剂量-反应曲线估计精度,优于现有方法。
2024-06-04 cs.LG
Learning to Solve Travelling Salesman Problem with Hardness-adaptive Curriculum
Tsinghua University(清华大学)
已经提出了各种神经网络模型来解决组合优化问题,例如旅行商问题(TSP)。现有的基于学习的TSP方法采用简单的设置,即训练和测试数据是独立同分布的。然而,现有的文献未能解决TSP的情况下,训练和测试数据具有不同的分布。具体地说,我们发现不同的训练和测试分布将导致更困难的TSP实例,即,模型得到的解与最优解有较大差距。为了解决这个问题,在这项工作中,我们研究了基于学习的TSP方法时,训练和测试数据具有不同的分布使用自适应硬度,即,TSP实例对于求解器来说有多困难。这个问题是具有挑战性的,因为它是不平凡的(1)定量定义硬度测量;(2)在模型训练时有效地和连续地生成足够硬的TSP实例;(3)充分利用具有不同硬度水平的实例来学习更强大的TSP求解器。为了解决这些挑战,我们首先提出了一个原则性的硬度测量来量化TSP实例的硬度。然后,我们提出了一个硬度自适应生成器来生成不同硬度的实例。我们进一步提出了一个课程学习者充分利用这些实例训练TSP求解器。实验表明,我们的硬度自适应生成器可以生成的实例比现有的方法难十倍,我们提出的方法实现了显着的改进,最先进的模型在最优性差距。
2022-04-07 cs.AI cs.LG
GLSR-VAE: Geodesic Latent Space Regularization for Variational AutoEncoder Architectures
Université Pierre et Marie Curie(皮埃尔和玛丽·居里大学);Sony CSL(索尼计算机科学研究所);École Polytechnique(巴黎综合理工学院)
VAE(变分自编码器)已被证明在密度建模的背景下是强大的,并已被用于各种背景下的创造性目的。在许多情况下,我们建模的数据具有连续属性,我们希望在生成时考虑这些属性。我们在本文中提出了GLSR-VAE,一个测地线潜在空间正则化的变分自编码器架构及其推广,它允许一个精细的控制嵌入到潜在空间的数据。当用这种正则化来增加VAE损失时,学习的潜在空间的变化反映了数据属性的变化。这种对VAE潜在空间结构的更深入理解提供了以连续方式调制所生成数据的属性的可能性。我们证明了它的效率上的单声道音乐生成任务,我们设法生成离散序列的变化,在一个有意的和好玩的方式。
2017-07-14 cs.AI cs.LG stat.ML
The continuous Bernoulli: fixing a pervasive error in variational autoencoders
Columbia University(哥伦比亚大学)
变分自动编码器(VAE)已迅速成为机器学习的核心工具,适用于广泛的数据类型和潜在变量模型。到目前为止,开创性论文和核心软件库都采取的最常见的第一步是使用深度网络参数化Bernoulli可能性来建模MNIST数据。这种做法包含了看起来和经常被搁置的一个小不便:像素数据是[0,1]值,而不是伯努利似然支持的{0,1}。在这里,我们表明,远不是一个微不足道或滋扰,是方便忽略,这个错误有深刻的重要性VAE,定性和定量。我们引入并充分描述了一个新的[0,1]支持的单参数分布:连续伯努利,它修补了VAE中的这个普遍错误。这种分布并不是吹毛求疵;它在一系列指标和数据集上产生了有意义的性能改进,包括更清晰的图像样本,并提出了更广泛的性能VAE类别。
2019-12-29 cs.LG stat.ML
CR-LSO: Convex Neural Architecture Optimization in the Latent Space of Graph Variational Autoencoder with Input Convex Neural Networks
School of Systems Science, Beijing Normal University(北京师范大学系统科学学院);School of System Design and Intelligent Manufacturing, Southern University of Science and Technology(南方科技大学系统设计与智能制造学院);Department of Electrical and Computer Engineering, University of Illinois Chicago(伊利诺伊大学芝加哥分校电气与计算机工程系)
针对潜空间优化中性能映射非凸导致梯度搜索困难的问题,提出CR-LSO方法,利用输入凸神经网络正则化图变分自编码器学习凸映射,在三个NAS基准上取得有竞争力的性能与效率。
2025-04-25 cs.AI cs.LG
RxnNano:Training Compact LLMs for Chemical Reaction and Retrosynthesis Prediction via Hierarchical Curriculum Learning
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Southeast University(东南大学);Zhejiang University(浙江大学)
RxnNano通过层次化课程学习训练紧凑LLM,提升化学反应和逆合成预测性能,实现23.5%准确率提升。
2026-02-10 cs.AI cs.LG
Soft Curriculum Learning for Optimizing Fresh and Generalized Recommendations
Google(谷歌)
针对推荐系统流行度反馈循环问题,提出可扩展的软课程学习框架,通过损失退火和图内权重调整实现动态课程节奏,在不牺牲吞吐量下提升用户满意度和新鲜内容消费。
2026-09-30 cs.IR cs.LG
Continuous Emotion Recognition via Deep Convolutional Autoencoder and Support Vector Regressor
École de Technologie Supérieure, Université du Québec(魁北克大学高等技术学院);Pontifical Catholic University of Paraná(巴拉那天主教大学)
人脸表情自动识别是情感识别和计算机视觉的重要研究领域。应用可以在几个领域中找到,例如医疗,驾驶员疲劳监测,社交机器人和其他几个人机交互系统。因此,机器应该能够高精度地识别用户的情绪状态是至关重要的。近年来,深度神经网络在识别情绪方面取得了巨大成功。在本文中,我们提出了一个新的模型,连续的情感识别的基础上,面部表情识别的无监督学习方法的基础上迁移学习和自动编码器。所提出的方法还包括预处理和后处理技术,有助于提高性能的一致性相关系数的唤醒和效价尺寸的预测。在RECOLA 2016数据集上预测自发和自然情绪的实验结果表明,基于视觉信息的方法可以分别实现0.516和0.264的效价和唤醒的CCC。
2020-01-31 cs.CV cs.LG