Auxiliary task discovery through generate-and-test
University of Alberta（阿尔伯塔大学）；Huawei Technologies Canada, Ltd（华为技术加拿大有限公司）
本文提出一种基于生成与测试的辅助任务自动发现方法，通过持续生成并保留高实用性任务，显著提升强化学习的数据效率与性能。
2024-07-20 cs.AI cs.LG
Learning Task Agnostic Skills with Data-driven Guidance
Norwegian University of Science and Technology（挪威科技大学）
为了提高强化学习的自主性，代理需要学习有用的行为，而不依赖手动设计的奖励函数。为此，技能发现方法已被用来学习的内在选项可用于使用任务无关的目标的代理。然而，如果没有特定任务奖励的指导，由于在复杂和高维空间中技能发现的约束不足问题，紧急行为通常是无用的。本文提出了一个框架，指导技能发现的专家访问状态的子集，使用学习状态投影。我们将我们的方法应用于各种强化学习（RL）任务，并表明这种投影会产生更有用的行为。
2021-08-04 cs.AI cs.LG
A Geometric Perspective on Optimal Representations for Reinforcement Learning
Google Brain（谷歌大脑）；DeepMind（深度思考）；University of Alberta（阿尔伯塔大学）；University of Oxford（牛津大学）
基于价值函数空间的几何性质，提出了一种新的强化学习表示学习方法。我们利用这个角度来提供正式的证据，价值函数作为辅助任务的有用性。我们的配方考虑适应的代表性，以尽量减少（线性）近似的价值函数的所有固定的政策，为一个给定的环境。我们表明，这种优化减少到作出准确的预测，一类特殊的价值函数，我们称之为对抗性价值函数（AVF）。我们证明了使用价值函数作为辅助任务对应于我们的公式的预期误差松弛，AVF是一个自然的候选者，并确定了与原始价值函数的密切关系（Mahadevan，2005）。我们突出AVFs的特点和它们的有用性作为辅助任务在一系列的实验上的四个房间的域。
2019-06-26 cs.AI cs.LG stat.ML
Continual Auxiliary Task Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
学习辅助任务，例如对世界的多个预测，可以为强化学习系统提供许多好处。已经开发了各种各样的离策略学习算法来学习这样的预测，但是到目前为止，关于如何调整行为以收集用于那些脱离策略预测的有用数据的工作还很少。在这项工作中，我们研究了一个强化学习系统，旨在学习一组辅助任务，与行为策略学习采取行动，以改善这些辅助预测。我们强调固有的非平稳性，在这个连续的辅助任务学习问题，预测学习者和行为学习者。我们开发了一个算法的基础上的继任者的功能，促进跟踪下的非平稳奖励，并证明分离到学习继任者的功能和奖励提供收敛速度的改进。我们对由此产生的多预测学习系统进行了深入的研究。
2022-02-22 cs.LG
AutoSeM: Automatic Task Selection and Mixing in Multi-Task Learning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
多任务学习（MTL）已经在广泛的问题上取得了成功，其目标是使用一组相关的辅助任务来提高主要任务的性能。然而，当辅助任务的有用性被证明时，主要任务不是先验已知的，MTL模型的成功取决于这些辅助任务的正确选择以及在交替训练期间这些任务的平衡混合比。这两个问题可以通过人工直觉或超参数调整所有组合任务选择来解决，但这会引入归纳偏差，或者当候选辅助任务的数量非常大时不可扩展。为了解决这些问题，我们提出了AutoSeM，一个两阶段的MTL流水线，其中第一阶段通过具有Thompson采样的Beta-Bernoulli多臂强盗自动选择最有用的辅助任务，第二阶段通过基于高斯过程的贝叶斯优化框架学习这些选择的辅助任务的训练混合比。我们在GLUE语言理解任务上进行了几个MTL实验，并表明我们的AutoSeM框架可以成功地找到相关的辅助任务，并自动学习它们的混合比例，在几个主要任务上实现了显着的性能提升。最后，我们为AutoSeM的每个阶段提出了消融，并分析了学习的辅助任务选择。
2019-04-08 cs.CL cs.LG stat.ML
Discovery of Options via Meta-Learned Subgoals
University of Michigan（密歇根大学）；DeepMind（深度思维）
选项形式的时间抽象已被证明有助于强化学习（RL）代理更快地学习。然而，尽管在此主题上的先前工作，通过与环境的交互发现选项的问题仍然是一个挑战。在本文中，我们介绍了一种新的元梯度方法，用于在多任务RL环境中发现有用的选项。我们的方法是基于管理员-工人分解的RL代理，其中管理员通过学习一组任务独立的发现选项和原始动作的任务相关策略来最大化环境中的奖励。为每个选项定义子目标的选项奖励和终止函数被参数化为神经网络，并通过元梯度进行训练，以最大限度地提高其有用性。对网格世界和DeepMind实验室任务的实证分析表明：（1）我们的方法可以在多任务强化学习领域中发现有意义和多样的时间扩展选项，（2）所发现的选项在学习解决训练任务时经常被智能体使用，（3）所发现的选项帮助随机初始化的管理者在全新的任务中更快地学习。
2021-02-12 cs.AI cs.LG
A Laplacian Framework for Option Discovery in Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Google DeepMind（谷歌DeepMind）
表示学习和选项发现是强化学习（RL）中的两个最大挑战。原价值函数（PVF）是用于MDP中的表示学习的公知方法。在本文中，我们解决的选项发现问题，显示PVF如何隐式定义选项。我们通过引入本征目的，从学习的表征中获得的内在奖励函数来实现。从本征目的发现的选项遍历状态空间的主方向。它们对多个任务都很有用，因为它们是在不考虑环境奖励的情况下发现的。此外，不同的选项在不同的时间尺度上起作用，这有助于探索。我们展示了传统的表格域，以及在雅达利2600游戏的特征。
2017-06-16 cs.AI cs.LG
Human-Aligned Skill Discovery: Balancing Behaviour Exploration and Alignment
Camelot Castle（卡梅洛特城堡）
提出人类对齐的技能发现框架HaSD，通过结合人类反馈同时优化技能多样性与人类价值观对齐，在复杂环境中发现安全、有用且多样的技能，并支持可配置的多样性-对齐权衡。
2025-01-29 cs.LG cs.RO
SLIM: Skill Learning with Multiple Critics
NAVER LABS Europe（NAVER欧洲实验室）；EPITA Research Laboratory (LRE)（EPITA研究实验室）
针对机器人操作中互信息最大化难以产生有用安全行为的问题，提出多评论家技能学习方法SLIM，在actor-critic框架中优雅组合多奖励函数以克服干扰，在桌面操作中显著超越基线方法。
2024-03-21 cs.AI cs.LG cs.RO
An Empirical Study of the Effectiveness of Using a Replay Buffer on Mode Discovery in GFlowNets
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）；DeepMind（深度思维）
该研究针对GFlowNets这类新型生成式强化学习算法，实证探索了经验回放缓冲区的多种采样技术对其模式发现的影响，实验证实该方法可显著提升模式发现的速度与质量。
2023-07-18 cs.LG
Improving Few-Shot Generalization by Exploring and Exploiting Auxiliary Data
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
针对FLAD中辅助数据混合成本随数据集数增长的问题，本文基于多臂老虎机构造复杂度与辅助集数量无关的EXP3-FLAD和UCB1-FLAD，性能提升4%，并使30亿参数模型超越GPT-3。
2023-10-03 cs.CL cs.LG
Option Discovery in the Absence of Rewards with Manifold Analysis
Technion, Israel Institute of Technology（以色列理工学院）
选项已被证明是强化学习的有效工具，有助于改善探索和学习。在本文中，我们提出了一种基于谱图理论的方法，并推导出一种算法，系统地发现选项，而无需访问特定的奖励或任务分配。与以往的方法不同，我们的算法充分利用了图的Laplacian谱。与更高的图形频率相关联的扩展模式解开域的微妙之处，这被证明是有用的选项发现。使用几何和流形为基础的分析，我们提出了一个理论上的理由的算法。此外，我们还展示了它在几个领域的性能，与竞争方法相比有明显的改进。
2020-08-19 cs.AI cs.LG math.SP
Neural-Guided Equation Discovery
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）；National Research Center for Applied Cybersecurity ATHENE（应用网络安全国家研究中心ATHENE）；Johannes Gutenberg-Universität Mainz（美因茨约翰内斯古腾堡大学）
本文提出模块化方程发现系统MGMT，对比不同嵌入架构与学习模式的效果，验证语法规则动作空间及两种改进MCTS对神经引导方程发现的提升作用。
2025-03-21 cs.AI
Constrained Ensemble Exploration for Unsupervised Skill Discovery
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shenzhen Research Institute of Northwestern Polytechnical University（西北工业大学深圳研究院）；Hong Kong University of Science and Technology（香港科技大学）；Tencent（腾讯）；East China University of Science and Technology（华东理工大学）；The Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））
本文提出一种基于技能集成的无监督强化学习框架，通过状态原型分区探索和状态分布约束，学习可区分的技能，最大化状态覆盖，并在下游任务中取得优越性能。
2024-05-25 cs.LG
IR-VIC: Unsupervised Discovery of Sub-goals for Transfer in RL
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（脸书人工智能研究院）
我们提出了一个新的框架，以确定子目标的探索有用的顺序决策任务下的部分可观测性。我们利用变分内在控制框架（Gregor等人，2016年），最大限度地提高了授权-可靠地达到不同状态集的能力，并展示了如何通过信息理论正则化器将子目标识别为具有高必要选项信息的状态。尽管被发现没有明确的目标监督，我们的子目标提供了更好的探索和样本复杂性具有挑战性的网格世界导航任务相比，监督同行在以前的工作。
2021-01-03 cs.LG stat.ML
Hierarchical Cooperative Multi-Agent Reinforcement Learning with Skill Discovery
Georgia Institute of Technology（佐治亚理工学院）；Electronic Arts（美国艺电）；EA Digital Platform, Data & AI（艺电数字平台数据与人工智能部门）
在专业团队运动中，人类运动员通过动态地选择互补技能并执行原始动作来执行这些技能，从而实现高水平的协调。作为一个步骤，创造智能代理具有这种能力的充分合作的多智能体设置，我们提出了一个两级分层多智能体强化学习（MARL）算法与无监督的技能发现。智能体通过独立的Q学习在低级别学习有用的和独特的技能，而他们通过集中的多智能体训练与外部团队奖励在高级别学习选择互补的潜在技能变量。这组低级别技能来自一种内在奖励，这种内在奖励只会促进潜在技能变量从低级别技能轨迹中的可解码性，而不需要为每个技能手工制作奖励。对于可扩展的分散执行，每个代理独立地选择潜在的技能变量和基于本地观察的原始动作。我们的整体方法支持使用通用协作MARL算法来训练高级策略，并使用单代理RL来训练低级技能。随机高维团队游戏的实验表明，有用的技能和合作的团队发挥的出现。学习技能的可解释性显示了所提出的方法在团队运动游戏中实现人类-AI合作的前景。
2020-05-08 cs.LG cs.MA stat.ML
AANG: Automating Auxiliary Learning
Carnegie Mellon University（卡内基梅隆大学）；ENS PSL University（巴黎高等师范学院-PSL大学）；Hewlett Packard Enterprise（慧与公司）
辅助目标，即辅助学习信号，被引入以帮助在数据匮乏或高度复杂的最终任务上进行学习，在机器学习中很常见。虽然已经做了很多工作来制定有用的辅助目标，但它们的构建仍然是一种缓慢而繁琐的手工设计的艺术。关于这些目标如何以及何时提高最终任务绩效的直觉也有有限的理论支持。在这项工作中，我们提出了一种自动生成一套辅助目标的方法。我们通过在一个新的统一分类中解构现有的目标，识别它们之间的联系，并根据未发现的结构生成新的目标来实现这一目标。接下来，我们从理论上形式化了关于辅助学习如何提高最终任务泛化能力的广泛直觉。这导致我们的原则和有效的算法搜索空间生成的目标，找到那些最有用的一个指定的最终任务。以自然语言处理（NLP）作为我们的研究领域，我们证明了我们的自动辅助学习管道在5个NLP任务的预训练模型上的持续训练实验中，比竞争基线有了很大的改进。
2023-02-27 cs.AI cs.LG
Meta-Learning and Knowledge Discovery based Physics-Informed Neural Network for Remaining Useful Life Prediction
Dalian University of Technology（大连理工大学）
针对旋转机械RUL预测中目标域数据稀缺、退化动力学不明确的问题，提出MKDPINN，通过HSM映射数据、PGR学习物理约束并结合元学习，在工业数据和C-MAPSS基准上泛化性与准确性优于基线，解决数据稀缺下的预测难题。
2025-04-18 cs.AI cs.LG
Molecular representation learning with language models and domain-relevant auxiliary tasks
BenevolentAI（本福伦特人工智能公司）
我们应用一个Transformer架构，特别是BERT，来学习灵活和高质量的分子表示药物发现问题。我们研究了使用不同的自我监督任务的组合进行预训练的影响，并提出了我们的结果，建立虚拟筛选和QSAR基准。我们证明：i）选择适当的自我监督任务进行预训练对随后的下游任务（如虚拟筛选）的性能有重大影响。ii）使用与化学领域相关性更高的辅助任务，例如学习预测计算的分子性质，增加了我们学习的表征的保真度。iii）最后，我们表明，通过我们的模型“MolBert”学习的分子表示在基准数据集上改进了现有技术。
2020-11-26 cs.AI cs.LG
Self-Supervised Theorem Discovery in a Formal Axiomatic System
The University of Tokyo, Japan（东京大学，日本）；RIKEN AIP, Japan（日本RIKEN AIP）
提出一种自监督定理发现算法，通过交替进行证明搜索和有用定理提取，从公理和推理规则出发逐步构建定理库，实验表明发现的定理具有人类数学意义且能提升大语言模型证明性能。
2026-06-27 cs.AI cs.LG
AID-Purifier: A Light Auxiliary Network for Boosting Adversarial Defense
Seoul National University（首尔大学）
我们提出了一个艾滋病净化器，可以通过净化输入来提高对抗训练网络的鲁棒性。AID-purifier是一个辅助网络，作为已经训练好的主分类器的附加组件。为了保持它的计算量，它被训练成一个具有二进制交叉熵损失的神经网络。为了从对抗性示例中获得额外的有用信息，架构设计与信息最大化原则密切相关，其中主分类网络的两层被输送到辅助网络。为了辅助纯化的迭代优化过程，使用AVmixup训练辅助网络。艾滋病净化器可以与其他净化器，如PixelDefend一起使用，以获得额外的增强。总体结果表明，性能最佳的对抗训练网络可以通过性能最佳的净化网络来增强，其中AID-purifier是一种具有竞争力的候选者，它轻便而强大。
2021-07-14 cs.AI cs.CV cs.LG
Effects of Auxiliary Knowledge on Continual Learning
University of Catania（卡塔尼亚大学）；University of Modena and Reggio Emilia（摩德纳雷焦艾米利亚大学）
在持续学习（CL）中，神经网络在分布随时间变化的数据流上进行训练。在这种情况下，主要问题是如何学习新信息而不忘记旧知识（即，灾难性遗忘）。大多数现有的CL方法专注于寻找解决方案，以保存已获得的知识，因此工作在模型的过去。然而，我们认为，由于模型必须不断学习新任务，因此关注现有知识也很重要，这些知识可以改善后续任务的学习。在本文中，我们提出了一个新的，简单的，CL算法，专注于解决当前的任务的方式，可能有利于学习下一个。更具体地说，我们的方法将主要数据流与次要的、多样的和不相关的数据流相结合，网络可以从中提取辅助知识。这从不同的角度帮助模型，因为辅助数据可能包含当前和下一个任务的有用特征，并且传入的任务类可以映射到辅助类。此外，向当前任务添加数据隐含地使分类器更加鲁棒，因为我们正在强制提取更具鉴别力的特征。我们的方法可以优于现有的最先进的模型上最常见的CL图像分类基准。
2022-06-03 cs.AI cs.LG
CARE-X: Towards Clinically Useful Radiology VLMs with Auxiliary Supervision, Reward-Aligned Learning, and Tool-Augmented Measurement
CARE-X是一款胸部X射线视觉语言模型，通过辅助监督、奖励对齐学习及工具增强测量，在多个医学影像任务上实现了优于基线的性能，缩小了放射科医生需求与现有生成模型间的差距。
2026-08-05 cs.AI cs.CV
Auto-Discovery-Bench: Diagnosing Structured State Tracking in Oracle-Guided Discovery
National University of Singapore（国立新加坡大学）；Mila-Quebec AI institute（魁北克AI研究院）；Meta Superintelligence Labs（Meta超智能实验室）
提出Auto-Discovery-Bench基准，通过确定性Oracle引导的假设-干预-反馈循环，诊断智能体在结构化状态追踪中的能力瓶颈。
2026-05-29 cs.AI cs.LG
Multitask Learning with Low-Level Auxiliary Tasks for Encoder-Decoder Based Speech Recognition
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
基于深度学习的模型的端到端训练允许根据最终任务损失对中间表示进行隐式学习。然而，端到端的方法忽略了有用的领域知识编码在显式的中间级监督。我们假设，在深层网络的较低级别使用中间表示作为辅助监督，可能是结合端到端训练和更传统的管道方法优势的好方法。我们目前的实验会话语音识别，我们使用较低级别的任务，如音素识别，在多任务训练方法与编码器-解码器模型直接字符转录。我们比较了多种类型的低层次任务，并分析了辅助任务的效果。我们的研究结果表明，在交换机语料库上，这种方法提高了识别精度，在Eval 2000测试集上的标准编码器-解码器模型。
2017-04-19 cs.AI cs.CL
Distribution Matching Evolutionary Algorithms for Rare Event Sampling
University of Oxford（牛津大学）
本文提出分布匹配进化算法（DME），将进化算法视为近似马尔可夫链蒙特卡洛，无需更新权重即可从全局目标分布采样，在稀有事件采样中样本效率优于现有方法。
2026-10-14 cs.AI cs.LG cs.NE
Mitigating Selection Bias with Node Pruning and Auxiliary Options
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Amazon（亚马逊公司）
针对大语言模型的选择偏差问题，提出偏差节点剪枝、辅助选项注入两种方法及新评估指标CKLD，实验证明可在降低偏差的同时提升准确率，适用于开源与闭源模型。
2025-05-17 cs.AI
Beyond Context Windows: Persistent Discovery Context for Data-Centric Agents
Megagon Labs（美嘉冈实验室）
针对以数据为中心智能体发现结果未被复用的问题，提出持久发现上下文这一轻量级内存层，在多结构化数据环境中提升了检索质量，部分场景下其性能优于元数据检索。
2026-09-03 cs.AI cs.IR
On the Limits of Multi-modal Meta-Learning with Auxiliary Task Modulation Using Conditional Batch Normalization
University of Edinburgh（爱丁堡大学）；Université de Montréal（蒙特利尔大学）；Google Research（谷歌研究院）；Mila（米拉计算科学研究所）；McGill University（麦吉尔大学）；University of Calgary（卡尔加里大学）；CIFAR（加拿大高级研究所）
本研究探讨了一种基于条件批归一化的多模态少样本学习架构，发现桥接网络引入的额外计算和参数是改进主因，且效果无法跨基准复现，为多模态元学习提供了见解与建议。
2024-05-30 cs.AI cs.CV
