EAGER: Asking and Answering Questions for Automatic Reward Shaping in Language-guided RL
Inria(法国国家信息与自动化研究所);Université de Bordeaux(波尔多大学);ISIR Sorbonne Université(索邦大学智能系统与机器人研究所);Univ Angers(昂热大学);Microsoft Research Montreal(微软研究院蒙特利尔分院)
强化学习(RL)在长时间和稀疏奖励任务中是非常困难的,需要大量的训练步骤。加快学习过程的标准解决方案是利用额外的奖励信号,使其更好地指导学习过程。在语言条件强化学习的背景下,语言输入的抽象和概括属性为更有效地塑造奖励提供了机会。在本文中,我们利用这个想法,并提出了一个自动奖励塑造方法,代理提取辅助目标的一般语言目标。这些辅助目标使用问题生成(QG)和问答(QA)系统:它们由问题组成,引导代理尝试使用自己的轨迹重建有关全局目标的部分信息。当它成功的时候,它会得到一个与它对答案的信心成正比的内在奖励。这激励智能体生成轨迹,这些轨迹明确地解释了通用语言目标的各个方面。实验结果表明,该方法不需要工程师干预设计辅助目标,通过有效地指导探索,提高了样本效率。
2022-10-13 cs.AI cs.CL cs.LG
Self-Supervised Auxiliary Task Discovery for Stable Reinforcement Learning in Stock Trading
School of Mathematical and Statistical Sciences, Indian Institute of Technology Mandi(印度理工大学曼迪分校数学与统计科学学院)
本研究提出自监督框架自动发现辅助任务以支持股票交易的强化学习,通过广义价值函数和双网络结构优化,在四大股指上验证其较基线方法更具稳健性与交易性能。
2026-08-18 cs.LG q-fin.CP stat.ML
Self-Supervised Generalisation with Meta Auxiliary Learning
辅助任务的学习可以提高主要任务的概括能力。然而,这是以手动标记辅助数据为代价的。我们提出了一种新的方法,自动学习适当的标签的辅助任务,这样任何监督学习任务可以得到改善,而不需要访问任何进一步的数据。该方法是训练两个神经网络:一个标签生成网络预测的辅助标签,和一个多任务网络训练的主要任务旁边的辅助任务。标签生成网络的损失包含了多任务网络的损失,因此两个网络之间的这种交互可以被视为具有双梯度的元学习的一种形式。我们表明,我们提出的方法,Meta辅助学习(MAXL),优于单任务学习7图像数据集,而不需要任何额外的数据。我们还表明,MAXL优于其他几个基线生成辅助标签,甚至是竞争力相比,人类定义的辅助标签。我们的方法的自我监督性质导致了一个有前途的新方向自动化的概括。源代码可以在https://github.com/lorenmt/maxl上找到。
2019-11-26 cs.CV cs.LG stat.ML
ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning
School of Software, BNRist, Tsinghua University(清华大学软件学院,BNRist);Tencent Inc(腾讯公司)
ForkMerge通过分叉模型分支、自动搜索任务权重并动态合并,从优化与泛化角度缓解辅助任务学习中的负迁移,在多个基准上优于现有方法。
2023-11-16 cs.LG
Self-supervised Auxiliary Learning with Meta-paths for Heterogeneous Graphs
Korea University(高丽大学);NAVER AI LAB(NAVER人工智能实验室);NAVER CLOVA;Pusan National University(釜山国立大学)
图神经网络在广泛的应用中表现出优越的性能,提供了图结构数据的强大表示。最近的工作表明,表示可以进一步改善辅助任务。然而,异构图,其中包含丰富的语义信息与各种类型的节点和边的辅助任务,在文献中探索较少。为了在异构图上学习图神经网络,本文提出了一种新的基于元路径的自监督辅助学习方法。我们提出的方法是通过预测元路径作为辅助任务来学习主要任务。这可以被视为一种元学习。该方法可以识别辅助任务的有效组合,并自动平衡它们以改进主任务。我们的方法可以应用于任何图神经网络在插件的方式,无需手动标记或额外的数据。实验结果表明,该方法能有效地提高异构图的链接预测和节点分类性能。
2021-02-08 cs.LG stat.ML
Self-supervised Auxiliary Learning for Graph Neural Networks via Meta-Learning
Korea University(高丽大学);Pusan National University(釜山大学);NAVER AI LAB(NAVER AI实验室);NAVER CLOVA;NAVER Corp.(NAVER公司)
近年来,图神经网络(GNN)已被广泛用于图结构数据的表示学习,并在诸如链接预测、节点分类和推荐的各种应用中提供最先进的性能。受自然语言处理和计算机视觉中表示学习的自监督的最新进展的启发,最近已经研究了自监督学习以利用未标记的图结构数据。然而,采用自我监督任务作为辅助任务,以协助一个主要的任务已经很少探讨在文献中的图形。在本文中,我们提出了一种新的自监督辅助学习框架,有效地学习图神经网络。此外,这项工作是第一项研究表明,元路径预测是有益的,作为一个自我监督的辅助任务异构图。我们的方法是学习学习一个主要任务与各种辅助任务,以提高泛化性能。所提出的方法确定了一个有效的辅助任务的组合,并自动平衡它们,以改善主要任务。我们的方法可以以插件的方式应用于任何图神经网络,而无需手动标记或额外的数据。此外,它还可以扩展到任何其他辅助任务。实验结果表明,该方法能有效地提高节点分类和链接预测的性能。
2021-04-13 cs.LG
Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
系统组合性是人类语言中的一种基本机制,它允许已知部分的重组来创造新的表达。然而,现有的神经模型已经被证明缺乏这种学习符号结构的基本能力。由于Transformer模型在SCAN组合性挑战(Lake和Baroni,2018)中失败,需要将命令解析为动作,我们提出了两个辅助序列预测任务,用于跟踪函数和参数语义的进展,作为额外的训练监督。这些自动生成的序列更能代表输入数据的底层组成符号结构。在推理过程中,模型在每一步联合预测辅助序列中的下一个动作和下一个标记。在SCAN数据集上的实验表明,我们的方法鼓励Transformer理解命令的组合结构,将其在多个具有挑战性的拆分上的准确率从<= 10%提高到100%。在只有418个(5%)训练实例的情况下,我们的方法在MCD1分割上仍然达到了97.8%的准确率。因此,我们认为,组合性可以诱导在Transformers给予最小的,但适当的指导。我们还表明,更好的结果是实现使用较少的上下文向量作为注意力的查询,实现系统的组合性的架构选择提供见解。最后,我们展示了对PulledSCAN任务的积极推广结果(Ruis等人,2020年)。我们的代码可在https://github.com/jiangycTarheel/compositional-auxseq上公开获取
2021-09-30 cs.AI cs.CL cs.LG
DeepTravel: a Neural Network Based Travel Time Estimation Model with Auxiliary Supervision
School of Computer Science, Fudan University(复旦大学计算机学院);Singapore Management University(新加坡管理大学)
估计路径的行程时间对于智能城市移动性非常重要。现有的方法要么是基于估计每个路段的时间成本,这不能捕获许多跨路段复杂因素,要么是以非基于学习的方式设计的,这不能利用数据的现有丰富的时间标签,即,每个轨迹点的时间戳本文利用深度神经网络的新发展,提出了一种新的辅助监督模型DeepTravel,该模型能够自动有效地提取不同的特征,并充分利用轨迹数据的时间标签。我们在真实数据集上进行了全面的实验,以证明DeepTravel优于现有方法的性能。
2018-02-06 cs.CV cs.LG stat.ML
Multi-task Learning Of Deep Neural Networks For Audio Visual Automatic Speech Recognition
Samsung R\&D Institute India, Bangalore
多任务学习(MTL)涉及在共享表征上同时训练两个或多个相关任务。在这项工作中,我们应用MTL的视听自动语音识别(AV-ASR)。我们的主要任务是学习视听融合特征与从声学GMM/HMM模型获得的帧标签之间的映射。这是一个辅助任务相结合的视觉特征映射到帧标签从一个单独的视觉GMM/HMM模型。MTL模型进行了测试,在不同级别的串音噪声和结果进行了比较,与基线混合DNN-HMM AV-ASR模型。我们的研究结果表明,MTL是特别有用的,在较高的噪声水平。与基线相比,在-3SNR dB处报告了高达7%的WER相对改善
2017-01-10 cs.AI cs.CL cs.CV
Learning to Multi-Task Learn for Better Neural Machine Translation
Faculty of Information Technology(信息技术学院);Monash University(莫纳什大学)
由于神经机器翻译(NMT)是数据饥渴型的,因此在双语低资源场景中训练高质量NMT模型的主要挑战是缺乏并行句子对。多任务学习是一种优雅的方法,使用辅助句法和语义任务将语言相关的归纳偏见注入NMT,以提高概括能力。然而,挑战在于设计有效的培训时间表,规定在培训过程中何时利用辅助任务来填补主要翻译任务的知识空白,这种设置被称为偏置MTL。目前的培训计划方法是基于手工工程学,其有效性在不同的MTL设置。我们提出了一个新的框架,学习的训练计划,即学习多任务学习,为MTL设置的兴趣。我们制定的训练计划作为一个马尔可夫决策过程,铺平了道路,采用策略学习方法来学习调度策略。我们有效地和高效地学习的模仿学习框架内的训练计划政策,使用Oracle的政策算法,动态设置的重要性权重的辅助任务的基础上,他们的贡献的概括性的主要NMT任务。在低资源NMT设置上的实验表明,由此产生的自动学习训练算法与最佳算法相比具有竞争力,并导致BLEU分数提高了+1.1。
2020-01-10 cs.CL cs.LG
Towards Word-Level End-to-End Neural Speaker Diarization with Auxiliary Network
Google LLC(谷歌公司)
提出带辅助网络的词级端到端神经日志(WEEND),通过多任务学习在同一架构中同时进行语音识别和说话人标签预测,在2说话人短场景优于基线并可泛化至5分钟音频。
2023-09-15 cs.LG cs.SD eess.AS
Bayesian deep learning for mapping via auxiliary information: a new era for geostatistics?
University of Exeter(埃克塞特大学);University of Glasgow(格拉斯哥大学)
对于地理空间建模和制图任务,克里金法的变体-南非采矿工程师Danie Krige开发的空间插值技术-长期以来一直被视为既定的地质统计方法。然而,克里金法及其变体(如回归克里金法,其中包括辅助变量或这些变量的导数作为协变量)是相对限制性的模型,并且缺乏过去十年由深度神经网络提供给我们的功能。其中最重要的是特征学习-学习过滤器以识别网格数据(如图像)中特定任务模式的能力。在这里,我们展示了在地质统计学背景下的功能学习的力量,通过展示深度神经网络可以自动学习点采样目标变量和网格化辅助变量(如遥感提供的)之间的复杂关系,并在这样做时产生所选目标变量的详细地图。同时,为了满足决策者的需要,他们需要校准好的概率,我们通过称为蒙特卡罗退出贝叶斯近似获得不确定性估计。在我们的例子中,我们从点采样的化验数据中产生一个全国范围的概率地球化学图,辅助信息由地形高程网格提供。与传统的地质统计方法不同,辅助变量网格被原始地输入到我们的深度神经网络中。不需要提供地形导数(例如,坡度角、粗糙度等),因为深度神经网络能够学习这些以及必要时任意更复杂的导数,以最大化预测性能。我们希望我们的研究结果将提高人们对贝叶斯深度学习及其特征学习能力的适用性的认识,以用于不确定性很重要的大规模地质统计应用。
2020-09-08 cs.LG stat.AP stat.ML
SESQA: semi-supervised learning for speech quality assessment
Dolby Laboratories(杜比实验室)
自动语音质量评估是一个重要的,横向的任务,其进展受到人类注释的缺乏,对看不见的记录条件的概括性差,以及现有方法缺乏灵活性的阻碍。在这项工作中,我们使用半监督学习方法来解决这些问题,将可用的注释与编程生成的数据相结合,并使用3种不同的优化标准以及5个互补的辅助任务。我们的结果表明,这种半监督方法可以将现有方法的错误减少36%以上,同时在可重用特征或辅助输出方面提供额外的好处。改进进一步证实了一个样本外测试显示有前途的泛化能力。
2021-02-08 cs.LG cs.SD eess.AS
Automatic Recall Machines: Internal Replay, Continual Learning and the Brain
University of Oxford(牛津大学);KU Leuven(鲁汶大学)
神经网络中的重放涉及用记忆的样本对序列数据进行训练,这抵消了由非平稳性引起的对先前行为的遗忘。我们提出了一种方法,其中这些辅助样本是在飞行中生成的,只给出了正在为评估目标进行训练的模型,而没有额外的缓冲区或生成器网络。相反,评估模型本身内的学习样本的内隐记忆被利用。此外,虽然现有的工作重点是加强完整的可见数据分布,但我们表明,优化不遗忘要求生成专门针对每个真实训练批次的样本,这更有效和可扩展。我们考虑与大脑的高层次的相似之处,特别是使用一个单一的模型进行推理和回忆,回忆的样本对当前环境批次的依赖性,自上而下的激活和学习的调制,抽象回忆,以及任务学习的程度和回忆的程度之间的依赖性。这些特征自然地从方法中出现,而不受控制。
2020-12-12 cs.AI cs.CV cs.LG
Auxiliary Finite-Difference Residual-Gradient Regularization for PINNs
Computational Sciences Laboratory, Department of Mechanical Engineering, University of Cyprus(塞浦路斯大学机械工程系计算科学实验室)
本文提出一种混合PINN设计,通过有限差分在弱辅助项中正则化残差场,提升物理量精度与残差清洁度。实验显示,辅助壳正则化在三维热传导中有效降低边界条件误差和壁面热流误差。
2026-04-15 cs.AI cs.CE cs.LG