Transfer in Sequential Multi-armed Bandits via Reward Samples
Indian Institute of Science(印度科学学院);Robert Bosch Center for Cyber-Physical Systems(罗伯特·博世网络物理系统中心)
本文针对序贯多臂老虎机中奖励分布随回合变化的问题,提出一种基于UCB的样本迁移算法,利用历史回合奖励样本提升累积遗憾性能,实证显示优于标准UCB。
2024-03-19 cs.LG stat.ML
Sequential Transfer Machine Learning in Networks: Measuring the Impact of Data and Neural Net Similarity on Transferability
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
在面临类似预测任务的独立实体网络中,迁移机器学习能够使用分布式数据集重用和改进神经网络,而不会暴露原始数据。随着业务网络中数据集数量的增长,并不是每个神经网络传输都是成功的,需要指标来衡量其对目标性能的影响-其可传输性。我们对一个独特的真实用例进行了实证研究,该用例由六家不同餐馆的销售数据组成。我们在这些餐厅销售数据中训练和传输神经网络,并测量它们的可移植性。此外,我们计算潜在的指标的基础上的数据,数据预测和神经网络相似性的新度量的分歧的可转移性。我们得到显着的负相关关系之间的转移性和测试指标。我们的研究结果允许根据这些指标选择传输路径,这提高了模型性能,同时需要更少的模型传输。
2020-03-29 cs.LG stat.ML
A Survey on Self-supervised Pre-training for Sequential Transfer Learning in Neural Networks
University of California, San Diego(加利福尼亚大学圣迭戈分校)
深度神经网络通常在监督学习框架下进行训练,其中模型使用标记数据学习单个任务。从业者可以利用未标记或相关数据来提高模型性能,而不是仅仅依赖于标记数据,这些数据通常更容易访问和无处不在。用于迁移学习的自监督预训练正在成为一种越来越流行的技术,用于使用未标记数据来改善最先进的结果。它首先在大量未标记的数据上预训练模型,然后使模型适应感兴趣的目标任务。在这篇综述中,我们调查自监督学习方法及其应用程序中的顺序迁移学习框架。我们概述了自监督学习和迁移学习的分类,并强调了一些在不同领域设计预训练任务的突出方法。最后,我们讨论了最近的趋势,并建议未来的调查领域。
2020-07-01 cs.LG stat.ML
Robustifying Sequential Neural Processes
University of Torontoland(托伦托兰大学);Googol ShallowMind;University of Edenborrow(伊登伯勒大学)
当任务随时间变化时,Meta迁移学习试图通过元学习和迁移学习来提高学习新任务的效率。虽然标准注意力在各种环境中都是有效的,但我们质疑它在改善Meta迁移学习方面的有效性,因为学习的任务是动态的,上下文的数量可以小得多。在本文中,使用最近提出的Meta迁移学习模型,顺序神经过程(SNP),我们首先经验表明,它遭受了类似的欠拟合问题,神经过程推断的功能。然而,我们进一步证明,与元学习设置,标准的注意力机制是无效的元迁移设置。为了解决这个问题,我们提出了一种新的注意力机制,递归记忆重建(RMR),并证明了提供一个虚构的上下文,是递归更新和重建的互动是至关重要的,在实现有效的注意力的Meta迁移学习。此外,将RMR纳入SNP,我们提出了注意顺序神经过程-RMR(ASNP-RMR),并在各种任务中证明ASNP-RMR显着优于基线。
2020-06-29 cs.LG stat.ML
SAFES: Sequential Privacy and Fairness Enhancing Data Synthesis for Responsible AI
Lucy Family Institute for Data & Society(数据与社会卢西家族研究所);University of Notre Dame(北德克萨斯大学);Department of Applied and Computational Mathematics and Statistics(应用与计算数学与统计系)
提出 SAFES 序贯数据合成框架,将差分隐私合成与公平感知预处理结合,支持在隐私、公平性和效用间灵活权衡,并在真实数据集上验证其低效用损失下显著改善公平性。
2025-10-20 cs.CR cs.LG
Sequential Transfer in Reinforcement Learning with a Generative Model
Politecnico di Milano(米兰理工大学)
我们感兴趣的是如何设计强化学习代理,可证明降低样本的复杂性学习新的任务,从以前解决的知识转移。相关问题的解决方案的可用性提出了一个基本的权衡:是否寻求政策,预计将立即实现高(但次优)的新任务的性能或是否寻求信息,以快速确定一个最佳的解决方案,可能在不良的初始行为的成本。在这项工作中,我们专注于第二个目标时,代理有机会生成模型的状态-动作对。首先,给定一组已解决的任务,其中包含目标任务的近似值,我们设计了一种算法,该算法通过寻找最能提供信息的状态-动作对来快速识别准确的解决方案。我们得出PAC的界限,其样本的复杂性,清楚地表明使用这种先验知识的好处。然后,我们展示了如何学习这些近似的任务顺序减少我们的转移设置的隐马尔可夫模型,并采用频谱方法来恢复其参数。最后,我们在简单的模拟域实证验证我们的理论研究结果。
2020-07-01 cs.LG stat.ML
Safe Active Dynamics Learning and Control: A Sequential Exploration-Exploitation Framework
Stanford University(斯坦福大学)
自主机器人在不同场景中的安全部署需要能够有效适应新环境的代理,同时满足约束条件。在这项工作中,我们提出了一个实际的和理论上合理的方法来保持安全的存在动力学的不确定性。我们的方法利用贝叶斯元学习和最后一层适应。离线训练的神经网络特征的表现力,再加上有效的最后一层在线自适应,使得能够推导出紧密的置信集,这些置信集在模型在线自适应时围绕真实动态收缩。我们利用这些信心集规划轨迹,保证系统的安全性。我们的方法处理高动态不确定性的问题,安全地达到目标是可能最初是不可行的,通过第一\textit{exploring}收集数据和减少不确定性,自主\textit{exploiting}获取的信息之前,安全地执行任务。在合理的假设下,我们证明了我们的框架保证了所有约束在任何时候联合,即在总任务持续时间的高概率满足。这种理论分析还激发了最后一层元学习模型的两个正则化器,它们通过减少置信集的大小来提高在线适应能力和性能。我们在仿真和硬件上广泛地展示了我们的方法。
2022-02-16 cs.LG cs.RO cs.SY
Risk-Sensitive Sequential Action Control with Multi-Modal Human Trajectory Forecasting for Safe Crowd-Robot Interaction
Stanford University(斯坦福大学);Toyota Research Institute(丰田研究所)
提出了一种基于风险敏感随机最优控制的在线安全人群-机器人交互框架,其中风险由熵风险度量建模。基于采样的模型预测控制依赖于模式插入梯度优化的风险措施,以及Trajectron++,一个国家的最先进的生成模型,产生多模式的概率轨迹预测多个相互作用的代理。我们的模块化方法将人群-机器人交互集成到基于学习的预测和基于模型的控制中,这与端到端的策略学习方法相比是有利的,因为它允许机器人在运行时间指定所需的行为。特别是,我们表明,机器人表现出不同的相互作用行为,通过改变风险敏感度参数。仿真研究和真实世界的实验表明,所提出的在线框架可以实现安全和高效的导航,同时避免与场景中超过50人的碰撞。
2020-09-12 cs.AI cs.LG cs.RO
Safety-Constrained Policy Transfer with Successor Features
National University of Singapore(新加坡国立大学);Smart Systems Institute (SSI), NUS(新加坡国立大学智能系统研究所(SSI))
在这项工作中,我们专注于强化学习中的安全策略转移问题:当学习具有指定约束的新任务时,我们寻求利用现有策略。这个问题对于安全关键型应用很重要,在这些应用中,交互是昂贵的,并且不受约束的策略可能导致不期望的或危险的结果,例如,with physical物理robots机器人that interact互动with humans人类.我们提出了一个约束马尔可夫决策过程(CMDP)制定,同时使政策的转移和遵守安全约束。我们的配方干净地分离任务目标的安全考虑,并允许规格的各种约束。我们的方法依赖于一个新的扩展广义政策的改进,通过拉格朗日公式的约束设置。我们设计了一个双重优化算法,估计目标任务的最佳对偶变量,从而使安全转移的政策,从源任务上学习的后继功能。我们在模拟域中的实验表明,我们的方法是有效的,它访问不安全的状态不太频繁,并优于其他国家的最先进的方法时,考虑到安全约束。
2022-11-10 cs.LG
Safe Approximate Nonlinear Model Predictive Control Without Expert Demonstrations
Institute of Computer Engineering, TU Wien(计算机工程研究所,维也纳技术大学);AIT Austrian Institute of Technology(奥地利技术研究所);Institute of Mechanics and Mechatronics, TU Wien(机械与机电系统研究所,维也纳技术大学)
本文提出Safe Sequential-AMPC,通过共享参数生成MPC候选控制序列,减少专家数据需求,提升闭环安全性与学习效率。
2026-11-11 cs.LG cs.RO cs.SY
Transfer Learning for Efficient Iterative Safety Validation
Stanford University(斯坦福大学)
安全验证在安全关键自主系统的开发过程中非常重要,但可能需要大量的计算工作。现有的算法通常在每次被测系统发生变化时从头开始。我们应用迁移学习来提高基于强化学习的安全验证算法在应用于相关系统时的效率。通过动作价值函数对来自先前安全验证任务的知识进行编码,并使用学习到的一组注意力权重将其传递到未来的任务。为每个源任务包括学习的状态和动作值转换可以提高性能,即使系统具有实质上不同的故障模式。我们在网格世界和自动驾驶场景中进行安全验证任务的实验。我们表明,迁移学习可以提高验证算法的初始和最终性能,并减少训练步骤的数量。
2020-12-09 cs.LG cs.RO
GRASP: Gradient-Aligned Sequential Parameter Transfer for Memory-Efficient Multi-Source Learning
San Diego State University(圣地亚哥州立大学);University of Utah(犹他大学);University of Maine(缅因大学)
提出GRASP方法,通过序列处理、参数梯度对齐和迭代微调,在O(1)内存下实现多源知识融合,在三个持续学习基准上平均准确率93.5%,优于集成方法的71.7%。
2026-06-16 cs.LG
Sequential Classification of Aviation Safety Occurrences with Natural Language Processing
University of New South Wales(新南威尔士大学)
本研究利用NLP和深度学习模型对航空安全事件文本进行分类,评估多种模型在NTSB数据集上的性能,准确率超87.9%,sRNN表现最优。
2025-01-11 cs.CL cs.LG
Solving Few-Shot Multiobjective Multitask Optimization via Iterative Sequential Transfer
Nanyang Technological University(南洋理工大学)
针对少样本多目标多任务优化中精英解分布难以获取的瓶颈,本文提出迭代顺序迁移(IST)方法,通过顺序迁移和似然驱动的任务优先级排序,在紧凑预算下有效提升迁移效用。
2026-09-29 cs.AI cs.LG cs.NE
Towards Safe Policy Improvement for Non-Stationary MDPs
University of Massachusetts(马萨诸塞大学);Adobe Research(奥多比研究院);University of Alberta(阿尔伯塔大学);Amii(Amii(阿尔伯塔机器智能研究所))
许多现实世界中的序贯决策问题涉及具有金融风险和人类生命风险的关键系统。虽然在过去的几个作品已经提出了方法,是安全的部署,他们假设的根本问题是固定的。然而,许多现实世界的问题表现出非平稳性,当风险很高时,与错误的平稳性假设相关的成本可能是不可接受的。我们采取的第一步,以确保安全性,高信心,平稳变化的非平稳决策问题。我们提出的方法扩展了一种安全的算法,称为Seldonian算法,通过合成的无模型强化学习与时间序列分析。安全性是确保使用顺序假设检验的政策的预测性能,并获得置信区间使用野生自助。
2020-12-17 cs.AI cs.LG
A Neural Grammatical Error Correction System Built On Better Pre-training and Sequential Transfer Learning
Kakao(Kakao公司);Kakao Brain(Kakao大脑研究所)
语法纠错可以被看作是一个低资源的序列到序列的任务,因为公开可用的平行语料库是有限的。为了应对这一挑战,我们首先使用现实的噪声函数生成大型未注释语料库的错误版本。所得到的并行语料库随后用于预训练Transformer模型。然后,通过顺序应用迁移学习,我们使这些模型适应测试集的域和风格。结合上下文感知神经拼写检查器,我们的系统在ACL 2019中的受限和低资源轨道上都取得了有竞争力的结果。我们发布所有代码和材料以供复制。
2019-07-02 cs.CL cs.LG
SafeGene: Reusable Adapters for Transferable Safety Alignment
Southeast University(东南大学);The Hong Kong Polytechnic University(香港理工大学)
提出SafeGene,一种可重用的安全适配器模块,通过从对齐-退化模型差异中提取安全表示,并利用数据感知层选择和少样本系数重校准,实现跨任务的安全恢复,在保持下游性能的同时降低有害响应率。
2026-06-02 cs.AI cs.LG
Structured Noise Adaptation for Sequential Bayesian Filtering with Embedded Latent Transfer Operators
The University of Osaka(大阪大学);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所革新智能综合研究中心(AIP))
针对ELTO卡尔曼滤波器噪声模型无法适应非平稳过程的问题,提出结构化噪声参数化方法,结合最优时不变噪声学习与动态参数自适应,提升时变噪声环境下的状态估计性能。
2026-06-15 cs.LG math.OC
Predicting trucking accidents with truck drivers 'safety climate perception across companies: A transfer learning approach
本文提出先预训练后微调的迁移学习方法及SafeNet深度神经网络,利用多家卡车公司的安全氛围数据提升事故风险预测准确性,并验证了多样化大数据集预训练的有效性。
2024-02-19 cs.AI cs.LG
Cross-Representation Knowledge Transfer for Improved Sequential Recommendations
HSE University(俄罗斯莫斯科高等教育学院);SB AI Lab(SB人工智能实验室);AXXX
本文提出结合变换器和图神经网络的框架,通过跨表示知识迁移提升序列推荐的准确性。
2026-02-26 cs.IR cs.LG
Sequential Transfer Learning to Decode Heard and Imagined Timbre from fMRI Data
Dartmouth College(达特茅斯学院)
提出一种基于transformer的fMRI数据序列迁移学习框架,通过Next Thought Prediction预训练和音色解码微调两阶段方法,显著提升了从fMRI解码音乐音色的准确率和分类粒度。
2023-05-22 cs.LG q-bio.QM
Provably Safe Sim-to-Real Transfer
EPFL(洛桑联邦理工学院)
该研究针对安全仿真到现实迁移问题,在无奖励安全强化学习框架下设计高效算法,可减少现实交互并保证安全探索,还能计算接近最优的可行策略,刻画了仿真器的益处。
2026-09-28 cs.AI cs.LG
CREST: Universal Safety Guardrails Through Cluster-Guided Cross-Lingual Transfer
本文提出CREST模型,通过跨语言迁移有效提升低资源语言的安全性防护,展示其在六个安全基准上的优越表现。
2026-03-29 cs.CL cs.LG
Safety-Regulated Transfer Reinforcement Learning with Adaptive Teacher Guidance
State Key Laboratory of Advanced Design and Manufacturing Technology for Vehicle, College of Mechanical and Vehicle Engineering, Hunan University(湖南大学机械与运载工程学院,先进设计与制造技术国家重点实验室);Key Laboratory of Intelligent Air-Ground Cooperative Control for Universities in Chongqing, School of Automation, Chongqing University of Posts and Telecommunications(重庆邮电大学自动化学院,重庆市高校智能空地协同控制重点实验室);School of Traffic and Transportation Engineering, Central South University(中南大学交通运输工程学院)
提出一种安全迁移强化学习框架,通过自适应教师干预、奖励塑形和策略比率重加权,解决自动驾驶高速公路变道中的分布偏移和训练安全问题,在安全性和学习效率上分别提升52.2%和5.0%。
2026-07-23 cs.LG
Latent Safety Filters: When a Lossy Encoder Admits a Transferable Certificate
San Diego State University(圣地亚哥州立大学);University of California San Diego(加州大学圣地亚哥分校)
研究有损编码器何时允许安全证书迁移到物理系统,发现取决于被丢弃安全动力学的可检测性,并给出线性情形下的迁移条件及两个显式裕度。
2026-10-06 cs.LG cs.RO cs.SY
MSSRNet: Manipulating Sequential Style Representation for Unsupervised Text Style Transfer
The University of Hong Kong(香港大学);Zhejiang University(浙江大学)
针对无监督文本风格迁移中传统固定向量风格调控粒度不足的问题,提出为每个词元分配独立风格向量的MSSRNet,结合融合师生学习的对抗训练框架,在双风格和多风格迁移任务中均提升了迁移准确率与内容保留度。
2023-06-12 cs.AI cs.CL cs.LG
Cracking the Code of Negative Transfer: A Cooperative Game Theoretic Approach for Cross-Domain Sequential Recommendation
SK Telecom(SK电信);Korea Advanced Institute of Science and Technology(韩国科学技术院);NAVER
本文提出一种基于合作博弈论的跨域序列推荐框架,通过评估领域间负迁移程度并自适应调整权重,结合分层对比学习缓解负迁移,在十个领域上表现优于现有方法。
2023-11-22 cs.AI cs.LG
Cross-domain Transfer Learning and State Inference for Soft Robots via a Semi-supervised Sequential Variational Bayes Framework
School of Information Technology, Monash University Malaysia(马来西亚莫纳什大学信息技术学院);School of Engineering, Monash University Malaysia(马来西亚莫纳什大学工程学院)
针对软体机器人状态标签缺失问题,提出半监督序列变分贝叶斯框架DSVB,结合特征空间迁移与循环神经网络,实现跨配置的有效迁移学习和准确状态推断。
2024-11-09 cs.LG cs.RO
Probabilistically Safe Policy Transfer
University of California, Berkeley(加州大学伯克利分校);International Computer Science Institute (ICSI)(国际计算机科学研究所);OpenAI
虽然基于学习的方法在机器人领域有很大的潜力,但一个问题是,机器人在学习最佳策略之前更新其参数可能会造成大量损害。我们通过定义一个优化问题,在概率意义上正式定义了安全学习的概念:我们希望最大化预期收益,同时保持预期损失低于给定的安全限制。我们研究这种优化的情况下,机器人机械手与安全为基础的扭矩限制。我们希望确保在优化的每一步都保持损伤约束,而不仅仅是在收敛时。为了实现这一目标,我们介绍了一种新的方法,预测如何修改扭矩限制,以及如何更新的政策参数,可能会影响机器人的安全。我们通过大量的实验表明,我们的方法允许机器人提高其性能,同时确保在学习过程中不违反预期的损坏约束。
2017-05-15 cs.AI cs.LG cs.RO
A Complete Recipe for Bayesian Knowledge Transfer: Object Tracking
Arizona State University(亚利桑那州立大学)
从源对象轨迹和模型到另一个贝叶斯滤波器的顺序转移的问题已经变得普遍存在。由于缺乏能够捕捉不同模型之间的依赖关系的结构模型,可能无法完全指定转移。在本文中,我们介绍了一种新的贝叶斯模型,占模型跳跃的对象可以选择一个模型,并遵循。我们的目标是跟踪对象的轨迹,同时顺序地从源对象转移到目标对象。其主要思想是在跟踪目标的同时,根据离散化的动力学系统,对运动目标的动力学模型进行估计。我们证明了这个过程可以处理模型不匹配,因为它顺序地纠正预测模型。特别地,对于固定数量的运动模型,对象可以学习在每个时间步跟随什么运动。我们采用一个先验模型为每个模型,然后自适应地纠正改变一个模型到另一个鲁棒地估计对象的轨迹下的各种运动。更具体地说,我们提出了一个强大的贝叶斯配方来处理模型跳跃,然后将其与马尔可夫链蒙特卡罗(MCMC)方法从后验分布中采样。我们通过实验证明,在我们提出的贝叶斯迁移学习的学习任务之间的知识转移方法的模型跳跃会计的优势。
2022-10-20 cs.LG
PrivNet: Safeguarding Private Attributes in Transfer Learning for Recommendation
HKUST(香港科技大学)
迁移学习是利用源领域知识改进目标推荐系统的一种有效方法。现有的研究主要关注目标域的推荐性能,而忽略了源域的隐私泄露问题。然而,转移的知识可能会无意中泄露源域的私有信息。例如,攻击者可以从源域数据所有者提供的用户历史购买中准确地推断出用户人口统计信息。本文通过学习一种隐私感知神经表示,在保护源隐私的同时提高目标性能,解决了上述隐私保护问题。其核心思想是在训练过程中模拟攻击,以保护未来未见过用户的隐私,通过对抗游戏建模,使迁移学习模型对攻击具有鲁棒性。实验结果表明,该模型能够有效地分离出有利于知识传输的知识和泄露的隐私。
2020-10-16 cs.AI cs.CL cs.IR
Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection
School of Life Sciences, IDG/McGovern Institute for Brain Research(生命科学学院,IDG/麦戈文脑科学研究所);Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua-Bosch Joint ML Center, THBI Lab, BNRist Center(计算机科学与技术系,人工智能研究所,清华大学-博世联合机器学习中心,THBI实验室,BNRist中心);Tsinghua University, Beijing, China(清华大学,北京,中国)
本文通过持续学习视角研究安全对齐与通用能力退化之间的权衡,提出OGPSA方法通过正交梯度投影提升安全性和实用性,实验显示在不同训练流程中显著改善安全-效用权衡。
2026-05-12 cs.CL cs.LG
CSTRL: Context-Driven Sequential Transfer Learning for Abstractive Radiology Report Summarization
Bangladesh University of Engineering and Technology(孟加拉工程与技术大学);BRAC University(BRAC大学);Curtin University(Curtin大学)
针对放射学 Findings 到 Impression 的摘要式生成,本文提出 CSTRL 顺序迁移学习框架,并用 Fisher 矩阵正则化防止知识遗忘,在 MIMIC-CXR 和 Open-I 上取得多项指标的最先进结果。
2025-05-31 cs.AI cs.CL cs.LG
Transfer of Safety Controllers Through Learning Deep Inverse Dynamics Model
University of Colorado Boulder(科罗拉多大学博尔德分校)
针对系统变化时安全证书重计算成本高的问题,提出结合目标系统逆动力学神经网络与源系统屏障证书的方法,实现安全控制器的有效迁移,并通过三个案例验证其有效性。
2024-05-24 cs.AI cs.LG cs.SY
Protective Policy Transfer
Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院)
在训练机器人在不可预测的现实世界环境中操作时,能够将现有技能转移到新的情况是一个关键能力。一个成功的转移算法不仅要尽量减少机器人在新环境中需要收集的样本数量,还要防止机器人在转移过程中损坏自身或周围环境。在这项工作中,我们引入了一个政策转移算法,以适应机器人运动技能,以新的情况下,同时尽量减少严重的故障。我们的算法在训练环境中训练两种控制策略:一种是优化的任务策略,以完成感兴趣的任务,另一种是专门用于防止机器人发生不安全事件(例如摔倒在地)的保护策略。为了决定在执行过程中使用哪个策略,我们在训练环境中学习了一个安全估计器模型,该模型估计机器人的连续安全级别。当与一组阈值一起使用时,安全估计器变成用于在保护策略和任务策略之间切换的分类器。我们评估我们的方法上四个模拟机器人运动问题和二维导航问题,并表明我们的方法可以实现成功的转移到显着不同的环境,同时考虑到机器人的安全性。
2020-12-11 cs.LG cs.RO
Cross-Domain Multi-Task Learning for Sequential Sentence Classification in Research Papers
TIB – Leibniz Information Centre for Science and Technology(莱布尼茨科技信息中心);L3S Research Center(L3S研究中心)
顺序句子分类处理基于其内容和上下文的句子分类。应用于科学文本,它使研究论文的自动结构和学术搜索引擎的改进。然而,以前的工作还没有调查的潜力,迁移学习的句子分类在不同的科学领域和不同的文本结构的问题,全文和摘要。在本文中,我们得出了七个相关的研究问题,并提出了几个贡献,以解决这些问题:首先,我们提出了一种新的统一的深度学习架构和多任务学习的跨域顺序句子分类在科学文本。其次,我们定制了两种常见的迁移学习方法,顺序迁移学习和多任务学习,以应对给定任务的挑战。任务的语义相关性是神经模型成功迁移学习的前提。因此,我们的第三个贡献是半自动识别语义相关的类从不同的注释方案的方法,我们提出了四个注释方案的分析。综合实验结果表明,模型,这是从不同的科学领域的数据集训练,受益于彼此时,使用所提出的多任务学习架构。我们还报告与几个国家的最先进的方法的比较。我们的方法在全文数据集上的表现明显优于最先进的方法,而在由摘要组成的数据集上则是如此。
2022-03-18 cs.CL cs.IR cs.LG
Pre-trained Language Model and Knowledge Distillation for Lightweight Sequential Recommendation
University of Science and Technology of China(中国科学技术大学)
针对预训练语言模型在实时推荐中推理慢的问题,提出基于知识蒸馏的两阶段序列推荐算法,将预训练知识迁移至轻量级模型,在提升准确率的同时实现及时推荐。
2024-09-23 cs.IR cs.LG
Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation
Tencent(腾讯);University of Science and Technology of China(中国科学技术大学);Google(谷歌);Telefonica Research(西班牙电信研究院)
归纳迁移学习对计算机视觉和NLP领域产生了很大的影响,但尚未用于推荐系统领域。尽管已经有大量的研究生成建议的基础上建模用户-项目交互序列,他们中的一些人试图表示和转移这些模型为下游任务,只有有限的数据存在。在本文中,我们深入研究的任务,有效地学习一个单一的用户表示,可以应用到各种各样的任务,从跨域的建议,用户简档预测。微调大型预训练网络并使其适应下游任务是解决此类任务的有效方法。然而,考虑到整个模型需要为每个新任务重新训练,微调参数效率低下。为了克服这个问题,我们开发了一个参数有效的迁移学习架构,称为PeterRec,它可以被配置在飞行中的各种下游任务。具体来说,PeterRec通过注入一系列重新学习的神经网络,允许预先训练的参数在微调过程中保持不变,这些网络很小,但与学习整个网络一样具有表达力。我们进行了广泛的实验消融,以显示在五个下游任务的学习用户表示的有效性。此外,我们还证明了PeterRec在多个领域中进行了有效的迁移学习,在这些领域中,相对于微调整个模型参数,它实现了相当或有时更好的性能。代码和数据集可在https://github.com/fajieyuan/sigir2020_peterrec上获得。
2020-06-09 cs.IR cs.LG
ALIGNBEAM : Inference-Time Alignment Transfer via Cross-Vocabulary Logit Mixing
Lexsi Labs
针对领域微调降低大模型安全性的问题,提出无需训练的ALIGNBEAM方法,通过逐token翻译锚模型logit并选择最安全候选,实现跨词汇表的安全对齐迁移,保持任务准确性和推理开销。
2026-06-11 cs.AI cs.CL cs.ET
Adaptive Aggregation for Safety-Critical Control
McGill University(麦吉尔大学)
安全性被认为是阻止将强化学习(RL)用于现实世界应用的主要障碍。已经开发了不同的方法来处理RL中的安全问题。然而,学习可靠的基于RL的解决方案通常需要与环境进行大量的交互。同样,如何提高学习效率,具体地说,如何利用迁移学习进行安全的强化学习,还没有得到很好的研究。在这项工作中,我们提出了一个自适应聚合框架的安全关键控制。我们的方法包括两个关键技术:1)我们学习通过聚合多个源任务和目标任务通过注意力网络的安全知识的传输; 2)我们分开的目标,提高任务的性能和减少约束违反通过使用一个安全措施。实验结果表明,我们的算法可以实现更少的安全违规,同时表现出更好的数据效率相比,几个基线。
2023-02-07 cs.AI cs.LG
Safety-Critical Traffic Simulation with Adversarial Transfer of Driving Intentions
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出IntSim策略,将驾驶意图与运动规划解耦,通过优化对抗意图迁移实现高效安全关键交通仿真,并在真实数据集上验证其能提升规划器处理事故场景的能力。
2025-03-07 cs.LG cs.RO
A Sequential Meta-Transfer (SMT) Learning to Combat Complexities of Physics-Informed Neural Networks: Application to Composites Autoclave Processing
Materials and Manufacturing Research Institute(材料与制造研究院);The University of British Columbia(不列颠哥伦比亚大学)
提出序列元迁移(SMT)学习框架,通过时间分段、元学习初始化与跨区间迁移,提升PINNs在长时间域强非线性系统中的训练和适配效率。
2023-08-12 cs.AI cs.LG
Deep Transformer Networks for Time Series Classification: The NPP Safety Case
The Ohio State University(俄亥俄州立大学);Texas A&M University(德克萨斯A&M大学)
核电厂动态概率风险评估的一个具有挑战性的部分是需要大量的时间模拟给定的各种启动事件和分支条件的代表性特征提取变得复杂的后续应用。人工智能技术已被证明是强有力的工具,在时间相关的顺序数据处理,自动提取和产生复杂的功能,从大数据。被称为Transformer的先进的时间神经网络被用于监督学习的时尚内的时间相关的NPP模拟数据建模,并推断是否一个给定的事件序列导致堆芯损坏或不。Transformer的训练和测试数据集是通过运行10,000个RELAP 5 -3D NPP停电模拟获得的,其中变量列表从RAVEN软件获得。根据结果,将每个模拟分类为“正常”或“堆芯损坏”。实验结果表明,Transformer能够学习序列数据的特征,并在测试数据集上取得了99%的分类准确率。
2021-04-18 cs.LG cs.NE
Diffusion LLMs as Targets and Adversaries: Mechanistic Safety Exploits
本研究揭示扩散大语言模型(DLLMs)的安全机制漏洞,提出SN-Guided Diffusion黑盒越狱框架,实现高迁移攻击成功率且生成成本远低于现有方法。
2026-08-10 cs.AI cs.LG
Is One Score Enough? Rethinking the Evaluation of Sequentially Evolving LLM Memory
University of Virginia(弗吉尼亚大学);Princeton University(普林斯顿大学)
本文提出SeqMem-Eval框架,通过评估记忆状态的演变、泛化、经验巩固和信息保留,揭示传统指标无法捕捉的记忆质量差异。
2026-05-14 cs.AI cs.LG
PoSafeNet: Safe Learning with Poset-Structured Neural Nets
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Worcester Polytechnic Institute(沃斯特理工学院)
PoSafeNet通过偏序结构神经网络实现安全学习,通过可微神经安全层在偏序一致约束顺序下进行闭式投影,提升机器人系统在多障碍导航、受约束操作和自动驾驶中的可行性、鲁棒性和可扩展性。
2026-01-29 cs.LG cs.RO
Boundedly Rational Meta-Learning in Sequential Consumer Choice
University of Washington(华盛顿大学)
研究消费者在不确定环境下重复选择时的跨情境知识转移,提出有界理性元动态规划政策BRMDP(D),发现消费者通过粗略的先验不确定性表示实现跨情境学习。
2026-08-25 cs.LG econ.GN q-fin.EC
NDST: Neural Driving Style Transfer for Human-Like Vision-Based Autonomous Driving
University of Michigan-Dearborn(密歇根大学迪尔伯恩分校);Hanyang University(汉阳大学)
针对自动驾驶重安全轻舒适导致用户不适的问题,提出神经驾驶风格迁移方法NDST,通过在基线驾驶模型中加入自配置个性化模块,在保障安全的前提下迁移用户驾驶风格,提升用户接受度与体验。
2024-07-10 cs.AI cs.LG cs.RO
The Alignment Curse: Modality Alignment Supercharges Audio Attacks via Text Transfer
University of Oxford(牛津大学)
本文提出并验证了“对齐诅咒”原理,即更强的文本-音频模态对齐会促进文本攻击向音频的迁移,并通过黑盒实验表明文本转移的音频攻击性能与原生音频攻击相当甚至更优,揭示了能力与安全之间的根本矛盾。
2026-11-16 cs.AI cs.LG cs.SD
Multilingual Safety Alignment via Self-Distillation
Tongji University(同济大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出多语言自蒸馏框架,通过将高资源语言的安全能力迁移到低资源语言,解决多语言安全对齐问题,无需特定语言响应数据,实验表明方法在多语言安全性能上表现优异。
2026-10-20 cs.AI cs.CL cs.LG