Multi-Agent Transfer Learning in Reinforcement Learning-Based Ride-Sharing Systems
Trinity College Dublin（都柏林三一学院）
强化学习（RL）已经被用于一系列模拟现实世界的任务，例如，传感器协调、交通灯控制和按需移动服务。然而，现实世界的部署是罕见的，因为RL与现实世界环境的动态性质作斗争，需要时间来学习任务并适应环境的变化。迁移学习（TL）可以帮助降低这些适应时间。特别是，有一个显着的潜力，应用TL在多代理RL系统，其中多个代理可以共享知识与对方，以及与新的代理加入系统。为了从代理间转移中获得最大收益，转移角色（即，确定哪些代理充当源以及哪些代理充当目标），以及相关的传送内容参数（例如，传输大小）应当在每个特定情况下动态地选择。作为实现完全动态转移的第一步，在本文中，我们研究了固定源和目标角色的TL转移参数的影响。具体来说，我们标记每个代理环境交互与代理的认知信心，我们使用不同的阈值水平和样本大小过滤共享的例子。我们研究了两种情况下这些参数的影响，一个标准的捕食者-猎物RL基准和一个模拟的乘车共享系统与200车辆代理和10,000乘车请求。
2021-12-01 cs.AI cs.LG cs.MA
Investigating the Impact of Weight Sharing Decisions on Knowledge Transfer in Continual Learning
University of Maine（缅因大学）；Cisco Systems Inc.（思科系统公司）
该研究聚焦持续学习中权重共享决策对前向知识迁移的影响，通过三个差异化序列数据集在ResNet-18和VGG-16上实验，揭示任务复杂度与相似性对最优共享决策的作用，可提升任务准确率。
2023-12-18 cs.LG
Beyond the Lower Bound: Bridging Regret Minimization and Best Arm Identification in Lexicographic Bandits
本文针对词典序偏好下的多目标赌博机问题，提出两种基于消除的算法，同时实现遗憾最小化与最佳臂识别，并证明跨目标信息共享可超越单目标下界。
2025-11-08 cs.AI cs.LG
Homogeneous Online Transfer Learning with Online Distribution Discrepancy Minimization
Nanjing University（南京大学）
迁移学习是一种成功的学习方法，它将相关但不同的源领域的知识迁移到目标领域。在线迁移学习（OTL）是一个更具挑战性的问题，其中目标数据以在线方式到达。大多数OTL方法通过给每个分类器分配一个权值，并不断调整权值，直接将源分类器和目标分类器结合起来。然而，这些方法很少注意减少域之间的分布差异。本文提出了一种新的在线迁移学习方法，该方法寻求一种新的特征表示，使得边缘分布和条件分布差异可以同时在线减少。我们专注于多源域的在线迁移学习，并使用对冲策略来利用来自源域的知识。我们分析了所提出的算法的理论性质，并提供了一个上错误界。在两个真实世界数据集上的综合实验表明，我们的方法比最先进的方法有很大的优势。
2019-12-31 cs.LG stat.ML
Transfer Bayesian Meta-learning via Weighted Free Energy Minimization
元学习基于从多个辅助任务采样的数据来优化训练过程的超参数，例如其初始化、内核或学习率。一个关键的基本假设是，辅助任务（称为元训练任务）与部署时遇到的任务（称为元测试任务）共享相同的生成分布。然而，当测试环境不同于元训练条件时，情况可能并非如此。为了解决元训练阶段和元测试阶段之间任务生成分布的变化，本文引入了用于转移元学习的加权自由能最小化（WFEM）。我们实例化所提出的方法，通过高斯过程（GP）的非参数贝叶斯回归和分类。玩具正弦回归问题，以及分类使用miniImagenet和CUB数据集，通过比较与标准的元学习的GP先验的PACOH实现的方法进行验证。
2021-11-09 cs.LG eess.SP
DP$^2$-FedSAM: Enhancing Differentially Private Federated Learning Through Personalized Sharpness-Aware Minimization
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
本文提出DP$^2$-FedSAM，结合个性化部分模型共享与锐度感知最小化，在差分隐私联邦学习中减轻噪声与裁剪影响，提升模型效用，尤其在数据异构场景下改善隐私-效用权衡。
2024-09-20 cs.CR cs.DC cs.LG
ACNMP: Skill Transfer and Task Extrapolation through Learning from Demonstration and Reinforcement Learning via Representation Sharing
Bogazici University（海峡大学）；Ozyegin University（厄兹耶因大学）；University of Luebeck（吕贝克大学）
为了使机器人具有灵巧的技能，一种有效的方法是首先通过示教学习（LfD）传递所需的技能，然后通过强化学习（RL）让机器人通过自我探索来改进它。在本文中，我们提出了一种新的LfD+RL框架，即自适应条件神经运动原语（ACNMP），它允许在新的环境中进行有效的策略改进，并在不同的代理之间进行有效的技能转移。这是通过利用由底层条件神经过程（CNP）模型学习的潜在表示来实现的，并且通过监督学习（SL）同时训练模型以获取演示的轨迹，并且通过RL进行新的轨迹发现。通过模拟实验，我们表明：（i）ACNMP使系统能够外推到纯LfD失败的情况下;（ii）通过SL和RL同时训练系统，由于两个学习者使用的共享表示，系统保持了演示的形状，同时适应新的情况;（iii）与现有方法相比，ACNMP使数量级样本有效的RL外推达到任务;（iv）ACNMP可用于实现具有不同形态的机器人之间的技能转移，具有竞争力的学习速度，重要的是与最先进的方法相比具有较少的假设。最后，我们通过真实的机器人实验，包括避障，拾取和放置，倾倒行动，显示ACNMPs的现实世界的适用性。
2020-11-09 cs.AI cs.LG cs.RO
Adaptive Sample Sharing for Multi Agent Linear Bandits
本文研究多智能体线性老虎机中数据共享对遗憾最小化的影响，提出不依赖参数结构假设的BASS算法，形式化参数估计偏差与不确定性权衡，并在合成及真实数据集上验证其高效性及聚类结构恢复能力。
2025-05-27 cs.LG stat.ML
Transfer Meta-Learning: Information-Theoretic Bounds and Information Meta-Risk Minimization
King’s College London（伦敦国王学院）；Chalmers Institute of Technology（查尔姆斯理工大学）
元学习通过观察来自多个相关任务的数据来自动推断归纳偏差。归纳偏差由确定模型类或训练算法的方面的超参数编码，例如初始化或学习率。元学习假设学习任务属于一个任务环境，并且在元训练和元测试期间任务都是从同一个任务环境中提取的。然而，这在实践中可能不成立。在本文中，我们介绍了迁移元学习的问题，其中任务是从目标任务环境中提取的元测试过程中，可能不同于元训练过程中观察到的源任务环境。新的信息理论上界获得的转移元泛化差距，衡量元训练损失之间的差异，在元学习者，和Meta测试数据的平均损失从一个新的，随机选择的，在目标任务环境中的任务。第一个界限，在平均传输元泛化差距，通过源和目标数据分布之间的KL分歧捕获源和目标任务环境之间的元环境转移。第二，PAC贝叶斯界，和第三，单次抽奖界，占这种转变通过源和目标任务分布之间的对数似然比。此外，介绍了两种迁移元学习解决方案。对于第一个，称为经验元风险最小化（EMRM），我们得出的平均最优差距的界限。第二，称为信息元风险最小化（IMRM），是通过最小化PAC贝叶斯界。通过实验表明，IMRM可能优于EMRM。
2020-11-06 cs.IT cs.LG eess.SP
Transfer Learning in Multi-Agent Reinforcement Learning with Double Q-Networks for Distributed Resource Sharing in V2X Communication
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
本文讨论了车辆到一切（V2X）通信网络中的分散频谱共享问题。目的是提供车辆到基础设施（V2I）和车辆到车辆（V2V）链路的资源高效共存。最近关于该主题的工作提出了一种基于深度Q学习的多智能体强化学习（MARL）方法，该方法利用了基于指纹的深度Q网络（DQN）架构。这项工作考虑了这个框架的扩展，结合双Q学习（通过双DQN）和迁移学习。背后的动机是双Q学习可以缓解传统Q学习中存在的动作值高估的问题，而迁移学习可以利用专家模型获得的知识来加速MARL设置中的学习。所提出的算法在现实的V2X环境中进行评估，其中合成数据是基于几何传播模型生成的，该模型包含模拟环境的特定位置的地理描述符（建筑物，树叶和车辆的轮廓）。所提出的方法的优点是通过数值模拟证明。
2021-07-13 cs.IT cs.LG eess.SP
Learning Privately over Distributed Features: An ADMM Sharing Approach
University of Alberta（阿尔伯塔大学）；University of Kent（肯特大学）
分布式机器学习已被广泛研究，以处理爆炸式增长的数据量。在本文中，我们研究了一个重要的但访问量较少的分布式学习问题，其中的功能是固有的分布或垂直划分在多方之间，和各方之间的原始数据或模型参数的共享是禁止的，由于隐私问题。我们提出了一个ADMM共享框架，以接近分布式特征的风险最小化，其中每一方只需要在训练过程中为每个样本共享一个值，从而最大限度地减少数据泄漏风险。我们建立了收敛性和迭代复杂性的结果，建议并行ADMM算法下的非凸损失。我们进一步介绍了一种新的差分隐私ADMM共享算法和绑定的隐私保证精心设计的噪声扰动。基于原型系统的实验表明，所提出的ADMM算法收敛效率高，在一个强大的方式，表现出优于基于梯度的方法，特别是对数据集的高维特征空间。
2019-07-17 cs.DC cs.LG stat.ML
A Distributed Model-Free Algorithm for Multi-hop Ride-sharing using Deep Reinforcement Learning
Purdue University（普渡大学）
自动驾驶汽车、拼车系统和自动驾驶技术的发展将改变叫车平台规划服务的方式。然而，这些技术进步加上道路拥堵、环境问题、燃料使用、车辆排放和车辆使用的高成本，使人们更加关注如何更好地利用车辆及其容量。在本文中，我们提出了一种新的多跳乘车共享（MHRS）算法，该算法使用深度强化学习，通过与外部环境交互来学习最优车辆调度和匹配决策。通过允许客户在车辆之间转移，即，与拼车算法相比，MHRS使用一辆车骑行一段时间，然后转移到另一辆车，有助于实现30%的成本降低和20%的车队利用率提高。这种多跳功能的灵活性为客户和拼车公司提供了无缝体验，从而改善了拼车服务。
2019-10-30 cs.AI cs.LG cs.MA
Dynamic Transfer Learning for Named Entity Recognition
Amazon（亚马逊）
在过去的几年里，最先进的命名实体识别（NER）系统一直在使用神经架构不断改进。然而，包括NER在内的许多任务需要大量带注释的数据集来实现这样的性能。特别是，我们专注于从临床笔记，这是一个最基本的和关键的问题，医学文本分析。我们的工作集中在使用参数传递方法有效地使这些神经架构适应低资源设置。我们补充了一个标准的分层NER模型与一般的迁移学习框架组成的源和目标任务之间的参数共享，并展示分数显着高于基线架构。这些共享方案需要在绑定参数集上进行指数搜索以生成最优配置。为了缓解穷尽搜索模型优化的问题，我们提出了动态传输网络（DTN），一种门控架构，它可以学习源数据集和目标数据集之间的适当参数共享方案。DTN实现了优化的迁移学习框架的改进，只需一个单一的训练设置，有效地消除了对指数搜索的需要。
2020-01-20 cs.CL cs.LG stat.ML
AUV Trajectory Learning for Underwater Acoustic Energy Transfer and Age Minimization
CEMSE Division, King Abdullah University of Science and Technology (KAUST)（卡奥斯特大学科学与技术学院）
本文提出利用深度强化学习优化水下无人艇轨迹，实现可持续的水下声学能量传输与信息收集，减少信息年龄并提升能源利用效率。
2026-01-13 cs.LG cs.RO cs.SY
Learn to Talk via Proactive Knowledge Transfer
Facebook AI（Facebook 人工智能研究院）
知识转移已被应用于解决各种各样的问题。例如，知识可以在任务之间转移（例如，通过利用现有知识学习处理新情况）或在代理之间（例如，从别人那里学习，没有直接的经验）。不失一般性，我们将知识转移与KL-发散最小化联系起来，即，匹配学习者和教师的（信念）分布。这种对等性为我们理解KL-分歧的变体提供了一个新的视角，即通过观察学习者如何构建他们与教师的互动来获得知识。在本文中，我们提供了一个深入的分析，KL发散最小化在向前和向后的顺序，这表明，学习者通过同策略学习在向后加强。相反，学习者在Forward中受到监督。此外，我们的分析是基于梯度的，所以它可以推广到任意的任务，并帮助决定最小化任务的属性。通过在知识蒸馏中用向后替换向前，我们在WMT'17 De-En和IWMT'15 Th-En机器翻译任务上观察到+0.7-1.1 BLEU增益。
2020-08-23 cs.AI cs.CL cs.LG
File Transfer Application For Sharing Femto Access
PRiSM（PRiSM实验室）；University of Versailles（凡尔赛大学）
在无线接入网络优化中，当今的主要挑战在于流量卸载以及容量和覆盖网络两者的改进。运营商有兴趣解决其在宏网络信号不能服务于移动数据需求的区域中的局部覆盖和容量问题。因此，运营商面临的主要问题是在合理的范围内找到最佳解决方案。毫微微小区似乎是这个问题的答案。在这项工作中（这项工作得到COMET项目AWARE的支持。http：//www.ftw.at/news/project-start-for-aware-FTW），我们关注在同一移动运营商的客户之间共享毫微微接入的问题。这个问题可以被建模为一个游戏，其中服务请求者客户（SRC）和服务提供者客户（SPC）是玩家。这项工作解决了共享毫微微接入的问题，考虑只有一个SPC使用博弈论工具。我们认为，SRC是静态的，有一些类似的和定期的连接行为。我们还注意到，SPC和每个SRC具有分别嵌入在其毫微微接入用户设备（UE）上的软件。在SRC请求的每个连接之后，它的软件将学习该策略，增加它的增益，知道没有给出关于其他SRC策略的信息。本文提出了一种运行在SRC软件中的不完全信息分布式学习算法。然后，我们将回答以下问题，对于一个有$N$ SRC和一个SPC的博弈：为了学习最大化收益的策略，每个SRC需要多少连接？这个算法是否收敛到一个稳态？如果是，这是否说明了一个纳什均衡，是否有任何方法可以优化SRC软件触发的学习过程持续时间？
2011-04-27 cs.LG cs.NI
Sharing to learn and learning to share; Fitting together Meta-Learning, Multi-Task Learning, and Transfer Learning: A meta review
Lule University of Technology（吕勒奥理工大学）；Grenoble INP（格勒诺布尔国立综合理工学院）
本文综述了元学习、迁移学习和多任务学习的结合应用，并提出了一种通用的任务无关与模型无关的集成网络假设，旨在激发学者对算法融合的研究兴趣并指明未来方向。
2024-10-16 cs.LG
Implicit Priors for Knowledge Sharing in Bayesian Neural Networks
University of Oxford（牛津大学）
神经网络的贝叶斯解释有着悠久的历史，可以追溯到20世纪90年代的早期工作，最近又重新受到关注，因为它们的理想属性，如不确定性估计，模型鲁棒性和正则化。我们想在这里讨论贝叶斯模型在神经网络之间的知识共享中的应用。知识共享来自不同的方面，例如迁移学习，模型蒸馏和共享嵌入。所有这些任务都有一个共同点，即学习到的“特征”应该在不同的网络中共享。从理论上讲，这项工作植根于贝叶斯神经网络的概念，广泛应用于一般的深度学习。
2019-12-02 cs.LG stat.ML
Knowledge Sharing via Domain Adaptation in Customs Fraud Detection
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Institute for Basic Science（基础科学研究院）
了解不断变化的流量在风险管理中至关重要。世界各地的海关历来依靠当地资源积累知识和发现税务欺诈。这自然使基础设施薄弱的国家成为潜在非法贸易的避税地。本文件提出了DAS，一个存储体平台，以促进跨国海关管理机构之间的知识共享，以相互支持。我们提出了一个领域自适应的方法来共享可转移的知识欺诈为原型，同时保护当地的贸易信息。使用了800多万份进口申报单的数据来测试这一新系统的可行性，结果表明，参与国在共享知识的帮助下，在欺诈侦查方面可获益2-11倍。我们讨论了大量的税收潜力和加强打击非法贸易的政策的影响。
2022-01-18 cs.AI cs.CY cs.LG
Data sharing games
ICMAT-CSIC（马德里数学科学研究所-西班牙国家研究委员会）；The Statistical and Applied Mathematical Sciences Institute (SAMSI)（统计与应用数学科学研究所）；School of Management, USST（上海理工大学管理学院）；IBM ILBD（IBM 国际商业机器公司ILBD部门）
数据共享问题遍布在线社会和经济环境。为了促进社会进步，必须建立数据生产者和消费者之间的互动模式，以促进有关各方之间的合作。我们将这种交互形式化为一个基于迭代囚徒困境的数据共享游戏，并通过多智能体强化学习技术来处理。我们考虑几种策略如何公民可能会表现出来，这取决于所寻求的集中化程度。模拟表明，合作机制可以发生，从而实现最大的社会效用：数据消费者应该进行某种对手建模，或者监管机构应该在双方之间转移效用并激励他们。
2021-01-26 cs.GT cs.LG econ.TH
Provably Efficient Multi-Task Reinforcement Learning with Model Transfer
University of Arizona（亚利桑那大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文研究了多任务强化学习（RL）在表格式情景马尔可夫决策过程（MDP）中的应用。我们制定了一个异构的多玩家强化学习问题，其中一组玩家同时面临类似的，但不一定相同的MDP，通过玩家间的信息共享，以提高他们的集体表现的目标。我们设计和分析了一个算法的基础上的模型转移的想法，并提供了间隙相关和间隙无关的上限和下限，表征问题的内在复杂性。
2022-01-16 cs.LG
Flexible Multi-task Networks by Learning Parameter Allocation
Jagiellonian University（雅盖隆大学）；Google（谷歌）
本文提出了一种新的多任务应用程序的学习方法。多任务神经网络可以通过使用参数共享来学习在不同任务之间传递知识。然而，在不相关的任务之间共享参数可能会损害性能。为了解决这个问题，我们提出了一个框架来学习细粒度的参数共享模式。假设网络由多个跨层组件组成，我们的框架使用学习的二进制变量来分配组件到任务，以鼓励相关任务之间更多的参数共享，否则不鼓励参数共享。由于Gumbel-Softmax重新参数化方法，通过标准反向传播与模型参数一起学习二进制分配变量。当应用于Omniglot基准测试时，与最先进的方法相比，所提出的方法实现了出错率的17%的相对降低。
2020-07-18 cs.LG stat.ML
Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）
多任务学习作为一种有效的学习范式，在训练样本不足的情况下，鼓励多个相关任务之间的知识共享，以提高整体性能。在MTL中，一个主要的挑战来自于这样的现象，即与不同的和困难的任务共享知识，称为负迁移，往往会导致更差的性能。虽然已有大量的研究针对负迁移进行了研究，但大多数现有的方法仅将迁移关系建模为任务相关性，而没有考虑跨特征和任务的迁移。与现有的方法不同，我们的目标是在功能和任务之间协同减轻负迁移。为此，我们提出了一种新的多任务学习方法，称为任务特征协作学习（TFCL）。具体来说，我们首先提出了一个基础模型与异构块对角结构正则化，利用协作分组的功能和任务，并抑制组间知识共享。然后，我们提出了一种优化方法的模型。大量的理论分析表明，我们提出的方法具有以下优点：（a）它具有全局收敛性和（b）它提供了一个块对角结构恢复保证。作为一个实际的扩展，我们通过允许重叠的功能和区分硬任务来扩展基础模型。我们进一步将其应用到个性化的属性预测问题与细粒度的用户行为建模。最后，在模拟数据集和真实数据集上的实验结果表明了该方法的有效性
2020-04-29 cs.LG stat.ML
Gaussian Process Decentralized Data Fusion Meets Transfer Learning in Large-Scale Distributed Cooperative Perception
National University of Singapore（新加坡国立大学）
本文提出了新的高斯过程分布式数据融合算法，利用以代理为中心的支持集的概念，分布式合作感知大规模的环境现象。为了克服现有工作中规模的限制，我们提出的算法允许每个移动传感代理选择不同的支持集，并在执行期间动态切换到另一个支持集，以将其自己的数据封装到本地摘要中，也许令人惊讶的是，该摘要仍然可以与其他代理的本地摘要（即，基于他们当前对支持集的选择）转换成全局一致的概要，以用于预测该现象。为了实现这一目标，我们提出了一种新的迁移学习机制，一个团队的代理能够共享和传输信息封装在一个摘要的基础上的支持集，利用不同的支持集，一些损失，可以在理论上界定和分析。为了缓解在多个迁移学习实例中积累信息丢失的问题，我们提出了一种新的信息共享机制，将其纳入我们的算法中，以实现记忆高效的惰性迁移学习。在真实数据集上的实验结果表明，该算法的性能优于现有的方法。
2017-11-16 cs.LG cs.MA cs.RO
Cronus: Robust and Heterogeneous Collaborative Learning with Black-Box Knowledge Transfer
National University of Singapore（新加坡国立大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
协作（联合）学习使多方能够训练模型，而无需共享其私有数据，而是通过重复共享其本地模型的参数。尽管有其优点，这种方法有许多已知的隐私和安全弱点和性能开销，除了仅限于具有同构架构的模型。共享参数会泄漏大量关于本地（和假定的私有）数据集的信息。此外，联邦学习非常容易受到中毒攻击，其中一些参与者可以不利地影响聚合参数。具有高维参数向量的大型模型特别容易受到隐私和安全攻击：联邦学习中的维数灾难。我们认为，共享参数是协作学习中最幼稚的信息交换方式，因为它们将模型的所有内部状态开放给推理攻击，并通过隐形中毒攻击最大限度地提高模型的延展性。我们提出了Cronus，一个强大的协作机器学习框架。设计Cronus背后的简单而有效的想法是通过黑箱本地模型之间的强大知识转移来控制，统一并显着减少各方之间交换信息的维度。我们评估了所有现有的联邦学习算法对中毒攻击，我们表明，Cronus是唯一安全的方法，由于其严格的鲁棒性保证。将局部模型视为黑箱，减少了通过模型的信息泄漏，并使我们能够使用现有的隐私保护算法，通过模型的输出（预测）减轻信息泄漏的风险。与联邦学习相比，Cronus的样本复杂度也显著降低，联邦学习不会将其安全性与参与者的数量绑定在一起。
2019-12-24 cs.CR cs.LG stat.ML
