An Empirical Comparison on Imitation Learning and Reinforcement Learning for Paraphrase Generation
University of Virginia（弗吉尼亚大学）
从给定的句子中生成释义涉及到从大量词汇中逐步解码单词。为了学习解码器，监督学习最大化令牌的可能性总是遭受暴露偏差。虽然强化学习（RL）和模仿学习（IL）都被广泛用于减轻偏差，但由于缺乏直接的比较，导致对它们的好处只有部分的了解。在这项工作中，我们提出了一个实证研究如何RL和IL可以帮助提高性能的生成释义，与指针生成器作为一个基础模型。在基准数据集上的实验表明：（1）模仿学习始终优于强化学习;（2）具有模仿学习的指针生成器模型的性能大大优于最先进的方法。
2019-08-28 cs.CL cs.LG
MODRL/D-AM: Multiobjective Deep Reinforcement Learning Algorithm Using Decomposition and Attention Model for Multiobjective Optimization
Department of Computer Science, Sun Yat-sen University（中山大学计算机科学系）；Sun Yat-sen University（中山大学）
近年来，提出了一种用于求解多目标优化问题的深度强化学习方法。该方法将多目标优化问题分解为多个单目标优化子问题，并以协同的方式对所有子问题进行优化。每个子问题用指针网络建模，并用强化学习训练模型。然而，指针网络在提取实例的特征时，忽略了输入节点的底层结构信息。因此，本文提出了一种基于分解和注意力模型的多目标深度强化学习方法来求解多目标优化问题。在我们的方法中，每个子问题是解决一个注意力模型，它可以利用结构特征以及输入节点的节点特征。对多目标旅行商问题的实验结果表明，该算法与已有的方法相比，具有更好的性能。
2020-02-13 cs.LG cs.NE
Hybrid Pointer Networks for Traveling Salesman Problems Optimization
Minya University（明亚大学）；Queensland University of Technology（昆士兰科技大学）
在这项工作中，提出了一种新的想法，组合优化问题，一个混合网络，这将导致在一个优越的结果。我们将这种方法应用于图指针网络[1]，将其功能扩展到更高的水平。提出了一种混合指针网络（HPN）来解决由强化学习训练的旅行商问题。此外，HPN建立在图指针网络的基础上，图指针网络是指针网络的扩展，具有额外的图嵌入层。由于混合编码器，HPN在解决方案质量方面优于图指针网络，这为我们的模型提供了一个verity编码类型，使我们的模型能够收敛到更好的策略。我们的网络在小规模和大规模问题上的表现明显优于原始的图指针网络，将其TSP50的性能从5.959提高到5.706，而不使用2opt，指针网络，注意力模型和各种模型，产生的结果与高度调整和专业化的算法相当。我们公开我们的数据、模型和代码[2]。
2021-10-13 cs.AI cs.LG math.OC
Multi-objective Pointer Network for Combinatorial Optimization
Anhui University（安徽大学）；National University of Defense Technology（国防科技大学）
多目标组合优化问题是一类复杂优化问题，广泛存在于各种实际应用中。虽然元算法已经成功地应用于解决MOCOP问题，但计算时间往往要长得多。最近，已经提出了许多深度强化学习（DRL）方法来生成组合优化问题的近似最优解。然而，现有的研究DRL很少集中在MOCOPs。该研究提出了一种单模型深度强化学习框架，称为多目标指针网络（MOPN），其中PN的输入结构得到有效改进，使得单个PN能够解决MOCOPs。此外，分别提出了基于代表模型和迁移学习的两种训练策略，以进一步提高MOPN在不同应用场景下的性能。此外，与经典的元分析相比，MOPN只消耗更少的时间在向前传播，以获得帕累托前沿。同时，MOPN对问题规模不敏感，这意味着经过训练的MOPN能够解决具有不同规模的MOCOP。为了验证MOPN的性能，进行了广泛的实验上的三个多目标旅行商问题，与一个国家的最先进的模型DRL-MOA和三个经典的多目标元算法进行比较。实验结果表明，该模型的训练时间仅为DRL MOA训练时间的20 ~ 40%，性能优于所有比较方法.
2022-04-25 cs.AI cs.LG
PAPN: Proximity Attention Encoder and Pointer Network Decoder for Parcel Pickup Route Prediction
University of Antwerp-imec（安特卫普大学-imec）；University of Antwerp – imec Antwerp（安特卫普大学 – imec安特卫普）
PAPN通过结合 proximity 注意力编码器和指针网络解码器，提升包裹取件路线预测的准确性，优于现有监督方法并具备与强化学习框架的竞争能力。
2026-03-02 cs.LG
Revocable Deep Reinforcement Learning with Affinity Regularization for Outlier-Robust Graph Matching
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Nanjing University（南京大学）；Shanghai University of Finance and Economics（上海财经大学）；Huawei（华为技术有限公司）
图匹配（GM）已经成为包括计算机视觉和模式识别在内的各种领域中的构建块。尽管最近取得了令人印象深刻的进展，但现有的深度GM方法在处理异常值方面往往存在明显的困难，这些异常值在实践中无处不在。我们提出了一种基于深度强化学习的方法RGM，其顺序节点匹配方案自然适合选择性内点匹配离群点的策略。设计了一个可扩展的行动框架，以提高智能体对复杂约束GM的灵活性。此外，我们提出了一个二次近似技术来正则化的亲和力得分，在离群值的存在。因此，当亲和度分数停止增长时，代理可以及时完成内点匹配，否则需要额外的参数，即内点的数量，以避免匹配离群点。在本文中，我们专注于学习最一般形式的GM下的后端求解器：Lawler的QAP，其输入是亲和矩阵。特别是，我们的方法也可以提高现有的GM方法，使用这样的输入。在多个真实世界数据集上的实验证明了其在准确性和鲁棒性方面的性能。
2023-03-01 cs.CV cs.LG
Deep Learning Models for Automatic Summarization
onepoint（一点公司）
文本摘要是一项NLP任务，旨在将文本文档转换为更短的文档，同时尽可能保留更多的含义。这篇教学文章回顾了一些最近的深度学习架构，这些架构有助于推进该领域的研究。我们将特别讨论指针网络、分层Transformers和强化学习的应用。我们假设有Seq2Seq架构和NLP中的Transformer网络的基本知识。
2020-05-25 cs.CL cs.LG
Joint User Pairing and Association for Multicell NOMA: A Pointer Network-based Approach
The University of British Columbia（不列颠哥伦比亚大学）
本文研究了多小区非正交多址（NOMA）系统中的联合用户配对与关联问题。我们考虑一个场景，其中用户设备（UE）位于配备有多个基站的多小区网络。每个基站具有多个正交物理资源块（PRB）。可以使用NOMA将每个PRB分配给一对UE。每个UE具有由任何一个基站服务的额外自由度，这进一步增加了联合用户配对和关联算法设计的复杂度。利用最近成功地使用机器学习来解决数值优化问题，我们制定了联合用户配对和关联问题作为一个组合优化问题。该解决方案是使用一种名为指针网络（PtrNet）的新兴深度学习架构找到的，与基于迭代算法的解决方案相比，该架构具有较低的计算复杂性，并已被证明可实现接近最佳的性能。PtrNet的训练阶段基于深度强化学习（DRL），不需要使用公式化问题的最优解作为训练标签。仿真结果表明，所提出的联合用户配对和关联方案在总数据率方面达到了接近最优的性能，比随机用户配对和关联启发式算法的性能提高了30%。
2020-04-15 cs.IT cs.LG eess.SP
Deep Reinforcement Learning for Electric Vehicle Routing Problem with Time Windows
University of Toronto（多伦多大学）；Western University（韦仕敦大学）；University of Waterloo（滑铁卢大学）
在过去的十年中，电动汽车（EV）在市场上迅速渗透，越来越多的物流和运输公司开始部署EV提供服务。为了模拟商业电动汽车车队的运作，我们利用电动汽车的时间窗口（EVRPTW）的路由问题。在这项研究中，我们提出了一个端到端的深度强化学习框架来解决EVRPTW。特别是，我们开发了一个注意力模型，将指针网络和图形嵌入技术参数化的随机政策解决EVRPTW。然后，使用具有卷展基线的策略梯度来训练模型。我们的数值研究表明，所提出的模型是能够有效地解决EVRPTW实例的大尺寸是不可解决的任何现有的方法。
2021-08-13 cs.AI cs.LG math.OC
Combinatorial Keyword Recommendations for Sponsored Search with Deep Reinforcement Learning
Baidu（百度）
在赞助搜索中，关键字推荐可以帮助广告主在有限的预算内获得更好的效果。许多工作已经完成，从搜索日志或着陆页中挖掘出大量的候选关键字。然而，从特定候选人中进行选择的战略仍有待改进。现有的基于相关度、基于流行度和规则的组合策略没有考虑到关键词之间的内部竞争和外部竞争。本文将关键词推荐问题视为一个组合优化问题，并采用改进的指针网络结构进行求解。该模型在基于行动者-批评者的深度强化学习框架上进行训练。提出了一种预聚类方法--等大小K-Means方法，通过缩小动作空间来加快框架的训练和测试过程。在离线和在线环境下对框架的性能进行了评估，可以观察到显着的改进。
2019-07-18 cs.IR cs.LG stat.ML
Acceleration for Deep Reinforcement Learning using Parallel and Distributed Computing: A Survey
National University of Defense Technology（国防科技大学）
本文系统综述了利用并行与分布式计算加速深度强化学习训练的方法，涵盖系统架构、仿真与计算并行、同步机制及进化强化学习，并比较了16个开源库，展望了未来研究方向。
2024-11-08 cs.AI cs.DC cs.LG
Auxiliary-task Based Deep Reinforcement Learning for Participant Selection Problem in Mobile Crowdsourcing
Baidu Inc.（百度公司）；IIIS, Tsinghua University（清华大学交叉信息研究院）；Lancaster University（兰卡斯特大学）；Nanjing University（南京大学）；Tencent Holdings Ltd.（腾讯控股有限公司）
在移动众包（MCS）中，平台选择参与者来完成来自招聘人员的位置感知任务，旨在实现多个目标（例如，利润最大化、能源效率和公平）。然而，不同的MCS系统具有不同的目标，并且即使在一个MCS系统中也可能存在冲突的目标。因此，设计一种适用于不同MCS系统的参与者选择算法以实现多个目标是至关重要的。为了解决这个问题，我们将参与者选择问题表示为强化学习问题，并提出了一种新的方法来解决这个问题，我们称之为基于任务的深度强化学习（ADRL）。我们使用Transformers从MCS系统的上下文中提取表示，并使用指针网络来处理组合优化问题。为了提高样本效率，我们采用了一个任务训练过程，训练网络预测招聘人员即将完成的任务，这有利于深度学习模型的嵌入式学习。此外，我们发布了一个模拟的环境中的一个特定的MCS任务，共乘任务，并在此环境中进行广泛的性能评估。实验结果表明，ADRL优于和提高样本效率比其他公认的基线在各种设置。
2020-08-26 cs.LG stat.ML
Attention-Based Model and Deep Reinforcement Learning for Distribution of Event Processing Tasks
Centre of Electronics, Optoelectronics and Telecommunications (CEOT), University of Algarve（阿尔加维大学电子、光电子与电信中心）；Aberystwyth University（阿伯里斯特威斯大学）；Faculty of Science and Technology, University of Algarve（阿尔加维大学科技学院）
事件处理是动态和响应式物联网（IoT）的基石。这一领域的最新方法基于代表性状态转移（REST）原理，它允许将事件处理任务放置在遵循相同原理的任何设备上。然而，任务应该在边缘设备之间适当地分配，以确保公平的资源利用并保证无缝执行。本文研究如何使用深度学习来公平分配任务。提出了一种基于注意力的神经网络模型，用于在不同场景下生成高效的负载均衡解决方案。该模型基于Transformer和Pointer Network架构，采用优势行动者-评论者强化学习算法进行训练。该模型旨在扩展到事件处理任务的数量和边缘设备的数量，而不需要重新调整甚至重新训练超参数。大量的实验结果表明，该模型优于传统的算法在许多关键性能指标。通用的设计和得到的结果表明，该模型可以潜在地应用到其他几个负载均衡问题的变化，这使得该建议是一个有吸引力的选择，用于在现实世界中的场景，由于其可扩展性和效率。
2021-12-07 cs.LG cs.NI
Deep Reinforcement Learning For Sequence to Sequence Models
Virginia Tech（弗吉尼亚理工学院）
近年来，序列到序列（seq 2seq）模型已经获得了很大的普及，并且在诸如机器翻译、标题生成、文本摘要、语音到文本转换以及图像字幕生成等各种各样的任务中提供了最先进的性能。所有这些模型的底层框架通常是包括编码器和解码器的深度神经网络。尽管简单的编码器-解码器模型产生有竞争力的结果，但许多研究人员已经提出了对这些序列到序列模型的额外改进，例如，在输入上使用基于注意力的模型、指针生成模型和自我注意力模型。然而，这种seq 2seq模型存在两个常见问题：1）暴露偏差和2）训练/测试测量之间的不一致。最近，在seq 2seq模型中解决这两个问题时出现了一个全新的观点，利用了强化学习（RL）的方法。在这项调查中，我们认为seq 2seq问题从RL的角度来看，并提供了一个配方结合RL方法在决策的权力与序列到序列模型，使记住长期记忆。我们提出了一些最新的框架，这些框架结合了RL和深度神经网络的概念，并解释了这两个领域如何在解决复杂的seq 2seq任务时相互受益。我们的工作旨在深入了解当前方法固有的一些问题，以及我们如何使用更好的RL模型来解决这些问题。我们还提供了实现本文中讨论的大多数RL模型的源代码，以支持抽象文本摘要的复杂任务。
2019-04-15 cs.LG stat.ML
A Reinforcement Learning Environment for Automatic Code Optimization in the MLIR Compiler
New York University Abu Dhabi（纽约大学阿布扎赫尔分校）；ESI（埃斯国际研究所）；USTHB（阿尔及利亚国家技术与高等理工学院）
本文提出MLIR RL，一种为MLIR编译器设计的强化学习环境，用于自动代码优化，通过多离散动作空间和level pointers方法提升策略学习效率。
2025-12-20 cs.DC cs.LG cs.SE
Offline Decision Transformers for Neural Combinatorial Optimization: Surpassing Heuristics on the Traveling Salesman Problem
Panasonic Connect Co., Ltd.（松下连接有限公司）
本文提出离线决策变换器，通过直接学习启发式解集来改进组合优化，通过指针网络和期望回归方法，在旅行商问题上超越传统启发式方法。
2026-03-26 cs.LG
Critic-Free Deep Reinforcement Learning for Maritime Coverage Path Planning on Irregular Hexagonal Grids
本文提出一种深度强化学习框架，用于在不规则海域的六边形网格上解决覆盖路径规划问题，通过Transformer指针策略自回归构造覆盖路径，并采用无评价组相对策略优化方法，实现高效路径规划。
2026-08-11 cs.AI cs.LG cs.NE
UAV Trajectory Planning in Wireless Sensor Networks for Energy Consumption Minimization by Deep Reinforcement Learning
University of Saskatchewan（萨斯喀彻温大学）；Cisco Systems Inc.（思科系统公司）
无人机（UAV）已成为大规模无线传感器网络（WSNs）数据采集的一种有前途的候选解决方案。在本文中，我们研究了一种无人机辅助的无线传感器网络，其中簇头（CH）接收来自其成员节点的数据，并派遣无人机沿规划的轨迹从CH收集数据。我们的目标是最大限度地减少总的能量消耗的无人机无线传感器网络系统在一个完整的一轮数据收集。为此，我们制定的能源消耗最小化问题作为一个约束的组合优化问题，通过共同选择CH从集群内的节点和规划无人机的访问顺序选定的CH。制定的能源消耗最小化问题是NP难的，因此，很难最佳解决。为了应对这一挑战，我们提出了一种新的深度强化学习（DRL）技术，指针网络-A *（Ptr-A*），它可以有效地从经验中学习无人机轨迹策略，以最大限度地减少能源消耗。将无人机的起始点和具有一组预定簇的无线传感器网络送入Ptr-A*，Ptr-A* 输出一组CH和对这些CH的访问顺序，即，无人机的轨迹Ptr-A* 的参数是在小规模聚类问题实例上训练的，以便以无监督的方式使用actor-critic算法进行更快的训练。在推理过程中，提出了三种搜索策略来提高解的质量。仿真结果表明，基于20簇和40簇的训练模型具有较好的泛化能力，能够解决不同簇数的无线传感器网络中无人机的轨迹规划问题，且无需重新训练模型。此外，结果表明，我们提出的DRL算法优于两个基线技术。
2021-08-01 cs.LG cs.SY eess.SY
Mechanistic Interpretability for Neural TSP Solvers
University of Washington, Michael G. Foster School of Business（华盛顿大学，迈克尔·G·福斯特商学院）；University of Washington, Paul G. Allen School of Computer Science & Engineering（华盛顿大学，保罗·G·阿伦计算机科学与工程学院）
本研究首次将稀疏自编码器应用于神经TSP求解器，揭示其内部涌现的凸包边界、簇敏感及几何分隔等可解释特征，为构建透明混合系统奠定基础。
2025-10-24 cs.LG
VISTA: An Attention-Based Multi-Agent Reinforcement Learning Architecture for Space Situational Awareness Sensor Tasking
ETSIAE-School of Aeronautics, Universidad Politécnica de Madrid（马德里理工大学航空学院）；Indra Sistemas S.A.（英德拉系统公司）；Escuela de Ingeniería de Fuenlabrada, Universidad Rey Juan Carlos（胡安卡洛斯国王大学丰拉夫拉达工程学院）；Department of Computer Systems Engineering, Universidad Politécnica de Madrid（马德里理工大学计算机系统工程系）
VISTA提出一种基于注意力与指针解码的可扩展多智能体强化学习架构，使观测和动作空间独立于目录规模，显著提升空间态势感知传感器任务分配效率与泛化能力。
2026-09-22 cs.AI cs.LG cs.MA
Recent Advances in SQL Query Generation: A Survey
Ss. Cyril and Methodius University（圣西里尔与美多德大学）
假设自然语言是许多领域的最佳用户界面。然而，在自然语言和任何其他领域之间提供接口的通用模型仍然不存在。为关系数据库提供自然语言接口可能会吸引绝大多数精通或不精通查询语言的用户。随着深度学习技术的兴起，在设计一个合适的关系数据库的自然语言接口方面有着广泛的研究。本调查旨在概述在从自然语言生成SQL查询方面提出的一些最新方法和模型。我们描述了各种架构的模型，如卷积神经网络，递归神经网络，指针网络，强化学习等几个数据集旨在解决SQL查询生成问题的解释和简要概述。最后，在该领域中使用的评价指标主要是执行准确性和逻辑形式准确性的组合。
2020-05-15 cs.AI cs.CL cs.LG
Learning Constraints-Based Adaptive Hypergraph Neural Networks for Solving Vehicle Routing Problems
University of Nottingham Ningbo China（宁波诺丁汉大学）；Tongji University（同济大学）
本研究提出结合面向约束的超图与强化学习的端到端框架，通过动态超边重构与双指针注意力机制求解车辆路径问题，在基准数据集上提升了解质量且无需复杂启发式算子。
2026-09-04 cs.LG cs.NE
Learning to Place Guards by Reinforcement: A Geo-Free Neural Policy for the Vertex-Guard Art Gallery Problem
School of Applied Mathematics；Informatics, University J. J. Strossmayer of Osijek, Croatia
针对顶点守卫艺术画廊问题，训练强化学习策略在无几何推理下放置守卫，发现编码器已内化几何知识，失败源于解码器校准而非知识缺失。
2026-06-23 cs.CG cs.LG
Robust Network Slicing: Multi-Agent Policies, Adversarial Attacks, and Defensive Strategies
Syracuse University（雪城大学）
本文提出一种基于多演员和集中式评论家的深度强化学习网络切片框架，并开发了基于深度强化学习的干扰器进行对抗攻击，最后设计了纳什均衡监督的策略集成混合策略作为防御措施。
2023-11-19 cs.CR cs.LG cs.MA
