The Option-Critic Architecture
McGill University（麦吉尔大学）
时间抽象是强化学习中扩展学习和规划的关键。虽然时间上扩展的行动规划是很好的理解，从数据中自主创建这样的抽象仍然具有挑战性。我们在期权的框架中解决这个问题[Sutton，Precup & Singh，1999; Precup，2000]。我们推导出期权的策略梯度定理，并提出了一种新的期权批评的架构，能够学习的内部政策和终止条件的选项，与政策的选项，而不需要提供任何额外的奖励或子目标。在离散和连续环境中的实验结果显示了该框架的灵活性和效率。
2016-12-03 cs.AI
The Termination Critic
DeepMind
在这项工作中，我们考虑的问题自主发现行为抽象，或选项，强化学习代理。我们提出了一个算法，侧重于终止条件，而不是-因为是常见的-政策。终止条件通常是为了优化控制目标而训练的：如果另一个选项具有更好的价值，则应该终止。我们提供了一个不同的，信息理论的角度来看，并建议终止应该集中在选项的编码的压缩性-可以说是使用抽象的一个关键原因。为了在算法上实现这一点，我们利用经典的期权框架，并学习期权转换模型作为终止条件的“评论家”。使用这个模型，我们得到优化所需标准的梯度。我们表明，由此产生的选项是不平凡的，直观上有意义的，有用的学习和规划。
2019-02-26 cs.AI cs.LG stat.ML
Safe Option-Critic: Learning Safety in the Option-Critic Architecture
McGill University（麦吉尔大学）；Mila（米拉研究所）；Google DeepMind（谷歌DeepMind）
设计具有安全行为的分层强化学习算法不仅对实际应用至关重要，而且有助于更好地理解代理的决策。我们解决这个问题的选项框架，一种特殊的方式来指定时间抽象的行动，允许代理使用子政策的开始和结束条件。我们认为一个行为是安全的，它避免了行为结果具有高度不确定性的状态空间区域。我们提出了一个优化目标，通过鼓励代理访问具有更高行为一致性的状态来学习安全选项。所提出的目标的结果之间的权衡最大化的标准预期收益和最小化模型的不确定性在回报的影响。我们提出了一个策略梯度算法来优化约束目标函数。我们研究了所提出的方法在表格网格世界，连续状态水坑世界，和三个游戏的街机学习环境：女士的定量和定性行为。我们的方法实现了回报方差的减少，提高了在奖励结构具有内在变异性的环境中的性能，并与原始行为以及风险中性选项进行了比较。
2021-03-02 cs.AI
Learnings Options End-to-End for Continuous Action Tasks
Reasoning and Learning Lab（推理与学习实验室）；McGill University（麦吉尔大学）
我们提出了新的结果学习时间延长行动的连续任务，使用选项框架（Suttonet等人。[1999 b]，Precup [2000]）。为了实现这一目标，我们与选择批评架构（Baconet等人。[2017]）使用审议成本并通过近端策略优化对其进行训练（Schulmanet al. [2017]）而不是普通的策略梯度。Mujoco域的结果是有希望的，但导致有趣的问题，当给定的选项应该被使用，一个问题直接连接到使用的启动集。
2017-11-30 cs.AI cs.LG
On the Role of Weight Sharing During Deep Option Learning
IBM Research（IBM研究院）；Stanford University（斯坦福大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
选项框架是强化学习中构建时间扩展动作的一种流行方法。特别地，选择-批评架构提供了通用的策略梯度定理，用于从头开始学习在时间上扩展的动作。然而，过去的工作，使关键的假设，每个组件的选择批评有独立的参数。在这项工作中，我们注意到，虽然这一关键假设的策略梯度定理的选择批评持有表格的情况下，它总是违反了在实践中的深层功能近似设置。因此，我们重新考虑这个假设，并考虑更一般的扩展选项批评和分层选项批评训练，优化的完整架构与每次更新。事实证明，不假设参数独立性挑战了先前工作中的信念，即训练期权政策可以与潜在期权的动态相分离。事实上，学习可以通过将策略集中在选项实际上可能终止的状态上来加速。我们把我们的新算法在应用程序中进行测试，对Atari游戏的有效学习进行采样，并在学习长选项时表现出显着提高的稳定性和更快的收敛速度。
2020-02-06 cs.LG stat.ML
Flexible Option Learning
Mila, McGill University（Mila，麦吉尔大学）；DeepMind
强化学习（RL）中的时间抽象通过随时间更有效地传播信息，提供了在复杂环境中改善泛化和知识转移的希望。虽然期权学习最初是以允许同时更新多个期权的方式来制定的，使用离线策略，期权内学习（Sutton，Precup & Singh，1999），但许多最近的分层强化学习方法一次只更新一个选项：当前执行的选项。我们在深度强化学习的背景下重新审视并扩展了选项内学习，以便能够更新与当前原始动作选择一致的所有选项，而无需引入任何额外的估计。因此，我们的方法可以自然地在大多数分层RL框架中采用。当我们将我们的方法与用于选项发现的option-critic算法相结合时，我们在各种各样的领域中获得了性能和数据效率的显着改善。
2021-12-06 cs.AI cs.LG
ACE: An Actor Ensemble Algorithm for Continuous Control with Tree Search
University of Alberta（阿尔伯塔大学）
在本文中，我们提出了一个演员集成算法，名为ACE，连续控制与确定性的政策，强化学习。在ACE中，我们使用演员合奏（即，多个演员）来搜索评论家的全局最大值。除了合奏的角度来看，我们还制定了ACE的选项框架中扩展的选择批评家的架构与确定性的选择内的政策，揭示合奏和选项之间的关系。此外，我们使用这些演员和学习的价值预测模型执行前瞻树搜索，从而得到精确的价值估计。我们证明了显着的性能提升ACE DDPG及其变种在具有挑战性的物理机器人模拟器。
2018-11-06 cs.AI cs.LG
The Paradox of Choice: Using Attention in Hierarchical Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）；Polytechnic University of Bucharest（布加勒斯特理工大学）；Google Deepmind（谷歌DeepMind）
决策人工智能智能体通常面临两个重要的挑战：规划视野的深度，以及由于有许多选择而产生的分支因子。分层强化学习方法旨在通过提供跳过多个时间步长的快捷方式来解决第一个问题。为了应对广度，最好在每一步将代理人的注意力限制在合理数量的可能选择上。启示的概念（Gibson，1977）表明，只有某些行为在某些状态下是可行的。在这项工作中，我们通过一个注意力机制，限制了时间扩展选项的可用选择模型“启示”。我们提出了一个在线的，无模型的算法来学习启示，可用于进一步学习子目标选项。我们研究了硬与软注意力在训练数据收集、长期任务中的抽象值学习以及处理越来越多的选择中的作用。我们确定并实证说明了选择悖论出现的设置，即当有更少但更有意义的选择提高了强化学习代理的学习速度和性能。
2022-01-24 cs.AI cs.LG
Disentangling Options with Hellinger Distance Regularizer
Seoul National University（首尔大学）
在强化学习（RL）中，时间抽象仍然是一个重要而未解决的问题.选项框架为RL中的时间抽象提供了线索，而选项批评架构则以端到端的方式优雅地解决了查找选项和学习RL代理这两个问题。但是，有必要检查通过这种方法学习的选项是否起着相互排斥的作用。在本文中，我们提出了一个海林格距离正则化，一种方法解开选项。此外，我们将从统计的角度阐明各种指标，以与通过现有的期权-评论家架构学习的期权进行比较。
2019-04-15 cs.LG stat.ML
The Eigenoption-Critic Framework
IBM AI（IBM 人工智能）；University of Alberta（阿尔伯塔大学）
特征期权（EO）最近被引入作为一个很有前途的想法，通过图形拉普拉斯生成一组不同的选项，已被证明可以有效的探索。尽管其初步结果令人鼓舞，但现有算法中的一些问题限制了其应用，即：（1）EO方法需要两个单独的步骤（2）演化方程只定义在离散状态空间中，并且，演化方程的求解需要大量的存储和计算;（3）在发现进化目标时，不容易考虑环境的奖励作用。为了解决这些问题，我们引入了一种基于Option-critic（OC）框架[Bacon 17]的算法，称为eigenoption-critic（EOC），这是一种通用的分层强化学习（RL）算法，允许同时学习期权内策略和期权策略。我们还提出了一个推广的EOC问题，通过Nyström近似连续状态空间。EOC也可以被看作是将OC扩展到非静态设置，其中发现的选项不是针对单个任务定制的。
2017-12-11 cs.AI
Context-Specific Representation Abstraction for Deep Option Learning
MIT LIDS（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
分层强化学习专注于发现时间上扩展的动作，例如选项，可以在需要广泛探索的问题中提供益处。一种很有前途的方法是端到端学习这些选项，这就是选项批评（OC）框架。我们在本文中研究并表明，OC不会将问题分解为更简单的子问题，而是增加了策略空间上的搜索大小，每个选项都考虑了学习过程中的整个状态空间。这个问题可能导致这种方法的实际局限性，包括样本学习效率低下。为了解决这个问题，我们引入了深度选项学习的上下文特定表示抽象（CRADOL），这是一个新的框架，它考虑了时间抽象和上下文特定表示抽象，以有效地减少策略空间上的搜索大小。具体来说，我们的方法学习一个因子化的信念状态表示，使每个选项只在状态空间的一个子部分上学习一个策略。我们测试我们的方法对分层，非分层和模块化的递归神经网络基线，证明显着的样本效率的改善，在具有挑战性的部分可观察的环境。
2022-04-24 cs.AI cs.LG
Hierarchical Average Reward Policy Gradient Algorithms
Birla Institute of Technology and Science, Pilani（皮拉尼比特拉技术与科学学院）；IBM Research（IBM研究院）；Indian Institute of Science, Bangalore（班加罗尔印度科学学院）
期权批判学习是一种通用的强化学习（RL）框架，旨在通过利用时间抽象来解决长期信用分配问题。然而，在处理延长的时间尺度时，对未来奖励的折扣可能导致不正确的信用分配。在这项工作中，我们解决了这个问题，通过扩展的分层期权批评策略梯度定理的平均回报标准。我们提出的框架的目的是最大限度地提高长期奖励中所定义的代理的政策的马尔可夫链的稳定状态。此外，我们使用一个常微分方程为基础的方法，我们的收敛性分析，并证明内期权政策，终止函数，和价值函数的参数，收敛到其相应的最优值，概率为1。最后，我们说明了学习选项的竞争优势，在平均奖励设置，在一个网格世界的环境与稀疏的奖励。
2019-11-20 cs.AI cs.LG
An Autonomous Non-monolithic Agent with Multi-mode Exploration based on Options Framework
Australian Artificial Intelligence Institute (AAII), University of Technology Sydney（澳大利亚人工智能研究所（AAII），悉尼科技大学）；Visualisation Institute, University of Technology Sydney（可视化研究所，悉尼科技大学）
本文研究强化学习中“何时探索”问题，提出基于选项框架的自主多模式非单体探索方法，使智能体能自主切换探索与利用模式，并通过对比实验证明其性能优于现有非单体探索方法。
2024-05-04 cs.AI cs.LG
SOAP-RL: Sequential Option Advantage Propagation for Reinforcement Learning in POMDP Environments
Visual Geometry Group（视觉几何组）；University of Oxford（牛津大学）
本文提出PPOEM和SOAP两种算法解决POMDP中无监督学习时间一致选项的挑战，SOAP通过扩展GAE传播选项优势，在Atari等基准上表现最优。
2024-10-11 cs.AI cs.LG
Learning Abstract Options
IBM Research（IBM研究院）
构建从数据中自主创建时间抽象的系统是强化学习中扩展学习和规划的关键挑战。解决这一挑战的一种流行方法是期权框架（Sutton等人，1999年）。然而，仅在最近（Bacon et al.，2017）是一个策略梯度定理，用于以端到端的方式对通用选项进行在线学习。在这项工作中，我们扩展了以前在这个主题上的工作，只专注于学习一个两级层次结构，包括选项和原始动作，使学习同时在多个分辨率的时间。我们通过考虑一个任意深度的选项层次结构来实现这一点，其中高级别的时间扩展选项由时间分辨率更高的低级别选项组成。我们从（培根等人，2017），并推导出深层次期权的策略梯度定理。我们提出的分层期权批评架构是能够学习内部政策，终止条件和层次结构的选择，而不需要任何内在的奖励或子目标。我们在离散和连续环境中的实证结果证明了我们的框架的效率。
2019-12-31 cs.AI cs.LG stat.ML
Temporally Abstract Partial Models
McGill University（麦吉尔大学）；Mila；DeepMind
人类和动物都有能力在许多时间尺度上对不同的行动过程进行推理和预测。在强化学习中，期权模型（Sutton，Preup\& Singh，1999; Preup，2000）为这种时间抽象的预测和推理提供了框架。自然智能体也能够将注意力集中在特定情况下相关或可行的行动方案上，有时称为负担得起的行动。在本文中，我们定义了一个概念的选项的启示，并开发时间抽象的部分选项模型，考虑到一个选项可能只在某些情况下负担得起的事实。我们分析了使用这种模型时，在规划和学习中的估计和近似误差之间的权衡，并确定了一些有趣的特殊情况。此外，我们实证证明了部分期权模型对规划效率的潜在影响。
2021-08-06 cs.AI cs.LG stat.ML
Reward-Respecting Subtasks for Model-Based Reinforcement Learning
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文提出尊重奖励的子任务来发现时间抽象选项，通过结合原始奖励与终止状态特征奖励，使学到的选项模型在规划中比特征选项、瓶颈最短路径选项和option-critic选项更有用，并给出在线离策略学习价值、策略、选项和模型的方法。
2023-09-16 cs.AI cs.LG
Enhancing Hierarchical Reinforcement Learning through Change Point Detection in Time Series
University of Arizona（亚利桑那大学）
针对层次强化学习中子目标发现与选项终止边界学习的难题，提出将基于Transformer的自监督变点检测模块集成到Option-Critic框架的方法，实现了更高效、鲁棒且具可解释性的层次策略。
2025-10-28 cs.LG
SOTA: Stock Options Trading Agents Guided by Option-Implied Return Distributions
Carnegie Mellon University（卡内基梅隆大学）；Amazon（亚马逊）
提出SOTA智能体交易框架，将期权策略选择抽象为策略层面决策，通过监督微调和强化学习训练Qwen模型，在美股期权上实现18.3%总回报和1.60夏普比率，并发现新闻在训练中的不对称作用。
2026-10-08 cs.AI cs.LG q-fin.PM
Learning to Explore by Reinforcement over High-Level Options
University of Otago（奥塔哥大学）
自主3D环境探索是导航等各种应用的基本任务。探索的目标是调查一个新的环境，并有效地建立其占用地图。在本文中，我们提出了一种新的方法，授予代理两个交织的行为选项：“环顾四周”和“边疆导航”。这是由一个选项批评架构和强化学习算法训练。在每个时间步中，智能体根据策略产生一个选项和相应的动作。我们还通过结合经典的路径规划技术来利用宏动作来提高训练效率。我们在两个公开的3D环境数据集上证明了所提出的方法的有效性，结果表明我们的方法比竞争技术具有更高的覆盖率和更好的效率。
2021-11-02 cs.AI
Enabling Option Learning in Sparse Rewards with Hindsight Experience Replay
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本文提出2HER方法，通过双目标重新标记策略提升稀疏奖励多目标任务中的学习效果。
2026-02-14 cs.AI cs.LG cs.RO
LESSON: Learning to Integrate Exploration Strategies for Reinforcement Learning via an Option Framework
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
该研究提出基于 option-critic 的统一框架 LESSON，让强化学习智能体自适应整合并选择多种探索策略，以实现任务相关的探索-利用权衡，并在 MiniGrid 与 Atari 实验中验证有效性。
2024-09-08 cs.LG
Enhancing Multi-Agent Collaboration with Attention-Based Actor-Critic Policies
Department of Computer Science and Software Engineering（计算机科学与软件工程系）；Milwaukee School of Engineering（密尔沃基工程学院）
本文提出TAAC算法，通过注意力机制和惩罚损失函数提升多智能体协作性能，在模拟足球环境中表现出优越的协作能力。
2025-12-22 cs.AI cs.LG
Multi-layer Abstraction for Nested Generation of Options (MANGO) in Hierarchical Reinforcement Learning
Human Inspired Technology Research Center, Università di Padova, Padova, PD 35121 IT（人类启发技术研究中心，帕多瓦大学，帕多瓦，PD 35121 IT）；Vrije Universiteit Amsterdam, Amsterdam, Netherlands（阿姆斯特丹自由大学，阿姆斯特丹，荷兰）
本文提出MANGO框架，通过多层抽象嵌套选项生成分解复杂任务，提升稀疏奖励环境下的样本效率与泛化能力，增强决策可解释性，实验在网格环境中验证其优势。
2025-08-25 cs.LG
LLM-assisted Semantic Option Discovery for Facilitating Adaptive Deep Reinforcement Learning
本文提出基于大语言模型的闭环框架，通过语义驱动技能重用和实时约束监控，提升深度强化学习在数据效率、约束合规性和跨任务迁移能力方面的性能。
2026-03-07 cs.AI
When Do Options Help? Policy Necrosis and Redundant Coverage in Option-Critic
Institute of Automation（自动化研究所）；Chinese Academy of Sciences（中国科学院）
本研究通过理论和实验解释了选项-评论中增加选项提升性能的原因：终止规则无贡献，策略坏死导致状态锁定，额外选项通过降低联合失败概率（从59%降至4%）来提升性能。
2026-09-09 cs.AI cs.LG
Learning Temporal Abstractions via Variational Homomorphisms in Option-Induced Abstract MDPs
针对显式 CoT 推理成本高的问题，提出基于 VMOC、MDP 同态理论与 SFT 冷启动的潜在 option 推理框架，并在逻辑推理和运动控制任务中验证有效。
2025-07-24 cs.AI
DROP: Deep relocating option policy for optimal ride-hailing vehicle repositioning
The University of Alabama（阿拉巴马大学）；Purdue University（普渡大学）
在网约车系统中，优化空置车辆的重新配置可以显著减少车队空闲时间，平衡供需分布，提高系统效率，提高驾驶员满意度和保留率。无模型深度强化学习（DRL）已被证明可以通过与大规模网约车系统中的内在动力学进行主动交互来动态学习重新定位策略。然而，稀疏的奖励信号和不平衡的需求和供应分布的问题，在开发有效的日间行车线模型的关键障碍。常规勘探策略（例如，$ε$ -贪婪）在这样的环境下可能几乎不工作，因为在远离高收入区域的低需求区域中抖动。本研究提出了深度搬迁选择政策（DROP），监督车辆代理商逃离供应过剩的地区，并有效地搬迁到潜在的服务不足的地区。我们建议学习拉普拉斯嵌入的时间扩展的搬迁图，作为系统搬迁政策的近似表示。嵌入生成任务不可知的信号，其与任务相关的信号组合，构成用于生成DROP的伪奖励函数。我们提出了一个分层的学习框架，训练一个高层次的搬迁政策和一组低层次的DROP。我们的方法的有效性证明了使用定制的高保真模拟器与真实世界的旅行记录数据。我们报告说，DROP显着改善了基线模型，每小时收入增加了15.7%，并可以有效地解决低需求领域的抖动问题。
2021-09-09 cs.AI cs.LG cs.MA
Actor-Attention-Critic for Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）；Google AI（谷歌人工智能）
多智能体场景中的强化学习对于现实世界的应用非常重要，但它带来的挑战超出了单智能体环境中的挑战。我们提出了一个演员-评论家算法，训练分散的政策，在多代理设置，使用集中计算的评论家，共享一个注意力机制，选择相关的信息，为每个代理在每个时间步。与最近的方法相比，这种注意力机制能够在复杂的多智能体环境中实现更有效和可扩展的学习。我们的方法不仅适用于具有共享奖励的合作设置，而且适用于个性化奖励设置，包括对抗设置，以及不提供全局状态的设置，并且它不对代理的动作空间进行任何假设。因此，它足够灵活，可以应用于大多数多智能体学习问题。
2019-05-27 cs.AI cs.LG cs.MA
Visual Explanation using Attention Mechanism in Actor-Critic-based Deep Reinforcement Learning
Chubu University（中部大学）；Keio University（庆应义塾大学）
深度强化学习（Deep Reinforcement Learning，DRL）在游戏和机器人控制等复杂环境中获得最优动作方面具有巨大潜力。然而，很难分析代理人的决策，即，它选择通过学习获得的动作的原因。在这项工作中，我们提出了面具注意力A3 C（面具A3 C），它引入了一个注意力机制异步优势演员-评论家（A3 C），这是一个演员-评论家为基础的DRL方法，并可以分析DRL中的代理的决策。A3 C由从图像中提取特征的特征提取器、输出策略的策略分支和输出状态值的值分支组成。在这种方法中，我们专注于策略和价值分支，并在其中引入注意力机制。注意力机制使用掩码注意力对每个分支的特征图应用掩码处理，掩码注意力用热图表示策略和状态值的判断原因。我们在Atari 2600上可视化了游戏的面具注意力地图，发现我们可以很容易地分析智能体在各种游戏任务中做出决策的原因。实验结果表明，引入注意力机制后，Agent的性能得到了提高。
2021-03-06 cs.LG
Quantum Hierarchical Reinforcement Learning via Variational Quantum Circuits
Wells Fargo（富国银行）
本研究证明变分量子电路可增强基于选项-评论家架构的分层强化学习智能体，在标准环境中以更少参数超越经典基线，并揭示量子电路设计原则与架构瓶颈。
2026-09-22 cs.LG quant-ph
Multi-Agent Actor-Critic with Hierarchical Graph Attention Network
KAIST（韩国科学技术院）
大多数以前的研究多智能体强化学习集中在推导分散和合作的政策，以最大限度地提高共同的奖励，很少考虑训练的政策，以新的任务的可移植性。这可以防止将此类策略应用于更复杂的多代理任务。为了解决这些局限性，我们提出了一个模型，进行表示学习的多个代理使用层次图注意力网络和策略学习使用多代理actor-critic。层次图注意力网络是专门设计来模拟多个代理之间的层次关系，要么相互合作或竞争，以获得更先进的战略政策。两个注意力网络，代理间和组间的注意力层，被用来有效地模拟个人和群体层次的相互作用，分别。这两个注意力网络已被证明有助于将学到的策略转移到具有不同代理成分的新任务中，并允许人们解释学到的策略。经验上，我们证明，该模型优于现有的方法在几个混合的合作和竞争的任务。
2019-11-27 cs.AI cs.LG cs.MA
Optimization for Master-UAV-powered Auxiliary-Aerial-IRS-assisted IoT Networks: An Option-based Multi-agent Hierarchical Deep Reinforcement Learning Approach
University of Electronic Science and Technology of China（电子科技大学）；Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局信息通信研究院）
本文研究了一种由主无人机（MUAV）供电的物联网（IoT）网络，其中我们建议使用配备智能反射表面（IRS）的可充电辅助无人机（AUAV）来增强MUAV的通信信号，并利用MUAV作为充电电源。在所提出的模型下，我们研究了这些能量有限的无人机的最佳协作策略，以最大限度地提高物联网网络的累积吞吐量。根据两个无人机之间是否有充电，两个优化问题制定。为了解决这些问题，提出了两种多智能体深度强化学习（DRL）方法，即集中训练多智能体深度确定性策略梯度（CT-MADDPG）和多智能体深度确定性策略选项评判（MADDPOC）。仿真结果表明，CT-MADDPG可以大大降低对无人机硬件计算能力的要求，MADDPOC能够支持连续动作域的低层次多Agent协作学习，与现有的基于选项的层次DRL只支持单Agent学习和离散动作相比具有很大的优势.
2021-12-20 cs.LG cs.SY eess.SY
American Option Pricing using Self-Attention GRU and Shapley Value Interpretation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
提出基于自注意力GRU的机器学习方法预测SPY期权价格，结合SHAP解释模型，揭示输入特征对美式期权定价的贡献，自注意力GRU优于其他模型。
2023-10-19 cs.LG q-fin.PR
Constrained Hierarchical Monte Carlo Belief-State Planning
Stanford University（斯坦福大学）
本文提出COBeTS方法，利用分层选项结构将在线CPOMDP规划扩展到大规模连续机器人问题，在满足约束预算时保证随时安全，并通过分层监控实现运行时安全。
2024-02-26 cs.AI cs.RO
Element-Wise Attention Layers: an option for optimization
Federal University of Paraná（巴拉那联邦大学）
自从基于transformer的模型普及以来，使用注意力层已经成为一种趋势，是近年来开发的许多最先进模型的关键要素。然而，实现这些架构以及深度学习领域的许多其他架构的最大障碍之一是它们拥有大量的优化参数，这使得其使用取决于强大硬件的可用性。本文提出了一种新的注意力机制方法，将矩阵乘法的点积注意力通过数组乘法变为元素级注意力。为了测试这种方法的有效性，使用Fashion MNIST和CIFAR10数据集在分类任务中训练了两个模型（一个具有类似VGG的架构，一个具有所提出的方法）。每个模型都在来自Google Colaboratory的单个Tesla T4 GPU中训练了10个epoch。结果表明，该机制允许在时尚MNIST数据集上的VGG类对应物的92%的准确性，同时减少了97%的参数数量。对于CIFAR 10，准确度仍相当于类似VGG的对应方的60%，但使用的参数减少了50%。
2023-02-10 cs.AI cs.CV cs.LG
Lost in the Prompt Order: Revealing the Limitations of Causal Attention in Language Models
POSTECH（POSTECH大学）；HJ AILAB（HJ人工智能实验室）
研究揭示了语言模型对提示顺序的敏感性，通过系统分析发现因果注意力是核心机制，指出在多项选择问答中，上下文先于问题和选项的顺序能提升性能14%以上。
2026-04-21 cs.AI cs.CL cs.LG
Selective Particle Attention: Visual Feature-Based Attention in Deep Reinforcement Learning
Birkbeck, University of London（伦敦大学伯贝克学院）
人类大脑使用选择性注意来过滤感知输入，以便仅使用其有限的计算资源来处理对行为有用的成分。我们专注于一种特殊形式的视觉注意力，称为基于特征的注意力，它涉及识别视觉输入的特征，这些特征对当前任务很重要，而不管它们的空间位置如何。基于视觉特征的注意力通过降低状态表征的维数和引导学习向相关特征方向发展来提高强化学习（RL）的效率。尽管在复杂的感知运动任务中达到了人类水平的性能，但深度RL算法一直因其效率低下和缺乏灵活性而受到批评。因此，基于视觉特征的注意力是解决这些批评的一个选择。尽管如此，大脑如何能够学习在RL期间注意哪些特征仍然是一个悬而未决的问题。为了帮助回答这个问题，我们提出了一种新的算法，称为选择性粒子注意力（SPA），它赋予深度RL代理执行选择性基于特征的注意力的能力。SPA根据自下而上的显著性以及它们预测未来奖励的准确性来学习要关注的特征组合。我们评估SPA的多项选择任务和2D视频游戏，都涉及原始像素输入和动态变化的任务结构。我们展示了SPA的各种好处，天真地参加所有或随机子集的功能。我们的研究结果表明：（1）深度RL模型中基于视觉特征的注意力如何提高其学习效率和处理任务结构突然变化的能力;（2）粒子滤波器可能代表了基于视觉特征的注意力如何在大脑中发生的可行计算。
2020-08-26 cs.CV cs.LG cs.NE
MLP, XGBoost, KAN, TDNN, and LSTM-GRU Hybrid RNN with Attention for SPX and NDX European Call Option Pricing
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
本研究探讨了多种神经网络架构及XGBoost在SPX和NDX欧式看涨期权定价中的表现，发现带注意力机制的LSTM-GRU混合RNN模型优于BS基准及其他模型。
2024-10-14 cs.CE cs.LG q-fin.CP
Multi-agent Deep Covering Skill Discovery
Purdue University（普渡大学）；George Washington University（乔治华盛顿大学）
本文提出多智能体深度覆盖选项发现方法，通过最小化联合状态空间期望覆盖时间构建协作选项，并利用注意力机制与分层算法 HA-MSAC 实现子组协调，在稀疏奖励多智能体任务中显著提升探索效率和任务奖励。
2023-09-21 cs.LG cs.MA
Options of Interest: Temporal Abstraction with Interest Functions
McGill University（麦吉尔大学）；Mila（米拉研究所）；Stanford University（斯坦福大学）；Google DeepMind（谷歌DeepMind）；Universite de Montreal（蒙特利尔大学）
时间抽象是指代理使用控制器行为的能力，这些行为在有限的可变时间内起作用。期权框架描述了这样的行为，包括一个子集的状态，他们可以启动，一个内部政策和一个随机终止条件。然而，许多后续工作的选项发现忽略了初始集，因为很难从数据中学习它。我们提供了一个广义的启动集适合一般函数逼近，通过定义一个与选项相关的兴趣函数。我们推导出一个基于梯度的学习算法的兴趣函数，导致一个新的兴趣选项批评架构。我们研究如何利用兴趣函数来学习可解释和可重用的时态抽象。我们证明了所提出的方法的有效性，通过定量和定性的结果，在离散和连续的环境。
2020-01-01 cs.AI cs.LG stat.ML
"Even if ..." -- Diverse Semifactual Explanations of Reject
Bielefeld University（比勒费尔德大学）；KIOS Research and Innovation Center of Excellence, University of Cyprus（塞浦路斯大学KIOS卓越研究与创新中心）
应用于安全关键领域的基于机器学习的决策制定系统需要可靠的高确定性预测。为此目的，系统可以通过拒绝选项来扩展，该拒绝选项允许系统拒绝只有具有不可接受的低确定性的预测才可能的输入。虽然能够拒绝不确定的样本很重要，但能够解释为什么特定样本被拒绝也很重要。随着可解释人工智能（XAI）的不断兴起，已经开发了许多基于机器学习系统的解释方法-然而，解释拒绝选项仍然是一个新的领域，只有很少的先前工作存在。在这项工作中，我们建议解释拒绝半事实的解释，实例为基础的解释方法，他们自己还没有被广泛认为是在XAI社区。我们提出了一个概念建模的半事实的解释任意拒绝选项和经验评估一个具体的实施共形预测为基础的拒绝选项。
2022-07-05 cs.AI cs.LG
Option-ID Based Elimination For Multiple Choice Questions
Weiyang College, Tsinghua University（清华大学韦阳学院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
针对现有选择题排除法的不足，本文提出基于选项ID的排除法$\text{PoE}_{\text{ID}}$，融入去偏技术并设计两种策略，实验证明其能显著提升大语言模型的零样本和少样本选择题性能。
2025-05-19 cs.AI cs.CL cs.LG
Playing it Safe: Adversarial Robustness with an Abstain Option
University of Maryland（马里兰大学）
我们探讨对抗鲁棒性的设置中，它是可以接受的分类弃权-也就是说，输出没有类-对对抗的例子。对抗性示例是对分类器的正常输入的小扰动，导致分类器给出不正确的输出;它们对机器学习系统提出了安全性和安全性挑战。在许多安全关键型应用中，分类器放弃对抗性示例比为它们提供不正确的输出成本更低。首先，我们引入了一个新的目标函数的对抗性鲁棒性与弃权选项，其特征在于一个明确的鲁棒性和准确性之间的权衡。然后，我们提出了一个简单的基线，其中一个adversarially-trained分类器弃权的决策边界，我们理论和实验评估的一定距离内的所有输入。最后，我们提出了联合弃权鲁棒性学习（CARL），一种联合学习分类器和它应该弃权的输入空间区域的方法。我们探讨了在弃权设置中对CARL的PGD和DeepFool对抗攻击的不同变化。通过对这些攻击的评估，我们证明了使用CARL进行训练会产生比基线更准确，更强大和更有效的分类器。
2019-11-25 cs.AI cs.LG stat.ML
Analyzing public sentiment to gauge key stock events and determine volatility in conjunction with time and options premiums
针对股票预测难度增大的问题，提出一种整合社交媒体情绪分析与数据检索技术的金融算法，通过对比华尔街与公众情绪、分析媒体影响，为投资者提供关键事件下的及时交易数据，提升股票收益及波动性预测能力。
2025-02-08 cs.LG
LocalEyenet: Deep Attention framework for Localization of Eyes
CSIR-Central Electronics Engineering Research Institute（CSIR-中央电子工程研究所）
人机界面的开发已经成为现代机器催化更多自主性和更高效率的必要条件。凝视驱动的人工干预是创建界面以减轻人为错误的有效且方便的选择。人脸标志点检测对于设计鲁棒的视线检测系统至关重要。基于回归的方法能够很好地空间定位对应于不同部分的面部的地标。但仍有改进的余地，已通过纳入注意力加以解决。在本文中，我们提出了一种称为LocalEyenet的深度粗到细架构，仅用于定位可以端到端训练的眼睛区域。该模型架构建立在堆叠的沙漏骨干上，学习特征图中的自我注意力，这有助于保持人脸图像中的全局和局部空间依赖性。我们在每个沙漏中加入了深层聚合，以最大限度地减少对体系结构深度的关注。我们的模型在跨数据集评估和眼睛的实时定位方面表现出良好的泛化能力。
2023-03-13 cs.CV cs.LG
