Efficient Constraint Generation for Stochastic Shortest Path Problems
Australian National University(澳大利亚国立大学);Saarland University(萨尔兰大学)
本文提出CG-iLAO*算法,通过线性规划重构启发式搜索,减少无效动作处理,提升求解效率。
2026-04-02 cs.AI
Rollout Heuristics for Online Stochastic Contingent Planning
Ben Gurion University(本·古里安大学)
针对POMCP依赖领域特定rollout启发式的问题,研究将POMDP建模为随机应急规划问题,提出两种领域无关的rollout启发式方法以提升决策效果。
2023-10-03 cs.AI
Efficient Constraint Generation for Stochastic Shortest Path Problems
Australian National University(澳大利亚国立大学)
针对随机最短路径问题现有算法每次状态备份需计算所有动作代价函数的冗余计算问题,提出高效约束生成技术,结合iLAO*得到CG-iLAO*,可忽略超半数次优动作,求解速度显著提升。
2024-01-26 cs.AI
Discrete Action Matching: Learning Stochastic Dynamics from Samples via State Graphs
Applied AI Institute(应用人工智能研究所)
提出离散动作匹配(DAM),利用状态图和离散Wasserstein几何从样本学习随机动力学,通过估计密度比率与学习动作势实现边际重建与插值。
2026-10-06 cs.AI cs.LG
TOAST: Stochastic Robot Action Tokenization for Autoregressive Vision-Language-Action Models
AIST(产业技术综合研究所)
本文提出TOAST,一种随机动作分词方法,通过采样同一量化动作序列的多种分词结果来丰富离散监督,从而在有限数据下提升自回归机器人策略学习性能,实验显示成功率显著提升。
2026-10-02 cs.AI cs.LG cs.RO
Stochastic Q-learning for Large Discrete Action Spaces
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Purdue University(普渡大学)
针对大规模离散动作空间下基于价值的强化学习计算负担重的问题,提出动作子集规模低至O(log n)的随机价值强化学习方法,证明收敛性且实验显示其性能优于基线、耗时更短。
2024-05-16 cs.AI cs.LG cs.PF
Stochastic Human Motion Prediction with Memory of Action Transition and Action Characteristic
School of Computer Science and Engineering, Sun Yat-sen University, China(中山大学计算机科学与工程学院);Guangdong Province Key Laboratory of Information Security Technology, China(广东省信息安全技术重点实验室);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China(教育部机器智能与先进计算重点实验室)
本文针对动作驱动的随机人体运动预测中转换不平滑和动作特征难学习的问题,提出软转换动作库STAB和动作特征库ACB,并结合自适应注意力调整AAA策略,在四个数据集上取得领先性能。
2025-07-05 cs.AI cs.CV
Time Discretization-Invariant Safe Action Repetition for Policy Gradient Methods
Seoul National University(首尔国立大学)
在强化学习中,连续时间通常由时间尺度$δ$离散化,已知所得性能对时间尺度高度敏感。在这项工作中,我们试图找到一个$δ$不变的算法,策略梯度(PG)的方法,无论$δ$的值表现良好。我们首先确定的根本原因,导致PG方法失败的$δ\to 0$,证明了PG估计的方差可以发散到无穷大的随机环境下,一定的随机性假设。虽然可以采用持续性动作或动作重复来具有$δ$不变性,但是先前的动作重复方法不能立即对随机环境中的意外情况做出反应。因此,我们提出了一种新的$δ$不变的方法命名为安全动作重复(SAR)适用于任何现有的PG算法。SAR可以通过自适应地对动作重复期间的状态变化做出反应来处理环境的随机性。我们的经验表明,我们的方法不仅是$δ$不变的,但也强大的随机性,优于以前的$δ$不变的方法在8个MuJoCo环境中的确定性和随机设置。我们的代码可在https://vision.snu.ac.kr/projects/sar上获得。
2022-01-27 cs.AI cs.LG cs.RO
Two-Fidelity Best-Action Identification for Stochastic Minimax Tree
Department of Mathematics, Columbia University(哥伦比亚大学数学系);Stern School of Business, New York University(纽约大学斯特恩商学院)
针对随机极小极大树中的固定置信度最优动作识别问题,提出双保真度树搜索算法2FFS,结合极小极大快速扩展与MCTS随机采样,自适应选择廉价有偏评估或昂贵精确评估,理论证明固定置信度正确性、有限停止及多项式深度成本上界,实验表明比现有BAI-MCTS基线显著减少样本和计算。
2026-09-30 cs.AI cs.LG
Stochastic Fairness and Language-Theoretic Fairness in Planning on Nondeterministic Domains
TU Wien(维也纳工业大学);Univ. Roma “La Sapienza”(罗马第一大学);Univ. Sydney(悉尼大学)
我们解决两个中心概念的公平性在文献中的规划不确定性完全可观察域。第一个,我们称之为随机公平,是经典的,并假设一个环境,概率使用可能未知的概率。第二种是语言理论的,它假设如果一个动作从一个给定的状态无限频繁地被采取,那么它的所有可能的结果应该无限频繁地出现(我们称之为状态-动作公平)。虽然这两个概念符合标准的可达性目标,他们分歧的时间延长的目标。这一重要的差异已被忽视的规划文献,我们认为已导致混乱,在一些已公布的算法,使用减少国家行动的公平性,他们是不正确的,而正确的随机公平性。我们补救这一点,并提供了一个最佳的声音和完整的算法,解决状态行动公平规划LTL/LTLf目标,以及正确的证明目标复杂性的下限(我们的证明是足够一般,它提供了新的证明也为非公平性和随机公平的情况下)。总体而言,我们表明,随机公平性比状态行动公平性表现得更好。
2019-12-24 cs.AI cs.FL
Scalable Decision-Making in Stochastic Environments through Learned Temporal Abstraction
Vanderbilt University(范德堡大学);Pennsylvania State University(宾夕法尼亚州立大学);Nissan Advanced Technology Center(日产先进技术中心)
提出 Latent Macro Action Planner (L-MAP),通过 VQ-VAE 学习时间扩展宏动作以降低动作维度,并结合 MCTS 处理环境与策略的随机性,在高维随机环境的离线 RL 中实现了低延迟且高效的规划决策。
2025-03-03 cs.AI cs.LG cs.RO
Sampling Efficient Deep Reinforcement Learning through Preference-Guided Stochastic Exploration
Nanyang Technological University(南洋理工大学)
由深度Q网络(DQN)算法解决的大量实际工作表明,随机策略尽管简单,但却是最常用的探索方法。然而,大多数现有的随机探索方法要么探索新的行动,无论Q值或不可避免地引入偏差到学习过程中耦合的采样与Q值。在本文中,我们提出了一种新的偏好引导的$ε$贪婪探索算法,可以有效地学习动作分布符合景观的Q值DQN,而不引入额外的偏见。具体来说,我们设计了一个双架构,由两个分支组成,其中一个是DQN的副本,即Q分支。另一个分支,我们称之为偏好分支,学习DQN隐式遵循的动作偏好。我们从理论上证明了政策改进定理适用于偏好引导的$ε$ -贪婪政策,并通过实验表明,推断出的动作偏好分布与相应的Q值的景观一致。因此,偏好引导的$ε$贪婪探索激励DQN代理采取不同的动作,即,具有较大Q值的动作可以被更频繁地采样,而具有较小Q值的动作仍然有机会被探索,从而鼓励探索。我们评估所提出的方法与四个著名的DQN变种在九个不同的环境。大量的结果证实了我们所提出的方法在性能和收敛速度方面的优越性。索引术语-偏好引导的探索,随机策略,数据效率,深度强化学习,深度Q学习。
2022-06-20 cs.AI cs.LG cs.RO
Partition Tree Weighting for Non-Stationary Stochastic Bandits
Google DeepMind(谷歌DeepMind)
本文针对非平稳随机伯努利赌博机问题,将分区树加权通用源编码从被动预测推广至控制设置,提出一种高效且高性能的算法,解决了动作与观测交织数据流中的自我欺骗问题。
2025-02-26 cs.AI cs.LG
ISEP: Implicit Support Expansion for Offline Reinforcement Learning via Stochastic Policy Optimization
The Chinese University of Hong Kong, Shenzhen Longgang(香港中文大学(深圳)松山湖校区)
本文提出ISEP方法,通过随机策略优化实现离线强化学习中的隐式支持扩展,以解决传统方法在安全约束下难以发现最优行为的问题,核心贡献是通过价值函数插值和随机动作选择策略提高策略改进的导航能力。
2026-05-18 cs.AI cs.LG
Dynamic Entropy Tuning in Reinforcement Learning Low-Level Quadcopter Control: Stochasticity vs Determinism
Mechatronics Engineering Department(机械工程系);The German University in Cairo(开罗德国大学)
研究在四旋翼控制中,通过动态熵调节训练随机策略的强化学习算法,并与确定性策略算法对比,发现动态熵调节可防止灾难性遗忘并提高探索效率。
2026-06-01 cs.AI cs.LG cs.RO
Semi-Supervised Dialogue Policy Learning via Stochastic Reward Estimation
The University of Melbourne(墨尔本大学);Twitter Inc.(推特公司)
在面向任务的对话系统中,对话策略优化往往要等到任务完成后才能得到反馈。这不足以训练中间对话回合,因为监督信号(或奖励)仅在对话结束时提供。为了解决这个问题,已经引入了奖励学习来从最优策略的状态-动作对中学习,以提供逐向奖励。这种方法需要人与人对话的完整状态-动作注释(即,专家演示),这是劳动密集型的。为了克服这一局限性,我们提出了一种新的奖励学习方法的半监督策略学习。所提出的方法学习动态模型作为对对话进程进行建模的奖励函数(即,状态-动作序列),或者有或者没有注释。动态模型通过预测对话进度是否与专家演示一致来计算奖励。我们还建议学习动作嵌入,以更好地推广奖励函数。所提出的方法优于竞争策略学习基线MultiWOZ,一个基准多域数据集。
2020-05-09 cs.AI cs.CL
Information Directed Sampling for Stochastic Bandits with Graph Feedback
The Ohio State University(俄亥俄州立大学);AT&T Labs Research(AT&T实验室研究中心)
考虑带图反馈的随机多臂强盗问题,允许决策者观察所选行动的相邻行动。我们允许图的结构随时间而变化,并考虑确定性和Erdens-Rényi随机图模型。对于这样的图反馈模型,我们首先提出了一种新的分析汤普森采样,导致更严格的性能约束比现有的工作。接下来,我们提出了新的基于信息定向采样的策略,这些策略在决策中是图形感知的。在确定性图的情况下,我们建立了一个贝叶斯后悔界的建议的政策,规模与团覆盖数的图,而不是行动的数量。在随机图的情况下,我们提供了一个贝叶斯遗憾界的建议的政策,规模与行动的数量的比率超过预期的观察每次迭代。据我们所知,这是第一个分析结果的随机土匪与随机图反馈。最后,使用数值评估,我们证明了我们提出的IDS策略优于现有的方法,包括适应的置信上限,$ε$贪婪和Exp 3算法。
2017-11-08 cs.AI cs.LG stat.ML
Stochastic Directly-Follows Process Discovery Using Grammatical Inference
The University of Melbourne(墨尔本大学)
针对仅有正例轨迹的流程发现问题,提出基于语法推断和遗传算法的随机直接跟随图发现方法,可生成更小且更准确表示轨迹频率的模型。
2024-04-16 cs.AI cs.FL
A Farewell to Arms: Sequential Reward Maximization on a Budget with a Giving Up Option
University of Victoria(维多利亚大学);Google(谷歌)
我们考虑一个顺序决策问题,其中一个代理可以在一个时间采取一个行动,每个行动有一个随机的时间范围,即,在前一个动作完成之前不能采取新的动作。完成后,所选择的动作产生随机奖励。代理人寻求在有限的时间预算内最大化其累积奖励,并可以选择“放弃”当前的行动-因此放弃任何奖励-以便选择另一个行动。我们把这个问题作为一个变种的随机多武装土匪问题的随机消耗资源。对于这个问题,我们首先建立了最优的手臂是一个最大化的比率的预期回报的手臂的预期等待时间之前,代理人看到的回报,由于拉手臂。使用一个新的置信度上界这个比率,然后我们引入了一个上置信度为基础的算法,WAIT-UCB,我们建立对数,问题相关的遗憾界,其中有一个改进的依赖问题的参数相比,以前的作品。各种问题的配置比较WAIT-UCB对国家的最先进的算法的模拟。
2020-03-06 cs.AI cs.LG stat.ML
Adversarial Attacks on Stochastic Bandits
UW-Madison(威斯康星大学麦迪逊分校);Google Brain(谷歌大脑)
我们研究了对抗攻击,操纵奖励信号来控制随机多臂强盗算法选择的行动。我们提出了第一个攻击两个流行的强盗算法:$ε$ -贪婪和UCB,\emph{without}知识的平均回报。攻击者只能花费对数的努力,乘以一个特定于问题的参数,随着强盗问题变得更容易攻击,这个参数会变得更小。结果意味着攻击者可以轻松地劫持强盗算法的行为,以促进或阻碍某些行为,例如特定的医疗。随着土匪在实践中的使用越来越广泛,我们的研究暴露了一个重大的安全威胁。
2018-10-29 cs.AI cs.CR cs.LG
FinFlowRL: An Imitation-Reinforcement Learning Framework for Adaptive Stochastic Control in Finance
School of Business, Stevens Institute of Technology(斯蒂文斯理工学院商学院)
针对传统金融随机控制难以适应非平稳市场的问题,提出 FinFlowRL 框架,融合多专家模仿预训练、噪声空间强化微调与动作分块,实现跨市场条件的自适应最优控制。
2025-08-30 cs.AI cs.LG q-fin.CP