Safe Reinforcement Learning for Constrained Markov Decision Processes with Stochastic Stopping Time
Aalborg University（奥尔堡大学）；University College London（伦敦大学学院）
本文针对具有随机停止时间的受约束马尔可夫决策过程，提出一种基于线性规划的无模型在线强化学习算法，通过计算安全基线策略和定义代理集实现高置信度安全与高效探索，仿真验证了其有效性。
2024-03-23 cs.LG math.OC
Independent Learning in Constrained Markov Potential Games
ETH Zürich（苏黎世联邦理工学院）
针对约束 Markov 势博弈，提出无需集中协调的独立策略梯度算法，结合正则化约束集的邻近点更新与随机切换梯度求解，并证明其收敛至近似约束 Nash 均衡。
2024-02-27 cs.GT cs.LG cs.MA
Algorithm for Constrained Markov Decision Process with Linear Convergence
Humboldt University of Berlin（柏林洪堡大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；HSE University（高等经济大学）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院系统编程研究所可信人工智能研究中心）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
考虑了约束马尔可夫决策过程问题。一个代理的目标是最大化预期的累积折扣奖励，其成本受到多个约束（约束的数量相对较小）。提出了一种新的对偶方法，它集成了两个成分：熵正则化策略优化器和Vaidya的对偶优化器，这两者对于实现更快的收敛都是至关重要的。给出了该方法的有限时间误差界。尽管受到非凹约束的非凹目标的挑战，所提出的方法收敛（线性速率）的全局最优值。在最优性差距和约束违反方面表示的复杂性显着改善现有的原始-对偶方法。
2022-10-19 cs.LG math.OC
Semi-Infinitely Constrained Markov Decision Processes and Efficient Reinforcement Learning
Peking University（北京大学）
该研究提出泛化的半无限约束马尔可夫决策过程SICMDP，设计了基于模型的SI-CRL和策略优化类SI-CPO两种算法，首次将半无限规划工具用于约束强化学习，完成理论分析并通过实验验证了算法有效性。
2023-04-29 cs.LG stat.ML
Stability-Constrained Markov Decision Processes Using MPC
IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）；Gran Sasso Science Institute - GSSI（格兰萨索科学研究院（GSSI））
在本文中，我们考虑解决折扣马尔可夫决策过程（MDP）的约束下，所产生的政策是稳定的。实际上，MDP是基于某种形式的策略近似来求解的。我们将利用最近的结果，建议使用模型预测控制（MPC）作为强化学习背景下的结构化策略，使其有可能直接在基于MPC的策略中引入稳定性要求。这将限制MDP的解决方案，以建设稳定政策。MPC的稳定性理论是最成熟的非折扣MPC的情况下。因此，我们将首先在本文中表明，稳定的贴现MDPs可以重新制定为未贴现的。这一观察结果将导致具有稳定性要求的基于MPC的策略将产生最优策略，如果贴现MDP是稳定的，则为最佳稳定策略。
2021-02-02 cs.LG cs.SY eess.SY
A Structure-aware Online Learning Algorithm for Markov Decision Processes
IIT Bombay（孟买印度理工学院）；IIT Kanpur（坎普尔印度理工学院）
为了克服动态规划（DP）方法在求解经典马尔可夫决策过程（MDP）问题时的维数灾难和建模灾难，强化学习（RL）算法受到广泛关注。本文考虑了一个无限期平均报酬MDP问题，在一定条件下证明了阈值策略的最优性。传统的RL技术在学习时没有利用最优策略的阈值性质。在本文中，我们提出了一种新的RL算法，利用已知的阈值结构的最优策略，同时学习，减少可行的政策空间。我们建立，该算法收敛到最优策略。它提供了一个显着的改进，在收敛速度和计算和存储复杂度比传统的RL算法。所提出的技术可以应用于各种各样的优化问题，包括节能数据传输和队列管理。我们展示了改进的收敛速度的算法比其他RL算法通过模拟。
2018-11-28 cs.LG stat.ML
Cancellation-Free Regret Bounds for Lagrangian Approaches in Constrained Markov Decision Processes
ETH Zürich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
针对有限时域CMDPs，提出基于增广拉格朗日的新算法OptAug-CMDP，在K回合内实现目标和约束违反的$\tilde{O}(\sqrt{K})$遗憾，且无需误差抵消。
2023-08-30 cs.LG stat.ML
Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process
Georgia Institute of Technology（佐治亚理工学院）；The Ohio State University（俄亥俄州立大学）；University at Buffalo, The State University of New York（纽约州立大学布法罗分校）
研究了受约束的马尔可夫决策过程（CMDP）问题，其中代理人的目标是在效用/成本受到多个约束的情况下最大化期望的累积折扣报酬.提出了一种新的原始-对偶方法，该方法将熵正则化策略优化器、对偶变量正则化器和Nesterov的加速梯度下降对偶优化器这三种成分进行了新的整合，所有这些都是实现更快收敛的关键。所提出的方法的有限时间误差界的特点。尽管非凹约束的非凹目标的挑战，所提出的方法收敛到全局最优值的最优性差距和约束违反方面的$\tilde{\mathcal O}(1/ε)$的复杂性，这提高了现有的原始-对偶方法的复杂性的一个因素$\mathcal O(1/ε)$ \citep{ding2020natural,paternain2019constrained}。这是第一次证明非凹CMDP问题可以达到凸优化的$\mathcal O(1/ε)$的复杂性下界。我们的原始-对偶方法和非渐近分析对所使用的RL优化器是不可知的，因此对于实际应用更灵活。更一般地说，我们的方法也作为第一个算法，可证明加速约束非凸优化与零对偶间隙，利用几何形状，如梯度优势条件，现有的加速方法约束凸优化是不适用的。
2021-10-20 cs.LG math.OC
Reinforcement Learning of Risk-Constrained Policies in Markov Decision Processes
Masaryk University（马萨里克大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
马尔可夫决策过程（MDP）是随机不确定性条件下序列决策的实际框架。MDPs的经典优化准则是最大化期望折扣和收益，忽略了对系统具有高度负面影响的低概率灾难性事件。另一方面，风险规避政策要求不可预测事件的概率低于给定的阈值，但它们并不考虑预期收益的优化。我们考虑MDPs与贴现和支付的失败状态，代表灾难性的结果。风险约束规划的目标是最大化风险规避策略的期望折扣和收益，以确保遇到故障状态的概率低于期望阈值。我们的主要贡献是一个有效的风险约束规划算法，它结合了UCT类搜索与预测learnedthrough互动与MDP（在风格的AlphaZero）和风险约束的行动选择通过线性规划。我们证明了我们的方法的有效性与实验的经典MDP从文献中，包括基准的顺序为10^6状态。
2020-02-27 cs.AI cs.LG
Flipping-based Policy for Chance-Constrained Markov Decision Processes
Osaka University（大阪大学）；LY Corporation（LY公司）；Norwegian University of Science and Technology（挪威科技大学）
针对机会约束马尔可夫决策过程，提出基于翻转的动作选择策略，证明其在最优解集中的存在性，将联合机会约束近似为期望累积安全约束，适配约束策略优化框架，在Safety Gym基准上提升了现有安全RL算法的性能。
2024-10-09 cs.LG math.OC
Risk-Aware General-Utility Markov Decision Processes
研究风险感知通用效用马尔可夫决策过程，聚焦熵风险度量，提出基于蒙特卡洛树搜索的方法，可解决该过程并达任意精度，实验表明此方法在多种任务的GUMDPs中优化风险感知行为时成功。
2026-07-13 cs.AI cs.LG
Finite-Time Complexity of Online Primal-Dual Natural Actor-Critic Algorithm for Constrained Markov Decision Processes
School of Electrical and Computer Engineering, Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）；Bradley Department of Electrical and Computer Engineering, Virginia Tech（弗吉尼亚理工大学布拉德利电气与计算机工程学院）
本文研究约束马尔可夫决策过程的策略优化问题，提出在线原始-对偶自然演员-评论家算法，并首次证明其以O(1/K^{1/6})速率有限时间收敛到全局最优解。
2024-11-20 cs.LG math.OC
Safe Reinforcement Learning in Constrained Markov Decision Processes
IBM Research AI（IBM研究院）；Tsinghua University（清华大学）
安全强化学习是一种很有前途的方法，用于优化在安全关键应用中运行的代理的策略。在本文中，我们提出了一种算法，SNO-MDP，探索和优化马尔可夫决策过程未知的安全约束。具体来说，我们采取逐步的方法来优化安全性和累积奖励。在我们的方法中，智能体首先通过扩大安全区域来学习安全约束，然后在已认证的安全区域内优化累积奖励。我们提供了理论保证的安全约束的满意度和近最优的累积奖励下适当的规律性假设。在我们的实验中，我们通过两个实验证明了SNO-MDP的有效性：一个是在一个新的、开放的环境GP-SAFETY-GYM中使用合成数据，另一个是使用真实的观测数据模拟火星表面探测。
2020-08-15 cs.AI cs.LG cs.RO
Near-Optimal Policy Identification in Robust Constrained Markov Decision Processes via Epigraph Form
The University of Tokyo（东京大学）；OMRON SINIC X Corporation（OMRON SINIC X公司）；Kyoto University（京都大学）；Osaka University（大阪大学）
本文提出一种算法，通过epigraph形式解决鲁棒约束马尔可夫决策过程中的近优策略识别问题，证明该算法在$\tilde{\mathcal{O}}(\varepsilon^{-4})$次鲁棒策略评估内找到$\varepsilon$-最优策略。
2026-04-24 cs.LG math.OC
Learning Constrained Markov Decision Processes With Non-stationary Rewards and Constraints
Politecnico di Milano（米兰理工大学）
针对具有非平稳奖励和约束的CMDPs，提出在bandit反馈下实现$\tilde{\mathcal{O}}(\sqrt{T}+C)$遗憾的算法，并扩展至$C$未知情形，缓解了对抗性CMDPs中的不可能性结果。
2024-09-26 cs.LG
Learning in Markovian bandits with non-observable states and constrained decision epochs
IRIT, Université de Toulouse, CNRS, Toulouse INP（图卢兹大学IRIT实验室，法国国家科学研究中心，图卢兹国立理工学院）；Ikerbasque-UPV/EHU, University of the Basque Country（巴斯克科学与技术联盟-巴斯克大学）
研究状态不可观测且决策时段可能受限的马尔可夫强盗问题，提出自退化马尔可夫强盗模型，设计UCB-NOM算法实现近对数遗憾，并证明无先验知识时遗憾超对数下界。
2026-06-29 cs.LG
A safe exploration approach to constrained Markov decision processes
Sycamore（赛卡莫尔）；EPFL（洛桑联邦理工学院）
针对约束马尔可夫决策过程（CMDP），提出无模型且无模拟器的LB-SGD算法，利用对数障碍函数内点法确保学习过程始终满足约束，并以 Õ(ε⁻⁶) 样本复杂度收敛至 ε-最优策略。
2025-03-03 cs.LG math.OC
Rethinking Large Language Model Distillation: A Constrained Markov Decision Process Perspective
Huawei Noah’s Ark Lab（华为诺亚实验室）；Huawei R&D Munich（华为慕尼黑研发部）；UCL Centre for Artificial Intelligence（伦敦大学学院人工智能中心）
本文从约束马尔可夫决策过程视角研究LLM蒸馏，提出无需部署期访问教师模型或状态增强的奖励优化框架，在数学推理任务上提升约束满足率与推理能力。
2025-09-26 cs.AI cs.LG
Robust Lagrangian and Adversarial Policy Gradient for Robust Constrained Markov Decision Processes
Agency for Science, Technology and Research（新加坡科技研究局）；CFAR（新加坡未来城市实验室）
针对鲁棒约束马尔可夫决策过程现有RCPG方法的缺陷，提出两种改进算法，经理论推导与扰动实验验证，性能优于传统变体与消融模型，其中对抗式RCPG表现尤为突出。
2024-05-15 cs.AI cs.LG cs.NE
DRL-STAF: A Deep Reinforcement Learning Framework for State-Aware Forecasting of Complex Multivariate Hidden Markov Processes
Department of Industrial Engineering, Tsinghua University, Beijing 100084, China（清华大学工业工程系）；Department of Industrial and Systems Engineering, University of Iowa, Iowa City, IA 52242, USA（爱荷华大学工业与系统工程系）
本文提出DRL-STAF框架，通过深度强化学习联合预测下一步观测并估计对应的隐状态，解决多变量隐马尔可夫过程中的非线性和非平稳性问题，优于HMM变体和深度学习模型。
2026-05-14 cs.LG stat.AP
Transition Constrained Bayesian Optimization via Markov Decision Processes
Imperial College London（帝国理工学院）；BASF SE（巴斯夫公司）；ETH Zurich（苏黎世联邦理工学院）
针对现实中贝叶斯优化查询受转移约束的问题，提出基于马尔可夫决策过程框架的方法，用强化学习求解效用函数线性化形式得到规划策略，在多场景验证了有效性。
2024-10-31 cs.LG
Delay-Aware Model-Based Reinforcement Learning for Continuous Control
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
在许多现实系统中，动作延迟降低了强化学习的性能。本文给出了时延感知马尔可夫决策过程的形式化定义，并证明了它可以通过马尔可夫奖励过程转化为具有增广状态的标准MDP。我们开发了一个延迟感知的基于模型的强化学习框架，该框架可以将多步延迟合并到学习的系统模型中，而无需学习。在Gym和MuJoCo平台上的实验表明，与非策略无模型强化学习方法相比，该算法具有更高的训练效率和在不同时延系统间的可移植性.代码可在https://github.com/baimingc/dambrl上获得。
2020-05-11 cs.AI cs.LG stat.ML
A Provably-Efficient Model-Free Algorithm for Constrained Markov Decision Processes
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
针对具有次线性后悔和零约束违反的约束马尔可夫决策过程，提出了第一个无模型、无仿真器的强化学习算法。该算法被命名为Triple-Q，因为它包括三个关键组件：用于累积奖励的Q函数（也称为动作-价值函数）、用于约束累积效用的Q函数以及（过度）估计累积约束违规的虚拟队列。在Triple-Q下，在每一步中，基于伪Q值选择动作，伪Q值是三个“Q”值的组合。该算法更新的回报和效用Q值与学习率取决于访问计数到相应的（状态，动作）对，并定期重置。在情节CMDP设置中，Triple-Q实现$\tilde{\cal O}\left(\frac{1 }δH^4 S^{\frac{1}{2}}A^{\frac{1}{2}}K^{\frac{4}{5}} \right)$后悔，其中$K$是情节的总数，$H$是每个情节中的步数，$S$是状态的数量，$A$是动作的数量，$δ$是斯莱特常数。此外，当$K$足够大时，Triple-Q保证零约束违反，无论是在期望上还是以高概率。最后，三重Q的计算复杂性类似于无约束MDP的SARSA，并且是计算高效的。
2021-10-23 cs.AI cs.LG
A policy gradient approach for Finite Horizon Constrained Markov Decision Processes
Indian Institute of Science（印度科学学院）
针对现有约束强化学习仅研究无限时域场景的不足，提出首个带函数近似的有限时域约束MDP策略梯度算法，证明收敛性且实验表现优于知名算法。
2025-03-20 cs.LG
UAMDP: Uncertainty-Aware Markov Decision Process for Risk-Constrained Reinforcement Learning from Probabilistic Forecasts
The Kyoto College of Graduate Studies for Informatics（京都大学研究生院信息学研究科）；Department of Computer Science, University of Illinois at Chicago（伊利诺伊大学芝加哥分校计算机科学系）
UAMDP通过整合概率预测、后验不确定性探索和风险约束规划，提升高波动环境下序列决策的安全性和盈利能力。
2025-12-18 cs.LG
OCMDP: Observation-Constrained Markov Decision Process
Powersense Technology Limited（力合科技有限公司）；University of Cambridge（剑桥大学）；University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）
本文提出观测约束马尔可夫决策过程（OCMDP），通过分离感知与控制的无模型深度强化学习算法，在成本敏感环境中同时学习观测和控制策略，显著降低观测成本并优于基线方法。
2025-01-23 cs.AI cs.LG cs.SY
Fatigue-Aware Learning to Defer via Constrained Optimisation
本文提出FALCON方法，通过约束马尔可夫决策过程建模变化的工作负载人类表现，提升人类AI协作性能。
2026-04-03 cs.LG
Primal-Dual Sample Complexity Bounds for Constrained Markov Decision Processes with Multiple Constraints
Google（谷歌公司）；ETH Zurich（苏黎世联邦理工学院）
本文针对转移动态未知的多约束马尔可夫决策过程，提出基于模型的原始-对偶算法，并分别在松弛可行性和严格可行性设置下给出并证明了学习近最优策略的样本复杂度上界。
2025-03-09 cs.LG
DASH: Input-Aware Dynamic Layer Skipping for Efficient LLM Inference with Markov Decision Policies
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海启智研究所）；Northeast University（东北大学）；Huawei Technologies Ltd.（华为技术有限公司）；Alibaba Group（阿里巴巴集团）
DASH提出一种输入感知的动态层跳过框架，利用马尔可夫决策过程实现令牌级决策，并引入补偿机制与异步执行，在多个LLM上实现推理加速且保持性能。
2025-05-23 cs.CL cs.LG
A general Markov decision process formalism for action-state entropy-regularized reward maximization
Universitat Pompeu Fabra（庞培法布拉大学）
以前的工作分别讨论了不同形式的行动，状态和行动状态熵正则化，纯探索和空间占领。这些问题对于规则化、泛化、加速学习和以前所未有的水平提供强大的解决方案都变得非常重要。然而，这些问题的解决方案是繁忙的，从凸和非凸优化，无约束优化，约束优化。在这里，我们提供了一个一般的对偶函数形式主义，将约束优化问题转化为一个无约束的凸的任何混合行动和状态熵。纯作用熵和纯状态熵的情况被理解为混合的极限。
2023-02-02 cs.AI cs.LG
Robust Constrained-MDPs: Soft-Constrained Robust Policy Optimization under Model Uncertainty
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
在本文中，我们专注于问题的鲁棒性强化学习（RL）算法与模型的不确定性。事实上，在基于模型的RL的框架中，我们建议将约束马尔可夫决策过程（CMDP）理论与鲁棒马尔可夫决策过程（RMDP）理论相结合，从而形成鲁棒约束MDP（RCMDP）。这个公式，简单的本质上，使我们能够设计RL算法，是强大的性能，并提供约束满足保证，相对于系统的状态转移概率的不确定性。对RCMPD的需求对于RL的实际应用非常重要。例如，这样的公式化可以在安全关键应用中从模拟到现实世界（Sim2Real）的策略转移中发挥重要作用，这将受益于相对于模型不确定性而言稳健的性能和安全保证。我们首先提出了一般的问题公式下的概念RCMDP，然后提出了一个拉格朗日公式的最优问题，导致鲁棒约束的策略梯度RL算法。最后，我们验证了这一概念的库存管理问题。
2020-10-10 cs.LG
Semantic-Aware Remote Estimation of Multiple Markov Sources Under Constraints
Department of Computer and Information Science, Linköping University（Linköping大学计算机与信息科学系）
针对有损速率受限信道下多马尔可夫信源远程估计问题，结合信息语义构建CMDP模型，推导最优策略结构，提出交点搜索、RL及低复杂度DPP算法，以更少传输实现最优性能。
2025-05-21 cs.IT cs.LG cs.NI
Estimation of Markov Chain via Rank-Constrained Likelihood
Princeton University（普林斯顿大学）
研究了低秩马尔可夫链的经验轨迹估计问题。我们提出了一种基于秩约束似然最大化的非凸估计。统计上界提供的Kullback-Leiber分歧和$\ell_2$之间的估计和真正的转移矩阵的风险。该估计器揭示了一个压缩的状态空间的马尔可夫链。我们还开发了一种新的DC（凸函数差分）规划算法来解决秩约束非光滑优化问题。收敛结果成立。实验结果表明，该估计器实现了更好的经验性能比其他流行的方法。
2018-07-19 cs.LG math.OC stat.ML
Stochastic-Constrained Stochastic Optimization with Markovian Data
KAIST（韩国科学技术院）
本文提出两种适用于马尔可夫链数据的随机约束优化算法，通过数值实验验证其在公平性约束分类中的有效性。
2023-12-07 cs.LG math.OC
Optimized Hidden Markov Model based on Constrained Particle Swarm Optimization
University Lumiere of Lyon 2（里昂第二吕米埃大学）；Chengdu University（成都大学）
隐马尔可夫模型（HMM）作为贝叶斯分析工具之一，已经得到了广泛的应用。大多数Hyngeal问题都是通过Baum-Welch算法（BWHMM）来预测模型参数，难以找到全局最优解。本文提出了一种基于粒子群优化算法的隐马尔可夫模型（PSOHMM）。为了克服隐马尔可夫模型中的统计约束，本文提出了重规范化和重映射机制来保证隐马尔可夫模型中的约束。实验结果表明，PSOHMM比BWHMM能更好地搜索解，且收敛速度更快。
2018-11-07 cs.LG stat.ML
Domain Aware Markov Logic Networks
I.I.T. Delhi（德里印度理工学院）；Univ. of Texas Dallas（德克萨斯大学达拉斯分校）
结合逻辑和概率一直是人工智能研究的长期目标。马尔可夫逻辑网络（MLN）通过将权重附加到一阶逻辑中的公式来实现这一点，并且可以被视为构建基础马尔可夫网络特征的模板。用于学习MLN的权重的大多数技术是域大小不可知的，即，在学习模型的参数时没有明确地考虑域的大小。这通常会导致在测试域大小时的极端概率与训练期间看到的不同。在本文中，我们提出了域感知马尔可夫逻辑网络（DA-MLNs），提出了一个原则性的解决方案，这个问题。在定义接地网络分布时，DA-MLN将接地特征权重除以比例因子，该比例因子是出现在特征中的接地原子所涉及的连接数的函数。我们表明，标准MLN脱落作为我们的形式主义的一个特殊情况下，这个功能时，灰评价为常数等于1。在基准Friends & Smokers域上的实验表明，与现有方法相比，我们的方法在测试大小与训练过程中看到的不同的域时具有更高的准确率。
2018-07-07 cs.LG stat.ML
Convergence-Aware Pareto Selection of Covariate Scaling Transformations for Markov Deterioration Hazard Models: Evidence from Bridge Inspection Data
Yachiyo Engineering Co., Ltd.（八千代工程有限公司）
针对马尔可夫劣化风险模型对协变量缩放敏感的问题，本文系统比较四种缩放变换，在桥梁检测数据上通过L-BFGS-B估计EHM模型，并基于收敛感知的Pareto选择提出最优缩放方案。
2026-09-29 cs.LG stat.ME
Constrained Approximate Maximum Entropy Learning of Markov Random Fields
Stanford University（斯坦福大学）
马尔可夫随机场（MRF）中的参数估计是一项困难的任务，其中网络上的推理在梯度下降过程的内环中运行。用近似方法（如循环置信传播（LBP））代替精确推理可能会导致收敛性差。在本文中，我们提供了一种不同的方法来结合MRF学习和Bethe近似。我们考虑最大似然马尔可夫网络学习的对偶-矩匹配约束下的熵最大化-然后在所产生的优化问题中近似目标和约束。与以前沿着这些路线的工作（Teh & Welling，2003）不同，我们的公式允许在一般对数线性模型，参数正则化和条件训练中的特征之间共享参数。我们表明，分段训练（萨顿和麦卡勒姆，2005年）是一个非常有限的特殊情况下，这种提法。我们研究了两种优化策略：一种是基于一个单一的凸近似，一种是使用重复的凸近似。我们展示了几个真实网络的结果，证明这些算法可以显着优于循环和分段学习。我们的研究结果还提供了一个框架，用于分析熵目标和约束的不同松弛的权衡。
2012-06-13 cs.LG stat.ML
Preference-Aware Constrained Multi-Objective Bayesian Optimization
Washington State University（华盛顿州立大学）
本文讨论了当输入空间的大部分是不可行的（即，违反约束）。这一问题在包括模拟电路和电力系统设计在内的许多工程设计问题中都存在。我们的总体目标是在一小部分可行的输入设计上近似最优Pareto集。关键的挑战包括设计空间的巨大规模，多个目标和大量的约束条件，以及一小部分可行的输入设计，只能在执行昂贵的模拟后才能确定。我们提出了一种新的和有效的偏好感知约束多目标贝叶斯优化方法称为PAC-MOO来解决这些挑战。其关键思想是学习输出目标和约束的代理模型，并在每次迭代中选择候选输入进行评估，以最大限度地提高所获得的关于最优约束Pareto前沿的信息，同时考虑对目标的偏好。我们对两个真实世界的模拟电路设计优化问题的实验证明了PAC-MOO的有效性。
2023-03-23 cs.AI cs.LG math.OC
Provably Learning Nash Policies in Constrained Markov Potential Games
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
针对安全多智能体强化学习中约束马尔可夫博弈难求解的问题，提出约束马尔可夫势博弈框架及坐标上升算法CA-CMPG，证明其在表格有限场景下收敛到Nash策略并给出首个未知场景的样本复杂度界。
2023-06-13 cs.GT cs.LG cs.MA
Accuracy of MAP segmentation with hidden Potts and Markov mesh prior models via Path Constrained Viterbi Training, Iterated Conditional Modes and Graph Cut based algorithms
UTN- Universidad Tecnológica Nacional（阿根廷国家科技大学）；Famaf- Facultad de Matemática Astronomía y Física, Universidad Nacional de Córdoba（科尔多瓦国立大学数学天文物理学院）；Facultad de Ingeniería, FCEFyN, Universidad Nacional de Córdoba（科尔多瓦国立大学工程学院与自然科学与精确科学学院）；Universidad Nacional del Sur（南方国立大学）
在本文中，我们研究了两种不同的马尔可夫场环境的像素图像分割的统计分类精度，考虑标签的图像作为隐藏状态和解决的MAP方程的解决方案，这样的标签的估计。假设所有模型中的发射分布相同，不同之处在于标记随机场上的马尔可夫先验假设。先验标记知识将用a）二阶各向异性马尔可夫网格和b）经典各向同性Potts模型建模。在这样的模型下，我们将考虑三种不同的分割过程，用于隐马尔可夫网格的2D路径约束Viterbi训练，用于一阶各向同性Potts模型的基于图切割的分割，以及用于二阶各向同性Potts模型的ICM（迭代条件模式）。我们提供了所有三种方法的统一视图，并调查分类的拟合优度，研究参数估计，计算增益和自动化程度对统计测量总体准确度，相对改善和Kappa系数的影响，允许对来自牙科诊断X射线摄影领域的合成和真实实验数据进行稳健和准确的统计分析。所有算法，使用学习的参数，生成良好的分割时，图像具有清晰的多模态直方图很少的相互作用。次优学习在非独特模式的情况下被证明是脆弱的，这限制了可用模型的复杂性，因此也限制了可实现的出错率。所有编写的Matlab代码都在工具箱中提供，可从我们的网站下载，遵循可复制的研究范式。
2013-07-11 cs.CV cs.LG stat.ML
Self-Aware Markov Models for Discrete Reasoning
Technische Universität Berlin（柏林技术大学）
本文提出基于学习马尔可夫转移核的模型，通过自我修正错误和动态调整计算步骤，提升离散推理任务的性能。
2026-03-25 cs.LG stat.ML
Context-Aware Markov VAE for CSI Compression in Wireless Systems
Ericsson Research（爱立信研究）；Knut and Alice Wallenberg Foundation（克努特和阿莉斯·瓦伦贝格基金会）；ELLIIT；Lund University（隆德大学）
提出基于k-记忆马尔可夫变分自编码器的上下文感知压缩框架，利用有限时间窗口捕捉CSI在潜在空间中的演化，在低中压缩率下显著提升重构性能。
2026-06-16 cs.IT cs.LG eess.SP
The Grow-Shrink strategy for learning Markov network structures constrained by context-specific independences
Universidad Tecnológica Nacional（国家理工大学）
马尔可夫网络是表示复杂概率分布的计算机模型。它们由一个结构和一组数值权重组成。该结构定性地描述了分布中的独立性，这可以用来将分布分解为一组紧凑的函数。从数据中学习结构的一个关键应用是自动发现知识。在实践中，专注于“知识发现”的结构学习算法存在一个局限性：它们使用结构的粗粒度表示。因此，这种表示不能描述特定于上下文的独立性。最近，设计了一种称为CSPC的算法来克服这种限制，但它具有高计算复杂性。这项工作试图减轻这个缺点，提出CSGS，一种算法，使用增长收缩策略，以减少不必要的计算。在经验评估上，通过CSGS学习的结构相对于通过CSPC获得的结构实现了具有竞争力的精度和较低的计算复杂性。
2014-07-30 cs.DS cs.LG
Energy-Aware Deep Learning on Resource-Constrained Hardware
Imperial College London（伦敦帝国学院）；University of Cambridge（剑桥大学）
本文针对物联网与移动设备的能量约束问题，综述了资源受限硬件上用于优化深度学习推理与训练的能量感知方法，分析其方法论、能效影响及局限性，为相关未来研究提供基础。
2025-05-18 cs.AR cs.LG
Modeling the Dynamics of User Preferences for Sequence-Aware Recommendation Using Hidden Markov Models
DePaul University（德保罗大学）
在涉及与最终用户交互的各种在线设置中，系统适应用户偏好的变化至关重要。用户对项目的偏好往往会随着时间的推移而改变，这是由于各种因素，如上下文的变化、正在执行的任务或其他短期或长期的外部因素。推荐系统需要能够捕获用户偏好中的这些动态，以便保持对用户最新兴趣的调整。在这项工作中，我们提出了一个建议框架，考虑到用户偏好的动态。我们提出了一种基于隐马尔可夫模型（HMM）的方法来识别用户交互序列中的变点，根据数据中所有用户的顺序行为来反映偏好的显着变化。所提出的框架利用所确定的变化点，使用序列感知的非负矩阵分解模型生成建议。我们经验证明了基于HMM的变化检测方法的有效性相比，标准的基线方法。此外，我们评估了所提出的推荐方法的性能，并表明它相比有利的最先进的序列感知推荐模型。
2019-05-14 cs.IR cs.LG
Uncertainty-Aware Probabilistic Constrained Clustering from Entangled Pairwise Supervision
The University of Manchester（曼彻斯特大学）
针对现实中成对监督的不确定性问题，提出ECI-PP框架结合ProbPair目标，在概率约束聚类任务中优于现有DCC方法且鲁棒性强。
2026-10-15 cs.AI cs.LG
Manifold-Aware Perturbations for Constrained Generative Modeling
Department of XXX, University of YYY, Location, Country（YYY大学XXX系）；School of ZZZ, Institute of WWW, Location, Country（WWW研究所ZZZ学院）；Department of Mathematics, Emory University, Atlanta, Georgia, USA（埃默里大学数学系）
本文提出了一种面向流形的扰动方法，用于改进约束生成模型的数据分布恢复与稳定采样。
2026-10-01 cs.LG
Constraint-Aware Flow Matching: Decision Aligned End-to-End Training for Constrained Sampling
University of Virginia（弗吉尼亚大学）；NASA Langley Research Center（美国国家航空航天局兰利研究中心）
本文提出Constraint-Aware Flow Matching，通过将约束投影纳入训练目标，解决训练与采样过程不一致的问题，提升受限生成的质量。
2026-05-12 cs.LG
Semi-Supervised Clustering via Information-Theoretic Markov Chain Aggregation
Graz University of Technology（格拉茨技术大学）；Know-Center GmbH（Know-Center有限公司）；Jagiellonian University（雅盖隆大学）
我们将半监督聚类问题与约束马尔可夫聚合联系起来，即，划分马尔可夫链的状态空间的任务。我们通过将数据集中的每个数据点视为马尔可夫链状态空间的一个元素，通过定义状态之间的转移概率（通过相应数据点之间的相似性）以及将半监督信息作为Hartigan式算法中的硬约束来实现这种连接。引入约束马尔可夫聚类（CoMaC）是最近的信息理论框架（无监督）马尔可夫聚合的半监督的情况下的扩展。实例化CoMaC的某些参数设置进一步概括了两个以前的信息理论目标的无监督聚类。我们的研究结果表明，CoMaC是有竞争力的最先进的。
2022-02-07 cs.LG
HMM-guided frame querying for bandwidth-constrained video search
California Institute of Technology（加州理工学院）
我们设计了一个代理搜索感兴趣的帧存储在远程服务器上的视频，在带宽的限制。使用卷积神经网络对单个帧进行评分，并使用隐马尔可夫模型跨帧传播预测，我们的代理基于稀疏的策略采样帧准确地识别感兴趣的时间区域。在ImageNet-VID数据集的一个子集上，我们证明了使用隐马尔可夫模型在帧分数之间进行插值，可以忽略98%的帧请求，而不会影响感兴趣帧的分类准确性。
2019-12-31 cs.CV cs.LG
Anytime-Constrained Equilibria in Polynomial Time
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文将任意时刻约束扩展至马尔可夫博弈并提出任意时刻约束均衡（ACE）理论，包含可行策略计算特征化、固定参数可处理算法及多项式时间近似算法，同时证明了近似保证的最优性，并开发了动作约束马尔可夫博弈的高效计算理论。
2025-03-04 cs.AI cs.DS cs.GT
Constraint-Aware Influence Estimation in Deep Constrained Learning
University of Washington（华盛顿大学）
研究约束学习中训练数据对模型解的影响，提出方向影响函数（DIF），将约束学习最优性条件表述为变分不等式，在约束线性回归和公平性约束的卷积神经网络上验证，结果表明DIF是约束学习中数据归因的有效可靠工具。
2026-10-14 cs.AI cs.LG
Collision-Aware Target-Driven Object Grasping in Constrained Environments
Univ. of Minnesota（明尼苏达大学）
在受约束的环境（例如，墙壁、箱子和架子）需要对抓取姿势的可达性进行深入的推理，以避免与周围结构碰撞。典型的6自由度机器人抓取系统依赖于环境的先验知识和密集的规划计算，这是不可推广的和低效的。相比之下，我们提出了一种新的碰撞感知可达性预测器（CARP）的6自由度抓取系统。CARP学习估计抓取姿势的无碰撞概率，并显着提高了在具有挑战性的环境中的抓取。在我们的方法中，深度神经网络完全通过模拟中的自我监督来训练。仿真和真实世界的实验表明，我们的方法实现了超过75%的新物体在各种周围结构的抓取率。消融研究证明了CARP的有效性，其将6-DoF抓取率提高了95.7%。
2021-04-01 cs.LG cs.RO
