Temporally Discounted Differential Privacy for Evolving Datasets on an Infinite Horizon
我们定义了折扣差分隐私，作为（传统的）差分隐私的替代方案，调查隐私不断变化的数据集，包含时间序列在一个无限的地平线。我们使用隐私损失来衡量报告在某个固定时间泄露的信息量。我们观察到，在差分隐私的定义中，隐私损失在时间上是相等加权的，因此，隐私保护的加性噪声的大小必须无限制地增长，以确保在无限范围内的差分隐私。受经济学文献中的贴现效用理论的启发，我们使用指数和双曲线贴现的隐私损失随着时间的推移，放宽连续观察下的差分隐私的定义。这意味着，对个人来说，遥远过去的隐私损失不如现在的重要。我们使用折扣差分隐私调查隐私的不断变化的数据集使用加性拉普拉斯噪声，并表明加性噪声的幅度可以保持有界折扣差分隐私。我们说明了隐私保护机制的质量，满足折扣差分隐私的智能电表测量时间序列的真实家庭，公开提供的Ausgrid（澳大利亚配电公司）。
2020-01-28 cs.CR cs.SY econ.TH
Horizon-Independent Contraction for Continuous-Time Discounted Regularized Mean-Field Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究针对带折扣和熵正则化的非平稳连续时间平均场博弈，证明大折扣率下有限时域MFG满足与时域无关的收缩条件，推导了有限与无限时域均衡的收敛率及相关误差界。
2026-08-31 cs.GT cs.SY eess.SY
Finite Model Approximations for Partially Observed Markov Decision Processes with Discounted Cost
Ozyegin University（奥兹耶金大学）；Queen’s University（女王大学）
本文研究了部分观察马尔可夫决策过程在折扣成本下的有限模型近似方法，通过统一量化信念空间中的状态和动作空间，提出近似策略在信念空间MDP中近似最优，从而解决原始部分观察问题。
2017-10-19 cs.SY eess.SY math.OC
On Infinite Linear Programming and the Moment Approach to Deterministic Infinite Horizon Discounted Optimal Control Problems
Delft Center for Systems and Control, TU Delft（代尔夫特理工大学系统与控制中心）
本文通过将无限时间折扣最优控制问题转化为无限维线性规划问题，证明了两者等价性，并利用矩方法近似价值函数和设计反馈控制器。
2017-06-07 cs.SY eess.SY math.OC
Optimal Control of Boolean Control Networks with Discounted Cost: An Efficient Approach based on Deterministic Markov Decision Process
研究了布尔控制网络在折扣代价准则下的无限时域最优控制问题。这个问题已经在现有的研究与算法，其特征在于高计算复杂性。因此，我们试图从确定性马尔可夫决策过程（DMDP）的角度来开发更有效的方法来解决这个问题。首先，我们证明了DMDP模型的BCN的控制过程的资格和最优解的存在。接下来，开发了两种方法来处理DMDP中的最优控制问题。一种方法采用著名的值迭代算法，和其他诉诸马达尼的算法专门设计的DMDP。后一种方法可以找到一个精确的最优解，并优于现有的方法在时间效率方面，而前值迭代为基础的方法通常得到一个接近最优的解决方案比所有其他的快得多。细菌\textit{E. coli}的9态4输入\textit{ara}操纵子网络被用来验证我们的方法的有效性和性能。结果表明，这两种方法可以减少运行时间显着的几个数量级相比，现有的工作。
2020-03-13 cs.SY eess.SY math.OC
An Optimal Solution to Infinite Horizon Nonholonomic and Discounted Nonlinear Control Problems
Texas A&M University（德克萨斯农工大学）
本文提出了一种解决无限时间非holonomic和折扣非线性控制问题的最优解方法，通过正则化和自由最终时间公式实现终端集的全局渐近稳定性，并验证了其在非holonomic机器人系统中的有效性。
2026-02-15 cs.SY eess.SY math.OC
Nonlinear Full Information and Moving Horizon Estimation: Robust Global Asymptotic Stability
在本文中，我们提出了时间折扣计划的充分信息估计（FIE）和滚动时域估计（MHE）是鲁棒的全局渐近稳定（RGAS）。本文研究了一般非线性系统的动态特性，其中非线性过程和输出扰动是先验未知的。对于FIE是RGAS，我们唯一的假设是系统是时间折扣增量输入-输出-状态稳定（i-IOSS）的，并且时间折扣的FIE代价函数与i-IOSS估计兼容。由于对于i-IOSS系统这样一个兼容的代价函数总是可以设计的，我们表明，i-IOSS是足够的RGAS观察员的存在。基于FIE的稳定性结果，我们提供了充分的条件，使得诱导MHE计划是RGAS以及足够大的视野。对于这两种方案，我们可以保证收敛的估计误差的情况下，干扰收敛到零，而无需结合先验知识。最后，我们提出了明确的收敛速度，并显示如何验证MHE结果接近FIE结果增加视野。
2023-01-18 cs.SY eess.SY math.OC
Stability-Constrained Markov Decision Processes Using MPC
IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）；Gran Sasso Science Institute - GSSI（格兰萨索科学研究院（GSSI））
在本文中，我们考虑解决折扣马尔可夫决策过程（MDP）的约束下，所产生的政策是稳定的。实际上，MDP是基于某种形式的策略近似来求解的。我们将利用最近的结果，建议使用模型预测控制（MPC）作为强化学习背景下的结构化策略，使其有可能直接在基于MPC的策略中引入稳定性要求。这将限制MDP的解决方案，以建设稳定政策。MPC的稳定性理论是最成熟的非折扣MPC的情况下。因此，我们将首先在本文中表明，稳定的贴现MDPs可以重新制定为未贴现的。这一观察结果将导致具有稳定性要求的基于MPC的策略将产生最优策略，如果贴现MDP是稳定的，则为最佳稳定策略。
2021-02-02 cs.LG cs.SY eess.SY
Quantum memory optimisation using finite-horizon, decoherence time and discounted mean-square performance criteria
Australian National University（澳大利亚国立大学）；University of Sydney（悉尼大学）
本文提出并扩展了量子存储器的优化准则，通过最大化退相干时间并关联有限时域与折扣均方偏差最小化，以提升有限时间区间内的量子信息保留性能。
2025-10-09 cs.SY eess.SY math.OC
Optimal Rates of Convergence for Entropy Regularization in Discounted Markov Decision Processes
Department of Mathematics, RWTH Aachen University（数学系，亚琛工业大学）
本文研究了熵正则化在折扣马尔可夫决策过程中的收敛率，证明了误差随正则化强度倒数呈指数衰减，并改进了自然策略梯度方法的误差衰减特性。
2026-09-10 cs.LG cs.SY eess.SY
Robust stability of moving horizon estimation for continuous-time systems
针对一般非线性连续时间系统，提出基于折扣最小二乘的移动时域估计方案，证明i-iIOSS条件下长时域可保证估计误差鲁棒指数稳定，给出可通过线性矩阵不等式验证的李雅普诺夫构造方法与灵活MHE框架。
2024-01-31 cs.SY eess.SY
A New Dissipativity Condition for Asymptotic Stability of Discounted Economic MPC
经济模型预测控制由于其直接优化给定性能指标的能力，同时对非线性系统实施约束满足，近年来得到了广泛的应用。最近的研究开发了数值算法和稳定性分析的非折扣的情况下。然而，在某些令人感兴趣的情况下，在成本中引入折扣系数可能是可取的，例如，经济学，随机终止过程，马尔可夫决策过程等不幸的是，在这种情况下的稳定性理论仍然没有完全发展。在本文中，我们提出了一个新的耗散性条件，证明渐近稳定的无限地平线的情况下，我们将我们的结果与现有的文献中的折扣经济最优控制。数值例子说明了理论结果。
2022-01-24 cs.SY eess.SY math.OC
Sufficient Stochastic Maximum Principle for Discounted Control Problem
Charles University in Prague（布拉格查理大学）；Czech Technical University in Prague（捷克理工大学）
针对无限时域折扣随机控制问题，在哈密顿函数凹性假设下建立了充分的庞特里亚金最大值原理，并应用于受控随机逻辑斯蒂方程。
2013-03-13 cs.SY eess.SY math.OC
On discount functions for economic model predictive control without terminal conditions
本文将无终端条件经济模型预测控制的稳定性保证从线性折扣扩展至一大类折扣函数，证明其在周期最优轨道下仍具渐近稳定性，并通过数值示例表明合适的折扣函数可在短预测时域下显著提升性能。
2025-03-11 cs.SY eess.SY math.OC
Rapidly Converging Time-Discounted Ergodicity on Graphs for Active Inspection of Confined Spaces
Department of Mechanical Engineering, University of Washington（机械工程系，华盛顿大学）；Department of Electrical & Computer Engineering, University of Washington（电气与计算机工程系，华盛顿大学）；Naval Undersea Warfare Center（海军水下作战中心）；Department of Industrial & Systems Engineering and the Department of Mechanical Engineering, University of Washington（工业与系统工程系和机械工程系，华盛顿大学）
针对连续空间遍历轨迹难跟踪的问题，提出图上时间折扣遍历性度量与凸规划马尔可夫链，并结合 SLAM 贝叶斯检验用于受限空间异常检测。
2025-09-27 cs.RO cs.SY eess.SY
Robustness and Approximation of Discrete-time Mean-field Games under Discounted Cost Criterion
University of Connecticut（康涅狄格大学）；Bilkent University（比尔肯特大学）
本文研究了在模型不确定性下离散时间均场均衡的鲁棒性，通过价值迭代算法的收敛条件，证明了系统动态误标情况下均场均衡的鲁棒性，并展示状态空间量化足够精细时有限模型的均场均衡近似于名义解。
2023-10-16 cs.SY eess.SY math.OC
Linearly discounted economic MPC without terminal conditions for periodic optimal operation
针对周期性最优运行场景，提出一种无需终端条件的线性折扣经济MPC方案，通过引入线性折扣因子实现最优渐近平均性能并保证周期轨道的实际渐近稳定性。
2024-01-08 cs.SY eess.SY math.OC
Piecewise deterministic Markov process for condition-based imperfect maintenance models
本研究构建基于PDMP的状态型不完全维修模型，考虑两类退化与维修延迟，运用脉冲最优控制理论确定最优维修策略，通过数值研究及敏感性分析验证相关影响关系。
2022-11-06 cs.SY eess.SY
A homotopy approach to coherent quantum LQG control synthesis using discounted performance criteria
本文研究了线性二次型高斯（LQG）控制问题，该控制问题是由一个被控对象与一个相干（无测量）控制器的场反馈连接而成。被控对象和控制器都是由线性量子随机微分方程控制的多模开放量子谐振子。控制目标是使闭环系统内部稳定，并最小化无限时域二次成本涉及的植物变量和控制器输出受量子物理可实现性（PR）约束。这个相干量子LQG（CQLQG）控制问题，这一直是积极的研究兴趣超过十年，不承认一个解决方案的形式分离原则和独立的Riccati方程已知的经典对应。我们应用变分技术的一个家庭的折扣CQLQG控制问题的参数化的有效时间范围。这就产生了一个同伦算法，它是初始化的PR（但不一定稳定）控制器，并在一个局部最优的稳定控制器的原始问题的限制。
2020-02-06 cs.SY eess.SY math.OC
Direct Data-Driven Discounted Infinite Horizon Linear Quadratic Regulator with Robustness Guarantees
针对随机线性系统LQR控制，本文提出基于Bellman不等式的单次自适应动态规划数据驱动方法，可直接学习控制增益和值函数，并在噪声下保证鲁棒稳定与次优性能。
2024-10-25 cs.SY eess.SY math.OC
Asymptotic Optimality of Finite Approximations to Markov Decision Processes with Borel Spaces
Coordinated Science Laboratory, University of Illinois（伊利诺伊大学协调科学实验室）；Department of Mathematics and Statistics, Queen’s University（女王大学数学与统计系）
本文研究了Borel空间中马尔可夫决策过程的有限状态近似，证明了在折扣和平均成本标准下，所得的平稳策略能以任意精度逼近最优策略，并给出了收敛速率的明确界。
2016-09-22 cs.SY eess.SY math.OC
On the Global Convergence of Policy Gradient in Average Reward Markov Decision Processes
Technion - Israel Institute of Technology（以色列理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA Research（英伟达研究院）
本文研究无限视野平均奖励表格型 MDP 中策略梯度的全局收敛，证明其以 O(1/T) 速率收敛并得到 O(log(T)) 遗憾，同时改进折扣奖励界并通过仿真验证。
2024-03-11 cs.LG cs.SY eess.SY
Stochastic Model Predictive Control with Discounted Probabilistic Constraints
Department of Engineering Science, University of Oxford（牛津大学工程系）
本文研究了具有加性扰动的线性离散时间系统，设计了模型预测控制（MPC）律以最小化二次成本函数，同时满足机会约束。通过惩罚初始时间附近的违反概率并忽略远未来的时间概率，这种约束形式保证了在线优化的可行性，而无需假设扰动有界。利用切比雪夫不等式提出了计算方便的MPC优化问题，并引入了在线约束紧化技术以确保递归可行性。闭环系统被证明满足机会约束和二次稳定性条件。
2018-07-19 cs.SY eess.SY math.OC
Linear Mean-Field Games with Discounted Cost
在本文中，我们介绍了离散时间线性平均场游戏的无限时域折扣成本最优性准则。一般代理的状态空间是紧Borel空间。每一次，每个代理都通过它们的动态和一级代价函数与另一个代理随机耦合，其中这种随机化是通过它们的状态的经验分布生成的（即，平均场项）。因此，每个代理的转移概率和一阶段代价函数线性依赖于平均场项，这是经典平均场博弈与线性平均场博弈的关键区别。在温和的假设下，证明了当代理人$N$的数目足够大时，从无限种群均衡中得到的策略是$\varepsilon(N)$ -Nash，其中$\varepsilon(N)$是$N$的显式函数.然后，利用MDP的线性规划公式和转移概率在平均场项下的线性性，将无限种群极限下的博弈表示为广义Nash均衡问题（GNEP），并建立了一个具有收敛保证的均衡计算算法.
2023-01-15 cs.SY eess.SY math.OC
Stochastic MPC with Dynamic Feedback Gain Selection and Discounted Probabilistic Constraints
考虑具有附加扰动的线性离散时间系统，设计了一种模型预测控制（MPC）律，该控制律在单次机会约束下引入动态反馈增益，以最小化二次型代价函数。在线选择反馈增益，我们提供了两种选择方法的基础上最小化预测成本的上限。机会约束被定义为一个无限水平上的违反概率的折扣和。通过惩罚违规概率接近初始时间和分配违规概率在遥远的未来与消失的小权重，这种形式的约束允许MPC法律与保证递归的可行性，而没有有界性假设的干扰。一个计算方便的MPC优化问题，制定使用切比雪夫不等式，我们引入了在线约束收紧技术，以确保递归的可行性。保证闭环系统满足机会约束和二次稳定性条件。通过动态反馈增益选择，降低了闭环系统的代价，并减小了切比雪夫不等式的保守性。此外，可以获得更大的可行初始条件集。数值模拟显示这些结果。
2021-05-26 cs.SY eess.SY math.OC
Markov Decision Process Design: A Framework for Integrating Strategic and Operational Decisions
本文提出一个整合系统设计与运营决策的建模框架，通过双层混合整数线性规划公式同时最小化设计成本与预期运营成本，并经计算研究证明现实实例可数值求解。
2024-03-21 cs.SY eess.SY math.OC
