Global Algorithms for Mean-Variance Optimization in Markov Decision Processes
Sun Yat-Sen University（中山大学）
马尔可夫决策过程均值和方差的动态最优化是一个长期存在的挑战，由于动态规划的失败。在本文中，我们提出了一种新的方法来找到全局最优的政策，稳态均值和方差的组合指标在无限时域未贴现MDP。通过引入伪均值和伪方差的概念，将原问题转化为一个双层MDP问题，其中内层是标准MDP优化伪均值-方差，外层是单参数选择优化伪均值.我们使用MDP的灵敏度分析来推导这个双层问题的性质。通过求解伪均值-方差优化的内标准MDP，我们可以识别伪问题的最优策略所支配的劣策略空间。我们提出了一个优化算法，可以找到全局最优的策略，通过反复删除较差的策略空间。研究了算法的收敛性和复杂度。另外还提出了一种策略优势属性，进一步提高了算法的效率.数值实验证明了我们的算法的性能和效率。据我们所知，我们的算法是第一个有效地找到全局最优的平均方差优化的MDP政策。这些结果对于仅最小化MDP中的方差度量也是有效的。
2023-02-27 cs.LG math.OC
Policy Gradients with Variance Related Risk Criteria
The Technion - Israel Institute of Technology（以色列理工学院）
动态决策问题中的风险管理在金融和过程控制等许多领域都是至关重要的。定义风险的最常见方法是通过各种与方差相关的标准，如夏普比率或标准差调整后的回报。众所周知，优化许多方差相关的风险标准是NP-难的。在本文中，我们设计了一个框架，局部策略梯度风格的强化学习算法的方差相关的标准。我们的出发点是一个新的公式，用于情景任务中的成本方差。使用这个公式，我们开发策略梯度算法的标准，涉及预期成本和方差的成本。我们证明了这些算法的收敛到局部极小值，并证明了它们在投资组合规划问题中的适用性。
2012-06-27 cs.CY cs.LG math.OC
Stochastic Approximation for Risk-aware Markov Decision Processes
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Purdue University（普渡大学）
我们开发了一个随机逼近型算法来解决有限状态/动作，无限时域，风险意识马尔可夫决策过程。我们的算法有两个循环。内部循环通过求解随机鞍点问题来计算风险。外部循环执行$Q$学习以计算最优风险感知策略。我们的算法涵盖了几个广泛研究的风险度量（例如条件风险值，优化的确定性等价物和绝对半偏差）。建立了算法的几乎必然收敛和收敛速度。对于最佳$Q$值估计间隙和学习速率$k\in(1/2,\,1]$的容错$ε>0$，我们的算法的总体收敛速度为$Ω((\ln(1/δε)/ε^{2})^{1/k}+(\ln(1/ε))^{1/(1-k)})$，概率至少为$1-δ$。
2019-12-04 cs.AI math.OC
Risk-Averse Multi-Armed Bandit Problems under Mean-Variance Measure
Cornell University（康奈尔大学）
主要研究了在长度为$T$的水平上期望总报酬测度下的多臂强盗问题。在本文中，我们解决的问题，多臂土匪问题的风险，并开发下的均值方差，在经济学和金融数学中常用的风险措施的措施平行的结果。我们证明了模型特定的后悔和模型独立的后悔的平均方差的奖励过程是下界$Ω(\log T)$和$Ω(T^{2/3})$，分别。然后，我们表明，变化的UCB政策和DSEE政策的经典风险中性MAB实现这些下限。
2017-08-14 cs.LG
On Dynamic Programming Decompositions of Static Risk Measures in Markov Decision Processes
University of New Hampshire（新罕布什尔大学）；HEC Montréal（蒙特利尔高等商学院）；Amazon（亚马逊公司）；Google Research（谷歌研究院）
本文证明强化学习中用于CVaR和EVaR的离散风险水平动态规划分解本质上始终次优，而VaR的分解成立，揭示了这些风险度量在鞍点性质上的关键差异。
2024-04-23 cs.AI math.OC
Risk-Aware General-Utility Markov Decision Processes
研究风险感知通用效用马尔可夫决策过程，聚焦熵风险度量，提出基于蒙特卡洛树搜索的方法，可解决该过程并达任意精度，实验表明此方法在多种任务的GUMDPs中优化风险感知行为时成功。
2026-07-13 cs.AI cs.LG
Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization
Bosch Corporate Research（博世公司研究中心）；Technical University Darmstadt（达姆施塔特工业大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science（认知科学中心）
针对基于模型的强化学习中价值后验方差过度近似导致探索低效的问题，提出收敛于真实方差的新型不确定性贝尔曼方程及近似方案，构建通用策略优化算法QU-SAC，经在线离线实验验证性能优于现有不确定性估计方法。
2024-09-17 cs.AI cs.LG
Policy Evaluation with Variance Related Risk Criteria in Markov Decision Processes
The Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们扩展的时间差的政策评估算法的性能标准，包括方差的累积奖励。这些标准对风险管理很有用，在财务和流程控制等领域也很重要。我们提出了TD（0）和LSTD（lambda）变量与线性函数逼近，证明了它们的收敛性，并证明了它们在4维连续状态空间问题中的实用性。
2013-01-01 cs.LG stat.ML
Reinforcement Learning of Risk-Constrained Policies in Markov Decision Processes
Masaryk University（马萨里克大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
马尔可夫决策过程（MDP）是随机不确定性条件下序列决策的实际框架。MDPs的经典优化准则是最大化期望折扣和收益，忽略了对系统具有高度负面影响的低概率灾难性事件。另一方面，风险规避政策要求不可预测事件的概率低于给定的阈值，但它们并不考虑预期收益的优化。我们考虑MDPs与贴现和支付的失败状态，代表灾难性的结果。风险约束规划的目标是最大化风险规避策略的期望折扣和收益，以确保遇到故障状态的概率低于期望阈值。我们的主要贡献是一个有效的风险约束规划算法，它结合了UCT类搜索与预测learnedthrough互动与MDP（在风格的AlphaZero）和风险约束的行动选择通过线性规划。我们证明了我们的方法的有效性与实验的经典MDP从文献中，包括基准的顺序为10^6状态。
2020-02-27 cs.AI cs.LG
Constrained Risk-Averse Markov Decision Processes
California Institute of Technology（加州理工学院）；NASA Jet Propulsion Laboratory（NASA喷气推进实验室）
研究了具有动态一致风险目标和约束条件的马尔可夫决策过程的策略设计问题。我们首先在拉格朗日框架中阐述这个问题。在假设风险目标和约束可以用马尔可夫风险转移映射表示的前提下，提出了一种基于优化的方法来合成马尔可夫策略，使约束风险规避问题下界化.我们表明，制定的优化问题是在差分凸规划（DCP）的形式，并可以解决纪律凹凸规划（DCCP）框架。我们表明，这些结果推广了线性规划的约束MDPs总折扣的期望成本和约束。最后，我们说明了所提出的方法的有效性与数值实验的漫游车导航问题，涉及条件风险价值（CVaR）和熵风险价值（EVaR）的一致风险措施。
2021-03-28 cs.AI cs.RO cs.SY
Softmax gradient policy for variance minimization and risk-averse multi armed bandits
anonymous institute（匿名机构）
本文提出基于softmax参数化的算法，用于解决多臂老虎机问题中的方差最小化和风险厌恶决策，证明了算法收敛性，并通过实验验证了其有效性。
2026-09-24 cs.AI cs.LG cs.NA
On the Convergence and Optimality of Policy Gradient for Markov Coherent Risk
Carnegie Mellon University（卡内基梅隆大学）；Purdue University（普渡大学）
为了在强化学习中对风险厌恶进行建模，一种新兴的研究方法采用了熟悉的算法来优化相干风险泛函，这是一个包括条件风险价值（CVaR）的类。由于在马尔可夫决策过程中优化相关风险是困难的，最近的工作往往集中在马尔可夫相关风险（MCR），一个时间一致的代理。虽然，策略梯度（PG）的更新已得出这一目标，它仍然不清楚（i）PG是否找到一个全球最佳的MCR;（ii）如何估计梯度在一个易于处理的方式。在本文中，我们证明，在一般情况下，MCR目标（不同于预期收益）不是梯度主导的，驻点一般不能保证是全局最优的。此外，我们提出了一个严格的上界的次优学习政策，其依赖于目标的非线性和风险规避程度的特点。解决（ii），我们提出了一个实际的实现PG，使用状态分布重新加权，以克服以前的限制。通过实验，我们证明了当最优性差距很小时，PG可以学习风险敏感的政策。然而，我们发现，具有较大次优差距的实例是丰富的，易于构建，概述了未来研究的一个重要挑战。
2021-03-05 cs.AI cs.LG stat.ML
Decision Variance in Online Learning
Cornell University（康奈尔大学）
传统上，在线学习关注的是预期的回报。本文研究了在收益均值-方差性能测度下的风险规避在线学习问题。同时考虑了强盗和全信息设置。几个现有的政策的性能进行了分析，并建立了新的基本限制风险规避学习。特别是，它表明，虽然对数分布依赖的遗憾时间$T$是可以实现的（类似于风险中性的问题），最坏的情况下（即极大极小）遗憾是下界的$Ω(T)$（相反，$Ω(\sqrt{T})$下界的风险中性的问题）。这种与风险中性对应物的急剧差异是由玩家决策的方差引起的，而在预期奖励标准下的遗憾中不存在这种差异，这有助于由于这种风险度量的非线性而导致过度的均值方差。决策方差在后悔表现中的作用反映了风险厌恶型玩家对稳健决策和结果的渴望。
2019-03-14 cs.LG stat.ML
Risk-Sensitive Multi-Agent Reinforcement Learning in Network Aggregative Markov Games
University of Tehran（德黑兰大学）
针对网络聚合马尔可夫博弈，提出分布式嵌套CPT-AC算法，将累积前景理论风险引入多智能体强化学习，证明收敛于主观马尔可夫完美纳什均衡，实验显示损失厌恶影响社交隔离倾向。
2024-02-08 cs.AI cs.LG cs.MA
An Approximate Solution Method for Large Risk-Averse Markov Decision Processes
IBM Research（IBM研究院）
随机域通常涉及风险厌恶的决策者。虽然最近的工作集中在如何使用风险度量在马尔可夫决策过程中建模风险，但它没有解决解决大型风险规避公式的问题。在本文中，我们提出并分析了一种新的方法来解决大型风险厌恶MDP与混合连续离散状态空间和连续行动空间。所提出的方法使用MDP的线性结构迭代地改进值函数的界。我们证明了效用和性能的方法上的投资组合优化问题。
2012-10-16 cs.AI cs.GT q-fin.PM
Iterated risk measures for risk-sensitive Markov decision processes with discounted cost
IBM Research - Tokyo（IBM东京研究院）
我们证明了贴现预期效用的限制，代表未来成本贴现时的风险偏好的标准方法。具体来说，我们提供了一个例子，决策者的偏好，似乎是理性的，但不能用任何折扣的预期效用表示。一个简单的修改贴现预期效用导致不一致的决策随着时间的推移。我们将证明，一个迭代的风险度量可以代表的偏好，不能代表任何折扣的期望效用和决策的基础上迭代的风险度量是一致的，随着时间的推移。
2012-02-14 cs.AI cs.GT q-fin.RM
Inferring the Optimal Policy using Markov Chain Monte Carlo
University of California, Berkeley（加州大学伯克利分校）
本文研究了具有未知转移动态和未知报酬函数的马尔可夫决策过程的最优随机控制策略的估计方法。这种形式的无模型强化学习包括许多真实世界的系统，例如玩视频游戏，模拟控制任务和真实机器人运动。现有的方法估计的最优随机控制策略依赖于高方差估计的政策下降。然而，这些方法不能保证找到最优随机策略，并且高方差梯度估计使收敛不稳定。为了解决这些问题，我们提出了一种技术，使用马尔可夫链蒙特卡罗生成样本的后验分布的参数条件是最佳的。我们的方法可证明收敛到全局最优的随机策略，并与策略梯度相比具有经验相似的方差。
2019-11-16 cs.AI cs.LG stat.ML
Verification of Markov Decision Processes with Risk-Sensitive Measures
University of Texas（得克萨斯大学）
我们开发了一种方法，用于在马尔可夫决策过程中的风险敏感措施的时间逻辑约束的计算政策。具体来说，我们使用了累积前景理论中的一种特定的风险敏感度测量方法，这种方法以前曾在心理学和经济学中被采用。概率和效用函数的非线性变换产生非线性规划问题，这使得最优策略的计算通常具有挑战性。我们表明，这种非线性加权函数可以准确地近似由两个凸函数的差异。这一观察使得使用凹凸规划的有效策略计算成为可能。我们证明了几种情况下的方法的有效性。
2020-04-19 cs.AI cs.LO
Reanalysis of Variance Reduced Temporal Difference Learning
The Ohio State University（俄亥俄州立大学）；The University of Utah（犹他大学）
时间差分（TD）学习是强化学习中用于策略评估的流行算法，但是普通TD实质上会受到固有优化方差的影响。Korda和La（2015）提出了一种方差缩减TD（VRTD）算法，该算法将方差缩减技术直接应用于马尔可夫样本的在线TD学习。在这项工作中，我们首先指出了Korda和La（2015）在VRTD分析中的技术错误，然后提供了VRTD非渐近收敛及其方差减少性能的数学分析。我们证明了VRTD保证以线性收敛速度收敛到TD不动点解的邻域。此外，方差误差（对于i.i.d.\和马尔可夫抽样）和偏差误差（马尔可夫抽样）的VRTD显着降低了批量的方差减少相比，香草TD。结果表明，VRTD获得给定精确解的总体计算复杂性优于马尔可夫采样下的TD，优于独立同分布下的TD。抽样为一个足够小的条件数。
2020-01-10 cs.LG stat.ML
An Actor-Critic Algorithm with Function Approximation for Risk Sensitive Cost Markov Decision Processes
Department of Computer Science and Automation, Indian Institute of Science（计算机科学与自动化系，印度科学研究院）；Department of Electrical Engineering, Indian Institute of Technology Bombay（电气工程系，印度理工学院孟买分校）
本文针对风险敏感成本马尔可夫决策过程，提出一种带函数逼近的演员-评论家算法，并证明其渐近收敛性，实验显示性能优于现有算法。
2025-08-03 cs.LG stat.ML
Thompson Sampling Algorithms for Mean-Variance Bandits
Institute of Operations Research and Analytics, National University of Singapore（新加坡国立大学运筹学与分析研究所）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）；Department of Mathematics, National University of Singapore（新加坡国立大学数学系）
多臂强盗（MAB）问题是一个经典的学习任务，它体现了探索与开发的权衡。但是，标准制剂未考虑{ \em风险}。在在线决策系统中，风险是首要关注的问题。在这方面，均值-方差风险度量是最常见的目标函数之一。在MAB问题的背景下，现有的均值-方差优化算法对奖励分布有不切实际的假设。我们开发了均值方差MAB的汤普森采样式算法，并提供了更少的假设高斯和伯努利土匪全面的遗憾分析。我们的算法实现了最著名的遗憾界的均值方差MABs，也达到了信息理论界在某些参数制度。实证模拟表明，我们的算法显着优于现有的基于LCB的算法的所有风险容忍度。
2020-08-03 cs.IT cs.LG math.IT
Nonparametric Variance-Penalized Actor-Critic: Statistical Inference for Risk-Sensitive Reinforcement Learning
University of Houston（休斯顿大学）；Texas Tech University（德克萨斯理工大学）
本文提出非参数方差惩罚演员-评论家框架，用自举和随机缩放的在线估计器替代第二评论家，实现风险敏感强化学习的统计推断，并在HTS制造案例中显著降低变异性。
2026-09-15 cs.LG stat.ML
Risk-Sensitive Stochastic Optimal Control as Rao-Blackwellized Markovian Score Climbing
Aalto University（阿尔托大学）
本文提出将风险敏感随机控制视为条件粒子滤波器采样下的马尔可夫得分攀升，提供渐近无偏的梯度策略优化，无需价值函数学习，并在神经非高斯反馈策略学习任务上验证了有效性。
2023-12-21 cs.LG cs.SY eess.SY
Risk-Averse Control of Undiscounted Transient Markov Models
我们使用马尔可夫风险措施，制定一个风险厌恶版本的非贴现总成本问题的瞬态控制马尔可夫过程。我们推导出风险厌恶的动态规划方程，我们表明，随机化的政策可能是严格优于确定性策略，当风险措施。我们说明了一个最优停止问题和器官移植问题的结果。
2014-03-22 math.OC
Mean-Variance Type Controls Involving a Hidden Markov Chain: Models and Numerical Approximation
受网络系统中出现的应用程序的启发，这项工作研究了受控状态切换系统，从一个均值-方差公式。主要观点是切换过程是一个隐马尔可夫链。另外一条信息，即，被白噪声破坏的开关过程的噪声观测是可用的。我们专注于最小化方差服从一个固定的终端期望。利用Wonham滤波器，我们首先将部分可观测系统转化为完全可观测系统。由于封闭形式的解决方案几乎是不可能得到的，一个马尔可夫链近似方法被用来设计一个计算方案。证明了算法的收敛性。最后给出了一个数值例子来说明结果。
2014-01-17 math.OC
Mean-Variance Optimization of Discrete Time Discounted Markov Decision Processes
本文研究了无限时域离散时间折扣马尔可夫决策过程（MDP）的均值-方差最优化问题。目标是在平均性能约束下最小化系统报酬方差。不同于文献中大多数要求平均性能已经达到最优的工作，我们可以让平均折扣性能等于任何常数。方差函数的二次型使得方差最小化问题不是一个标准的MDP问题，这是造成该问题困难的主要原因。通过证明可行策略空间的可分解结构，在一个新的折扣准则和一个新的报酬函数下，将约束方差最小化问题转化为一个等价的无约束MDP问题.通过一个差分公式量化了任意两种可行策略下马尔可夫链的方差之差。基于方差差公式，提出了一种求解最优策略的策略迭代算法。我们还证明了确定性策略对在均值约束策略空间中生成的随机策略的最优性。数值实验证明了该方法的有效性。
2017-08-23 math.OC
Time-Consistent Risk Measures for Continuous-Time Markov Chains
我们开发了一种方法，时间一致的风险评估的连续时间过程中的马尔可夫系统。我们的分析是基于对偶表示的一致性风险措施，微分概念的多值映射，和一个精致的概念的时间一致性。我们证明了风险度量是由一个家庭的风险评价泛函（过渡风险映射），这取决于状态，时间，和转移函数。它们的对偶表示是马尔可夫系统的风险多核。我们引入了风险多核的半导数的概念，并用它来推广马尔可夫过程的生成元的概念。使用这些半导数，我们得到了一个系统的常微分方程的风险评估必须满足，推广了经典的向后Kolmogorov方程的马尔可夫过程。此外，我们构造收敛的离散时间近似的连续时间的风险措施。
2017-01-29 math.OC
Robustness to Modeling Errors in Risk-Sensitive Markov Decision Problems with Markov Risk Measures
我们考虑风险敏感的马尔可夫决策过程（MDP），其中MDP模型的影响，在一个紧凑的度量空间的值的参数。我们确定了充分条件下，模型参数的小扰动导致小的变化，在最优值函数和最优策略。我们进一步建立的鲁棒性的风险敏感的最优策略建模误差。数据驱动的决策，决策偏好的不确定性，和系统的噪声分布变化的结果的影响进行了讨论。
2022-09-26 cs.SY eess.SY math.OC
Mean-variance portfolio selection with dynamic attention behavior in a hidden Markov model
本文研究了具有动态注意行为的隐马尔可夫模型中均值-方差投资组合选择问题的闭环均衡策略。除了投资策略外，投资者对新闻的关注也被引入作为对新闻信号准确性的控制过程。目的是通过数值求解一个扩展的HJB方程，利用马尔可夫链近似方法找到平衡策略。构造了一个迭代算法，并证明了其收敛性。数值例子也被提供来说明结果。
2022-05-18 math.OC q-fin.PM
Time-inconsistent Markovian control problems under model uncertainty with application to the mean-variance portfolio selection
本文研究了一类具有模型不确定性的离散时间终端马尔可夫控制问题。我们将子博弈完美策略的概念与自适应鲁棒随机相结合，以解决所考虑的随机控制问题的理论方面。因此，作为理论结果的一个重要应用，我们应用机器学习算法数值求解了模型不确定性下的均值-方差投资组合选择问题。
2020-09-09 math.OC q-fin.MF
Risk-sensitive discounted cost criterion for Continuous-time Markov decision processes on a general state space
本文研究了取值于一般状态空间的连续跳马尔可夫过程的风险敏感折扣控制问题。允许连续跳马氏过程的转移率和代价率是无界的。在一定的李雅普诺夫条件下，我们建立了Hamilton-Jacobi-Bellman（HJB）方程解的存在唯一性。证明了最优风险敏感控制在马尔可夫控制类中的存在性。
2021-04-26 math.OC
Risk-sensitive Markov decision problems under model uncertainty: finite time horizon case
本文研究了一类具有模型不确定性的离散时间风险敏感马尔可夫控制问题。考虑了有限时间范围下的风险敏感贴现成本准则。所采用的方法是自适应鲁棒控制与机器学习相结合。
2021-04-14 math.OC
Continuous-time mean-variance portfolio selection under non-Markovian regime-switching model with random horizon
本文研究了具有状态转换和随机水平的连续时间均值-方差投资组合问题。与以前的作品不同，资产的动态描述的非马尔可夫状态转换模型的意义上说，所有的市场参数是可预测的，相对于联合产生的过滤马尔可夫链和布朗运动。我们将此问题表示为一个约束随机线性二次最优控制问题。假设马尔可夫链与布朗运动无关。市场是不完整的。我们推导出封闭形式的最优投资组合和有效前沿的表达式。所有结果都不同于固定时间范围问题的结果。
2022-05-13 math.OC q-fin.MF
Risk-sensitive Semi-Markov Decision Problems with Discounted Cost and General Utilities
本文考虑半马氏过程在离散状态空间中的风险敏感控制问题。我们考虑一般的效用函数和折扣成本的优化准则。我们考虑随机有限视界和无限视界问题。使用状态增广技术，我们的值函数，并规定最优控制。
2021-01-12 math.OC
Continuous-time Markov decision processes under the risk-sensitive average cost criterion
本文研究了风险敏感平均费用准则下的连续时间马尔可夫决策过程。状态空间是一个有限集，行动空间是一个Borel空间，成本和转移率是有界的，风险敏感系数可以取任意正实数。在较弱的条件下，我们得到了风险敏感平均费用最优性方程解的存在性和最优确定性平稳策略的存在性.
2015-12-21 math.OC
On Average Risk-sensitive Markov Control Processes
本文将李雅普诺夫方法引入到具有一般风险映射的平均风险敏感马尔可夫控制过程的最优控制问题中。特别是行为经济学的应用程序的动机，我们认为可能是非凸的风险地图，混合风险偏好的行为建模。我们引入经典的目标函数的风险敏感的设置，我们特别感兴趣的是优化平均风险在无限时间范围内的马尔可夫控制过程一般，可能是非紧凑的，状态空间也允许无限的成本。将不动点定理应用于风险敏感期望总费用的非线性映射，得到了最优控制的存在唯一性。在一组新的条件下，在一个合适的选择的最优解中获得了必要的收缩：1）风险映射和控制迭代增长的费用函数上的Lyapunov型条件，和2）Doeblin型条件，已知的马尔可夫链，推广到非线性映射。在熵风险图的特定情况下，上述条件可以被替换为存在李雅普诺夫函数、底层马尔可夫链的局部Doeblin型条件以及费用函数的增长条件。
2015-07-22 math.OC
Risk-Averse Markov Decision Processes: Applications to Electricity Grid and Reservoir Management
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Universidad Torcuato Di Tella（托尔夸托·迪泰拉大学）；University of Auckland（奥克兰大学）
本文提出基于风险规避的马尔可夫决策过程模型，用于电力电网和水库管理，结合CVaR和可靠性导向的风险度量，提供高效求解方法。
2026-01-05 math.OC
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology（东京工业大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
我们考虑一个复合凸最小化问题与正则化的经验风险最小化，这经常出现在机器学习。本文提出了两种新的随机梯度法，它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法，因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外，我们的方法有理论支持的强和非强凸正则化，并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
Zero-sum Risk-sensitive Stochastic Games for Continuous Time Markov Chains
研究了可数状态空间上受控连续时间马尔可夫链的无限时域折扣费用和遍历费用风险敏感零和随机对策。对于折扣成本博弈，在名义条件下证明了马氏策略类的价值均衡和鞍点均衡的存在性。对于遍历代价博弈，通过研究相应的Hamilton-Jacobi-Isaacs方程，在一定的李雅普诺夫条件下，证明了值和鞍点平衡的存在性.
2016-03-08 math.OC
Zero and Non-zero Sum Risk-sensitive Semi-Markov Games
本文研究了有限状态空间半马氏过程的零和与非零和风险敏感平均准则对策。对于零和情形，在适当的假设下，我们证明了博弈有一个值。我们还建立了一个平稳的鞍点平衡的存在性。对于非零和的情况，在适当的假设下，我们建立了一个稳定的纳什均衡的存在性。
2021-06-09 math.OC
Solving Ergodic Markov Decision Processes and Perfect Information Zero-sum Stochastic Games by Variance Reduced Deflated Value Iteration
最近，Sidford，Wang，Wu和Ye（2018）开发了一种将方差缩减技术与值迭代相结合的算法来求解折扣马尔可夫决策过程。当折扣因子固定时，该算法具有次线性复杂度。在这里，我们将这种方法推广到均值支付问题，包括马尔可夫决策过程和完美信息零和随机对策。我们得到次线性复杂性界，假设有一个区别的状态，这是从所有的初态和所有的政策。我们的方法是基于减少从平均支付问题的折扣问题的Doob h-变换，结合通货紧缩技术。该算法的复杂性分析同时使用Sidford等人开发的技术。在折扣情况下和非线性谱理论技术（Collatz-Wielandt特征值）。
2019-09-13 math.OC
Markov risk mappings and risk-sensitive optimal prediction
在动态风险框架下，以最小的假设，我们制定了离散时间的概率马尔可夫性。这对于动态优化问题的风险敏感版本的递归解决方案很有用，例如最优预测，其中每个阶段的递归都取决于整个未来。该属性适用于实践中使用的标准风险度量，并以几个等效版本制定，包括通过接受集的表示，强版本和双重表示。
2022-09-02 math.OC math.PR q-fin.MF
Risk-sensitive control of continuous time Markov chains
研究了连续时间马尔可夫链在离散状态空间中取值的风险敏感控制问题。我们研究有限和无限的地平线问题。在有限时域问题中，我们通过HJB方程对值函数进行离散化，得到了最优马尔可夫控制。我们对无限期限折扣成本情况也做同样的事情。在无限水平平均成本的情况下，在一定的李雅普诺夫条件下，我们建立了最优平稳控制的存在性。我们还开发了一个策略迭代算法，找到一个最优控制。
2014-09-14 math.OC
Finite horizon risk-sensitive continuous-time Markov decision processes with unbounded transition and cost rates
考虑有限时间内风险敏感的连续时间马尔可夫决策过程。在无界转移和费用率所能满足的条件下，证明了最优策略的存在性，以及一类可能无界函数的最优性方程解的存在唯一性，并证明了Feynman-Kac公式的成立性.
2018-11-28 math.OC
Discrete-time Zero-Sum Games for Markov chains with risk-sensitive average cost criterion
研究了离散时间受控马尔可夫链在可数状态空间和Borel作用空间下的零和随机对策问题。支付函数是非负的，并且可能是无界的。在一定的李雅普诺夫稳定性假设下，我们建立了一个值和鞍点平衡的存在性。进一步，我们完全刻画了平稳马尔可夫策略类中所有可能的鞍点策略。最后，我们提出并分析了一个说明性的例子。
2022-01-11 math.OC
Semismooth Newton Methods for Risk-Averse Markov Decision Processes
提出基于半光滑牛顿方法的通用算法框架，用于求解风险厌恶马尔可夫决策过程，设计了三种具有收敛保证的方法，并揭示风险厌恶策略迭代本质上是半光滑牛顿方法，从而解释其优越收敛性。
2025-01-23 math.OC
Mean-field risk sensitive control and zero-sum games for Markov chains
利用Wasserstein距离，通过一个不动点证明了跳跃强度无界的平均场型受控马尔可夫链的存在性.利用马尔可夫链熵后向逼近方法，进一步给出了平均场型风险敏感支付泛函的控制问题和零和微分对策的最优控制和鞍点存在的条件.
2018-01-23 math.OC math.PR
Mean-Variance Investment and Risk Control Strategies -- A Time-Consistent Approach via A Forward Auxiliary Process
考虑了均值-方差准则下保险公司的最优投资和风险控制问题。通过引入一个在时间上向前定义的确定性辅助过程，我们构造了一个与原MV问题相关的时间相容问题，并得到了新问题的最优策略和封闭形式的值函数.我们比较我们的配方和最优策略下的预承诺和博弈论的框架。数值研究表明，当金融市场与风险过程负相关时，最优投资可能涉及卖空风险资产，如果发生这种情况，风险厌恶程度较低的保险公司卖空风险较高的资产。
2021-01-11 math.OC q-fin.MF q-fin.PM
Multi-Period Portfolio Optimization: Translation of Autocorrelation Risk to Excess Variance
从长远来看，增长最优投资组合保证比任何其他投资策略积累更高的财富。然而，它们在短期内往往有风险。对于序列不相关的市场，最近提出了类似的投资组合，具有更强的担保。本文扩展了这些强大的投资组合，容纳非零自相关，可能会反映投资者对市场走势的信念。此外，我们证明了这种自相关性所带来的风险可以通过修改资产收益的协方差矩阵来吸收。
2016-09-19 math.OC q-fin.PM
Risk-Averse Control of Markov Systems with Value Function Learning
本文研究有限状态马尔可夫系统在一致风险测度下的风险规避控制问题，提出基于特征近似的低维策略评估方法和小批量转移风险映射学习算法，并通过水下机器人导航问题验证了结构化策略改进的有效性。
2023-12-01 math.OC
Risk-sensitive Markov control processes
我们介绍了一个通用框架，用于测量风险的马尔可夫控制过程的背景下，风险地图一般Borel空间，推广已知的概念，风险措施的数学金融，运筹学和行为经济学。在此框架下，利用加权范数空间引入无界成本，研究了两类无限期风险敏感准则：贴现总风险和平均风险，并利用动态规划求解了相关的最优化问题.对于折扣情形，我们提出了一个新的折扣方案，它不同于传统的形式，但与现有文献一致;而对于平均风险准则，我们给出了类Lyapunov稳定性条件，推广了已知的马尔可夫链的条件，以确保最优性方程解的存在性.
2014-01-23 cs.CE math.DS math.OC
Risk-averse formulations of Stochastic Optimal Control and Markov Decision Processes
本文研究随机最优控制与马尔可夫决策过程的风险规避和分布鲁棒建模，构造条件嵌套风险泛函，推导非随机化最优策略存在的充要条件，并分析风险价值度量优化问题的样本复杂度。
2025-05-22 math.OC math.ST stat.TH
Mean-variance portfolio selection and variance hedging with random coefficients: closed-loop equilibrium strategy
本文在非马尔可夫框架下讨论了动态均值-方差投资组合选择问题和动态方差套期保值问题。首次通过统一的方法分别得到了这些问题的显式闭环平衡策略。一些新的有趣的事实出现在均值方差问题与常数风险厌恶。例如，只要无风险收益率是随机的，均衡策略仍然可以依赖于初始财富。另外，在非马尔可夫背景下，闭环均衡策略和开环均衡策略与初始财富的关系是相同的，并且当无风险收益率是确定的时，闭环均衡策略和开环均衡策略恰好相等。
2018-02-04 math.OC
Ergodic Risk-Sensitive Control of Markov Processes on Countable State Space Revisited
本文考虑了一类离散和连续时间控制的马氏过程，研究了遍历风险敏感极小化问题。在一个全面的稳定性假设下，我们提供了一个完整的分析。特别地，我们建立了最优平稳马尔可夫控制的值函数的唯一性和验证结果，除了存在性结果。我们也重新审视这个问题的近似单调性条件下，但没有任何稳定性假设。我们的研究结果还包括离散和连续时间框架中的政策改进算法。
2021-11-01 math.OC math.PR
