Comparing Socially-Equitable Renewable Energy Budget Allocation MDP Policies in Mature and Emerging Economies
Management \& Technology University of Pennsylvania Philadelphia, PA, USA;Systems Engineering Institute Technology of Sepuluh Nopember (ITS) Surabaya, Indonesia;Systems Engineering King Fahd University of Petroleum
研究成熟与新兴经济体中社会公平的可再生能源预算分配问题,将其建模为马尔可夫决策过程,用单一求解器接口比较政策,结果显示滚动时域值迭代政策占优,还揭示简单启发式方法在不同经济体效果不同。
2026-10-14 cs.AI cs.SY eess.SY
Opportunistic Qualitative Planning in Stochastic Systems with Incomplete Preferences over Reachability Objectives
University of Florida(佛罗里达大学)
当不能同时满足所有约束时,偏好在确定要满足哪些目标/约束方面起着关键作用。在本文中,我们研究如何合成的偏好满足计划的随机系统,建模为MDP,给定一个(可能不完全)组合偏好模型的时间扩展的目标。我们首先引入新的语义来解释偏好的随机系统的无限播放。然后,我们引入了一个新的概念的改进,使两个前缀之间的比较无限发挥。在此基础上,我们定义了两个解决方案的概念,称为安全和积极改善(SPI)和安全和几乎肯定改善(SASI),执行改进的积极概率和概率分别为1。我们构建了一个称为改进MDP的模型,在该模型中,保证至少有一个改进的SPI和SASI策略的合成减少到计算MDP中的积极和几乎肯定获胜的策略。我们提出了一个算法来合成SPI和SASI策略,诱导多个顺序的改进。我们证明了所提出的方法使用机器人运动规划问题。
2022-10-04 cs.AI cs.GT cs.RO
Preserving the Privacy of Reward Functions in MDPs through Deception
Singapore Management University(新加坡管理大学);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
针对MDPs中奖励函数易被IRL观测者窃取、现有差分隐私方法无法保障最低期望奖励且抗IRL能力不足的问题,提出基于欺骗理论中模拟模式的RL规划算法,在保障期望奖励的同时提升了隐私保护效果。
2026-11-04 cs.AI cs.LG
Beyond Scalar Rewards: An Axiomatic Framework for Lexicographic MDPs
McGill University(麦吉尔大学);Mila – Quebec AI Institute(魁北克AI研究所)
本文基于 Hausner 的字典序期望效用理论,在无记忆偏好假设下刻画 MDP 中的二维及 d 维奖励函数,并证明其最优策略保留标量奖励情形的优良性质,而 CMDP 中则不然。
2025-05-17 cs.AI cs.LG
Multi-Objective Controller Synthesis with Uncertain Human Preferences
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Virginia(弗吉尼亚大学);University of Birmingham(伯明翰大学)
复杂的现实世界中的应用程序的信息物理系统产生了需要多目标控制器的合成,这涉及到的问题,计算一个最优的控制器受到多个(可能相互冲突)的标准。目标的相对重要性通常由人类决策者指定。然而,在人类偏好中存在固有的不确定性(例如,由于由不同的偏好引出方法产生的伪像)。在本文中,我们形式化的概念不确定的人的喜好,并提出了一种新的方法,占这种不确定性的背景下,多目标控制器合成马尔可夫决策过程(MDP)。我们的方法是基于混合整数线性规划和合成一个最佳的许可多策略,满足不确定的人类偏好的多目标属性。一系列大型案例研究的实验结果表明,所提出的方法是可行的,可扩展性在不同的MDP模型大小和人类偏好的不确定性水平。通过在线用户研究进行的评估也证明了合成控制器的质量和效益。
2022-03-02 cs.AI cs.FL
Is RLHF More Difficult than Standard RL?
Princeton University(普林斯顿大学)
该研究从理论上证明RLHF并不比标准RL更难,通过将偏好类RL问题归约为鲁棒RL、多智能体RL等现有奖励类RL问题,可在极小额外成本下求解,还给出了K元比较场景的理论保证。
2023-11-03 cs.AI cs.LG stat.ML
Optimizing Quantiles in Preference-based Markov Decision Processes
在马尔可夫决策过程模型中,通常通过期望累积回报来评估策略。由于这种决策准则并不总是合适的,本文提出了一种算法计算的分位数标准的政策最优。有限和无限的地平线被认为是。最后,我们实验评估我们的方法随机MDP和数据中心控制问题。
2016-12-01 cs.AI
Deep reinforcement learning for weakly coupled MDP's with continuous actions
UPV/EHU, Univ. of the Basque Country(巴斯克大学);UPPA, Université de Pau et des Pays de l’Adour(波城与阿杜尔地区大学);IRIT, Université de Toulouse, CNRS, Toulouse INP, UT3(图卢兹第三大学);IKERBASQUE - Basque Foundation for Science(巴斯克科学基金会);INRIA Sophia Antipolis(索菲亚·安蒂波利斯国立计算机与自动化研究所)
本文针对连续动作弱耦合 MDP 的资源约束问题,提出基于拉格朗日松弛和神经网络 Q 值计算的 LPCA 算法,并通过差分进化与贪婪变体验证其资源分配和奖励优化优势。
2024-06-12 cs.AI cs.LG cs.MA
Optimized Renewable Energy Planning MDP for Socially-Equitable Electricity Coverage in the US
Westminster High School, GA, USA(华盛顿州西敏公学);Department of Aeronautics and Astronautics, Stanford University(斯坦福大学航空航天系)
本研究提出基于马尔可夫决策过程的可再生能源分配优化框架,纳入预算、需求波动及社会脆弱性指标,实验证明该公平导向方法可提升可再生能源渗透率、减少低收入服务不足人口,实现公平与系统性能的平衡。
2025-08-15 cs.AI cs.CE cs.SY
Reinforcement Learning on Computational Resource Allocation of Cloud-based Wireless Networks
Trinity College Dublin(都柏林大学三一学院);Dublin City University(都柏林城市大学)
用于物联网(IoT)的无线网络预计将在很大程度上涉及基于云的计算和处理。云端的软件化和集中式信号处理和网络交换可实现灵活的网络控制和管理。在云环境中,动态计算资源分配对于在保持进程性能的同时节省能量是必不可少的。中央处理器(CPU)负载变化的随机特征以及云进程可能的复杂并行化情况使得动态资源分配成为一个有趣的研究挑战。本文将这种动态计算资源分配问题建模为马尔可夫决策过程(MDP),并设计了一个基于模型的学习代理来优化CPU使用率的动态资源分配。在MDP过程中,采用值迭代的方法,使学习代理学习最优策略。为了评估我们的性能,我们分析了两种类型的进程,它们可以在基于云的物联网网络中使用,具有不同级别的并行化能力,即,软件定义无线电(SDR)和软件定义网络(SDN)。结果表明,我们的代理快速收敛到最优策略,在不同的参数设置下稳定地执行,在不同的场景下,与基线算法相比,在节能方面优于或至少等同于基线算法。
2020-10-10 cs.AI cs.LG
A Coordinated MDP Approach to Multi-Agent Planning for Resource Allocation, with Applications to Healthcare
University of Waterloo(滑铁卢大学)
本文考虑了一种新的方法,可扩展的多智能体资源分配在动态设置。我们提出了一个近似的解决方案,其中每个资源消费者是由一个独立的基于MDP的代理,模型预期效用使用的平均模型,其预期访问资源只提供有限的信息,所有其他代理。提出了一种基于拍卖的全球机制,用于基于预期遗憾的分配。我们假设真实的投标和合作协调机制,因为我们正在考虑医疗保健方案。我们说明了我们的协调MDP方法的性能对蒙特卡洛为基础的规划算法,旨在为大规模的应用程序,以及其他方法适合分配医疗资源。评估结果表明,在一定的时间限制下,使用我们的算法时,所有消费者代理的全局效用值更接近最优,计算成本低。因此,我们提供了一个很有前途的方法来解决复杂的资源分配问题,出现在医疗环境。
2014-07-07 cs.AI cs.MA
SP3O: Reinforcement Learning from Segment Preferences without Reward Modeling
University of Michigan(密歇根大学)
SP3O是一种无需奖励建模的新型PbRL算法,利用分段级偏好反馈,通过PPO型损失函数优化策略,在机器人控制和LLM微调等长视界任务中性能优于现有算法。
2026-08-05 cs.AI cs.LG
Towards Personalized Explanation of Robot Path Planning via User Feedback
University of Virginia(弗吉尼亚大学)
先前的研究发现,解释机器人的决策和行动有助于提高系统的透明度,提高用户的理解,并实现有效的人机协作。在本文中,我们提出了一个系统,通过用户反馈生成个性化的机器人路径规划的解释。我们考虑机器人在建模为马尔可夫决策过程(MDP)的环境中导航,并开发一种算法来自动生成最佳MDP策略的个性化解释,基于用户对四个元素(即,目标、位置、特异性和语料库)。此外,我们设计的系统与用户互动,通过回答用户的进一步的问题,产生的解释。用户可以选择更新他们的偏好以查看不同的解释。该系统能够通过用户交互来检测和解决任何偏好冲突。在线用户研究的结果表明,生成的个性化解释提高用户满意度,而大多数用户喜欢系统的问答和冲突检测/解决的能力。
2021-03-05 cs.AI cs.RO
Optimizing Fairness in Production Planning: A Human-Centric Approach to Machine and Workforce Allocation
WZL-IQS RWTH Aachen University(亚琛工业大学WZL-IQS);Centro Ricerche Fiat(菲亚特研究中心);MORE Laboratório Colaborativo Montanhas de Investigação(MORE山区研究合作实验室);Joanneum Research Forschungsgesellschaft mbH(约阿内研究所研究有限公司);BOC Products & Services AG(BOC产品与服务股份公司);Jotne Connect AS(Jotne Connect公司)
本研究提出双层人本生产规划框架,上层用CP优化订单-产线排程,下层用MDP结合人因优化工人分配,对比三种策略并经汽车行业专家验证,可同时提升生产效率与劳动力公平性。
2025-10-01 cs.AI
Utility Theory for Sequential Decision Making
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉 - 魁北克人工智能研究所)
冯·诺伊曼-摩根斯坦(VNM)效用定理表明,在某些理性公理下,决策被简化为最大化某些效用函数的期望。我们扩展这些公理越来越结构化的顺序决策设置,并确定相应的效用函数的结构。特别是,我们表明,无记忆的偏好导致效用的形式,每一个过渡奖励和乘法因子的未来回报。这一结果激励了马尔可夫决策过程(MDP)的推广与代理的回报,我们称之为仿射奖励MDP的这种结构。需要对偏好进行更强的约束,以恢复MDP中常用的标量奖励的累积和。一个更强的约束简化了目标寻求代理的效用函数,其形式是我们称之为势函数的某些状态函数的差异。我们的必要和充分条件通过在VNM理性公理中添加公理,揭开了强化学习中理性代理设计的奖励假设的神秘面纱,并激发了涉及顺序决策的AI研究的新方向。
2022-06-27 cs.AI cs.GT cs.LG
Online Learning of Weakly Coupled MDP Policies for Load Balancing and Auto Scaling
Indian Institute of Science(印度科学学院);IMT Atlantique Bretagne-Pays de la Loire(大西洋理工学院布列塔尼-卢瓦尔河地区校区);Institute of Computing, Federal University of Rio de Janeiro (UFRJ)(里约热内卢联邦大学计算机研究所)
针对突发流量下负载均衡与自动扩缩容的动态资源分配问题,本文将其建模为弱耦合MDP,提出更易求解的松弛LP公式,并基于拉格朗日双时间尺度算法实现在线参数学习与策略优化。
2024-06-20 cs.AI cs.NI cs.SY
Learning the Value Systems of Societies with Preference-based Multi-objective Reinforcement Learning
CETINIA, University Rey Juan Carlos(CETINIA皇家卡洛斯大学);Federation University(联邦大学);Deakin University(德肯大学)
本文提出基于偏好多目标强化学习的方法,用于在马尔可夫决策过程中学习社会价值系统,通过聚类和价值对齐模型实现不同用户群体的个性化价值偏好适应。
2026-02-11 cs.AI cs.CY cs.LG
Improved Monte Carlo Planning via Causal Disentanglement for Structurally-Decomposed Markov Decision Processes
ETH Zürich(苏黎世联邦理工学院)
针对传统MDP未利用因果结构的问题,提出基于因果解缠的SD-MDP框架,将序列优化转化为对数线性复杂度的分数背包问题,可与MCTS集成,在多领域策略性能优于基准。
2025-10-03 cs.AI cs.LG cs.SY
Deep Bayesian Reward Learning from Preferences
University of Texas at Austin(德克萨斯大学奥斯汀分校)
贝叶斯逆强化学习(IRL)方法是安全模仿学习的理想方法,因为它们允许学习代理推理奖励的不确定性和学习策略的安全性。然而,贝叶斯IRL是计算上棘手的高维问题,因为从后验的每个样本需要解决整个马尔可夫决策过程(MDP)。虽然存在非贝叶斯深度IRL方法,但这些方法通常推断奖励函数的点估计,从而排除了严格的安全性和不确定性分析。我们提出了贝叶斯奖励外推(B-REX),一个高效的,基于偏好的贝叶斯奖励学习算法,可扩展到高维,视觉控制任务。我们的方法使用继任者的功能表示和偏好的演示,有效地生成样本的后验分布的演示者的奖励函数,而不需要一个MDP求解器。使用后验样本,我们演示了如何在模仿学习设置中计算策略性能的高置信度界限,其中地面真实奖励函数是未知的。我们评估我们提出的方法学习玩雅达利游戏的任务,通过模仿学习从像素输入,没有访问游戏得分。我们证明了B-REX学习的模仿策略与最先进的深度模仿学习方法具有竞争力,该方法只学习奖励函数的点估计。此外,我们证明了通过B-REX生成的后验样本可以用于计算各种评估策略的高置信度性能界限。我们表明,高置信度的性能界限是有用的,准确地排名不同的评价政策时,奖励函数是未知的。我们还表明,高置信度的性能界限可能是有用的检测奖励投机。
2019-12-10 cs.AI cs.LG stat.ML
A reinforcement learning approach to resource allocation in genomic selection
Iowa State University(爱荷华州立大学)
基因组选择(GS)是植物育种者用来选择个体进行交配并产生新一代物种的技术。资源分配是全球服务的一个关键因素。在每个选择周期,育种者都面临着预算分配的选择,以进行杂交和生产下一代育种亲本。受人工智能问题强化学习最新进展的启发,我们开发了一种基于强化学习的算法,可以自动学习在不同的育种世代中分配有限的资源。我们在数学上制定的马尔可夫决策过程(MDP)的框架中的问题,通过定义状态和动作空间。为了避免状态空间的爆炸,提出了一个整数线性规划,量化资源和时间之间的权衡。最后,我们提出一个价值函数近似方法来估计行动价值函数,然后开发一个贪婪的策略改进技术,以找到最佳的资源。我们证明了所提出的方法在提高遗传增益与现实数据的案例研究的有效性。
2021-07-22 cs.AI cs.LG math.OC
Multilevel Fair Allocation under Additive Preferences
LIP6(巴黎六大计算机实验室);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学)
本文针对树状层次智能体的多级公平资源分配问题,提出三种基于嫉妒的公平概念适配方式,证明相同偏好下MWRR可保证相关概念,一般偏好下MWRR表现有差异,实验显示其对未正式保证的适配仍有良好性能。
2026-08-26 cs.AI cs.GT cs.MA
Stable Task Allocation in Multi-Agent Systems with Lexicographic Preferences
本文研究多智能体一对多稳定任务分配,证明在字典序偏好下稳定性等价于无阻塞智能体—任务对,并利用图形表示将稳定匹配空间编码为二元线性约束,支持最优性定义与替代性分析。
2025-03-17 cs.MA
Allocation of Indivisible Items with Individual Preference Graphs
本文研究了当每个代理人的偏好用有向无环图表示时,不可分物品在代理人之间的分配问题。每个偏好图的顶点表示相应代理批准的项目子集。在这样的图中的弧$(a,b)$意味着相应的代理相对于项目$b$更喜欢项目$a$。我们引入了一个新的措施的代理人的不满,通过计算的数量,非分配的项目是由代理人批准,并没有更多的首选项目分配给代理人。考虑到两个问题的变种,我们寻求的方式,最大限度地减少(i)对所有代理的总不满或(ii)代理之间的最大不满的项目分配给代理。对于这两个优化问题,我们研究的计算复杂性的状态,并获得NP-硬度的结果,以及多项式算法的自然底层图形结构,如明星,树木,路径和匹配。我们还分析了这两个问题的参数化的复杂性,相对于各种参数的代理的数量,不满意的阈值,偏好图的顶点度,和树的宽度。
2022-02-09 cs.MA
Fairness based Multi-Preference Resource Allocation in Decentralised Open Markets
Nagoya Institute of Technology(名古屋工业大学);Kyoto University(京都大学)
在这项工作中,我们专注于资源分配在一个分散的开放市场。在分散的开放市场中,由多个供应商和多个动态到达的买家组成,从而使市场变得复杂和动态。因为,在这些市场中,供应商和买家之间的谈判发生在多个冲突的问题,如价格,可扩展性,鲁棒性,延迟等,因此,优化资源分配在这样的开放市场成为直接依赖于两个关键的决定,这是;纳入不同类型的买家的喜好,和公平的供应商启发策略。为此,在这项工作中,我们提出了一个三步资源分配的方法,采用了反向拍卖的范例。在第一步,优先级标签被附加到每个投标供应商的基础上提出的优先级机制。然后,在第二步骤中,针对购买者的所有不同种类的偏好计算偏好得分。最后,在第三步,基于供应商的优先级标签和偏好得分,确定获胜者。最后,我们比较了所提出的方法与两个国家的最先进的资源定价和分配策略。实验结果表明,该方法优于其他两种资源分配方法的独立效用的买方和公开市场的整体效用。
2021-09-01 cs.GT cs.LG cs.MA
Inferring Implicit Trait Preferences for Task Allocation in Heterogeneous Teams
Georgia Institute of Technology(佐治亚理工学院)
异构多智能体团队中的任务分配通常需要关于多维智能体特征的推理(即,能力)以及任务对它们的要求。然而,现有的方法往往忽略了一个事实,即并非所有的特质都同样有助于给定的任务。忽略这种固有的偏好或相对重要性可能会导致有限的代理资源的非预期次优分配,这不一定有助于任务的成功。此外,对大量特征的推理可能会导致巨大的计算负担。为了减轻这些问题,我们提出了一个算法来推断任务特定的特质偏好隐含在专家演示。我们利用的洞察力,专家分配一个特性的任务跨演示的一致性反映了该特性的重要性,该任务。受心理学研究结果的启发,我们解释了这样一个事实,即数据集中特征的固有多样性会影响数据集的信息量,从而影响推断偏好的程度或缺乏偏好的程度。通过对公开的足球数据集(FIFA 20)进行详细的数值模拟和评估,我们证明了我们可以成功地推断出隐式特质偏好,并且与平等对待所有特质的基线方法相比,对推断出的偏好进行解释会导致计算效率更高和更有效的任务分配。
2023-02-21 cs.MA cs.RO
Approximate and Strategyproof Maximin Share Allocation of Chores with Ordinal Preferences
从算法和机制设计的角度出发,我们开始了关于最大最小份额(MMS)公平分配m个不可分割的家务到n个代理的工作,只使用他们的顺序偏好。之前最著名的近似是Aziz等人的2-1/n [IJCAI 2017]。我们通过给出一个简单的确定性5/3-近似算法来改进这个结果,该算法确定代理的分配序列,根据该序列,项目被逐一分配。通过更严格的分析,我们表明,对于n= 2,3,我们的算法取得了更好的近似比,实际上是最优的。我们还考虑了战略代理人的设置,代理人可能会误报他们的偏好来操纵结果。首先给出了一个时间复杂度为O(\log(m/n))的近似连续拣选算法,然后通过一个随机算法将其近似度提高到O(\sqrt{\log n}).我们的研究结果揭示了一些有趣的对比之间的近似比率实现家务与货物。
2020-12-27 cs.GT cs.MA
The Crawler: Three Equivalence Results for Object (Re)allocation Problems when Preferences Are Single-peaked
对于目标再分配问题,如果偏好是严格的,但在其他方面不受限制,顶部交易周期规则(TTC)是主导规则:它是唯一的规则,满足效率,个体理性,和战略防。然而,在单峰偏好的子域上,Bade(2019)定义了一个新的规则,即“爬虫”,它也满足这三个属性。(i)爬行器通过按特定顺序“访问”代理来选择分配。自然的“双重”规则可以按相反的顺序来界定。我们的第一个定理指出,爬虫和它的对偶实际上是相同的。(ii)事实上,偏好曲线的单峰性可能适用于多个订单及其反向订单。我们的第二个定理指出,爬虫是不变的顺序的选择。(iii)对于对象分配问题(相对于重新分配问题),我们定义了一个概率版本的爬虫随机选择捐赠配置文件根据一个均匀分布,并应用原来的定义。我们的第三个定理指出,这个规则与“随机优先规则”相同。
2022-02-26 cs.GT cs.MA econ.TH
PreferenceNet: Encoding Human Preferences in Auction Design with Deep Learning
Center for Machine Learning, University of Maryland(马里兰大学机器学习中心)
最优拍卖的设计是经济学、博弈论和计算机科学中的一个重要问题。尽管经过几十年的努力,在受限环境之外,防策略的、收入最大化的拍卖设计仍然是未知的。然而,最近使用深度学习的方法在近似最优拍卖、恢复几个已知解决方案以及在最优拍卖未知时优于强基线方面取得了一些成功。除了收入最大化之外,拍卖机制还可能寻求鼓励社会所希望的约束,如分配公平性或多样性。然而,这些哲学概念既没有标准化,也没有被广泛接受的正式定义。在本文中,我们提出了PreferenceNet,现有的基于神经网络的拍卖机制的扩展编码的限制使用(潜在的人类提供的)样本的理想的分配。此外,我们引入了一个新的指标来评估拍卖分配的遵守这样的社会理想的约束,并证明我们提出的方法是有竞争力的,与目前国家的最先进的基于神经网络的拍卖设计。我们通过人类受试者研究验证了我们的方法,并表明我们能够有效地捕捉真实的人类偏好。我们的代码可在https://github.com/neeharperi/PreferenceNet上获得
2021-10-17 cs.AI cs.GT cs.LG