Many-to-Many Matching via Sparsity Controlled Optimal Transport
Qiushi Academy for Advanced Studies, Zhejiang University(浙江大学求是高等研究院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Kyoto University(京都大学);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Zhejiang Laboratory(浙江实验室)
本文提出一种基于稀疏性控制最优传输的多对多匹配方法,通过引入匹配预算约束和变形的$q$-熵正则化,显式编码多对多约束并防止退化为一对一匹配,实验证明该方法有效。
2025-03-31 cs.LG
Light Unbalanced Optimal Transport
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Artificial Intelligence Research Institute(人工智能研究院);ITMO University(ITMO大学)
本文针对现有非平衡最优传输求解器过于复杂或缺乏理论依据的问题,提出一种基于新型非极小极大优化目标和轻量参数化的求解器,可在CPU上几分钟内求解连续UEOT问题,并证明其通用逼近性和泛化界。
2025-02-03 cs.LG
Distributionally-Constrained Policy Optimization via Unbalanced Optimal Transport
Rutgers University-Newark(罗格斯大学纽瓦克分校)
我们考虑强化学习中的约束策略优化,其中约束以状态访问和全局动作执行的边缘形式存在。鉴于这些分布,我们制定政策优化的空间占用措施的不平衡最优运输。我们提出了一个通用的RL目标的基础上Bregman分歧,并使用Dykstra的算法进行优化。该方法允许一个演员批评算法时,状态或动作空间是大的,只有样本的边缘。我们讨论了我们的方法的应用程序,并提供演示,以显示我们的算法的有效性。
2021-02-15 cs.LG
Adversarial Computation of Optimal Transport Maps
Element AI(Element AI公司);MILA, Université de Montréal(蒙特利尔大学MILA研究所);Stanford University(斯坦福大学)
计算高维和连续分布之间的最优迁移映射是最优迁移(OT)中的一个具有挑战性的问题。生成对抗网络(GANs)是一种强大的生成模型,已成功应用于跨高维域的地图学习。然而,关于使用GAN目标学习的地图的性质知之甚少。为了解决这个问题,我们提出了一个生成式对抗模型,在这个模型中,攻击者的目标是$2$-Wasserstein度量。我们表明,在训练过程中,我们的生成器遵循初始和目标分布之间的$W_2$-测地线。因此,它在训练结束时再现了最佳地图。我们在低维和高维连续设置中验证了我们的方法,并表明它在图像数据上优于以前的方法。
2019-06-24 cs.LG stat.ML
Semi-Discrete Optimal Transport: Hardness, Regularization and Numerical Solution
EPFL(洛桑联邦理工学院);ETH Zurich(苏黎世联邦理工学院)
半离散最优运输问题,它评估离散和通用(可能非离散)概率测度之间的Wasserstein距离,被认为是计算困难的。尽管这样的问题在统计学、机器学习和计算机视觉中普遍存在,但是,这种看法还没有得到理论上的证明。为了填补这一空白,我们证明了计算Wasserstein距离之间的离散概率测量支持两个点和Lebesgue措施的标准超立方体已经是P-困难。这一见解促使我们寻求半离散最优运输问题的近似解。因此,我们扰动的基础运输成本与添加剂的干扰由一个模糊的概率分布,我们引入了一个分布鲁棒的双最优运输问题,其目标函数是平滑的最不利的干扰分布从一个给定的模糊集。我们进一步表明,平滑的对偶目标函数是等价于正则化的原始目标函数,我们确定了几个模糊集,产生了几个已知的和新的正则化方案。作为一个副产品,我们发现半离散的最优运输问题和离散选择模型之间的密切关系,传统上在心理学和经济学研究。为了有效地解决正则化的最优运输问题,我们使用了一个随机梯度下降算法与不精确的随机梯度预言。一个新的收敛性分析表明,该算法提高了最佳已知的半离散最优运输问题的熵正则化收敛保证。
2022-04-29 cs.LG math.OC stat.ML
ITSPACE: Monotone Gaussian Optimal Transport Updates
提出ITSPACE方法,通过平方根分解的闭式更新直接优化Bures-Wasserstein目标,实现协方差矩阵的高效对齐,在严格预算下显著快于现有方法。
2026-06-29 cs.LG stat.ML
Many Objective Bayesian Optimization
一些实际问题需要评估昂贵和嘈杂的目标函数。此外,这些目标函数的解析表达式可能是未知的。这些函数被称为黑盒,例如,估计机器学习算法的泛化误差并根据其超参数计算其预测时间。多目标贝叶斯优化(MOBO)是一组已成功应用于黑盒同时优化的方法。具体地,BO方法依赖于目标函数的概率模型,通常是高斯过程。该模型生成目标的预测分布。然而,当多目标优化问题中的目标数量为3或更多时,MOBO方法存在问题,这是多目标设置。特别是,BO过程的成本更高,因为考虑的目标更多,通过超体积计算解决方案的质量也更昂贵,最重要的是,我们必须评估每个目标函数,浪费昂贵的计算,经济或其他资源。然而,由于优化问题中涉及更多的目标,其中一些目标很可能是冗余的,并且不会添加有关问题解决方案的信息。提出了一种衡量GP预测分布相似程度的方法。我们还提出了一个多目标贝叶斯优化算法,使用此度量来确定两个目标是否是冗余的。该算法在发现相似性的情况下停止对其中一个进行评估,从而节省了资源,并且不损害多目标BO算法的性能。我们在一组玩具,合成,基准和真实的实验中显示经验证据,GP预测分布的度量和算法的有效性。
2021-07-08 cs.LG stat.ML
A note on the relations between mixture models, maximum-likelihood and entropic optimal transport
Inria(法国国家信息与自动化研究所);ENS de Lyon(里昂高等师范学院);CNRS(法国国家科学研究中心);UCBL(里昂第一大学);LIP(里昂高等师范学院、里昂第一大学、法国国家科学研究中心、法国国家信息与自动化研究所联合实验室)
本文证明混合模型的最大似然估计等价于熵正则化最优传输问题,并以高斯混合模型为例说明EM算法是该问题的块坐标下降法。
2025-01-23 cs.LG stat.ML
Surrogate-Assisted Reference Vector Adaptation to Various Pareto Front Shapes for Many-Objective Bayesian Optimization
Jiteki Lab(Jiteki 实验室)
我们提出了一个代理辅助参考向量自适应(SRVA)方法来解决昂贵的多和多目标优化问题与各种帕累托前沿形状。SRVA是再加上一个多目标贝叶斯优化(MBO)算法,使用参考向量标量化的目标函数。该方法采用Kriging代理模型估计目标函数的Pareto前沿形状,并在估计的Pareto前沿上生成均匀分布的自适应参考向量。我们结合SRVA与预期改善的处罚为基础的边界相交作为MBO的填充标准。该算法与其他两个目标优化算法进行了比较,通过将它们应用到具有各种Pareto前沿形状的基准问题。实验结果表明,该算法在目标函数被Kriging模型合理逼近的问题上优于其他两种算法。SRVA提高了这些问题的连续,不连续和退化的帕累托前沿的非支配解决方案的多样性。此外,该算法从优化的早期阶段获得更好的解决方案,特别是在多目标问题。
2021-10-10 cs.LG cs.NE math.OC
Partition-Guided Distance Saliency: Bridging Decision and Objective Spaces in Many-Objective Optimization
A3Data;CEFET-MG - Centro Federal de Educação Tecnológica de Minas Gerais(米纳斯吉拉斯联邦技术教育中心);Aston University(阿斯顿大学)
提出分区引导的距离显著性(PGDS)框架,通过代理模型学习决策空间几何距离到目标空间近邻的映射,自动分区并识别局部支配点,量化决策变量对解位置的敏感性,将特征分类为驱动者或阻碍者,以增强多目标优化的可解释性。
2026-07-01 cs.LG cs.NE
On the Convergence and Robustness of Training GANs with Regularized Optimal Transport
University of Southern California(南加州大学);University of Toronto(多伦多大学)
生成对抗网络(GANs)是学习数据分布的最实用的方法之一。流行的GAN公式是基于使用Wasserstein距离作为概率分布之间的度量。不幸的是,最小化数据分布和生成模型分布之间的Wasserstein距离是一个计算上具有挑战性的问题,因为其目标是非凸的,非光滑的,甚至难以计算。在这项工作中,我们表明,获得梯度信息的平滑Wasserstein GAN制定,这是基于正则化的最优运输(OT),是计算上毫不费力,因此可以应用一阶优化方法,以尽量减少这一目标。因此,我们建立了理论上的收敛保证平稳的一类建议的GAN优化算法。与原来的非光滑配方,我们的算法只需要解决的最优近似。我们应用我们的方法学习MNIST数字以及CIFAR-10图像。我们的实验表明,我们的方法是计算效率和生成图像的最先进的算法给出相同的架构和计算能力。
2018-05-22 cs.LG math.OC stat.ML
Multi-objective and multi-fidelity Bayesian optimization of laser-plasma acceleration
Ludwig-Maximilian-Universität München(慕尼黑大学);Max Planck Institut für Quantenoptik(马克斯·普朗克量子光学研究所)
加速器中的束流参数优化涉及多个,有时是相互竞争的目标。将这些单独的目标浓缩成一个单一的品质因数,必然会导致在缺乏先验知识的情况下,往往以一种不可取的方式偏向于特定的结果。找到最优的目标定义需要操作员重新考虑许多可能的目标权重和定义,这个过程可能比优化本身花费的时间长很多倍。一种更通用的方法是多目标优化,它建立了目标之间的权衡曲线或帕累托前沿。在这里,我们提出了第一个结果的多目标贝叶斯优化的模拟激光等离子体加速器。我们发现,多目标优化达到可比的性能,其单目标的同行,同时允许即时评估全新的目标。这大大减少了为新问题找到适当的客观定义所需的时间。此外,我们的多目标,多保真度的方法减少了一个数量级的优化运行所需的时间。它通过动态选择模拟分辨率和盒子大小来实现这一点,当它从快速低分辨率运行中了解帕累托最优解决方案时,需要更少的缓慢和昂贵的模拟。本文中演示的技术可以很容易地转换为加速器优化之外的许多不同的计算和实验用例。
2022-12-23 cs.LG physics.acc-ph physics.plasm-ph
Control Laguerre Tessellation: Semi-discrete Optimal Transport Over Control Systems
Department of Aerospace Engineering, Iowa State University(航空航天工程系,爱荷华州立大学)
研究最优控制智能体从紧支绝对连续源到离散目标测度的最优传输,当地础成本满足扭转条件时,最优传输映射由状态空间的拉盖尔镶嵌给出,推广出控制拉盖尔镶嵌并通过两种基础成本进行说明。
2026-10-01 cs.LG cs.MA cs.SY
Transporting Unsecured Stacked Payloads with a Quadrupedal Robot via Multi-Objective Reinforcement Learning
Fujitsu Limited(富士通株式会社)
针对四足机器人运输无固定堆叠载荷时运动与稳定性的权衡,提出PAMORT多目标强化学习方法,通过在线调整偏好权重,在仿真和真实实验中优于单目标基线,实现鲁棒运输。
2026-10-06 cs.LG cs.RO
ParetoTransport: Generative Optimization by Mass Transport Toward The Pareto Front
LIT AI Lab(LIT人工智能实验室);Institute for Machine Learning(机器学习研究所);JKU Linz(约翰开普勒大学林茨分校)
提出ParetoTransport,一种免训练的流匹配引导方法,通过Wasserstein匹配迭代输运离线分布至帕累托前沿,控制分布位移与质量分配,在标准离线多目标优化基准上取得最先进性能。
2026-09-09 cs.LG
Moreau-Yoshida Variational Transport: A General Framework For Solving Regularized Distributional Optimization Problems
University of Tsukuba(筑波大学)
针对机器学习与统计中广泛存在的带非光滑凸正则项的分布优化问题,提出基于Moreau-Yoshida包络光滑近似、结合变分表示重构鞍点问题并采用原始-对偶算法求解的MYVT框架,经理论与实验验证有效。
2024-08-10 cs.LG
Learning Partial Graph Matching via Optimal Partial Transport
Australian National University(澳大利亚国立大学)
本文提出基于最优部分运输的新优化框架,通过加权总变分实现部分图匹配的高效精确解,平衡匹配与未匹配节点,并建立与线性总分配问题的联系。
2026-02-25 cs.LG
MOELA: A Multi-Objective Evolutionary/Learning Design Space Exploration Framework for 3D Heterogeneous Manycore Platforms
Colorado State University(科罗拉多州立大学);University of Pittsburgh(匹兹堡大学)
为了实现诸如深度机器学习和图形处理的新兴应用,需要能够集成许多处理元件(PE)的3D片上网络(NoC)使能的异构众核平台。然而,由于相关设计空间巨大且评估时间长,设计具有多个目标的此类复杂系统可能具有挑战性。为了优化这样的系统,我们提出了一个新的多目标设计空间探索框架,称为MOELA,它结合了基于进化的搜索与基于学习的局部搜索的优点,以快速确定PE和通信链路布局,从而优化多个目标(例如,延迟、吞吐量和能量)。与最先进的方法相比,MOELA将查找解决方案的速度提高了128倍,将Pareto Hypervolume(PHV)提高了12.14倍,并将能量延迟产品(EDP)提高了7.7%。
2023-03-10 cs.AR cs.LG
Few-for-Many Best-Arm Identification in Multi-Objective Bandits
City University of Hong Kong(香港城市大学);Northwest Polytechnical University(西北工业大学)
该研究针对多目标老虎机场景,提出少对多最优臂识别问题,设计了\textsc{GFM-Elim}和\textsc{AFM-Elim}算法,证明其样本复杂度保证,通过实验验证跨目标共享观测可降低采样成本。
2026-10-14 cs.AI cs.LG
Few for Many: Tchebycheff Set Scalarization for Many-Objective Optimization
City University of Hong Kong(香港城市大学);Southern University of Science and Technology(南方科技大学)
本文提出了一种新的Tchebycheff集标量化方法,通过少量代表性解覆盖大量目标,以高效处理多目标优化问题。
2026-01-17 cs.AI cs.LG cs.NE
On the Role of Multi-Objective Optimization to the Transit Network Design Problem
INESC-ID(里斯本高等理工学院信息与数据科学研究所);IST, Univ. Lisboa(里斯本大学高等理工学院);COPELABS, University Lusófona(卢索福纳大学合作实验室)
持续的交通变化,包括COVID-19疫情引发的交通变化,揭示了我们有必要调整公共交通系统以适应不断变化的用户需求。这项工作表明,单目标和多目标的立场可以协同结合,以更好地回答公交网络设计问题(TNDP)。单目标公式是从近似(多目标)帕累托前沿的网络评级中动态推断的,其中使用回归方法来推断传输需求,时间,距离,覆盖范围和成本的最佳权重。作为一个指导性的案例研究,该解决方案适用于多式联运公共交通网络在葡萄牙里斯本市。该系统采用CARRIS公交车和METRO地铁站的个人出行数据,并使用它们来估计城市的始发-目的地需求。然后,采用遗传算法,考虑单目标和多目标的方法,重新设计的公交网络,更好地满足观察到的交通需求。所提出的TNDP优化被证明可以改善结果,目标函数减少高达28.3%。该系统设法大幅减少了路线数量,所有与乘客相关的目标,包括旅行时间和每次旅行的换乘,都得到了显着改善。基于自动收费数据,该系统可以逐步重新设计公交网络,以动态处理城市交通的持续变化。
2022-01-27 cs.AI cs.LG math.OC
Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization
Princeton University(普林斯顿大学);Northwestern University(西北大学);Georgia Institute of Technology(佐治亚理工学院);Simons Institute for the Theory of Computing(西蒙斯理论计算研究所)
本文提出变分传输算法,通过推动粒子近似执行 Wasserstein 梯度下降来求解分布优化问题,并在 PL 条件下证明其线性收敛且统计误差随粒子数增加次线性衰减。
2024-04-01 cs.LG math.OC math.ST
Many-Objective Reinforcement Learning for Online Testing of DNN-Enabled Systems
University of Luxembourg(卢森堡大学);University of Sheffield(谢菲尔德大学);University of Ottawa(渥太华大学)
深度神经网络(DNN)已被广泛用于在诸如自动驾驶系统(ADS)的网络物理系统中执行现实世界的任务。确保这种DNN启用系统(DES)的正确行为是一个至关重要的话题。在线测试是一种很有前途的模式,用于在考虑到系统与其环境之间的连续交互的闭环中测试具有其应用环境(模拟或真实)的此类系统。然而,环境变量(例如,照明条件)在系统在真实世界中的操作期间可能改变,导致DES违反要求(安全性、功能性),由于两个主要挑战,在在线测试场景的执行期间经常保持恒定:(1)如果它们改变,则要探索的所有可能场景的空间将变得甚至更大,以及(2)通常存在要同时测试的许多要求。在本文中,我们提出了MORLOT(多目标强化学习在线测试),一种新的在线测试方法,以解决这些挑战相结合的强化学习(RL)和多目标搜索。MORLOT利用RL来逐步生成环境变化的序列,同时依靠多目标搜索来确定变化,以便它们更有可能实现任何未覆盖的目标。我们使用CARLA对MORLOT进行了经验评估,CARLA是一种广泛用于自动驾驶研究的高保真模拟器,与Transfuser集成,Transfuser是一种支持DNN的端到端驾驶ADS。评价结果表明,MORLOT是显着更有效和效率比替代品具有较大的效果大小。换句话说,MORLOT是一个很好的选择,可以在动态变化的环境中测试DES,同时考虑多种安全要求。
2022-12-22 cs.LG cs.SE
Risk-Aware Reinforcement Learning through Optimal Transport Theory
Rochester Institute of Technology(罗切斯特理工学院)
本文将最优传输理论与强化学习结合,构建风险感知框架,通过修改目标函数引入风险约束,在最大化期望奖励的同时实现风险控制,为RL平衡奖励与风险提供了新方向。
2023-09-12 cs.LG cs.SY eess.SY
Translation-Equivariant Self-Supervised Learning for Pitch Estimation with Optimal Transport
本文提出基于最优传输的目标函数,用于训练平移等变自监督音高估计器,方法理论扎实、数值稳定且更简单。
2025-08-02 cs.AI cs.LG cs.SD