From Parameter to Representation: A Closed-Form Approach for Controllable Model Merging
针对现有可控模型融合方法离线优化复杂度随任务数指数增长的问题，提出基于表征校正的闭式融合方法，实现随需生成帕累托最优模型，降低计算成本并提升偏好对齐精度。
2025-11-14 cs.CV cs.LG
Pareto Regret Analyses in Multi-objective Multi-armed Bandit
Northwestern University（西北大学）
本文提出适用于随机与对抗设置的多目标多臂老虎机帕累托遗憾定义及相应算法，并证明其在对抗设置下最优、随机设置下近最优。
2023-05-30 cs.LG stat.ML
Controllable Machine Unlearning via Gradient Pivoting
Artificial Intelligence Graduate School, UNIST, South Korea（人工智能研究生院，UNIST，韩国）；Department of Industrial Engineering, UNIST, South Korea（工业工程系，UNIST，韩国）
针对机器遗忘中遗忘效力与模型保真度的权衡问题，提出基于梯度枢轴的可控遗忘算法CUP，通过单超参数遍历帕累托前沿，实现精细控制并提升解集质量。
2025-10-22 cs.LG math.OC
Pareto Multi-Task Learning
City University of Hong Kong（香港城市大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
多任务学习是一种同时解决多个相关任务的强大方法。然而，通常不可能找到一个单一的解决方案来优化所有的任务，因为不同的任务可能会相互冲突。最近，提出了一种新的方法，找到一个单一的Pareto最优解，具有良好的权衡不同的任务，铸造多任务学习的多目标优化。在本文中，我们推广了这一思想，并提出了一种新的Pareto多任务学习算法（Pareto MTL）找到一组分布良好的Pareto解决方案，可以代表不同的权衡不同的任务。该算法首先将多任务学习问题转化为多目标优化问题，然后将多目标优化问题分解为一组具有不同权衡偏好的约束子问题.通过并行求解这些子问题，Pareto MTL可以找到一组具有代表性的Pareto最优解，并在所有任务之间进行不同的权衡。从业者可以很容易地从这些帕累托解决方案中选择他们喜欢的解决方案，或者针对不同的情况使用不同的权衡解决方案。实验结果表明，该算法可以产生良好的代表性的解决方案，并优于一些国家的最先进的算法在许多多任务学习应用。
2019-12-30 cs.LG stat.ML
How to Find the Exact Pareto Front for Multi-Objective MDPs?
The Ohio State University（俄亥俄州立大学）；University of Kentucky（肯塔基大学）
针对多目标马尔可夫决策过程（MO-MDPs）难以找到精确帕累托前沿的问题，本文揭示其几何结构性质，提出仅需一次单目标MDP求解并遍历边的高效算法，大幅降低复杂度。
2025-02-10 cs.LG stat.ML
Sequential Learning of the Pareto Front for Multi-objective Bandits
ENS Lyon（里昂高等师范学院）；CWI（荷兰数学和计算机科学研究学会）；Twente University（特文特大学）
研究多目标多臂老虎机中Pareto前沿的序贯学习问题，提出在风险δ较小时达到最优样本复杂度的高效算法，每轮运行时间为O(Kp^d)。
2025-01-29 cs.LG stat.ML
Multi-objective Bayesian Optimization using Pareto-frontier Entropy
Osaka University（大阪大学）；Japan Fine Ceramics Center（日本精细陶瓷中心）；Nagoya Institute of Technology（名古屋工业大学）；National Institute for Material Science（国立材料科学研究所）
研究了一种基于熵的多目标贝叶斯优化算法。熵搜索是贝叶斯优化的一种成功方法。然而，对于目标管理，现有的基于熵的方法忽略了目标之间的权衡或引入不可靠的近似。本文提出了一种新的基于熵的目标优化算法--Pareto-frontier entropy search（PFES）。我们的熵可以将最优值的权衡关系，并且进一步地，我们推导出一个分析公式，而无需对标准熵搜索设置引入额外的近似或简化。我们还表明，我们的熵计算实际上是可行的，通过使用递归分解技术，已被称为研究的Pareto超体积计算。除了通常的MBO设置，其中所有的目标是同时观察，我们还考虑了“解耦”设置，其中的目标函数可以单独观察。PFES可以很容易地适应解耦的设置，通过考虑每个输出维度的边际密度的熵。该方法在Pareto边界条件下考虑了目标间的相关性，而现有方法忽略了这一点。我们的数值实验表明PFES通过几个基准数据集的有效性。
2020-02-11 cs.LG stat.ML
Adaptive Algorithms for Relaxed Pareto Set Identification
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Univ. Bordeaux（波尔多大学）；Inserm（法国国家健康与医学研究院）
针对多目标多臂赌博机中精确 Pareto 集识别样本复杂度过高的问题，提出可适配多种松弛与停止规则的 Adaptive Pareto Exploration 采样策略，并证明其复杂度收益及新冠疫苗策略探索中的有效性。
2023-11-03 cs.LG stat.ML
Bone Soups: A Seek-and-Soup Model Merging Approach for Controllable Multi-Objective Generation
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学首都人工智能学院）；Tencent（腾讯）
针对可控多目标生成中竞争目标影响被忽视的问题，提出Bone Soup模型合并方法，通过多目标强化学习训练骨干模型并利用对称循环矩阵映射生成合并系数，实现了强可控性和Pareto最优性。
2025-06-02 cs.AI cs.CL cs.LG
Minimax Pareto Fairness: A Multi Objective Perspective
Duke University（杜克大学）
在这项工作中，我们制定和正式表征组公平性作为一个多目标优化问题，每个敏感的组风险是一个单独的目标。我们提出了一个公平的标准，分类器实现极小极大风险，是帕累托有效的w.r.t.所有群体，避免不必要的伤害，并可以导致最好的零差距模式，如果政策规定这样做。我们提供了一种与深度神经网络兼容的简单优化算法来满足这些约束。由于我们的方法不需要测试时访问敏感属性，它可以应用于减少最坏情况下的分类错误之间的结果不平衡的分类问题。我们在预测收入、ICU患者死亡率、皮肤病变分类和评估信用风险的真实案例研究中测试了所提出的方法，展示了我们的框架与其他方法相比是如何有利的。
2020-11-03 cs.LG stat.ML
Efficient Continuous Pareto Exploration in Multi-Task Learning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
多任务学习中的任务往往相互关联、相互冲突，甚至相互竞争。因此，很少有一个对所有任务都是最佳的解决方案。最近的论文将帕累托最优的概念引入到这个领域，并直接将多任务学习作为多目标优化问题，但现有方法返回的解决方案通常是有限的，稀疏的和离散的。我们提出了一种新的，有效的方法，产生局部连续的帕累托集和帕累托前沿，这开辟了连续分析帕累托最优解的可能性在机器学习问题。通过提出一个基于样本的稀疏线性系统，将多目标优化的理论结果扩展到现代机器学习问题，可以应用机器学习中的标准Hessian-free求解器。我们比较我们的方法，以国家的最先进的算法，并证明其使用分析本地Pareto集上的各种多任务分类和回归问题。实验结果表明，该算法能够有效地揭示局部Pareto集中的主要方向，找到更多具有不同权衡的解决方案，并能够很好地扩展到具有数百万参数的任务。
2020-08-26 cs.CV cs.LG stat.ML
Pareto Set Learning for Expensive Multi-Objective Optimization
City University of Hong Kong（香港城市大学）
昂贵的多目标优化问题可以在许多实际应用中找到，其中它们的目标函数评估涉及昂贵的计算或物理实验。期望在有限的评估预算下获得近似的帕累托前沿。多目标贝叶斯优化（MOBO）已被广泛用于寻找一个有限的帕累托最优解集。然而，众所周知，整个帕累托集是在一个连续流形上，可以包含无限的解决方案。现有的MOBO方法没有很好地利用Pareto集的结构属性，并且有限集近似可能不包含决策者的最优解。提出了一种新的基于学习的方法来逼近MOBO的整个Pareto集，将基于分解的多目标优化算法（MOEA/D）从有限种群推广到模型。我们设计了一个简单而强大的收购搜索方法的基础上学习的帕累托集，自然支持批量评估。此外，与我们提出的模型，决策者可以很容易地探索任何权衡领域的近似帕累托集灵活的决策。这项工作是第一次尝试昂贵的多目标优化模型的帕累托集。不同的合成和现实世界的问题上的实验结果证明了我们所提出的方法的有效性。
2022-10-16 cs.AI cs.LG cs.NE
Budgeted Multi-Objective Optimization with a Focus on the Central Part of the Pareto Front -- Extended Version
Groupe PSA（标致雪铁龙集团）；CNRS（法国国家科学研究中心）；École Nationale Supérieure des Mines de Saint-Étienne（圣艾蒂安国立高等矿业学校）
优化非线性系统涉及昂贵的计算机实验方面的冲突的目标是一个共同的挑战。当实验的数量受到严格限制和/或当目标的数量增加时，发现整个帕累托最优解集是遥不可及的，即使是基于代理的方法：所提出的解决方案是次优的或不覆盖前端。由于不妥协的最优解通常在应用程序中没有什么意义，这项工作限制了搜索的解决方案，接近帕累托前中心。文章首先描述了这个中心，它是为任何类型的前线定义的。接下来，提出了一种贝叶斯多目标优化方法，用于指导搜索。针对帕累托前沿的一个子集，可以提高解决方案的最优性，并更好地覆盖这一区域，这是我们的主要关注点。描述了一种检测收敛到中心的准则。如果该标准被触发，则帕累托前沿的加宽的中心部分被作为目标，使得在剩余预算内预测到足够准确的收敛。数值实验表明，所得到的算法，C-EHI，更好地定位帕累托前的中心部分相比，国家的最先进的贝叶斯算法。
2019-07-15 cs.LG math.OC stat.ML
ParetoHqD: Fast Offline Multiobjective Alignment of Large Language Models using Pareto High-quality Data
ParetoHqD通过利用帕累托高质量数据实现大语言模型的多目标对齐，提升对齐效果和效率。
2025-12-29 cs.CL cs.LG
Pareto Manifold Learning: Tackling multiple tasks via ensembles of single-task models
University of Geneva（日内瓦大学）
针对多任务学习中任务竞争难获全局最优解的问题，提出帕累托流形学习这一权重空间集成方法，单次训练即可生成连续帕累托前沿，在多类基准上性能优于现有方法。
2023-06-14 cs.LG
One Model for All: Multi-Objective Controllable Language Models
Ruhr University Bochum（波鸿鲁尔大学）；Eindhoven University of Technology（埃因霍温理工大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Liverpool（利物浦大学）
本文提出多目标控制(MOC)，通过引入多目标优化原理训练单个语言模型，使其能根据用户偏好在帕累托前沿生成个性化输出，提升模型可控性、输出质量和泛化能力。
2026-04-06 cs.AI cs.CL cs.LG
Pareto Front Shape-Agnostic Pareto Set Learning in Multi-Objective Optimization
Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）
针对现有帕累托集学习方法需帕累托前沿形状先验的问题，提出将帕累托集学习视为分布变换问题的GPSL方法，通过最大化超体积训练神经网络实现分布变换，无需先验即可处理任意形状帕累托前沿，性能优于现有算法。
2024-08-11 cs.LG math.OC
Merge and Guide: Unifying Model Merging and Guided Decoding for Controllable Multi-Objective Generation
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）
针对可控多目标生成中现有方法控制不足的问题，提出MAGE两阶段框架，通过动态合并骨干模型构建稳健基础模型，并统一显隐式价值模型引导解码，实现更优可控性、帕累托最优与适应性。
2025-10-16 cs.LG
Incentive Compatible Pareto Alignment for Multi-Source Large Graphs
Alibaba Group（阿里巴巴集团）；Beijing Institute of Technology（北京理工大学）；Weill Cornell Medicine（威尔康奈尔医学院）
在本文中，我们专注于学习有效的实体匹配模型在多源大规模数据。对于实际应用，我们放松了典型的假设，数据分布/空间，或实体身份之间的源共享，并提出了一个宽松的多源大规模匹配（RMLE）问题。该问题的挑战包括：1）如何在源之间对齐大规模实体以共享信息; 2）如何减轻联合学习多源数据的负迁移。更糟糕的是，一个实际问题是这两个挑战之间的纠缠。具体而言，不正确的对齐可能会增加负迁移;而减轻一个源的负迁移可能会导致对其他源的学习不佳，然后降低对齐准确性。为了应对纠缠的挑战，我们指出，关键是优化信息共享首先基于帕累托前沿优化，通过显示，信息共享显着影响帕累托前沿，描绘了负转移的下限。因此，我们提出了一种激励相容的Pareto对齐（ICPA）方法，该方法首先基于Pareto前沿优化来优化跨源对齐，然后减轻优化对齐上的负转移约束。这种机制使得每个源可以基于其真实偏好进行学习，而不必担心其他源的表示恶化。具体而言，帕累托前沿优化鼓励最小化负转移的下限，这优化了是否对齐以及对齐哪些。提供了四个大规模数据集的综合实证评估结果，证明了ICPA的有效性和优越性。搜索广告平台的在线A/B测试结果也证明了ICPA在生产环境中的有效性。
2021-12-06 cs.GT cs.LG stat.ML
Divide and Conquer: Provably Unveiling the Pareto Front with Multi-Objective Reinforcement Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Université de Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；University of Galway（戈尔韦大学）；City of Amsterdam（阿姆斯特丹市）；Utrecht University（乌得勒支大学）
本文提出迭代帕累托参照优化（IPRO），将多目标强化学习中帕累托前沿的求解分解为一系列受约束单目标问题，在保证收敛的同时给出未发现解距离的上界，并在实验中取得与或优于现有方法的性能。
2025-02-06 cs.LG
Scalable Unidirectional Pareto Optimality for Multi-Task Learning with Constraints
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；XtractorAI（XtractorAI公司）
多目标优化（MOO）问题需要平衡竞争目标，通常在约束条件下。帕累托最优解集定义了在这些目标上所有可能的最优权衡。在这项工作中，我们提出了一种新的帕累托前沿学习方法：在训练时诱导完整的帕累托流形，以便用户可以在运行时选择任何所需的最佳权衡点。我们的主要观点是利用Fritz-John条件来构造一种新的引导双梯度下降策略。对综合基准问题的评估使我们能够以受控的方式改变MOO问题的难度，并测量与已知分析解决方案的准确性。我们进一步测试了在图像分类的多任务学习（MTL）中学习最佳神经模型参数化的可扩展性和泛化能力。结果表明，在准确性和效率方面的一致改进，比以前的MTL方法，以及从运筹学的技术。
2022-04-16 cs.LG
Multi-Objective Learning to Predict Pareto Fronts Using Hypervolume Maximization
Centrum Wiskunde & Informatica（荷兰国家数学与计算机科学研究所）；Leiden University Medical Center（莱顿大学医学中心）；Delft University of Technology（代尔夫特理工大学）
现实世界的问题往往是多目标的决策者无法指定一个先验的权衡冲突的目标之间是可取的。直觉上，在这种情况下构建机器学习解决方案需要提供多个预测，这些预测跨越并均匀覆盖所有最佳权衡解决方案的帕累托前沿。提出了一种新的多目标训练神经网络的方法，以逼近推理过程中的Pareto前沿。在我们的方法中，神经网络使用动态损失函数进行多目标训练，其中每个网络的损失（对应于多个目标）由其超体积最大化梯度加权。我们讨论并说明了为什么近似帕累托前沿的训练过程需要在单个训练样本的前沿进行优化，而不仅仅是在平均损失的前沿。三个多目标问题的实验表明，我们的方法返回的输出是很好地分布在不同的权衡近似帕累托前沿，而不需要事先指定的权衡向量。此外，与最先进的方法的比较结果突出了我们提出的方法的附加值，特别是在不对称的帕累托前沿。
2021-10-19 cs.LG
ORBIT: On-policy Exploration-Exploitation for Controllable Multi-Budget Reasoning
School of Computer Science, Peking University（北京大学计算机科学学院）；National Key Laboratory for Multimedia Information Processing, Peking University（北京大学多媒体信息处理国家重点实验室）；LLM Department, Tencent（腾讯LLM部门）；The Hong Kong University of Science and Technology（香港科技大学）
ORBIT提出可控多预算推理框架，通过多阶段强化学习发现帕累托最优推理行为，并通过在线蒸馏融合行为，实现可控推理行为、高推理密度和统一模型集成。
2026-04-16 cs.AI cs.LG
Scalable Pareto Front Approximation for Deep Multi-Objective Learning
University of Freiburg（弗赖堡大学）
多目标优化（MOO）是深度学习的一个普遍挑战，然而，对于真正的深度神经网络，还没有可扩展的MOO解决方案。以前的工作要么需要为帕累托前沿的每个点优化一个新的网络，要么通过使用以可修改的偏好为条件的超网络来对可训练参数的数量产生大量开销。在本文中，我们建议通过将这些偏好扩展到特征空间来直接对网络进行调节。此外，我们确保一个良好的传播帕累托前沿的惩罚的解决方案，以保持一个小的角度的偏好向量。在一系列的实验中，我们证明了我们的帕累托前沿达到了最先进的质量，尽管计算速度明显加快。此外，我们展示了可扩展性，因为我们的方法与EfficientNet网络在CelebA数据集上近似于完整的Pareto前沿，与简单的单目标优化相比，训练时间开销仅为7%。我们在https://github.com/ruchtem/cosmos上公开发布我们的代码。
2021-10-14 cs.LG
Bayesian Anytime Pareto Set Identification for Multi-Objective Multi-Armed Bandits
imec；Data Science Institute, Interuniversity Institute of Biostatistics and Statistical Bioinformatics, UHasselt（哈瑟尔特大学生物统计学与统计生物信息学跨大学研究所数据科学研究所）
提出首个任意时间多目标多臂老虎机算法Top-Two帕累托前沿汤普森采样(TTPFTS)，用于帕累托集识别，在合成环境和超大型分子库中验证有效性，并引入不确定性量化指标。
2026-10-27 cs.AI cs.LG
PA2D-MORL: Pareto Ascent Directional Decomposition based Multi-Objective Reinforcement Learning
本文提出PA2D-MORL方法，通过帕累托上升方向选择标量化权重并计算多目标策略梯度，实现高效多目标问题分解与策略优化，提升帕累托策略集的逼近质量。
2026-03-20 cs.AI cs.LG
Post Hoc Extraction of Pareto Fronts for Continuous Control
The Collaborative Robotics and Intelligent Systems (CoRIS) Institute（协作机器人与智能系统研究所）
MAPEX是一种离线多目标强化学习方法，通过重用预训练策略和回放缓冲区，以低样本成本提取帕累托前沿，平衡多个目标。
2026-03-03 cs.LG
Improving Pareto Front Learning via Multi-Sample Hypernetworks
College of Engineering and Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）；School of Applied Mathematics and Informatics, Hanoi University of Science and Technology（河内科技大学应用数学与信息学院）
针对现有帕累托前沿学习方法忽略解间关联、前沿质量受限的问题，提出基于超网络与超体积指标最大化的PHN-HVI框架，在多目标优化任务上性能显著优于基线。
2023-04-28 cs.LG
User Preference Meets Pareto-Optimality in Multi-Objective Bayesian Optimization
University of California, Berkeley（加州大学伯克利分校）；Mitsubishi Electric Research Laboratories（三菱电机研究院）
针对效用驱动MOBO可能产生受支配解且经典方法需估计完整Pareto前沿的问题，提出PUB-MOBO，结合偏好支配效用函数与局部多梯度下降，在多个基准上取得更优Pareto接近度和效用遗憾。
2025-03-17 cs.LG
Toward Finding Strong Pareto Optimal Policies in Multi-Agent Reinforcement Learning
VNU University of Engineering and Technology（越南国家大学工程技术大学）
针对协作多智能体强化学习中的帕累托最优策略问题，提出 MGDA++ 以克服标准 MGDA 的弱帕累托收敛，并从理论与 Gridworld 实验验证其强帕累托最优性和性能优势。
2024-10-25 cs.LG
Population-Free Pareto Tracking for Sample-Efficient Multi-Policy MORL
College of Computer Science and Software Engineering, Shenzhen University, China（深圳大学计算机科学与软件工程学院）
提出MPFT框架，通过无自进化种群的帕累托跟踪机制，结合单目标极端策略初始化，高效逼近完整帕累托前沿，显著提升样本效率并减少智能体-环境交互。
2026-05-29 cs.LG
Federated Multi-Objective Learning with Controlled Pareto Frontiers
本文提出CR-FMOL框架，通过偏好锥约束在联邦学习中实现客户端层面的帕累托最优性，实验证明其能提升客户端公平性并有望在充分训练后达到与FedAvg相当的准确率。
2025-08-23 cs.LG
Deterministic Pareto-Optimal Policy Synthesis for Multi-Objective Reinforcement Learning
提出一种基于切比雪夫标量化的偏好条件贝尔曼算子，用于计算多目标马尔可夫决策过程中的确定性帕累托最优策略，并证明其单调收敛到帕累托前沿的覆盖集。
2026-06-26 cs.AI cs.LG
Multi-objective Reinforcement Learning with Continuous Pareto Frontier Approximation Supplementary Material
Politecnico di Milano（米兰理工大学）
本文档包含论文“Multi-objective强化学习with Continuous Pareto Frontier Approximation”的补充材料，该论文发表于第29届AAAI人工智能会议（AAAI-15）。研究了多目标马尔可夫决策问题（MOMDPs）中Pareto边界的连续逼近问题。我们提出了一个基于政策的方法，利用梯度信息生成的解决方案接近帕累托的。从以前的政策梯度多目标算法，其中n个优化例程是用来有n个解决方案，我们的方法执行一个单一的梯度上升运行，在每一步产生一个改进的连续近似的帕累托边界。我们的想法是利用基于梯度的方法来优化函数的参数，该函数定义了策略参数空间中的流形，使得目标空间中的相应图像尽可能接近帕累托边界。除了导出如何计算和估计这样的梯度，我们还将讨论定义一个度量来评估候选帕累托边界的质量的重要问题。最后，所提出的方法的属性进行了实证评估两个有趣的MOMDPs。
2014-11-18 cs.AI cs.LG
Pareto Actor-Critic for Equilibrium Selection in Multi-Agent Reinforcement Learning
University of Edinburgh（爱丁堡大学）
针对多智能体强化学习易收敛到帕累托次优均衡的问题，提出Pareto-AC算法，利用无冲突博弈性质选择帕累托最优均衡，在多种博弈中优于七种现有算法，并扩展出可扩展的PACDCG。
2023-10-14 cs.LG cs.MA
Pareto Merging: Multi-Objective Optimization for Preference-Aware Model Merging
The Hong Kong University of Science and Technology（香港科技大学）
本文提出偏好感知的模型合并方法，将其建模为多目标优化问题，并在单次合并中生成一组 Pareto 最优合并模型，使用户可按偏好选择，实验显示其准确率优于现有合并基线。
2025-02-08 cs.LG
PROUD: PaRetO-gUided Diffusion Model for Multi-objective Generation
Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局前沿人工智能研究中心）；Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局高性能计算研究所）；Lingnan University（岭南大学）
本文提出PROUD模型，通过约束优化将生成质量与多属性帕累托最优性统一建模，并在去噪过程中动态调整梯度，在图像和蛋白质生成任务上同时实现高质量与多目标帕累托最优。
2024-07-05 cs.LG
Efficient Pareto Manifold Learning with Low-Rank Structure
The Hong Kong University of Science and Technology（香港科技大学）
针对多任务学习中连续帕累托前沿近似方法在任务数庞大时的可扩展性问题，提出结合主网络与低秩矩阵并引入正则化的新方法，高效学习帕累托流形，显著减少参数并提升性能。
2024-07-30 cs.LG
CoAction: Cross-task Correlation-aware Pareto Set Learning
Guangdong University of Technology（广东工业大学）；Xiamen University（厦门大学）
提出CoAction框架，利用任务感知Transformer同时处理多个多目标优化问题，通过自注意力机制捕获任务间相关性，提升超体积、范围和稀疏性指标。
2026-06-02 cs.LG
Multi-criteria Anomaly Detection using Pareto Depth Analysis
University of Michigan（密歇根大学）
我们认为，在一个数据集中，表现出异常的行为，通常被称为异常检测识别模式的问题。在大多数异常检测算法中，数据样本之间的相异度是通过单一标准计算的，例如欧几里得距离。然而，在许多情况下，可能不存在捕获所有可能的异常模式的单个相异性度量。在这种情况下，可以定义多个标准，并且可以通过使用多个标准的线性组合对多个标准进行标度化来测试异常。如果事先不知道不同标准的重要性，则可能需要多次执行该算法，并在线性组合中选择不同的权重。提出了一种基于Pareto深度分析的非参数多准则异常检测方法。PDA使用帕累托最优的概念来检测多个标准下的异常，而无需使用不同的权重选择多次运行算法。所提出的PDA方法在标准数量上线性扩展，并且可证明优于标准的线性组合。
2013-01-07 cs.CV cs.DB cs.LG
Self-Improvement Towards Pareto Optimality: Mitigating Preference Conflicts in Multi-Objective Alignment
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
本文提出一种自我改进的DPO框架，通过生成帕累托最优响应缓解多目标对齐中的偏好冲突，提升模型在帕累托前沿的优化效果。
2025-12-08 cs.CL cs.LG
$\{\text{PF}\}^2$ES: Parallel Feasible Pareto Frontier Entropy Search for Multi-Objective Bayesian Optimization
提出了并行可行Pareto前沿熵搜索（$\{\text{PF}\}^2$ ES）--一种新的支持未知约束和批量查询的多目标贝叶斯优化的信息论获取函数。由于表征候选评估和（可行的）帕累托边界之间的互信息的复杂性，现有的方法必须要么采用粗糙的近似，显着妨碍其性能或依赖于昂贵的推理方案，大大增加了优化的计算开销。相反，通过使用变分下界，$\{\text{PF}\}^2$ ES提供了互信息的低成本和准确的估计。我们基准$\{\text{PF}\}^2$ ES对其他信息理论的采集功能，展示其竞争力的性能，优化合成和现实世界的设计问题。
2023-02-21 cs.LG math.OC
Pareto Navigation Gradient Descent: a First-Order Algorithm for Optimization in Pareto Set
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
许多现代机器学习应用，如多任务学习，需要找到最佳模型参数，以权衡可能相互冲突的多个目标函数。帕累托集的概念使我们能够专注于不能严格改进的模型（通常是无限数量的）的集合。但它没有提供一个可操作的程序来挑选一个或几个特殊的模型返回给实际用户。在本文中，我们考虑\emph{optimization in Pareto set (OPT-in-Pareto)}，寻找帕累托模型，优化一个额外的参考标准功能的帕累托集内的问题。该函数可以编码来自用户的特定偏好，或者表示用于获得代表整个帕累托集合的多样化帕累托模型的集合的通用多样性度量。不幸的是，尽管OPT-in-Pareto是一个非常有用的框架，但在很大程度上缺乏有效的算法，特别是对于深度学习中的大规模，非凸和非线性目标。一种简单的方法是在Pareto集上应用黎曼流形梯度下降，由于需要计算黑塞矩阵的特征值，这会产生很高的计算成本。我们提出了一个一阶算法，近似解决OPT-in-Pareto仅使用梯度信息，既有很高的实际效率和理论上保证收敛性。经验上，我们证明了我们的方法有效地适用于各种具有挑战性的多任务相关的问题。
2022-09-02 cs.AI cs.LG math.OC
Pareto-Path Multi-Task Multiple Kernel Learning
一种传统且直观吸引人的多任务多核学习（MT-MKL）方法是优化具有（部分）共享核函数的目标函数之和（因此，平均值），其允许任务之间的信息共享。我们指出，所获得的解决方案对应于一个多目标优化（MOO）问题的Pareto Front（PF）上的一个点，它考虑了多任务学习（MTL）问题中涉及的所有任务目标的并发优化。出于这最后的观察，并认为前一种方法是启发式的，我们提出了一种新的支持向量机（SVM）MT-MKL框架，认为一组隐含定义的任务目标的圆锥组合。我们表明，解决我们的框架产生的解决方案，沿着上述PF的路径，它包括作为一个特殊情况下的目标函数的平均优化。使用我们推导的算法，我们证明了通过一系列的实验结果，该框架是能够实现更好的分类性能相比，其他类似的MTL方法。
2014-04-11 cs.LG
Enabling Pareto-Stationarity Exploration in Multi-Objective Reinforcement Learning: A Multi-Objective Weighted-Chebyshev Actor-Critic Approach
University of Wisconsin-Whitewater（威斯尼斯大学）；Amazon（亚马逊）；Rochester Institute of Technology（罗切斯特理工学院）；The Ohio State University（俄亥俄州立大学）
针对多目标强化学习中帕累托平稳解系统探索及有限样本复杂度理论保障不足的问题，提出多目标加权切比雪夫演员-评论家算法，兼具理论保证与更优实验性能。
2025-07-29 cs.LG
Efficiently Controlling Multiple Risks with Pareto Testing
Massachusetts Institute of Technology（麻省理工学院）
机器学习应用程序通常具有多个不同的目标和约束，这些目标和约束可能会随着时间的推移而变化。因此，可以用影响其预测行为的超参数集（例如，它们的运行时效率与出错率的关系）。随着约束和超参数维度的数量增长，天真地选择的设置可能导致次优和/或不可靠的结果。我们开发了一种有效的方法来校准模型，使它们的预测可证明地满足多个明确和同时的统计保证（例如，上限出错率），同时还优化任意数量的附加的、无约束的目标（例如，总运行时间成本）。基于最近的结果分布免费，有限样本的风险控制一般损失，我们提出了帕累托检验：一个两阶段的过程，结合多目标优化与多个假设检验。优化阶段在帕累托边界上构造一组有希望的组合。然后，我们将统计测试应用于该边界，以确定具有（i）相对于我们的目标具有高效用的配置，以及（ii）相对于我们的约束具有可指定的高概率的保证风险水平。我们证明了我们的方法的有效性，可靠地加速执行大型Transformer模型在自然语言处理（NLP）应用程序。特别是，我们展示了如何使用帕累托测试来动态配置多个相互依赖的模型属性-包括退出前计算的层数，修剪的注意力头数或考虑的文本标记数-以同时控制和优化各种准确性和成本指标。
2022-10-14 cs.AI cs.LG stat.ME
Pareto Set Learning for Multi-Objective Reinforcement Learning
Nanjing University（南京大学）
针对现有多目标强化学习方法难以获取完整帕累托前沿、无法为不同偏好生成个性化策略的问题，提出基于超网络的通用分解框架PSL-MORL，理论保证其性能，实验验证其在帕累托前沿覆盖效果上显著优于现有方法。
2025-01-14 cs.LG
Collaborative Pareto Set Learning in Multiple Multi-Objective Optimization Problems
School of Mathematics and Statistics, Guangdong University of Technology（广东工业大学数学与统计学院）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）
针对现有 Pareto 集学习（PSL）方法无法同时处理多个多目标优化问题（MOP）的低效性，本文提出协作 Pareto 集学习框架（CoPSL），通过共享层和特定层架构同时学习多个 MOP 的 Pareto 集，显著提升了近似效率和鲁棒性。
2025-04-05 cs.LG math.OC
Optimization on Pareto sets: On a theory of multi-objective optimization
University of California, San Diego（加州大学圣迭戈分校）
研究Pareto约束优化问题，针对隐式、非凸非光滑的约束集定义最优性与稳定性概念，并提出在目标强凸且Lipschitz光滑时具有O(K^{-1/2})收敛率的算法。
2023-08-04 cs.LG math.OC
ParetoPilot: Zero-Surrogate Offline Multi-Objective Optimization via Infer-Perturb-Guide Diffusion
Nanyang Technological University（南洋理工大学）
提出ParetoPilot，一种无需外部代理模型的零代理扩散框架，通过推断-扰动-引导引擎在无条件去噪步骤中隐式推断目标方向、正交化并行引力场和边缘感知排斥力，实现离线多目标优化的帕累托最优设计。
2026-07-07 cs.AI cs.LG cs.NE
Learning Pareto Set for Multi-Objective Continuous Robot Control
Southern University of Science and Technology（南方科技大学）；Shenzhen University（深圳大学）；City University of Hong Kong（香港城市大学）
提出一种资源高效的多目标强化学习算法，利用单个 hypernet 在高维参数空间学习 Pareto set 的连续表示，以最少的参数实现最佳性能。
2024-06-27 cs.AI cs.LG cs.RO
Pareto Set Learning for Neural Multi-objective Combinatorial Optimization
City University of Hong Kong（香港城市大学）
多目标组合优化（MOCO）问题在实际应用中有着广泛的应用。然而，精确地解决这些问题将是非常具有挑战性的，特别是当它们是NP难的时候。在过去的几十年里，许多手工制作的探试法被提出来解决不同的MOCO问题。在这项工作中，我们推广了神经组合优化的思想，并开发了一种基于学习的方法来近似整个Pareto集为一个给定的MOCO问题，没有进一步的搜索过程。我们提出了一个单一的偏好条件模型，直接产生近似Pareto解决方案的任何权衡偏好，并设计了一个有效的多目标强化学习算法来训练这个模型。我们提出的方法可以被视为一个基于学习的扩展，广泛使用的基于分解的多目标进化算法（MOEA/D）。它使用一个单一的模型来适应所有可能的偏好，而其他方法使用有限数量的解决方案来近似帕累托集。实验结果表明，我们提出的方法显着优于其他一些方法的多目标旅行商问题，多目标车辆路径问题，多目标背包问题的解决方案的质量，速度和模型效率。
2022-05-09 cs.LG cs.NE math.OC
Stochastic Multi-Objective Multi-Armed Bandits: Regret Definition and Algorithm
针对现有多目标多臂老虎机帕累托遗憾指标的局限性，提出新型全面遗憾指标与高效帕累托最优臂概念，并开发出可实现次线性遗憾的两阶段MO-MAB算法。
2025-06-16 cs.DS cs.LG
Semantic Pareto-DQN: A Multi-Objective Reinforcement Learning Framework for Financial Anomaly Detection
A3Data（A3数据公司）
针对金融异常检测的类不平衡问题，提出语义帕累托深度Q网络框架，合成交易特征，优化向量奖励，映射帕累托前沿，经实验验证可打破零召回陷阱，提升少数类召回率，为金融异常发现提供新途径。
2026-07-13 cs.AI cs.LG
