Pareto-frontier Entropy Search with Variational Lower Bound Maximization
Nagoya Institute of Technology（名古屋技术大学）
针对连续域多目标贝叶斯优化中无法获取完整帕累托前沿导致信息增益计算难的问题，提出用含过、欠截断的混合分布近似截断分布，通过变分下界最大化优化平衡系数以最小化近似误差，在多目标场景下效果显著。
2025-09-03 cs.LG stat.ML
The Pareto Frontier of model selection for general Contextual Bandits
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）
模型选择的最新进展提出了这些技术的基本限制的问题。在特定的审查下，模型选择一般的上下文强盗与嵌套的政策类，导致COLT 2020开放的问题。它询问是否有可能同时获得策略类嵌套序列中所有策略的最佳单个算法保证，或者如果没有，则这对于复杂性项和时间之间的折衷$α\in[\frac{1}{2},1)$是可能的：$\ln(|Π_m|)^{1-α}T^α$。我们对这个问题的回答令人失望。即使在纯粹随机的情况下，也不可能得到所期望的结果。我们提出了一个帕累托边界的对数因子匹配的上限和下限，从而证明了增加的复杂性项$\ln(|Π_m|)$独立的$T$是不可避免的一般政策类。作为一个附带结果，我们还解决了COLT 2016关于全信息博弈中二阶边界的公开问题。
2021-10-25 cs.LG
Multi-objective Reinforcement Learning with Continuous Pareto Frontier Approximation Supplementary Material
Politecnico di Milano（米兰理工大学）
本文档包含论文“Multi-objective强化学习with Continuous Pareto Frontier Approximation”的补充材料，该论文发表于第29届AAAI人工智能会议（AAAI-15）。研究了多目标马尔可夫决策问题（MOMDPs）中Pareto边界的连续逼近问题。我们提出了一个基于政策的方法，利用梯度信息生成的解决方案接近帕累托的。从以前的政策梯度多目标算法，其中n个优化例程是用来有n个解决方案，我们的方法执行一个单一的梯度上升运行，在每一步产生一个改进的连续近似的帕累托边界。我们的想法是利用基于梯度的方法来优化函数的参数，该函数定义了策略参数空间中的流形，使得目标空间中的相应图像尽可能接近帕累托边界。除了导出如何计算和估计这样的梯度，我们还将讨论定义一个度量来评估候选帕累托边界的质量的重要问题。最后，所提出的方法的属性进行了实证评估两个有趣的MOMDPs。
2014-11-18 cs.AI cs.LG
BigMac: Breaking the Pareto Frontier of Compute and Memory in Multimodal LLM Training
Peking University（北京大学）；Independent Researcher（独立研究员）；Xiaohongshu, Inc（小红书公司）
提出BigMac训练流水线，通过嵌套编码器和生成器计算到LLM流水线中，同时优化计算效率和内存使用，打破帕累托前沿。
2026-07-08 cs.LG
$\{\text{PF}\}^2$ES: Parallel Feasible Pareto Frontier Entropy Search for Multi-Objective Bayesian Optimization
提出了并行可行Pareto前沿熵搜索（$\{\text{PF}\}^2$ ES）--一种新的支持未知约束和批量查询的多目标贝叶斯优化的信息论获取函数。由于表征候选评估和（可行的）帕累托边界之间的互信息的复杂性，现有的方法必须要么采用粗糙的近似，显着妨碍其性能或依赖于昂贵的推理方案，大大增加了优化的计算开销。相反，通过使用变分下界，$\{\text{PF}\}^2$ ES提供了互信息的低成本和准确的估计。我们基准$\{\text{PF}\}^2$ ES对其他信息理论的采集功能，展示其竞争力的性能，优化合成和现实世界的设计问题。
2023-02-21 cs.LG math.OC
Pushing the Efficiency-Regret Pareto Frontier for Online Learning of Portfolios and Quantum States
Google Research（谷歌研究院）
我们重新审视经典的在线投资组合选择问题。人们普遍认为，计算复杂性和遗憾之间的权衡是不可避免的，与封面的通用Portfolio算法，B-BAYES和ADA-BARRONS目前构成其最先进的帕累托前沿。在本文中，我们提出了第一个有效的算法，BISONS，获得多对数遗憾的内存和每一步的运行时间的要求是多项式的维度，取代ADA-BARRONS从帕累托前沿。此外，我们解决了COLT 2020公开问题，通过显示具有对数屏障正则化的某个Follow-The-Regularized-Leader算法对维度的依赖性比以前所描述的要大得多。因此，我们排除了这个算法作为帕累托边界的候选者。我们还将我们的算法和分析扩展到比在线投资组合选择更一般的问题，即具有对数损失的量子态的在线学习。这种算法，称为薛定谔的BISONS，是第一个有效的算法与多对数遗憾这个更一般的问题。
2022-02-06 cs.LG stat.ML
Federated Multi-Objective Learning with Controlled Pareto Frontiers
本文提出CR-FMOL框架，通过偏好锥约束在联邦学习中实现客户端层面的帕累托最优性，实验证明其能提升客户端公平性并有望在充分训练后达到与FedAvg相当的准确率。
2025-08-23 cs.LG
Multi-objective Bayesian Optimization using Pareto-frontier Entropy
Osaka University（大阪大学）；Japan Fine Ceramics Center（日本精细陶瓷中心）；Nagoya Institute of Technology（名古屋工业大学）；National Institute for Material Science（国立材料科学研究所）
研究了一种基于熵的多目标贝叶斯优化算法。熵搜索是贝叶斯优化的一种成功方法。然而，对于目标管理，现有的基于熵的方法忽略了目标之间的权衡或引入不可靠的近似。本文提出了一种新的基于熵的目标优化算法--Pareto-frontier entropy search（PFES）。我们的熵可以将最优值的权衡关系，并且进一步地，我们推导出一个分析公式，而无需对标准熵搜索设置引入额外的近似或简化。我们还表明，我们的熵计算实际上是可行的，通过使用递归分解技术，已被称为研究的Pareto超体积计算。除了通常的MBO设置，其中所有的目标是同时观察，我们还考虑了“解耦”设置，其中的目标函数可以单独观察。PFES可以很容易地适应解耦的设置，通过考虑每个输出维度的边际密度的熵。该方法在Pareto边界条件下考虑了目标间的相关性，而现有方法忽略了这一点。我们的数值实验表明PFES通过几个基准数据集的有效性。
2020-02-11 cs.LG stat.ML
To the Fairness Frontier and Beyond: Identifying, Quantifying, and Optimizing the Fairness-Accuracy Pareto Frontier
Rice University（莱斯大学）；University of Florida（佛罗里达大学）
在使用机器学习做出高风险的社会决策时，公平性已经成为一个重要的考虑因素。然而，提高公平性往往是以牺牲模型准确性为代价的。虽然已经研究了公平性-准确性权衡的各个方面，但大多数工作分别报告了各种模型的公平性和准确性;这使得如果没有反映两个必要条件的平衡的模型不可知度量，模型比较几乎是不可能的。我们寻求识别，量化和优化的公平性和准确性权衡的经验帕累托边界。具体来说，我们确定和概述的经验帕累托边界之间的权衡公平和准确性（TAF）曲线，然后我们开发了一个度量，通过加权面积下的TAF曲线，我们称之为公平面积下的曲线（FAUC）来量化这个帕累托边界。TAF曲线提供了帕累托边界的第一个经验性的、模型不可知的特征，而FAUC提供了第一个公正地比较模型家族公平性和准确性的指标。TAF曲线和FAUC都可以用于所有组公平性定义和准确性测量。接下来，我们问：是否有可能扩大经验帕累托前沿，从而提高FAUC为一个给定的集合拟合模型？我们肯定地回答开发一种新的公平的模型堆叠框架，FairStacks，解决了一个凸计划，以最大限度地提高模型集成的精度受到分数偏差约束。我们表明，优化与FairStacks总是扩大了经验帕累托前沿，提高了FAUC，我们还研究了我们提出的方法的其他理论属性。最后，我们通过对几个真实基准数据集的研究，实证验证了TAF，FAUC和FairStacks，表明FairStacks导致FAUC的重…
2022-05-31 cs.CY cs.LG stat.ME
Pareto-Dominant Clarification: Post-Training Coding LLMs via PPO-Lagrangian Budget Constraints
Center for Data Science（数据科学中心）；New York University（纽约大学）
本研究将编码智能体的澄清行为建模为约束马尔可夫决策过程，用PPO-Lagrangian后训练Qwen2.5-Coder，在预算约束下同时提升准确率并降低澄清率，发现未约束系统存在帕累托低效。
2026-10-06 cs.LG
Rethinking Pareto Frontier for Performance Evaluation of Deep Neural Networks
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Polytechnique Montreal（蒙特利尔综合理工学院）
深度学习模型的性能优化可以手动进行，也可以通过自动架构搜索进行，或者两者结合进行。另一方面，它们的性能在很大程度上取决于目标硬件以及模型训练的成功程度。我们建议使用多维帕累托前沿来重新定义候选深度学习模型的效率度量，其中训练成本、推理延迟和准确性等几个变量在定义主导模型时发挥相对作用。此外，还引入了多维帕累托前沿的随机版本，以减轻不同实验设置中深度学习模型的准确性、延迟和吞吐量的不确定性。这两种互补的方法可以结合起来执行深度学习模型的客观基准测试。我们提出的方法被应用于广泛的深度图像分类模型上ImageNet数据训练。我们的方法将竞争变量与随机性质结合在一个单一的相对效率测度中。这允许对在不同硬件上有效运行的深度学习模型进行排名，并客观地将推理效率与训练效率相结合。
2022-09-22 cs.LG cs.NE
Cost-Aware Multi-Objective Bandits: Theory and Application to Budgeted LLM Configuration Evaluation
City University of Hong Kong（香港城市大学）；South China University of Technology（华南理工大学）；Zhejiang University（浙江大学）
本文将LLM配置评估建模为成本感知多目标老虎机问题，提出基于超体积的UCB算法与成本感知经验差距消除算法，在有限预算下实现高效在线决策和准确的帕累托识别。
2026-08-06 cs.LG
Deterministic Pareto-Optimal Policy Synthesis for Multi-Objective Reinforcement Learning
提出一种基于切比雪夫标量化的偏好条件贝尔曼算子，用于计算多目标马尔可夫决策过程中的确定性帕累托最优策略，并证明其单调收敛到帕累托前沿的覆盖集。
2026-06-26 cs.AI cs.LG
Approximating Pareto Frontiers in Stochastic Multi-Objective Optimization via Hashing and Randomization
Purdue University（普渡大学）；University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
本文提出XOR-SMOO算法，通过多项式对数次调用SAT oracle，在概率1-δ下获得γ-近似帕累托前沿，提升随机多目标优化求解的实用性和可靠性。
2026-04-01 cs.AI cs.LG cs.LO
A Theoretical Approach to Characterize the Accuracy-Fairness Trade-off Pareto Frontier
Shanghai Jiao Tong University（上海交通大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Georgia（佐治亚大学）；New Jersey Institute of Technology（新泽西理工学院）
本文提出理论框架刻画准确率-公平性权衡的 Pareto 前沿，证明权衡存在性并分四类分析必要条件，通过合成数据实验揭示前沿连续性、准确率急剧下降及两步消除权衡的方法。
2023-10-19 cs.CY cs.LG
Separation-Utility Pareto Frontier: An Information-Theoretic Characterization
Department of Mathematics University of California Davis（数学系加州大学戴维斯分校）
研究效用与分离间的帕累托前沿，通过信息论证明其表征方式与凹性。基于此开发CMI正则化器，与深度模型兼容。数值实验表明该方法能减少分离违规，在多数据集上匹配或超越基线方法效用，为深度学习中实施分离提供新途径。
2026-07-14 cs.LG stat.ML
Learning with Impartiality to Walk on the Pareto Frontier of Fairness, Privacy, and Utility
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
部署机器学习（ML）模型通常需要公平性和隐私保证。这两个目标都提出了独特的权衡与效用（例如，模型的准确性。然而，公平、隐私和效用之间的相互作用还不太清楚。因此，通常只有一个目标被优化，而其他目标则被调整为超参数。因为它们隐含地优先考虑某些目标，这样的设计以有害的、不可检测的方式使模型产生偏差。为了解决这个问题，我们采用公正性作为原则：ML管道的设计不应该偏向于一个目标。我们提出了公平指定的模型，它为我们提供了准确的帕累托边界，显示目标之间的内在权衡。扩展了两个用于隐私保护学习的规范ML框架，我们提供了两种方法（FairDP-SGD和FairPATE）来训练公平指定的模型并恢复Pareto边界。通过理论隐私分析和全面的实证研究，我们提供了一个答案的问题，公平缓解应该集成在一个隐私感知ML管道。
2023-02-17 cs.AI cs.CY cs.LG
What Is The Performance Ceiling of My Classifier? Utilizing Category-Wise Influence Functions for Pareto Frontier Analysis
Bellini College of AI, Cybersecurity, and Computing, University of South Florida（人工智能、网络安全与计算学院，佛罗里达州立大学）；Michtom School of Computer Science, Brandeis University（计算机科学学院，布兰迪斯大学）
本文提出类别级影响函数，开发准则判断模型是否可改进，并设计线性规划样本重加权框架，以估计和实现分类器的帕累托性能改进，确定其性能上限。
2026-07-31 cs.LG
Adaptive Sampling of Pareto Frontiers with Binary Constraints Using Regression and Classification
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer-Institut für Techno- und Wirtschaftsmathematik ITWM（弗劳恩霍夫技术与经济数学研究所ITWM）
针对二元约束的黑箱多目标优化问题，提出了一种基于贝叶斯优化的自适应优化算法。我们的方法是基于概率回归和分类模型，它作为一个替代的优化目标，并允许我们建议在每次迭代中一次多个设计点。所提出的采集功能直观易懂，并且可以根据手头问题的需求进行调整。我们还提出了一种新的椭球截断方法，以一种简单的方式加速具有正态概率密度的回归模型的预期超体积计算。我们基准我们的方法与进化算法在多个测试问题。
2021-02-26 cs.LG stat.ML
Pareto-optimal clustering with the primal deterministic information bottleneck
Massachusetts Institute of Technology（麻省理工学院）；The NSF AI Institute for Artificial Intelligence and Fundamental Interactions（美国国家科学基金会人工智能与基础交互研究所）
有损压缩和聚类的核心是学习表示的保真度和大小之间的权衡。我们的目标是绘制和研究量化这种权衡的帕累托边界。我们专注于优化的确定性信息瓶颈（DIB）的硬聚类空间的目标。为此，我们介绍了原始DIB问题，我们在一个更丰富的前沿比以前研究的拉格朗日松弛离散搜索空间优化时，显示结果。我们提出了一种算法，用于映射出原始DIB权衡的帕累托前沿，也适用于其他两个目标的聚类问题。我们研究一般性质的帕累托前沿，我们给出了分析和数值证据的对数稀疏的前沿一般。我们提供的证据表明，我们的算法具有多项式缩放，尽管超指数搜索空间，此外，我们提出了一个修改的算法，可用于采样噪声预计是显着的。最后，我们使用我们的算法映射DIB边界的三个不同的任务：压缩英文字母，提取信息丰富的颜色类从自然图像，并压缩一组理论启发的数据集，揭示有趣的功能的前沿，并演示如何的结构的前沿可以用于模型选择，重点放在以前隐藏的凸包的斗篷点。
2022-07-28 cs.IT cs.LG math.IT
Bandit Pareto Set Identification: the Fixed Budget Setting
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Univ. Bordeaux（波尔多大学）；Inserm（法国国家健康与医学研究院）
针对多臂老虎机多目标纯探索中固定预算下的帕累托集识别问题，提出经验间隙消除算法族，证明其错误概率指数衰减且有信息论下界支撑，实证验证了算法性能优异。
2025-01-13 cs.LG stat.ML
COM-BOM: Bayesian Exemplar Search for Efficiently Exploring the Accuracy-Calibration Pareto Frontier
University of Minnesota（明尼苏达大学）
针对现有样本搜索方法忽略模型校准的问题，提出多目标优化算法COM-BOM，通过组合贝叶斯优化探索准确率与校准的帕累托前沿，在MMLU-Pro任务上以更少LLM调用实现更优的双目标联合优化效果。
2025-10-01 cs.AI cs.LG
Fairness vs Performance: Characterizing the Pareto Frontier of Algorithmic Decision Systems
Zurich University of Applied Sciences / University of Zurich（应用科学大学苏黎世分校 / 苏黎世大学）；Zurich University of Applied Sciences（应用科学大学苏黎世分校）
研究探讨算法决策系统中公平性与性能的权衡，通过多目标优化分析决策者效用与群体公平性，揭示帕累托前沿由确定性阈值规则构成，扩展了现有公平性约束下的最优定理。
2026-05-11 cs.AI cs.CY cs.LG
Fair Data Representation for Machine Learning at the Pareto Frontier
University of California Davis（加州大学戴维斯分校）
提出一种基于最优仿射传输的公平数据表示预处理算法，通过逼近Wasserstein-2重心刻画预测误差与统计差异的帕累托前沿，兼具计算高效性与敏感信息保护能力。
2023-11-24 cs.LG math.PR stat.ML
No Certificate for Alignment: Two Independent Impossibilities and the Pareto Frontier of Achievable Safety Guarantees
Independent Researcher（独立研究者）
本文通过两个独立的不可行性定理证明，在标准计算复杂性和学习理论假设下，对开放或无界输入域的AI对齐进行形式化认证是不可能的，并刻画了可实现的安全保证的帕累托前沿。
2026-05-26 cs.LG stat.ML
Post-hoc Selection of Pareto-Optimal Solutions in Search and Recommendation
Polytechnic University of Bari（巴里理工大学）；ISTI—CNR（意大利国家研究委员会信息科学与技术研究所）
针对搜索与推荐中的多目标优化问题，提出事后选择帕累托前沿最优解的方法PDU，通过分析解与乌托邦点的距离并支持校准，实现原则性且个性化的解选择，实验验证其优于现有策略。
2023-06-21 cs.IR cs.LG
Navigating the Alignment-Calibration Trade-off: A Pareto-Superior Frontier via Model Merging
University of Cambridge（剑桥大学）
本文发现后训练对齐不仅降低任务准确率，还严重损失校准性能，导致模型过度自信且输出多样性下降。通过简单地在对齐前后模型权重间进行插值，可以持续获得帕累托最优模型，同时提升准确率和恢复校准。
2026-07-03 cs.AI cs.CL cs.LG
Pushing Forward Pareto Frontiers of Proactive Agents with Behavioral Agentic Optimization
本文提出行为代理优化框架，通过增强和规范回合间行为，提升信息获取能力并抑制低效交互，从而在任务性能与用户参与间取得平衡，优于现有主动代理方法。
2026-06-28 cs.AI cs.LG
Pareto Efficient Fairness in Supervised Learning: From Extraction to Tracing
The Pennsylvania State University（宾夕法尼亚州立大学）；Microsoft Bing（微软必应）
随着算法决策系统变得越来越普遍，确保此类系统不会成为基于性别、种族、民族、宗教等的不公平歧视机制至关重要。此外，由于公平性度量和准确性之间的固有权衡，希望在不显著影响准确性的情况下学习公平性增强的模型。在本文中，我们提出了帕累托有效公平（PEF）作为一个合适的公平性概念的监督学习，可以确保整体损失和其他公平性标准之间的最佳权衡。所提出的PEF概念是定义不可知的，这意味着任何定义良好的公平性概念都可以简化为PEF概念。为了有效地找到一个PEF分类器，我们铸造的公平性增强的分类作为一个双层优化问题，并提出了一种基于梯度的方法，可以保证解决方案属于帕累托前沿与可证明的保证凸和非凸目标。我们还概括了所提出的算法解决方案，以提取和跟踪任意的解决方案，从帕累托前沿的精度和公平性措施的给定偏好。这种方法是通用的，可以推广到任何多目标优化问题，跟踪点的帕累托前沿曲线，这是有趣的本身。我们经验证明了PEF解决方案的有效性和提取的帕累托前沿在现实世界的数据集相比，国家的最先进的方法。
2021-04-04 cs.AI cs.LG stat.ML
The Pareto Frontier of Resilient Jet Tagging
University of Cincinnati（辛辛那提大学）；IAIFI；Brown University（布朗大学）
本文研究了在高能碰撞物理中利用喷注 constituents 的动力学信息进行分类的挑战，探讨了单一性能指标可能导致的模型依赖性和偏见问题，并展示了高性能但低鲁棒性的网络的后果。
2026-03-30 cs.LG hep-ex hep-ph
When Should Active RAG Retrieve? A Budget-Aware Evaluation of Utility, Calibration, and Cost
Carnegie Mellon University（卡内基梅隆大学）；University of Glasgow（格拉斯哥大学）；Georgia Institute of Technology（佐治亚理工学院）
研究主动检索生成式人工智能何时检索，通过将其重述为效用估计进行预算感知评估，并分离出相关三个问题，利用多种方法实现，在多数据集和模型中验证，强调评估应报告多方面指标。
2026-07-28 cs.LG
Budgeted Multi-Objective Optimization with a Focus on the Central Part of the Pareto Front -- Extended Version
Groupe PSA（标致雪铁龙集团）；CNRS（法国国家科学研究中心）；École Nationale Supérieure des Mines de Saint-Étienne（圣艾蒂安国立高等矿业学校）
优化非线性系统涉及昂贵的计算机实验方面的冲突的目标是一个共同的挑战。当实验的数量受到严格限制和/或当目标的数量增加时，发现整个帕累托最优解集是遥不可及的，即使是基于代理的方法：所提出的解决方案是次优的或不覆盖前端。由于不妥协的最优解通常在应用程序中没有什么意义，这项工作限制了搜索的解决方案，接近帕累托前中心。文章首先描述了这个中心，它是为任何类型的前线定义的。接下来，提出了一种贝叶斯多目标优化方法，用于指导搜索。针对帕累托前沿的一个子集，可以提高解决方案的最优性，并更好地覆盖这一区域，这是我们的主要关注点。描述了一种检测收敛到中心的准则。如果该标准被触发，则帕累托前沿的加宽的中心部分被作为目标，使得在剩余预算内预测到足够准确的收敛。数值实验表明，所得到的算法，C-EHI，更好地定位帕累托前的中心部分相比，国家的最先进的贝叶斯算法。
2019-07-15 cs.LG math.OC stat.ML
Budget-Aware LLM Discovery via Cost-Calibrated Frontier Utility
City University of Hong Kong（香港城市大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；International Digital Economy Academy (IDEA)（国际数字经济学院）
该研究针对大语言模型发现的成本问题，提出 CostAda 成本自适应控制器，通过成本校准前沿效用优化预算使用，在多基准测试中以更少预算达到或超越现有模型的质量表现。
2026-09-29 cs.AI cs.LG
The Offline-Frontier Shift: Diagnosing Distributional Limits in Generative Multi-Objective Optimization
LIT AI Lab and Institute for Machine Learning JKU Linz, Austria（LIT人工智能实验室和机器学习研究所，约翰·肯普夫大学（JKU）林茨分校，奥地利）；School of Computing, Engineering and Technology RGU, Aberdeen, Scotland（计算、工程与技术学院 RGU，阿伯丁，苏格兰）；Linz Center of Mechatronics GmbH Linz, Austria（林茨机电研究中心 GmbH，林茨，奥地利）
研究揭示了离线多目标优化中生成方法在非hypervolume指标下的表现不足，指出离线前沿位移是根本限制，并提出通过分布外采样解决该问题。
2026-05-12 cs.LG
Causal Bandits: The Pareto Optimal Frontier of Adaptivity, a Reduction to Linear Bandits, and Limitations around Unknown Marginals
University of Toronto（多伦多大学）；Vector Institute（向量研究院）；Ben-Gurion University（本-古里安大学）
本文研究多臂赌博机中因果结构的自适应问题，建立了自适应率的帕累托最优前沿，首次通过归约到线性赌博机获得实例相关界，并揭示了未知边际分布对改进极小极大率的根本限制。
2024-07-01 cs.LG stat.ML
Learning the Pareto Frontier of Predictive Models under Distribution Shift
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本研究提出Frontier Learning框架，将预训练模型库视为互补信息源，通过拼接白盒内部表示与黑盒预测输出构建特征，在分布偏移场景中提升预测性能，表现优于或相当于最强的单个复用策略。
2026-08-04 cs.LG stat.ML
The Pareto Frontier of Instance-Dependent Guarantees in Multi-Player Multi-Armed Bandits with no Communication
Microsoft Research（微软研究院）
研究了随机多人多臂强盗问题。在这个问题中，$m$参与者合作以最大化他们从$K > m$武器中获得的总奖励。然而，玩家不能交流，如果他们在同一时间拉同一只手臂，就会受到惩罚（例如没有奖励）。我们问是否有可能获得最佳的实例依赖的遗憾$\tilde{O}(1/Δ)$，其中$Δ$是$m$-th和$m+1$-st最佳臂之间的差距。这种保证最近在一个模型中实现，该模型允许参与者通过故意碰撞进行隐式通信。令人惊讶的是，我们表明，没有沟通，这样的保证是无法实现的。事实上，对于$Δ$的某些值，获得最佳的$\tilde{O}(1/Δ)$后悔必然意味着在其他制度中严格的次优后悔。我们的主要结果是帕累托最优的实例相关的权衡，可能没有通信的一个完整的表征。我们的算法概括了Bubeck，Budzinski和第二作者。在那里，我们的算法成功，即使碰撞后的反馈可以被破坏的自适应对手，由于一个强大的无碰撞属性。我们的下界是基于多尺度的拓扑障碍，是全新的。
2022-06-06 cs.LG cs.MA stat.ML
Pareto-Improving Adversarial Attacks with Primal-Dual Regularization
National University of Defense Technology（国防科技大学）；Academy of Military Science（军事科学院）；Sun Yat-sen University（中山大学）；Hefei Institute of Technology（合肥工业大学）
本文提出隐蔽迁移攻击ST，通过原始-对偶正则化包装器在固定预算下解锁强迁移攻击的潜在不可感知性优势，扩展帕累托前沿，同时保持或提升攻击成功率。
2026-10-06 cs.LG
Understanding and Improving Fairness-Accuracy Trade-offs in Multi-Task Learning
Google Research（谷歌研究院）
随着多任务模型在更广泛的机器学习应用中越来越受欢迎，从业者理解与这些模型相关的公平性含义变得越来越重要。大多数现有的公平性文献都专注于更公平地学习单个任务，而ML公平性如何在联合学习环境中与多个任务相互作用则在很大程度上未得到充分探索。在本文中，我们关注的是群体公平性（例如，平等的机会，平等的赔率）作为ML公平概念在多任务场景中发挥作用。在多任务学习中，多个任务被联合学习，以利用任务相关性来实现更有效的归纳转移。这呈现了多维帕累托边界（1）关于每个任务的组公平性和准确性之间的权衡，以及（2）跨多个任务的权衡。我们的目标是提供一个更深入的了解如何组公平性与准确性在多任务学习，我们表明，传统的方法，主要集中在优化帕累托边界的多任务准确性可能不会表现良好的公平性目标。我们提出了一组新的指标，以更好地捕捉多维帕累托边界的公平性，准确性权衡独特的多任务学习设置。我们进一步提出了多任务感知公平性（MTA-F）方法来提高多任务学习的公平性。几个真实世界的数据集上的实验证明了我们所提出的方法的有效性。
2021-06-04 cs.LG
Achieving the Pareto Frontier of Regret Minimization and Best Arm Identification in Multi-Armed Bandits
University of Alberta（阿尔伯塔大学）；National University of Singapore（新加坡国立大学）
该研究针对多臂老虎机中固定时间跨度的遗憾最小化与最优臂识别目标，设计了BoBW-lil'UCB$(γ)$算法，证明两目标无法同时最优，该算法可通过调参实现阶数最优，且性能优于UCB$_α$。
2023-06-09 cs.AI cs.IT cs.LG
A Unified Information-Theoretic Approach to Constrained Multi-Fidelity Multi-Objective Bayesian Optimization
Nagoya Institute of Technology（名古屋工业大学）
提出统一信息论框架，通过变分下界衡量信息增益，联合优化多保真多目标贝叶斯优化中的位置与保真度选择，无需启发式处理约束，实验验证其有效性。
2026-10-08 cs.LG
MPM-LLM4DSE: Reaching the Pareto Frontier in HLS with Multimodal Learning and LLM-Driven Exploration
Department of Computer Science, Shantou University, China（计算机科学系，汕头大学，中国）
本文提出 MPM-LLM4DSE 框架，结合多模态学习与大语言模型驱动探索，提升 HLS 设计空间探索的性能和效率。
2026-01-08 cs.AR cs.LG
YUKTI: From Natural-Language Situations to Robust, Verifiable Decisions An Uncertainty-Typed Proposition IR, Assumption-Robust Pareto Frontiers, and a Regret Certificate
研究从自然语言情境生成稳健决策，核心方法是用类型命题图表示，经多求解器及分布帕累托交接耦合，并引入ARPF等。主要贡献是证明rho与决策遗憾关系，增加可追溯性，合成数据基础，通过多种验证方式展示方法有效性。
2026-07-14 cs.AI cs.GT cs.LG
Probe-then-Commit Multi-Objective Bandits: Theoretical Benefits of Limited Multi-Arm Feedback
Department of Electrical Engineering, University at Buffalo（电气工程系，布法罗大学）
本文提出PtC-P-UCB算法，通过有限探查提升多目标老虎机的性能，实现$1/\sqrt{q}$的加速效果。
2026-02-20 cs.LG
Adversarial Frontiers: Minimum-Norm Attack Ensembles for Robustness Evaluation
Sapienza University of Rome（罗马第一大学）；University of Cagliari（卡利亚里大学）；University of Genoa（热那亚大学）
该研究指出对抗鲁棒性评估的现有问题，引入基于最小范数攻击综合池的统一评估框架，定义攻击前沿和防御前沿，将评估形式化为前沿逼近问题，构建攻击集成并提出防御最优性指数，在CIFAR-10和ImageNet上提供了更好的评估方法。
2026-07-23 cs.CR cs.LG
The Operable Pareto Front: Distilling Offline Search into Run-Time Control for Multi-Objective UAV Edge-Computing Scheduling
Tianjin University（天津大学）；Shandong Agriculture and Engineering University（山东农业工程学院）
针对多目标无人机边缘计算调度，提出偏好条件决策变换器PrefDT，将离线搜索提炼为运行时控制，一次训练即可输出帕累托前沿任意点，并在仿真中优于26种方法变体。
2026-09-17 cs.LG cs.NI
SeqRoute: Global Budget-Aware Sequential LLM Routing via Offline Reinforcement Learning
Department of Operations Research and Industrial Engineering（运筹学与工业工程系）
提出SeqRoute框架，将多轮LLM路由建模为有限时域马尔可夫决策过程，通过离线强化学习（CQL）和事后预算重标记（HBR）学习延迟满足，在全局预算约束下优化成本与质量，降低破产率至1%以下。
2026-05-25 cs.AI cs.LG
Gamifying optimization: a Wasserstein distance-based analysis of human search
University of Milano-Bicocca（米兰比可卡大学）
本文的主要目的是概述一个理论框架，以模拟人类的决策策略下的不确定性，特别是主动学习的黑箱优化任务和权衡信息收集（探索）和奖励寻求（剥削）。人类根据这两个目标所做的决策可以用帕累托理性来描述。如果一个决策集包含一个帕累托有效策略，那么一个理性的决策者应该总是选择优势策略。离帕累托边界的距离决定了一个选择是否是帕累托理性的。为了收集有关人类策略的数据，我们使用了一个游戏应用程序，该应用程序显示了游戏场，以及先前的决定和观察结果，以及获得的分数。在本文中的关键要素是表示人类学习者的行为模式作为一个离散的概率分布。这将人类行为的表征问题映射到一个空间中，该空间的元素是由直方图之间的距离（即Wasserstein距离（WST））构成的概率分布。分布分析提供了新的见解人类搜索策略和他们偏离帕累托理性。由于不确定性是定义帕累托边界的两个目标之一，分析已进行了三种不同的不确定性量化措施，以确定更好地解释帕累托兼容的行为模式。除了对单个模式的分析之外，WST还实现了计算重心和WST k均值聚类的全局分析。一个进一步的分析已经进行了一个决策树相关的非帕累托行为，其特征在于加剧剥削，奖励寻求过程的演变的动态。
2021-12-12 cs.AI cs.LG math.OC
Pareto-optimal data compression for binary classification tasks
Massachusetts Institute of Technology（麻省理工学院）
有损数据压缩的目标是降低数据集$X$的存储成本，同时尽可能多地保留有关您所关心的内容（$Y$）的信息。例如，图像$X$的哪些方面包含关于它是否描绘猫的最多信息？在数学上，这对应于找到使互信息$I(Z,Y)$最大化而熵$H(Z)$保持低于某个固定阈值的映射$X\to Z\equiv f(X)$。我们提出了一种方法来映射出分类任务的帕累托边界，反映保留熵和类信息之间的权衡。首先，我们展示了如何从类$Y\in\{1,...,n\}$中提取的随机变量$X$（例如，图像）可以被提取到向量$W=f(X)\in \mathbb{R}^{n-1}$中，从而使$I(W,Y)=I(X,Y)$ ;例如，对于猫和狗的二进制分类任务，每个图像$X$被映射到一个单一的实数$W$中，保留有助于区分猫和狗的所有信息。对于$n=2$的情况下，二进制分类，然后，我们展示了如何$W$可以进一步压缩成一个离散变量$Z=g_β(W)\in\{1,...,m_β\}$通过将$W$到$m_β$箱，在这样一种方式，改变参数$β$扫出完整的帕累托边界，解决了广义的离散信息瓶颈（DIB）问题。我们认为，最有趣的点在这个前沿是“角落”最大化$I(Z,Y)$为一个固定数量的箱$m=2,3...$，可以方便地找到没有多目标优化。我们将此方法应用于CIFAR-10，MNIST和Fashion-MNIST数据集，说明它可以被解释为一个信息理论…
2020-01-15 cs.CV cs.IT cs.LG
MOAE: Multi-Objective Agent Evolution with Pareto-Preserving Search
Southern University of Science and Technology（南方科技大学）；Guangdong Provincial Key Laboratory of Brain-inspired Intelligent Computation（广东省类脑智能计算重点实验室）
针对多目标智能体优化中固定标量化导致候选丢失的问题，提出MOAE方法，通过帕累托保持的进化搜索维护非支配候选，在实验中提升任务性能与轨迹质量并保持安全性。
2026-09-09 cs.AI cs.LG
A Hybrid 2-stage Neural Optimization for Pareto Front Extraction
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）
分类、推荐和排名问题通常涉及具有附加约束的竞争目标（例如，以满足公平性或多样性标准）。这样的优化问题是相当具有挑战性的，通常涉及非凸函数以及在平衡权衡中考虑用户偏好。帕累托解代表了联合优化多个竞争目标的最优边界。经常使用的线性标量化策略的一个主要障碍是，由此产生的优化问题可能并不总是收敛到全局最优。此外，这样的方法每次运行仅返回一个解点。帕累托解集是针对不同权衡选择的多次运行中所有此类全局最优解的子集。因此，帕累托前沿只能通过线性标量化问题的多次运行来保证，其中所有运行都收敛到它们各自的全局最优值。因此，为实际问题提取帕累托前沿在计算上是难以处理的，具有大量的计算开销、有限的可扩展性和降低的准确性。我们提出了一个强大的，低成本的，两阶段的，混合神经帕累托优化方法，是准确的和规模（计算空间和时间）与数据维度，以及功能和约束的数量。第一阶段（神经网络）有效地提取一个弱的帕累托前沿，使用弗里茨-约翰条件作为约束，没有假设的凸性的目标或约束。第二阶段（有效帕累托过滤器）提取强帕累托最优子集给定的弱前从阶段1。Fritz-John条件为我们提供了真实和网络提取的弱Pareto前沿之间的近似误差的理论界。数值实验表明，一组典型的基准问题和公平性优化任务从以前的作品的准确性和效率。
2021-02-13 cs.LG math.OC
Trajectory Soup: Pushing the Compute-Scaling Frontier of LLM Mid-training via Diverse Trajectories
Ant Group（蚂蚁集团）；Shanghai Jiao Tong University（上海交通大学）
轨迹汤通过将中期训练预算分配到多个独立分支并平均合并最强检查点，超越了串行饱和，扩展了算力前沿，提升了聚合下游性能。
2026-09-30 cs.AI cs.CL cs.LG
PAC-CF: Calibrating Irreversible Frontier Pruning in LLM-Guided Search
School of Mathematics, Southeast University（东南大学数学学院）
本文提出PAC-MCTS框架，通过动态调整置信区间来应对LLM引导下的偏见问题，实验表明其在Blocksworld和ALFWorld任务中显著提升了鲁棒性和搜索效率。
2026-09-30 cs.AI cs.LG stat.ML
Frontier Coding Agents Can Now Implement an AlphaZero Self-Play Machine Learning Pipeline For Connect Four That Performs Comparably to an External Solver
Department of Computer Science（计算机科学系）；University of Chicago（芝加哥大学）；Independent Researcher（独立研究员）
本文提出一个基准测试，评估前沿编码代理自主实现AlphaZero式机器学习流水线的能力，通过简洁任务描述而非完整前序工作参考，评估连接四游戏AI性能，发现Claude Opus 4.7在七次试验中胜过Pons求解器，其他代理表现欠佳。
2026-04-29 cs.AI cs.LG cs.MA
