Fair Classification with Efficient and Post-hoc Controllable Fairness-Accuracy Trade-off
University of Tsukuba, Japan（茨口大学）；RIKEN AIP, Japan（日本理化学研究所）
提出一种基于梯度优化的公平分类算法，通过学习有效特征表示，在无需重新训练的情况下实现与处理中方法相当甚至更优的公平性-准确性权衡效率。
2026-06-29 cs.LG
Automatic Trade-off Adaptation in Offline RL
Siemens Technology（西门子技术）；TU Munich（慕尼黑工业大学）
针对离线RL中需专家手动调整行为克隆与最优性权衡参数、耗费专家时间的问题，研究在LION算法基础上加入自动寻参的自动驾驶模块，提出AutoLION算法，实现离线RL权衡的自动自适应。
2023-06-16 cs.LG
Characterizing Parallelism Strategies in LLM Inference: Fundamental Compute-Communication Trade-offs
Dell Technologies Inc.（戴尔科技公司）
本文提出统一解析框架，建模TP、PP和HB下分布式LLM推理的延迟分解，揭示计算-通信权衡，指导并行策略选择。
2026-10-06 cs.AI cs.DC cs.LG
Characterizing the Accuracy -- Efficiency Trade-off of Low-rank Decomposition in Language Models
University of California, Irvine（加利福尼亚大学欧文分校）；NVIDIA（英伟达）
本文形式化并实证分析了 Tucker 低秩分解在 BERT 和 Llama 2 等语言模型上的精度-效率权衡，表明可在不重训练的情况下实现 9% 的模型缩减且精度损失有限，为实时 LLM 应用提供了有前景的压缩方向。
2024-10-22 cs.CL cs.LG
Generalizability vs. Counterfactual Explainability Trade-Off
Sapienza University of Rome（罗马萨皮恩扎大学）
本文研究了监督学习中模型泛化与反事实可解释性的关系，提出 $\varepsilon$-VCP 概念并证明其随过拟合增加，揭示了两者间的内在权衡，可作为定量表征过拟合的实用指标。
2025-05-29 cs.LG
Architecture Selection via the Trade-off Between Accuracy and Robustness
本文提出一个通用框架，通过定义权衡曲线和影响函数来刻画监督学习中准确性与鲁棒性的权衡，并理论分析对抗训练的正则化作用，实验展示神经网络权衡曲线随结构变化，为架构选择提供指导。
2025-05-23 cs.LG stat.ML
Adaptive Trade-Offs in Off-Policy Learning
DeepMind
文献中存在各种各样的离策略学习算法，并且在该领域继续取得新的突破，提高理论理解并产生最先进的强化学习算法。在本文中，我们采取统一的观点，这个空间的算法，并考虑他们的权衡的三个基本数量：更新方差，定点偏差，收缩率。这导致了现有方法的新视角，也自然产生了新的算法，离政策的评估和控制。我们开发了一种这样的算法，C-跟踪，证明它能够更有效地使这些权衡比现有的方法在使用中，它可以扩展到产生最先进的性能在大规模的环境中。
2020-07-30 cs.LG stat.ML
Optimal Robustness-Consistency Trade-offs for Learning-Augmented Online Algorithms
UC Berkeley（加州大学伯克利分校）
我们研究的问题，提高在线算法的性能，将机器学习的预测。我们的目标是设计出一致且鲁棒的算法，这意味着当预测准确时，算法表现良好，并保持最坏情况的保证。这样的算法已经在最近的一系列工作中进行了研究，由于Lykouris和Vassilvitskii（ICML '18）和Purohit等人（NeurIPS '18）。它们为各种在线问题提供了鲁棒性-一致性权衡。然而，他们留下了一个悬而未决的问题：这些权衡是否紧密，即，在多大程度上需要这种权衡。在本文中，我们使用机器学习预测提供了第一组用于竞争分析的非平凡下界。我们专注于滑雪租赁和非千里眼调度的经典问题，并在各种设置中提供最佳权衡。
2020-10-22 cs.DS cs.LG
The Trade-Offs of Private Prediction
Facebook AI Research（Facebook人工智能研究院）
机器学习模型每次揭示预测时都会泄露有关其训练数据的信息。当训练数据需要保持私有时，这是有问题的。私有预测方法限制了每次预测泄露多少关于训练数据的信息。私有预测也可以使用通过私有训练方法训练的模型来实现。在私有预测中，私有训练和私有预测方法都表现出隐私、隐私失败概率、训练数据量和推理预算之间的权衡。虽然这些权衡在理论上是很好理解的，但几乎没有进行过实证研究。本文提出了第一个实证研究的权衡私人预测。我们的研究揭示了哪种方法最适合哪种学习环境。也许令人惊讶的是，我们发现私人训练方法在广泛的私人预测设置中优于私人预测方法。
2020-07-09 cs.LG stat.ML
Theoretically Principled Trade-off for Stateful Defenses against Query-Based Black-Box Attacks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Michigan（密歇根大学）
本研究针对有状态防御在攻击检测率与误报率之间的权衡问题，提供了理论刻画和特征提取器检测率上界，分析了其对黑盒攻击收敛性的影响，并通过多数据集实验验证了理论发现。
2023-07-30 cs.CR cs.LG
A Fundamental Accuracy--Robustness Trade-off in Regression and Classification
Sohail Bahmani（索海尔·巴哈米）
研究分类与回归中准确性与对抗鲁棒性的基本权衡，推导出在多项式岭函数下的具体表现，并提出以类似Poincaré常数的量表示的对抗鲁棒性必要条件。
2025-06-28 cs.LG stat.ML
Near-Optimal Consistency-Robustness Trade-Offs for Learning-Augmented Online Knapsack Problems
本文提出学习增强在线背包算法，结合可信预测与最坏情况算法实现近最优一致性-鲁棒性权衡，并引入分数到整数转换新方法。
2025-07-09 cs.GT cs.LG
A Theoretical Approach to Characterize the Accuracy-Fairness Trade-off Pareto Frontier
Shanghai Jiao Tong University（上海交通大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Georgia（佐治亚大学）；New Jersey Institute of Technology（新泽西理工学院）
本文提出理论框架刻画准确率-公平性权衡的 Pareto 前沿，证明权衡存在性并分四类分析必要条件，通过合成数据实验揭示前沿连续性、准确率急剧下降及两步消除权衡的方法。
2023-10-19 cs.CY cs.LG
Multiclass learning with margin: exponential rates with no bias-variance trade-off
University of Genova（热那亚大学）；Istituto Italiano di Tecnologia（意大利理工学院）；MIT（麻省理工学院）
我们研究了在适当的边际条件下多类分类的误差界的行为。对于各种各样的方法，我们证明了分类误差在硬利润率条件下呈指数快速下降，没有任何偏差方差权衡。在不同的边际假设条件下，可以得到不同的收敛速度。一个独立的和有益的分析，我们能够概括已知的结果，从二进制的多类设置。
2022-02-03 cs.LG stat.ML
Simplifying Random Forests: On the Trade-off between Interpretability and Accuracy
TU Darmstadt（达姆施塔特工业大学）
我们分析了模型的复杂性和准确性之间的权衡随机森林的树分解成单独的分类规则，并选择其中的一个子集。我们的实验表明，已经有一些规则是足够的，以达到可接受的精度接近的原始模型。此外，我们的研究结果表明，在许多情况下，这可以导致更简单的模型，明显优于原始模型。
2019-11-11 cs.LG stat.ML
Modeling and Optimization Trade-off in Meta-learning
Intel Labs（英特尔实验室）
通过搜索任务之间共享的归纳偏差，元学习有望加速对新任务的学习，但代价是解决复杂的双层优化问题。我们引入并严格定义了元学习中精确建模和优化容易性之间的权衡。一方面，经典的元学习算法考虑了元学习的结构，但解决了复杂的优化问题，而另一方面，域随机搜索（也称为联合训练）忽略了元学习的结构，并解决了单级优化问题。以MAML为代表的元学习算法，我们从理论上描述了一般非凸风险函数以及线性回归的权衡，我们能够提供与建模和优化相关的误差的明确界限。我们还实证研究了这种权衡的Meta强化学习基准。
2021-04-13 cs.LG math.OC stat.ML
An integrated perspective of robustness in regression through the lens of the bias-variance trade-off
Institute of Statistical Mathematics（统计数理研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
该研究提出回归鲁棒性的整合视角，揭示传统抗离群点鲁棒估计与抗假想数据集扰动的鲁棒优化间存在偏差-方差权衡，二者策略大致相反。
2024-07-15 cs.LG stat.ME stat.ML
The Bias-Expressivity Trade-off
Harvey Mudd College（哈维穆德学院）
学习算法需要偏差来概括，并且比随机猜测更好。我们研究的灵活性（表现力）有偏见的算法。一个有表现力的算法可以适应不断变化的训练数据，根据输入的变化改变结果。我们通过使用算法结果分布上的熵的信息理论概念来测量表达性，展示了偏见和表达性之间的权衡。一个算法的偏差程度是指它优于均匀随机抽样的程度，但也是指它变得不灵活的程度。我们得到的界限有关的偏见表达，证明必要的权衡内在的尝试创建强大的性能，但灵活的算法。
2019-11-09 cs.AI cs.LG stat.ML
Dynamic Control of Explore/Exploit Trade-Off In Bayesian Optimization
IBM Research（IBM研究院）；Hartree Centre（哈特里中心）
贝叶斯优化提供了优化通过传统技术无法访问的黑盒操作的可能性。贝叶斯优化方法的成功与否，如期望改进（EI），很大程度上取决于勘探和开采之间的权衡程度。过多的探索可能导致低效的优化协议，而过多的开发会使协议容易受到强烈的初始偏差的影响，并且很有可能陷入局部最小值。通常，使用恒定裕度来控制这种权衡，这导致另一个超参数被优化。我们提出上下文改进作为一个简单的，但有效的启发式来对付这一点-实现一次性优化策略。我们提出的启发式可以快速计算，提高了发现最优解的速度和鲁棒性。我们证明了它的有效性，在合成和现实世界的问题，并探讨了未知的不确定性，在预先确定的搜索超参数控制探索利用权衡。
2018-07-03 cs.AI cs.LG stat.ML
Regret vs. Bandwidth Trade-off for Recommendation Systems
City University of Hong Kong（香港城市大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Massachusetts Institute of Technology（麻省理工学院）
我们认为，建议系统需要在无线带宽的限制下运行，测量广播传输的数量，并证明了（在某些情况下紧）遗憾和带宽之间的权衡两种情况下：多臂土匪的情况下，上下文，和的情况下，有一个潜在的结构，我们可以利用，以减少学习阶段的消息空间。
2018-10-15 cs.IR cs.LG stat.ML
MotifRetro: Exploring the Combinability-Consistency Trade-offs in retrosynthesis via Dynamic Motif Editing
Westlake University（西湖大学）
提出MotifRetro框架，通过RetroBPE和LG-EGAT模块动态编辑基序，探索并统一逆合成中可组合性与一致性的权衡，在USPTO-50K上实现最优性能。
2023-05-20 cs.AI cs.LG q-bio.BM
Does Gradient Conflict Predict the Understanding--Generation Trade-off? A Controlled Audit of Conflict-Metric Validity in Unified Multimodal Models
University of California, Los Angeles（加州大学洛杉矶分校）；Aimakj；National University of Defense Technology（国防科技大学）
本研究在受控测试平台GRIDUMM上审计统一多模态模型中梯度冲突度量对理解-生成权衡的预测有效性，发现方向性冲突度量相关性弱且干预无效，表明其诊断有效性需被验证而非假定。
2026-10-01 cs.AI cs.CV cs.LG
Is There a Trade-Off Between Fairness and Accuracy? A Perspective Using Mismatched Hypothesis Testing
IBM Research（IBM研究院）；Carnegie Mellon University（卡内基梅隆大学）
在现有的机器学习公平性文献中，准确性和公平性之间的权衡几乎被视为给定。然而，准确性不应该随着公平性的增加而下降。新颖的这项工作，我们检查公平的分类通过镜头不匹配的假设检验：试图找到一个分类器，区分两个理想的分布时，给出两个不匹配的分布是有偏见的。使用信息论中的工具切尔诺夫信息，我们从理论上证明，与流行的观点相反，总是存在理想分布，以便同时实现最佳公平性和准确性（相对于理想分布）：没有权衡。此外，相同的分类器产生相对于理想分布缺乏权衡，而当相对于给定（可能有偏差）数据集测量准确度时产生权衡。为了补充我们的主要结果，我们制定了一个优化，以找到理想的分布，并推导出基本的限制，以解释为什么权衡存在于给定的偏置数据集。我们还推导出条件下，主动数据收集可以减轻在现实世界中的公平性和准确性的权衡。我们的研究结果使我们认为，这是有问题的，以反映偏见的数据来衡量准确性，相反，我们应该考虑的准确性与理想的，无偏的数据。
2020-12-10 cs.CY cs.IT cs.LG
