The Trade-Offs of Private Prediction
Facebook AI Research（Facebook人工智能研究院）
机器学习模型每次揭示预测时都会泄露有关其训练数据的信息。当训练数据需要保持私有时，这是有问题的。私有预测方法限制了每次预测泄露多少关于训练数据的信息。私有预测也可以使用通过私有训练方法训练的模型来实现。在私有预测中，私有训练和私有预测方法都表现出隐私、隐私失败概率、训练数据量和推理预算之间的权衡。虽然这些权衡在理论上是很好理解的，但几乎没有进行过实证研究。本文提出了第一个实证研究的权衡私人预测。我们的研究揭示了哪种方法最适合哪种学习环境。也许令人惊讶的是，我们发现私人训练方法在广泛的私人预测设置中优于私人预测方法。
2020-07-09 cs.LG stat.ML
Adaptive Trade-Offs in Off-Policy Learning
DeepMind
文献中存在各种各样的离策略学习算法，并且在该领域继续取得新的突破，提高理论理解并产生最先进的强化学习算法。在本文中，我们采取统一的观点，这个空间的算法，并考虑他们的权衡的三个基本数量：更新方差，定点偏差，收缩率。这导致了现有方法的新视角，也自然产生了新的算法，离政策的评估和控制。我们开发了一种这样的算法，C-跟踪，证明它能够更有效地使这些权衡比现有的方法在使用中，它可以扩展到产生最先进的性能在大规模的环境中。
2020-07-30 cs.LG stat.ML
Accuracy and Fairness Trade-offs in Machine Learning: A Stochastic Multi-Objective Approach
Lehigh University（理海大学）；University of Coimbra（科英布拉大学）
在将机器学习应用于现实生活中的决策系统中，例如，信用评分和刑事司法，预测结果可能会歧视具有敏感属性的人，导致不公平。公平机器学习中常用的策略是将公平性作为预测损失最小化的约束或惩罚项，这最终限制了提供给决策者的信息。在本文中，我们介绍了一种新的方法来处理公平性，制定一个随机多目标优化问题，相应的帕累托前沿唯一和全面定义的准确性，公平性权衡。然后，我们应用了随机近似型方法，有效地获得良好的传播和准确的帕累托前沿，这样做，我们可以处理训练数据到达流的方式。
2022-03-18 cs.LG stat.ML
Optimal Robustness-Consistency Trade-offs for Learning-Augmented Online Algorithms
UC Berkeley（加州大学伯克利分校）
我们研究的问题，提高在线算法的性能，将机器学习的预测。我们的目标是设计出一致且鲁棒的算法，这意味着当预测准确时，算法表现良好，并保持最坏情况的保证。这样的算法已经在最近的一系列工作中进行了研究，由于Lykouris和Vassilvitskii（ICML '18）和Purohit等人（NeurIPS '18）。它们为各种在线问题提供了鲁棒性-一致性权衡。然而，他们留下了一个悬而未决的问题：这些权衡是否紧密，即，在多大程度上需要这种权衡。在本文中，我们使用机器学习预测提供了第一组用于竞争分析的非平凡下界。我们专注于滑雪租赁和非千里眼调度的经典问题，并在各种设置中提供最佳权衡。
2020-10-22 cs.DS cs.LG
Utility-Fairness Trade-Offs and How to Find Them
Michigan State University（密歇根州立大学）
本文研究了分类系统中效用与公平性的最优权衡问题，提出了两种权衡方法及U-FaTE量化算法，并引入新的评估方案，发现现有方法远未达到可实现的权衡边界。
2024-04-24 cs.CV cs.CY cs.LG
FACT: A Diagnostic for Group Fairness Trade-offs
Carnegie Mellon University（卡内基梅隆大学）；JP Morgan（摩根大通）；JP Morgan AI Research（摩根大通人工智能研究院）；Determined AI
群体公平性是一类公平性概念，衡量不同群体的个人如何根据其受保护的属性受到不同的对待，已被证明是相互冲突的，通常会损失模型的预测性能。我们提出了一个通用的诊断，使这些权衡组公平性的系统特征。我们观察到，大多数组公平性概念可以通过公平混淆张量来表达，这是根据受保护的属性值分裂的混淆矩阵。我们构建了几个优化问题，这些优化问题直接优化了该张量元素的准确性和公平性目标，从而为理解包括组公平性不兼容性在内的多种权衡提供了一个总体视角。它还提出了一种替代的后处理方法，设计公平的分类。在合成和真实数据集上，我们展示了我们诊断的用例，特别是在理解准确性和公平性之间的权衡方面。
2020-07-07 cs.CY cs.LG stat.ML
Accuracy-Efficiency Trade-Offs and Accountability in Distributed ML Systems
Cornell University（康奈尔大学）
准确性和效率之间的权衡遍布法律、公共卫生和其他非计算领域，这些领域已经制定了政策来指导如何在不确定的条件下平衡两者。虽然计算机科学通常也研究准确性和效率的权衡，但它们的政策含义仍然没有得到很好的研究。借鉴美国的风险评估实践，我们认为，由于检查这些权衡已用于指导其他领域的治理，我们需要同样考虑这些权衡在治理计算机系统。我们的分析集中在分布式机器学习系统。了解这一领域的政策影响尤为紧迫，因为包括自动驾驶汽车在内的此类系统往往风险很高，而且对安全至关重要。我们1）描述了这些系统的权衡是如何形成的，2）强调了现有美国风险评估标准与这些系统需要进行适当评估之间的差距，3）当关于准确性-效率权衡的假设风险在现实世界中成为事故时，提出具体的行动呼吁，以促进问责制。最后，我们讨论了这种问责机制如何鼓励更公正，透明的治理与公共价值观一致。
2021-10-02 cs.CY cs.LG
Inherent Trade-Offs in the Fair Determination of Risk Scores
Cornell University（康奈尔大学）；Harvard University（哈佛大学）
最近在公共领域中关于算法分类的讨论涉及到了关于概率分类对不同群体公平意味着什么的相互竞争的概念之间的紧张关系。我们正式的三个公平的条件，在这些辩论的核心，我们证明，除了在高度约束的特殊情况下，没有方法，可以同时满足这三个条件。此外，即使满足所有三个条件近似要求的数据躺在一个近似版本的约束的特殊情况下确定我们的定理。这些结果表明，公平的关键概念是相互不相容的一些方式，因此提供了一个框架，思考它们之间的权衡。
2016-11-17 cs.CY cs.LG stat.ML
An integrated perspective of robustness in regression through the lens of the bias-variance trade-off
Institute of Statistical Mathematics（统计数理研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
该研究提出回归鲁棒性的整合视角，揭示传统抗离群点鲁棒估计与抗假想数据集扰动的鲁棒优化间存在偏差-方差权衡，二者策略大致相反。
2024-07-15 cs.LG stat.ME stat.ML
Convergence and Accuracy Trade-Offs in Federated Learning and Meta-Learning
Google Research（谷歌研究院）
我们研究了一系列的算法，我们称之为本地更新方法，概括了许多联邦和元学习算法。我们证明了，对于二次模型，局部更新方法是等价于一阶优化的替代损失，我们确切地描述。此外，基本的算法选择（如学习率）显式地管理替代损失的条件数与其与真实损失的对齐之间的权衡。我们得到新的收敛率展示这些权衡，并强调其重要性，在通信有限的设置。使用这些见解，我们能够比较局部更新方法的基础上，他们的收敛/精度权衡，而不仅仅是他们的收敛到临界点的经验损失。我们的研究结果为广泛的现象提供了新的视角，包括服务器动量在联邦学习中的功效以及最近端客户端更新的影响。
2021-03-08 cs.DC cs.LG math.OC
Near-Optimal Consistency-Robustness Trade-Offs for Learning-Augmented Online Knapsack Problems
本文提出学习增强在线背包算法，结合可信预测与最坏情况算法实现近最优一致性-鲁棒性权衡，并引入分数到整数转换新方法。
2025-07-09 cs.GT cs.LG
The Limits of Computation in Solving Equity Trade-Offs in Machine Learning and Justice System Risk Assessment
本文探讨了在机器学习中，特别是在司法环境中，种族平等的不同想法如何能够提出难以通过计算解决的权衡。机器学习通常用于司法环境中，以创建风险评估，用于确定干预措施，资源和惩罚措施。这些基于机器学习的工具的整体方面和性能，例如分数分布、按水平的结果率以及假阳性和真阳性的频率，在按种族群体进行检查时可能会有问题。当这些分数和等级与个人自由的限制和更广泛的种族不平等直接相关时，产生不同分数分布或产生不同等级与结果关系的模型就有问题了。虽然计算可以帮助突出这些方面，但数据和计算不太可能解决这些问题。本文探讨了价值观和使命可能必须填补计算留下的空间。
2021-02-08 cs.LG stat.AP stat.ML
No Free Lunch in LLM Watermarking: Trade-offs in Watermarking Design Choices
Carnegie Mellon University（卡内基梅隆大学）
本文指出LLM水印设计选择在鲁棒性、效用和可用性间存在根本权衡，通过研究简单有效的攻击方法，为LLM水印实践提出了指导原则与防御措施。
2024-11-13 cs.CL cs.CR cs.LG
Evaluating complexity and resilience trade-offs in emerging memory inference machines
Sandia National Laboratories（桑迪亚国家实验室）
只有在有限的硬件资源被适当地最大化时，神经形态风格的推理才能很好地工作，例如，面对潜在的干扰，准确性继续随着参数和复杂性而变化。在这项工作中，我们使用现实的交叉模拟来强调深度神经网络的紧凑实现意外地容易受到多个系统干扰的影响。我们的工作提出了一条利用Mosaics框架实现高性能和强大弹性的中间道路，特别是通过在具有自然形式的抗噪性的递归神经网络实现中重用突触连接。
2020-02-25 cs.LG cs.NE stat.ML
Statistical and Computational Trade-Offs in Kernel K-Means
LCSL – IIT & MIT；University of Genoa（热那亚大学）
我们调查的效率，k均值的统计和计算要求。更确切地说，我们研究了一种Nyström方法来处理内核k-means。我们分析了所提出的方法的统计特性，并表明，它实现了相同的准确性，准确的内核k-means只有一小部分的计算。事实上，我们证明在基本假设下，采样$\sqrt{n}$ Nyström地标允许大大降低计算成本，而不会导致任何损失的准确性。据我们所知，这是无监督学习的第一个结果。
2019-08-27 cs.DS cs.LG stat.ML
Model Mismatch Trade-offs in LMMSE Estimation
Uppsala University（乌普萨拉大学）
我们考虑一个线性最小均方误差（LMMSE）估计框架与模型失配，其中假设的模型阶数小于基本的线性系统，它产生的数据用于估计过程中。通过将底层系统的回归量建模为随机变量，我们分析了均方误差（MSE）的平均行为。我们的研究结果量化了MSE如何依赖于样本数量和底层系统和假设模型中参数数量之间的相互作用。特别地，如果样本的数量不是足够大，则增加样本的数量和假设的模型复杂度都不足以保证性能改进。
2021-05-25 cs.LG eess.SP stat.ML
Evaluation of Fairness Trade-offs in Predicting Student Success
Cornell University（康奈尔大学）
早期识别有风险学生的预测模型可以帮助教学人员引导资源，以更好地支持他们，但人们越来越担心教育中算法系统的公平性。预测模型可能会无意中在谁获得支持方面引入偏见，从而加剧现有的不平等。我们通过建立一个基于大学行政记录的学生成功预测模型来研究这个问题。我们发现，该模型表现出性别和种族偏见的三分之二的公平措施考虑。然后，我们应用事后调整，以提高模型的公平性，突出三个公平措施之间的权衡。
2020-06-30 cs.CY cs.LG
Coupling Agent-based Modeling and Life Cycle Assessment to Analyze Trade-offs in Resilient Energy Transitions
Lawrence Berkeley National Laboratory（伯克利劳伦斯国家实验室）
本文提出耦合智能体建模与生命周期评估的集成框架，通过南加州案例揭示能源转型中区域资源竞争、生态约束与社区负担之间的空间显式权衡，以支持更具适应性和韧性的多尺度能源规划。
2025-11-10 cs.LG cs.MA
Privacy-Utility Trade-offs in Neural Networks for Medical Population Graphs: Insights from Differential Privacy and Graph Structure
Technical University of Munich（慕尼黑工业大学）；Massachusetts Institute of Technology（麻省理工学院）
本文实证研究医学人群图上的差分隐私图神经网络，结合多隐私级别实验与成员推理攻击审计，揭示隐私-效用权衡及图同配性对模型性能差距的影响。
2023-07-13 cs.CR cs.LG
Image denoising with multi-layer perceptrons, part 2: training trade-offs and analysis of their mechanisms
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
图像去噪可以被描述为从含噪图像到无噪图像的映射问题。在另一篇论文中，我们证明了多层感知器可以对各种类型的噪声（加性高斯白噪声，混合泊松-高斯噪声，JPEG伪影，椒盐噪声和类似条纹的噪声）实现出色的图像去噪性能。在这项工作中，我们详细讨论了在训练过程中必须考虑的权衡。我们将展示如何获得良好的结果以及要避免哪些陷阱。通过分析隐藏单元的激活模式，我们能够观察到用于图像去噪的多层感知器的工作原理。
2012-11-07 cs.CV cs.LG
You Only Debias Once: Towards Flexible Accuracy-Fairness Trade-offs at Inference Time
Case Western Reserve University（凯斯西储大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；North Carolina State University（北卡罗来纳州立大学）；Texas A&M University（德克萨斯农工大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Rice University（莱斯大学）
本文提出YODO方法，通过单次训练在权重空间中找到连接准确率最优点与公平性最优点的“线”，从而在推理时以极低开销实现任意灵活可调的准确率-公平性权衡。
2025-03-10 cs.LG
Fundamental Safety-Capability Trade-offs in Fine-tuning Large Language Models
IBM Research（IBM研究院）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出理论框架，分析两种安全感知型LLM微调策略中安全与能力的权衡，揭示数据相似性、上下文重叠及对齐损失景观的影响，并通过数值实验验证了权衡的基本极限。
2025-03-24 cs.AI cs.CL cs.LG
IBCL: Zero-shot Model Generation under Stability-Plasticity Trade-offs
IBCL通过凸组合实现零样本生成特定权衡下的帕累托最优模型，无需重训练，提升分类准确率并降低训练成本。
2025-10-14 cs.LG
T-TAMER: Provably Taming Trade-offs in ML Serving
Department of Computer Science & Engineering University of Washington（华盛顿大学计算机科学与工程系）；Department of Computer Science University of Chicago（芝加哥大学计算机科学系）
该研究针对机器学习服务中的权衡问题，提出通用框架T-Tamer，证明回溯是获得最优权衡的关键，通过实验验证基于回溯的策略能实现高效的准确率-延迟权衡，为相关模型设计提供理论基础。
2026-08-04 cs.GT cs.LG
Transparent Trade-offs between Properties of Explanations
John A. Paulson School of Engineering and Applied Sciences（约翰·A·保罗森工程与应用科学学院）；Harvard University（哈佛大学）；Wellesley College（韦尔斯利学院）
本文提出直接针对期望属性优化解释，以替代现有“鼓励”式方法，从而更一致地获得最优属性并支持用户控制属性间的权衡。
2025-07-21 cs.LG
Machine Learning Systems in the IoT: Trustworthiness Trade-offs for Edge Intelligence
Delft University of Technology（代尔夫特理工大学）
机器学习系统（MLSys）正在物联网（IoT）中出现，以提供边缘智能，这为我们实现泛在智能的愿景铺平了道路。然而，尽管机器学习系统和物联网已经成熟，但在实际环境中集成MLSys和物联网时，我们仍面临着严峻的挑战。例如，许多机器学习系统已经被开发用于大规模生产（例如，云环境），但物联网由于异构和资源受限的设备以及分散的操作环境而引入了额外的需求。为了阐明MLSys和物联网的这种融合，本文通过涵盖在云、边缘和物联网设备上扩展和分布ML的最新发展（截至2020年）来分析权衡。我们将机器学习系统定位为物联网的组成部分，将边缘智能定位为社会技术系统。在设计值得信赖的边缘智能的挑战方面，我们倡导一种整体设计方法，将多利益相关者的关注点，设计要求和权衡考虑在内，并强调边缘智能未来的研究机会。
2020-12-01 cs.CY cs.LG
Making Human-Like Trade-offs in Constrained Environments by Learning from Demonstrations
Tulane University（杜兰大学）；European University Institute（欧洲大学学院）；University of West Florida（西佛罗里达大学）；IBM Research（IBM研究院）；Institute for Human and Machine Cognition（人类与机器认知研究所）
许多现实生活中的场景要求人类做出艰难的权衡：我们是总是遵守所有的交通规则，还是在紧急情况下违反限速？这些情景迫使我们评估集体规范和我们自己的个人目标之间的权衡。为了创建有效的人工智能-人类团队，我们必须为人工智能智能体配备一个人类如何在复杂、受限的环境中进行权衡的模型。这些智能体将能够反映人类的行为，或者将人类的注意力吸引到可以改善决策的情况。为此，我们提出了一种新的逆强化学习（IRL）方法，用于从演示中学习隐式硬约束和软约束，使代理能够快速适应新的设置。此外，学习状态、动作和状态特征的软约束允许代理将这些知识转移到共享相似方面的新领域。然后，我们使用约束学习方法来实现一个新的系统架构，利用人类决策的认知模型，多选择决策场理论（MDFT），编排竞争的目标。我们评估所产生的代理的轨迹长度，违反限制的数量，和总奖励，证明我们的代理架构是通用的，并实现了强大的性能。因此，我们能够捕捉和复制类似人类的权衡，从环境中的约束条件不明确的演示。
2021-09-22 cs.AI cs.LG cs.RO
Fast Federated Learning by Balancing Communication Trade-Offs
Queen’s University（女王大学）；Pukyong National University（釜庆国立大学）
联邦学习（FL）最近在大规模隐私保护机器学习方面受到了广泛关注。然而，高通信开销，由于频繁的梯度传输减速FL。为了减轻通信开销，已经研究了两种主要技术：（i）局部更新的权重特征之间的权衡通信和计算和（ii）梯度压缩之间的权衡通信和精度的特征。据我们所知，研究和平衡这两个权衡联合和动态，同时考虑其对收敛的影响仍然没有得到解决，即使它承诺显着更快的FL。在本文中，我们首先制定我们的问题，以最大限度地减少学习误差关于两个变量：局部更新系数和梯度压缩的稀疏性预算，其表征通信和计算/精度之间的权衡，分别然后，我们推导出一个上限的学习误差在一个给定的挂钟时间考虑两个变量之间的相互依赖性。基于此理论分析，我们提出了一个增强的FL计划，即快速FL（FFL），联合和动态调整这两个变量，以尽量减少学习误差。我们证明，FFL一贯达到更高的精度比文献中现有的类似计划。
2021-05-23 cs.AI cs.DC cs.LG
An interdisciplinary exploration of trade-offs between energy, privacy and accuracy aspects of data
University of Amsterdam（阿姆斯特丹大学）
本文跨学科探索机器学习中能耗、隐私与准确性的权衡，提出测量隐私增强技术对数据效用和能耗影响的方法，通过实验发现权衡关系，并用讲故事方式将技术发现转化为非ICT领域专家可理解的内容。
2024-10-12 cs.CR cs.LG
Performance-Efficiency Trade-offs in Unsupervised Pre-training for Speech Recognition
ASAPP Inc.（ASAPP公司）；Cornell University（康奈尔大学）
本文研究了自动语音识别（ASR）中预训练模型的性能-效率权衡。我们专注于wav 2 vec 2.0，并正式几个架构设计，影响模型的性能和效率。将我们所有的观察结果汇总在一起，我们引入了SEW（Squeezed and Efficient Wav 2 vec），这是一种预训练的模型架构，在各种训练设置中的性能和效率方面都有显着改进。例如，在LibriSpeech上的100 h-960 h半监督设置下，与wav 2 vec 2.0相比，SEW实现了1.9倍的推理加速，单词出错率相对降低了13.5%。在相似的推理时间下，SEW在不同的模型大小上将单词出错率降低了25-50%。
2021-09-14 cs.CL cs.LG cs.SD
MotifRetro: Exploring the Combinability-Consistency Trade-offs in retrosynthesis via Dynamic Motif Editing
Westlake University（西湖大学）
提出MotifRetro框架，通过RetroBPE和LG-EGAT模块动态编辑基序，探索并统一逆合成中可组合性与一致性的权衡，在USPTO-50K上实现最优性能。
2023-05-20 cs.AI cs.LG q-bio.BM
Communication Trade-offs in Federated Learning of Spiking Neural Networks
Linköping University（林雪平大学）；Hitachi Energy（日立能源）；Uppsala University（乌普萨拉大学）
脉冲神经网络（SNN）是传统人工神经网络（ANN）的生物启发替代品。尽管初步结果令人鼓舞，但在分布式方案中训练SNN的权衡还没有得到很好的理解。在这里，我们考虑在联邦学习环境中的SNN，其中通过聚合来自客户端的多个本地模型来创建高质量的全局模型，而无需共享任何数据。我们研究了联邦学习，用于在客户端训练多个SNN，当两种机制降低上行链路通信成本时：i）随机掩蔽从客户端发送到服务器的模型更新; ii）客户端退出，其中一些客户端不将其更新发送到服务器。我们使用Spiking Heidelberg digits（SHD）数据集的子集评估了SNN的性能。结果表明，随机掩蔽和客户端丢弃概率之间的权衡是至关重要的，以获得令人满意的性能为固定数量的客户端。
2023-02-27 cs.LG cs.NE eess.SP
Architectural Trade-offs in Small Language Models Under Compute Constraints
研究探讨了小型语言模型在计算限制下的架构选择权衡，发现基于注意力的模型在效率上优于MLP，但过度增加深度或上下文会损害性能，且RoPE等技术在小型模型中效果有限。
2025-12-24 cs.CL cs.LG
Scoring Is Not Enough: Addressing Gaps in Utility-fairness Trade-offs for Ranking
Department of Computer Science（计算机科学系）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本文证明评分函数在实现效用与公平的权衡中存在本质缺陷，并提出半贪婪后处理方法可接近最优权衡。
2026-06-26 cs.CY cs.IR cs.LG
Demystifying Local and Global Fairness Trade-offs in Federated Learning Using Partial Information Decomposition
University of Maryland College Park（马里兰大学帕克分校）
本研究引入部分信息分解理论解析联邦学习中全局与局部公平性的权衡机制，识别三类不公平来源，推导权衡边界并提出凸优化问题明确性能极限，通过实验验证理论结论。
2024-03-04 cs.CY cs.IT cs.LG
Evaluating Cost-Accuracy Trade-offs in Multimodal Search Relevance Judgements
Objective, Inc.（奥布杰克蒂夫公司）；Peoples' Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学（鲁德尼大学））；Joint Institute for Nuclear Research（联合核子研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Skövde（舍夫德大学）
本文在多个多模态搜索场景中比较 LLM 与 MLLM 同人类判断的一致性，分析成本与准确性权衡，发现性能随情境显著变化且视觉输入可能损害小模型。
2024-10-25 cs.CL cs.IR cs.LG
Performance Trade-Offs in Multi-Processor Approximate Message Passing
North Carolina State University（北卡罗来纳州立大学）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑大规模的线性逆问题在贝叶斯设置。我们的一般方法遵循最近的工作线，适用于近似消息传递（AMP）框架在多处理器（MP）计算系统，通过存储和处理的测量矩阵的行的子集，以及相应的测量在每个MP节点。在每个MP-AMP迭代中，MP系统的节点及其融合中心交换与它们的输入估计有关的有损压缩消息。在重建过程的物理成本（包括计算时间、通信负载和重建质量）之间存在权衡，并且不可能同时最小化所有成本。我们提出这个最小化作为一个多目标优化问题（MOP），并研究在这个MOP的最佳权衡（帕累托最优）的属性。我们证明了该MOP的可实现区域是凸的，并推测计算和通信的综合成本如何与所需的均方误差成比例。这些属性进行了数值验证。
2016-04-10 cs.DC cs.IT cs.LG
