Fundamental Resource Trade-offs for Encoded Distributed Optimization
University of Southern California（南加利福尼亚大学）
处理当今海量数据集的剪切大小和复杂性需要能够以并行和分布式方式分析数据的计算平台。在这种现代分布式计算环境中出现的主要瓶颈是某些工作节点可能运行缓慢。这些节点又名~由于最慢的节点可能决定总的计算时间，所以离散节点可能显著地减慢计算。最近的计算框架，称为编码优化，在数据中创建冗余，以减轻掉队者的影响。在本文中，我们开发了新的数学理解这个框架，证明其有效性，在更广泛的设置比以前所理解的。我们还分析了迭代编码优化算法的收敛行为，使我们能够在这个框架中描述收敛速度，数据集大小，准确性，计算负载（或数据冗余）和落伍容忍之间的基本权衡。
2019-04-01 cs.IT cs.LG math.IT
The Trade-Offs of Private Prediction
Facebook AI Research（Facebook人工智能研究院）
机器学习模型每次揭示预测时都会泄露有关其训练数据的信息。当训练数据需要保持私有时，这是有问题的。私有预测方法限制了每次预测泄露多少关于训练数据的信息。私有预测也可以使用通过私有训练方法训练的模型来实现。在私有预测中，私有训练和私有预测方法都表现出隐私、隐私失败概率、训练数据量和推理预算之间的权衡。虽然这些权衡在理论上是很好理解的，但几乎没有进行过实证研究。本文提出了第一个实证研究的权衡私人预测。我们的研究揭示了哪种方法最适合哪种学习环境。也许令人惊讶的是，我们发现私人训练方法在广泛的私人预测设置中优于私人预测方法。
2020-07-09 cs.LG stat.ML
Adaptive Trade-Offs in Off-Policy Learning
DeepMind
文献中存在各种各样的离策略学习算法，并且在该领域继续取得新的突破，提高理论理解并产生最先进的强化学习算法。在本文中，我们采取统一的观点，这个空间的算法，并考虑他们的权衡的三个基本数量：更新方差，定点偏差，收缩率。这导致了现有方法的新视角，也自然产生了新的算法，离政策的评估和控制。我们开发了一种这样的算法，C-跟踪，证明它能够更有效地使这些权衡比现有的方法在使用中，它可以扩展到产生最先进的性能在大规模的环境中。
2020-07-30 cs.LG stat.ML
FACT: A Diagnostic for Group Fairness Trade-offs
Carnegie Mellon University（卡内基梅隆大学）；JP Morgan（摩根大通）；JP Morgan AI Research（摩根大通人工智能研究院）；Determined AI
群体公平性是一类公平性概念，衡量不同群体的个人如何根据其受保护的属性受到不同的对待，已被证明是相互冲突的，通常会损失模型的预测性能。我们提出了一个通用的诊断，使这些权衡组公平性的系统特征。我们观察到，大多数组公平性概念可以通过公平混淆张量来表达，这是根据受保护的属性值分裂的混淆矩阵。我们构建了几个优化问题，这些优化问题直接优化了该张量元素的准确性和公平性目标，从而为理解包括组公平性不兼容性在内的多种权衡提供了一个总体视角。它还提出了一种替代的后处理方法，设计公平的分类。在合成和真实数据集上，我们展示了我们诊断的用例，特别是在理解准确性和公平性之间的权衡方面。
2020-07-07 cs.CY cs.LG stat.ML
Accuracy and Fairness Trade-offs in Machine Learning: A Stochastic Multi-Objective Approach
Lehigh University（理海大学）；University of Coimbra（科英布拉大学）
在将机器学习应用于现实生活中的决策系统中，例如，信用评分和刑事司法，预测结果可能会歧视具有敏感属性的人，导致不公平。公平机器学习中常用的策略是将公平性作为预测损失最小化的约束或惩罚项，这最终限制了提供给决策者的信息。在本文中，我们介绍了一种新的方法来处理公平性，制定一个随机多目标优化问题，相应的帕累托前沿唯一和全面定义的准确性，公平性权衡。然后，我们应用了随机近似型方法，有效地获得良好的传播和准确的帕累托前沿，这样做，我们可以处理训练数据到达流的方式。
2022-03-18 cs.LG stat.ML
Trade-Offs of Diagonal Fisher Information Matrix Estimators
The Australian National University（澳大利亚国立大学）；RIKEN AIP（理化学研究所人工智能项目）；CSIRO’s Data61（联邦科学与工业研究组织Data61）
针对Fisher信息矩阵计算成本高的问题，研究两种常用对角随机估计器的方差界，通过神经网络回归与分类任务的解析及数值实验分析其权衡，指出方差与参数组非线性相关不可忽略。
2024-10-30 cs.LG stat.ML
Inherent Trade-Offs in the Fair Determination of Risk Scores
Cornell University（康奈尔大学）；Harvard University（哈佛大学）
最近在公共领域中关于算法分类的讨论涉及到了关于概率分类对不同群体公平意味着什么的相互竞争的概念之间的紧张关系。我们正式的三个公平的条件，在这些辩论的核心，我们证明，除了在高度约束的特殊情况下，没有方法，可以同时满足这三个条件。此外，即使满足所有三个条件近似要求的数据躺在一个近似版本的约束的特殊情况下确定我们的定理。这些结果表明，公平的关键概念是相互不相容的一些方式，因此提供了一个框架，思考它们之间的权衡。
2016-11-17 cs.CY cs.LG stat.ML
Convergence and Accuracy Trade-Offs in Federated Learning and Meta-Learning
Google Research（谷歌研究院）
我们研究了一系列的算法，我们称之为本地更新方法，概括了许多联邦和元学习算法。我们证明了，对于二次模型，局部更新方法是等价于一阶优化的替代损失，我们确切地描述。此外，基本的算法选择（如学习率）显式地管理替代损失的条件数与其与真实损失的对齐之间的权衡。我们得到新的收敛率展示这些权衡，并强调其重要性，在通信有限的设置。使用这些见解，我们能够比较局部更新方法的基础上，他们的收敛/精度权衡，而不仅仅是他们的收敛到临界点的经验损失。我们的研究结果为广泛的现象提供了新的视角，包括服务器动量在联邦学习中的功效以及最近端客户端更新的影响。
2021-03-08 cs.DC cs.LG math.OC
The Limits of Computation in Solving Equity Trade-Offs in Machine Learning and Justice System Risk Assessment
本文探讨了在机器学习中，特别是在司法环境中，种族平等的不同想法如何能够提出难以通过计算解决的权衡。机器学习通常用于司法环境中，以创建风险评估，用于确定干预措施，资源和惩罚措施。这些基于机器学习的工具的整体方面和性能，例如分数分布、按水平的结果率以及假阳性和真阳性的频率，在按种族群体进行检查时可能会有问题。当这些分数和等级与个人自由的限制和更广泛的种族不平等直接相关时，产生不同分数分布或产生不同等级与结果关系的模型就有问题了。虽然计算可以帮助突出这些方面，但数据和计算不太可能解决这些问题。本文探讨了价值观和使命可能必须填补计算留下的空间。
2021-02-08 cs.LG stat.AP stat.ML
Evaluating complexity and resilience trade-offs in emerging memory inference machines
Sandia National Laboratories（桑迪亚国家实验室）
只有在有限的硬件资源被适当地最大化时，神经形态风格的推理才能很好地工作，例如，面对潜在的干扰，准确性继续随着参数和复杂性而变化。在这项工作中，我们使用现实的交叉模拟来强调深度神经网络的紧凑实现意外地容易受到多个系统干扰的影响。我们的工作提出了一条利用Mosaics框架实现高性能和强大弹性的中间道路，特别是通过在具有自然形式的抗噪性的递归神经网络实现中重用突触连接。
2020-02-25 cs.LG cs.NE stat.ML
Model Mismatch Trade-offs in LMMSE Estimation
Uppsala University（乌普萨拉大学）
我们考虑一个线性最小均方误差（LMMSE）估计框架与模型失配，其中假设的模型阶数小于基本的线性系统，它产生的数据用于估计过程中。通过将底层系统的回归量建模为随机变量，我们分析了均方误差（MSE）的平均行为。我们的研究结果量化了MSE如何依赖于样本数量和底层系统和假设模型中参数数量之间的相互作用。特别地，如果样本的数量不是足够大，则增加样本的数量和假设的模型复杂度都不足以保证性能改进。
2021-05-25 cs.LG eess.SP stat.ML
Jointly Clustering Rows and Columns of Binary Matrices: Algorithms and Trade-offs
在标准聚类问题中，数据点用向量表示，通过将它们堆叠在一起，形成具有行或列聚类结构的数据矩阵。在本文中，我们考虑一类二进制矩阵，出现在许多应用中，表现出行和列集群结构，我们的目标是通过观察只有一小部分的噪声条目，以准确地恢复底层的行和列集群。首先，我们推导出一个下界的最小数目的观察所需的确切的集群恢复。然后，我们提出了三种算法，具有不同的运行时间，并比较他们所需要的成功的集群恢复的观测数。我们的分析结果显示了平滑的时间-数据权衡：当可用的观测值越来越多时，可以逐渐降低计算复杂性。
2014-02-04 stat.ML
Fundamental Safety-Capability Trade-offs in Fine-tuning Large Language Models
IBM Research（IBM研究院）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出理论框架，分析两种安全感知型LLM微调策略中安全与能力的权衡，揭示数据相似性、上下文重叠及对齐损失景观的影响，并通过数值实验验证了权衡的基本极限。
2025-03-24 cs.AI cs.CL cs.LG
