A Trajectory-Based Bayesian Approach to Multi-Objective Hyperparameter Optimization with Epoch-Aware Trade-Offs
Department of Industrial Systems Engineering and Management, National University of Singapore（新加坡国立大学工业系统工程与管理系）；Academy of Mathematics and System Sciences, Chinese Academy of Sciences（中国科学院数学系统科学 academy）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）
针对多目标超参数优化中未充分利用迭代训练过程信息、仅在训练结束时确定权衡的问题，提出将训练轮次作为决策变量的优化问题，及基于轨迹的多目标贝叶斯优化算法，含新型采集函数与多目标早停机制，可高效识别理想权衡。
2025-05-21 cs.LG
Evaluation of Fairness Trade-offs in Predicting Student Success
Cornell University（康奈尔大学）
早期识别有风险学生的预测模型可以帮助教学人员引导资源，以更好地支持他们，但人们越来越担心教育中算法系统的公平性。预测模型可能会无意中在谁获得支持方面引入偏见，从而加剧现有的不平等。我们通过建立一个基于大学行政记录的学生成功预测模型来研究这个问题。我们发现，该模型表现出性别和种族偏见的三分之二的公平措施考虑。然后，我们应用事后调整，以提高模型的公平性，突出三个公平措施之间的权衡。
2020-06-30 cs.CY cs.LG
No Free Lunch in LLM Watermarking: Trade-offs in Watermarking Design Choices
Carnegie Mellon University（卡内基梅隆大学）
本文指出LLM水印设计选择在鲁棒性、效用和可用性间存在根本权衡，通过研究简单有效的攻击方法，为LLM水印实践提出了指导原则与防御措施。
2024-11-13 cs.CL cs.CR cs.LG
You Only Debias Once: Towards Flexible Accuracy-Fairness Trade-offs at Inference Time
Case Western Reserve University（凯斯西储大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；North Carolina State University（北卡罗来纳州立大学）；Texas A&M University（德克萨斯农工大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Rice University（莱斯大学）
本文提出YODO方法，通过单次训练在权重空间中找到连接准确率最优点与公平性最优点的“线”，从而在推理时以极低开销实现任意灵活可调的准确率-公平性权衡。
2025-03-10 cs.LG
IBCL: Zero-shot Model Generation under Stability-Plasticity Trade-offs
IBCL通过凸组合实现零样本生成特定权衡下的帕累托最优模型，无需重训练，提升分类准确率并降低训练成本。
2025-10-14 cs.LG
Coupling Agent-based Modeling and Life Cycle Assessment to Analyze Trade-offs in Resilient Energy Transitions
Lawrence Berkeley National Laboratory（伯克利劳伦斯国家实验室）
本文提出耦合智能体建模与生命周期评估的集成框架，通过南加州案例揭示能源转型中区域资源竞争、生态约束与社区负担之间的空间显式权衡，以支持更具适应性和韧性的多尺度能源规划。
2025-11-10 cs.LG cs.MA
Transparent Trade-offs between Properties of Explanations
John A. Paulson School of Engineering and Applied Sciences（约翰·A·保罗森工程与应用科学学院）；Harvard University（哈佛大学）；Wellesley College（韦尔斯利学院）
本文提出直接针对期望属性优化解释，以替代现有“鼓励”式方法，从而更一致地获得最优属性并支持用户控制属性间的权衡。
2025-07-21 cs.LG
Privacy-Utility Trade-offs in Neural Networks for Medical Population Graphs: Insights from Differential Privacy and Graph Structure
Technical University of Munich（慕尼黑工业大学）；Massachusetts Institute of Technology（麻省理工学院）
本文实证研究医学人群图上的差分隐私图神经网络，结合多隐私级别实验与成员推理攻击审计，揭示隐私-效用权衡及图同配性对模型性能差距的影响。
2023-07-13 cs.CR cs.LG
Image denoising with multi-layer perceptrons, part 2: training trade-offs and analysis of their mechanisms
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
图像去噪可以被描述为从含噪图像到无噪图像的映射问题。在另一篇论文中，我们证明了多层感知器可以对各种类型的噪声（加性高斯白噪声，混合泊松-高斯噪声，JPEG伪影，椒盐噪声和类似条纹的噪声）实现出色的图像去噪性能。在这项工作中，我们详细讨论了在训练过程中必须考虑的权衡。我们将展示如何获得良好的结果以及要避免哪些陷阱。通过分析隐藏单元的激活模式，我们能够观察到用于图像去噪的多层感知器的工作原理。
2012-11-07 cs.CV cs.LG
Depth-Width Trade-offs for Neural Networks via Topological Entropy
Harvard University（哈佛大学）；Zhejiang University（浙江大学）
深度学习理论研究的核心问题之一是理解深度、宽度和节点数量等结构属性如何影响深度神经网络的表达能力。在这项工作中，我们展示了一个新的联系之间的表达能力的深度神经网络和拓扑熵的动力系统，它可以用来表征深度和宽度的权衡神经网络。利用结构参数给出了具有连续半代数单元的神经网络的拓扑熵的一个上界。具体地，具有$l$层和每层$m$节点的ReLU网络的拓扑熵由$O(l\log m)$上界。此外，如果神经网络是某个函数$f$的良好逼近，则神经网络的规模相对于$f$的拓扑熵具有指数下界.讨论了拓扑熵与振荡次数、周期和Lipschitz常数之间的关系。
2020-10-15 cs.LG
FACT: A Diagnostic for Group Fairness Trade-offs
Carnegie Mellon University（卡内基梅隆大学）；JP Morgan（摩根大通）；JP Morgan AI Research（摩根大通人工智能研究院）；Determined AI
群体公平性是一类公平性概念，衡量不同群体的个人如何根据其受保护的属性受到不同的对待，已被证明是相互冲突的，通常会损失模型的预测性能。我们提出了一个通用的诊断，使这些权衡组公平性的系统特征。我们观察到，大多数组公平性概念可以通过公平混淆张量来表达，这是根据受保护的属性值分裂的混淆矩阵。我们构建了几个优化问题，这些优化问题直接优化了该张量元素的准确性和公平性目标，从而为理解包括组公平性不兼容性在内的多种权衡提供了一个总体视角。它还提出了一种替代的后处理方法，设计公平的分类。在合成和真实数据集上，我们展示了我们诊断的用例，特别是在理解准确性和公平性之间的权衡方面。
2020-07-07 cs.CY cs.LG stat.ML
Activation Functions: Do They Represent A Trade-Off Between Modular Nature of Neural Networks And Task Performance
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
目前的研究表明，设计神经网络结构的关键因素包括为每个卷积层选择滤波器的数量、为每个全连接层选择隐层神经元的数量、丢弃和修剪。在大多数情况下，默认的激活函数是ReLU，因为它在经验上显示出更快的训练收敛。我们探讨了如果想要在神经网络中获得更好的模块化结构，ReLU是否是最佳选择。
2020-09-16 cs.LG stat.ML
T-TAMER: Provably Taming Trade-offs in ML Serving
Department of Computer Science & Engineering University of Washington（华盛顿大学计算机科学与工程系）；Department of Computer Science University of Chicago（芝加哥大学计算机科学系）
该研究针对机器学习服务中的权衡问题，提出通用框架T-Tamer，证明回溯是获得最优权衡的关键，通过实验验证基于回溯的策略能实现高效的准确率-延迟权衡，为相关模型设计提供理论基础。
2026-08-04 cs.GT cs.LG
Accuracy and Fairness Trade-offs in Machine Learning: A Stochastic Multi-Objective Approach
Lehigh University（理海大学）；University of Coimbra（科英布拉大学）
在将机器学习应用于现实生活中的决策系统中，例如，信用评分和刑事司法，预测结果可能会歧视具有敏感属性的人，导致不公平。公平机器学习中常用的策略是将公平性作为预测损失最小化的约束或惩罚项，这最终限制了提供给决策者的信息。在本文中，我们介绍了一种新的方法来处理公平性，制定一个随机多目标优化问题，相应的帕累托前沿唯一和全面定义的准确性，公平性权衡。然后，我们应用了随机近似型方法，有效地获得良好的传播和准确的帕累托前沿，这样做，我们可以处理训练数据到达流的方式。
2022-03-18 cs.LG stat.ML
Machine Learning Systems in the IoT: Trustworthiness Trade-offs for Edge Intelligence
Delft University of Technology（代尔夫特理工大学）
机器学习系统（MLSys）正在物联网（IoT）中出现，以提供边缘智能，这为我们实现泛在智能的愿景铺平了道路。然而，尽管机器学习系统和物联网已经成熟，但在实际环境中集成MLSys和物联网时，我们仍面临着严峻的挑战。例如，许多机器学习系统已经被开发用于大规模生产（例如，云环境），但物联网由于异构和资源受限的设备以及分散的操作环境而引入了额外的需求。为了阐明MLSys和物联网的这种融合，本文通过涵盖在云、边缘和物联网设备上扩展和分布ML的最新发展（截至2020年）来分析权衡。我们将机器学习系统定位为物联网的组成部分，将边缘智能定位为社会技术系统。在设计值得信赖的边缘智能的挑战方面，我们倡导一种整体设计方法，将多利益相关者的关注点，设计要求和权衡考虑在内，并强调边缘智能未来的研究机会。
2020-12-01 cs.CY cs.LG
Trade-Offs of Diagonal Fisher Information Matrix Estimators
The Australian National University（澳大利亚国立大学）；RIKEN AIP（理化学研究所人工智能项目）；CSIRO’s Data61（联邦科学与工业研究组织Data61）
针对Fisher信息矩阵计算成本高的问题，研究两种常用对角随机估计器的方差界，通过神经网络回归与分类任务的解析及数值实验分析其权衡，指出方差与参数组非线性相关不可忽略。
2024-10-30 cs.LG stat.ML
Convergence and Accuracy Trade-Offs in Federated Learning and Meta-Learning
Google Research（谷歌研究院）
我们研究了一系列的算法，我们称之为本地更新方法，概括了许多联邦和元学习算法。我们证明了，对于二次模型，局部更新方法是等价于一阶优化的替代损失，我们确切地描述。此外，基本的算法选择（如学习率）显式地管理替代损失的条件数与其与真实损失的对齐之间的权衡。我们得到新的收敛率展示这些权衡，并强调其重要性，在通信有限的设置。使用这些见解，我们能够比较局部更新方法的基础上，他们的收敛/精度权衡，而不仅仅是他们的收敛到临界点的经验损失。我们的研究结果为广泛的现象提供了新的视角，包括服务器动量在联邦学习中的功效以及最近端客户端更新的影响。
2021-03-08 cs.DC cs.LG math.OC
Inherent Trade-Offs in the Fair Determination of Risk Scores
Cornell University（康奈尔大学）；Harvard University（哈佛大学）
最近在公共领域中关于算法分类的讨论涉及到了关于概率分类对不同群体公平意味着什么的相互竞争的概念之间的紧张关系。我们正式的三个公平的条件，在这些辩论的核心，我们证明，除了在高度约束的特殊情况下，没有方法，可以同时满足这三个条件。此外，即使满足所有三个条件近似要求的数据躺在一个近似版本的约束的特殊情况下确定我们的定理。这些结果表明，公平的关键概念是相互不相容的一些方式，因此提供了一个框架，思考它们之间的权衡。
2016-11-17 cs.CY cs.LG stat.ML
An interdisciplinary exploration of trade-offs between energy, privacy and accuracy aspects of data
University of Amsterdam（阿姆斯特丹大学）
本文跨学科探索机器学习中能耗、隐私与准确性的权衡，提出测量隐私增强技术对数据效用和能耗影响的方法，通过实验发现权衡关系，并用讲故事方式将技术发现转化为非ICT领域专家可理解的内容。
2024-10-12 cs.CR cs.LG
Making Human-Like Trade-offs in Constrained Environments by Learning from Demonstrations
Tulane University（杜兰大学）；European University Institute（欧洲大学学院）；University of West Florida（西佛罗里达大学）；IBM Research（IBM研究院）；Institute for Human and Machine Cognition（人类与机器认知研究所）
许多现实生活中的场景要求人类做出艰难的权衡：我们是总是遵守所有的交通规则，还是在紧急情况下违反限速？这些情景迫使我们评估集体规范和我们自己的个人目标之间的权衡。为了创建有效的人工智能-人类团队，我们必须为人工智能智能体配备一个人类如何在复杂、受限的环境中进行权衡的模型。这些智能体将能够反映人类的行为，或者将人类的注意力吸引到可以改善决策的情况。为此，我们提出了一种新的逆强化学习（IRL）方法，用于从演示中学习隐式硬约束和软约束，使代理能够快速适应新的设置。此外，学习状态、动作和状态特征的软约束允许代理将这些知识转移到共享相似方面的新领域。然后，我们使用约束学习方法来实现一个新的系统架构，利用人类决策的认知模型，多选择决策场理论（MDFT），编排竞争的目标。我们评估所产生的代理的轨迹长度，违反限制的数量，和总奖励，证明我们的代理架构是通用的，并实现了强大的性能。因此，我们能够捕捉和复制类似人类的权衡，从环境中的约束条件不明确的演示。
2021-09-22 cs.AI cs.LG cs.RO
Architectural Trade-offs in Small Language Models Under Compute Constraints
研究探讨了小型语言模型在计算限制下的架构选择权衡，发现基于注意力的模型在效率上优于MLP，但过度增加深度或上下文会损害性能，且RoPE等技术在小型模型中效果有限。
2025-12-24 cs.CL cs.LG
Fast Federated Learning by Balancing Communication Trade-Offs
Queen’s University（女王大学）；Pukyong National University（釜庆国立大学）
联邦学习（FL）最近在大规模隐私保护机器学习方面受到了广泛关注。然而，高通信开销，由于频繁的梯度传输减速FL。为了减轻通信开销，已经研究了两种主要技术：（i）局部更新的权重特征之间的权衡通信和计算和（ii）梯度压缩之间的权衡通信和精度的特征。据我们所知，研究和平衡这两个权衡联合和动态，同时考虑其对收敛的影响仍然没有得到解决，即使它承诺显着更快的FL。在本文中，我们首先制定我们的问题，以最大限度地减少学习误差关于两个变量：局部更新系数和梯度压缩的稀疏性预算，其表征通信和计算/精度之间的权衡，分别然后，我们推导出一个上限的学习误差在一个给定的挂钟时间考虑两个变量之间的相互依赖性。基于此理论分析，我们提出了一个增强的FL计划，即快速FL（FFL），联合和动态调整这两个变量，以尽量减少学习误差。我们证明，FFL一贯达到更高的精度比文献中现有的类似计划。
2021-05-23 cs.AI cs.DC cs.LG
MotifRetro: Exploring the Combinability-Consistency Trade-offs in retrosynthesis via Dynamic Motif Editing
Westlake University（西湖大学）
提出MotifRetro框架，通过RetroBPE和LG-EGAT模块动态编辑基序，探索并统一逆合成中可组合性与一致性的权衡，在USPTO-50K上实现最优性能。
2023-05-20 cs.AI cs.LG q-bio.BM
Communication Trade-offs in Federated Learning of Spiking Neural Networks
Linköping University（林雪平大学）；Hitachi Energy（日立能源）；Uppsala University（乌普萨拉大学）
脉冲神经网络（SNN）是传统人工神经网络（ANN）的生物启发替代品。尽管初步结果令人鼓舞，但在分布式方案中训练SNN的权衡还没有得到很好的理解。在这里，我们考虑在联邦学习环境中的SNN，其中通过聚合来自客户端的多个本地模型来创建高质量的全局模型，而无需共享任何数据。我们研究了联邦学习，用于在客户端训练多个SNN，当两种机制降低上行链路通信成本时：i）随机掩蔽从客户端发送到服务器的模型更新; ii）客户端退出，其中一些客户端不将其更新发送到服务器。我们使用Spiking Heidelberg digits（SHD）数据集的子集评估了SNN的性能。结果表明，随机掩蔽和客户端丢弃概率之间的权衡是至关重要的，以获得令人满意的性能为固定数量的客户端。
2023-02-27 cs.LG cs.NE eess.SP
Performance-Efficiency Trade-offs in Unsupervised Pre-training for Speech Recognition
ASAPP Inc.（ASAPP公司）；Cornell University（康奈尔大学）
本文研究了自动语音识别（ASR）中预训练模型的性能-效率权衡。我们专注于wav 2 vec 2.0，并正式几个架构设计，影响模型的性能和效率。将我们所有的观察结果汇总在一起，我们引入了SEW（Squeezed and Efficient Wav 2 vec），这是一种预训练的模型架构，在各种训练设置中的性能和效率方面都有显着改进。例如，在LibriSpeech上的100 h-960 h半监督设置下，与wav 2 vec 2.0相比，SEW实现了1.9倍的推理加速，单词出错率相对降低了13.5%。在相似的推理时间下，SEW在不同的模型大小上将单词出错率降低了25-50%。
2021-09-14 cs.CL cs.LG cs.SD
When LLM Defenses Backfire: Characterizing Safety, Performance, and Cost Trade-offs
Fudan University（复旦大学）；University of California, Riverside（加州大学河滨分校）；Columbia University（哥伦比亚大学）
研究大语言模型越狱防御的安全性、性能和成本权衡，按操作策略组织防御并研究其副作用，发现不同防御在安全与可用性、效率权衡上有差异，为评估防御副作用及选择防御提供基准和指导。
2026-07-28 cs.CR cs.LG
Enforcing Interpretability and its Statistical Impacts: Trade-offs between Accuracy and Interpretability
University of Waterloo（滑铁卢大学）；Vector Institute；University of Toronto（多伦多大学）
到目前为止，还没有正式的研究统计成本的可解释性在机器学习。因此，围绕潜在权衡的讨论往往是非正式的，误解比比皆是。在这项工作中，我们的目标是启动这些权衡的正式研究。一个似乎不可逾越的障碍是缺乏任何商定的可解释性定义。相反，我们建议转变视角。而不是试图定义可解释性，我们建议建模的\emph{act}的\emph{enforcing}可解释性。作为一个出发点，我们专注于设置经验风险最小化的二元分类，并将可解释性视为对学习的约束。也就是说，我们假设我们得到了一个被认为是可解释的假设子集，这可能取决于数据分布和上下文的其他方面。然后，我们模型的行为，执行经验风险最小化的一组可解释的假设的可解释性。该模型允许我们使用统计学习理论中的已知结果来推理强制可解释性的统计含义。专注于准确性，我们进行了案例分析，解释为什么一个可能会或可能不会观察到的准确性和可解释性之间的权衡时，限制可解释的分类器不来或不来的一些额外的统计风险的成本。最后，我们用一些工作的例子和一些开放的问题，我们希望这将刺激进一步的理论发展周围的权衡涉及的可解释性。
2020-10-28 cs.LG stat.ML
Scoring Is Not Enough: Addressing Gaps in Utility-fairness Trade-offs for Ranking
Department of Computer Science（计算机科学系）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本文证明评分函数在实现效用与公平的权衡中存在本质缺陷，并提出半贪婪后处理方法可接近最优权衡。
2026-06-26 cs.CY cs.IR cs.LG
The Limits of Computation in Solving Equity Trade-Offs in Machine Learning and Justice System Risk Assessment
本文探讨了在机器学习中，特别是在司法环境中，种族平等的不同想法如何能够提出难以通过计算解决的权衡。机器学习通常用于司法环境中，以创建风险评估，用于确定干预措施，资源和惩罚措施。这些基于机器学习的工具的整体方面和性能，例如分数分布、按水平的结果率以及假阳性和真阳性的频率，在按种族群体进行检查时可能会有问题。当这些分数和等级与个人自由的限制和更广泛的种族不平等直接相关时，产生不同分数分布或产生不同等级与结果关系的模型就有问题了。虽然计算可以帮助突出这些方面，但数据和计算不太可能解决这些问题。本文探讨了价值观和使命可能必须填补计算留下的空间。
2021-02-08 cs.LG stat.AP stat.ML
Evaluating complexity and resilience trade-offs in emerging memory inference machines
Sandia National Laboratories（桑迪亚国家实验室）
只有在有限的硬件资源被适当地最大化时，神经形态风格的推理才能很好地工作，例如，面对潜在的干扰，准确性继续随着参数和复杂性而变化。在这项工作中，我们使用现实的交叉模拟来强调深度神经网络的紧凑实现意外地容易受到多个系统干扰的影响。我们的工作提出了一条利用Mosaics框架实现高性能和强大弹性的中间道路，特别是通过在具有自然形式的抗噪性的递归神经网络实现中重用突触连接。
2020-02-25 cs.LG cs.NE stat.ML
Fundamental Resource Trade-offs for Encoded Distributed Optimization
University of Southern California（南加利福尼亚大学）
处理当今海量数据集的剪切大小和复杂性需要能够以并行和分布式方式分析数据的计算平台。在这种现代分布式计算环境中出现的主要瓶颈是某些工作节点可能运行缓慢。这些节点又名~由于最慢的节点可能决定总的计算时间，所以离散节点可能显著地减慢计算。最近的计算框架，称为编码优化，在数据中创建冗余，以减轻掉队者的影响。在本文中，我们开发了新的数学理解这个框架，证明其有效性，在更广泛的设置比以前所理解的。我们还分析了迭代编码优化算法的收敛行为，使我们能够在这个框架中描述收敛速度，数据集大小，准确性，计算负载（或数据冗余）和落伍容忍之间的基本权衡。
2019-04-01 cs.IT cs.LG math.IT
Statistical and Computational Trade-Offs in Kernel K-Means
LCSL – IIT & MIT；University of Genoa（热那亚大学）
我们调查的效率，k均值的统计和计算要求。更确切地说，我们研究了一种Nyström方法来处理内核k-means。我们分析了所提出的方法的统计特性，并表明，它实现了相同的准确性，准确的内核k-means只有一小部分的计算。事实上，我们证明在基本假设下，采样$\sqrt{n}$ Nyström地标允许大大降低计算成本，而不会导致任何损失的准确性。据我们所知，这是无监督学习的第一个结果。
2019-08-27 cs.DS cs.LG stat.ML
Model Mismatch Trade-offs in LMMSE Estimation
Uppsala University（乌普萨拉大学）
我们考虑一个线性最小均方误差（LMMSE）估计框架与模型失配，其中假设的模型阶数小于基本的线性系统，它产生的数据用于估计过程中。通过将底层系统的回归量建模为随机变量，我们分析了均方误差（MSE）的平均行为。我们的研究结果量化了MSE如何依赖于样本数量和底层系统和假设模型中参数数量之间的相互作用。特别地，如果样本的数量不是足够大，则增加样本的数量和假设的模型复杂度都不足以保证性能改进。
2021-05-25 cs.LG eess.SP stat.ML
A Convex Loss Function for Set Prediction with Optimal Trade-offs Between Size and Conditional Coverage
Inria（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）
本文提出了一种用于集合预测的凸损失函数，通过优化集合大小与条件覆盖之间的平衡，提升分类和回归任务的性能。
2025-12-22 cs.LG math.OC stat.ML
Demystifying Local and Global Fairness Trade-offs in Federated Learning Using Partial Information Decomposition
University of Maryland College Park（马里兰大学帕克分校）
本研究引入部分信息分解理论解析联邦学习中全局与局部公平性的权衡机制，识别三类不公平来源，推导权衡边界并提出凸优化问题明确性能极限，通过实验验证理论结论。
2024-03-04 cs.CY cs.IT cs.LG
Evaluating Cost-Accuracy Trade-offs in Multimodal Search Relevance Judgements
Objective, Inc.（奥布杰克蒂夫公司）；Peoples' Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学（鲁德尼大学））；Joint Institute for Nuclear Research（联合核子研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Skövde（舍夫德大学）
本文在多个多模态搜索场景中比较 LLM 与 MLLM 同人类判断的一致性，分析成本与准确性权衡，发现性能随情境显著变化且视觉输入可能损害小模型。
2024-10-25 cs.CL cs.IR cs.LG
Regularization Trade-offs with Fake Features
Uppsala University（乌普萨拉大学）
本文研究包含虚假特征的过度参数化岭回归模型，通过非渐近高概率界揭示虚假特征隐式正则化与岭参数显式正则化的权衡关系，并用数值实验说明最优岭参数对虚假特征数量的依赖。
2023-12-05 cs.LG eess.SP stat.ML
On Consensus-Optimality Trade-offs in Collaborative Deep Learning
Iowa State University（爱荷华州立大学）
在分布式机器学习中，智能体从不同的私有数据集协作学习，共识和最优性之间存在根本的紧张关系。在本文中，我们基于分布式深度学习的最新算法进展，探索固定通信拓扑上的各种共识-最优性权衡。首先，我们提出了增量共识为基础的分布式SGD（i-CDSGD）算法，它涉及多个共识步骤（每个代理与其邻居的信息通信）在每个SGD迭代。其次，我们提出了广义共识为基础的分布式SGD（g-CDSGD）算法，使我们能够浏览完整的频谱从完全一致（所有代理同意），以完成分歧（每个代理收敛到个别模型参数）。我们分析建立强凸和非凸目标函数的算法的收敛性，我们还分析了强凸情况下的算法的动量变量。我们通过数值实验来支持我们的算法，并展示了对现有协作深度学习方法的显着改进。
2018-05-30 cs.CV cs.DC cs.LG
Fundamental Safety-Capability Trade-offs in Fine-tuning Large Language Models
IBM Research（IBM研究院）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出理论框架，分析两种安全感知型LLM微调策略中安全与能力的权衡，揭示数据相似性、上下文重叠及对齐损失景观的影响，并通过数值实验验证了权衡的基本极限。
2025-03-24 cs.AI cs.CL cs.LG
Performance Trade-Offs in Multi-Processor Approximate Message Passing
North Carolina State University（北卡罗来纳州立大学）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑大规模的线性逆问题在贝叶斯设置。我们的一般方法遵循最近的工作线，适用于近似消息传递（AMP）框架在多处理器（MP）计算系统，通过存储和处理的测量矩阵的行的子集，以及相应的测量在每个MP节点。在每个MP-AMP迭代中，MP系统的节点及其融合中心交换与它们的输入估计有关的有损压缩消息。在重建过程的物理成本（包括计算时间、通信负载和重建质量）之间存在权衡，并且不可能同时最小化所有成本。我们提出这个最小化作为一个多目标优化问题（MOP），并研究在这个MOP的最佳权衡（帕累托最优）的属性。我们证明了该MOP的可实现区域是凸的，并推测计算和通信的综合成本如何与所需的均方误差成比例。这些属性进行了数值验证。
2016-04-10 cs.DC cs.IT cs.LG
From Model Design to Organizational Design: Complexity Redistribution and Trade-Offs in Generative AI
Duke University（杜克大学）；Georgia Institute of Technology（佐治亚理工学院）；IESE Business School（IESE商学院）
本文提出GAS框架，分析大语言模型如何重塑组织与竞争策略，揭示生成AI中通用性、准确性与简洁性之间的权衡及复杂性再分配对管理挑战的影响。
2026-05-15 cs.CY cs.LG cs.MA
