On the Convergence of Self-Improving Online LLM Alignment
The University of Hong Kong(香港大学);Yale University(耶鲁大学);Purdue University(普渡大学)
针对SAIL算法收敛性分析缺失的问题,提出SAIL-RevKL正则化目标,证明其满足PL条件并实现近线性样本复杂度,在MuJoCo和LLM对齐任务上优于原始SAIL。
2026-07-01 cs.AI cs.LG stat.ML
Lattice Recurrent Unit: Improving Convergence and Statistical Efficiency for Sequence Modeling
Carnegie Mellon University(卡内基梅隆大学)
递归神经网络在序列建模方面取得了显着的成功。然而,资源不足的情况仍然对这些模式的普遍性产生不利影响。我们引入了一个新的模型家族,称为格递归单元(LRU),以解决在有限资源下学习深度多层递归模型的挑战。LRU模型通过在单元内部创建不同的(但耦合的)信息流来实现这一目标:沿着时间维度的第一个流和沿着深度维度的第二个流。它还提供了一个对称的信息如何可以流动的水平和垂直。我们分析了我们的LRU模型的三个不同的组件:复位门,更新门和投影状态解耦的效果。我们评估这个家庭的新LRU模型的计算收敛速度和统计效率。我们的实验在四个公开的数据集上进行,与Grid-LSTM和递归高速公路网络进行比较。我们的研究结果表明,LRU具有更好的经验计算收敛速度和统计效率值,以及学习更准确的语言模型。
2017-11-22 cs.AI cs.LG cs.NE
Improving Convergence for Quantum Variational Classifiers using Weight Re-Mapping
LMU Munich(慕尼黑大学)
近年来,量子机器学习在变分量子线路(VQC)的使用方面已经有了实质性的增长。VQC受到人工神经网络的启发,人工神经网络作为大规模参数化函数逼近器在广泛的AI任务中实现了卓越的性能。VQC已经展示了有希望的结果,例如,通过利用量子计算中可用的更鲁棒的算法工具箱,在泛化和对训练的更少参数的需求方面。VQC的可训练参数或权重通常用作旋转门中的角度,并且当前基于梯度的训练方法没有考虑到这一点。我们引入了VQC的权重重新映射,将权重明确地映射到长度为$2π$的区间,从传统的ML中汲取灵感,其中数据重新缩放或归一化技术在许多情况下都表现出了巨大的好处。我们采用了一组五个函数,并使用变分分类器作为示例在Iris和Wine数据集上对其进行评估。我们的实验表明,权重重新映射可以提高收敛在所有测试设置。此外,我们能够证明权重重新映射通过$10\%$提高了Wine数据集的测试准确性,而不是使用未修改的权重。
2023-02-15 cs.LG quant-ph
FastAdaBelief: Improving Convergence Rate for Belief-based Adaptive Optimizers by Exploiting Strong Convexity
University of Science and Technology of China(中国科学技术大学);Duke Kunshan University(昆山杜克大学);Edinburgh Napier University(爱丁堡龙比亚大学);Gusu Laboratory of Materials(姑苏材料实验室)
AdaBelief是目前最好的优化器之一,通过观察所观察到的梯度的指数移动平均值,与流行的Adam算法相比,它表现出了卓越的泛化能力。AdaBelief在理论上是吸引人的,因为当目标函数是凸的时,它具有数据依赖的$O(\sqrt{T})$后悔界,其中$T$是时间范围。然而,它仍然是一个悬而未决的问题,是否可以进一步提高收敛速度,而不牺牲其推广能力。%,如何利用强凸性,进一步提高AdaBelief的收敛速度。为此,我们在这项工作中进行了第一次尝试,并设计了一种新的优化算法称为FastAdaBelief,旨在利用其强凸性,以实现更快的收敛速度。特别是,通过调整步长,更好地考虑强凸性和防止波动,我们提出的FastAdaBelief表现出良好的泛化能力以及优越的收敛性。作为一个重要的理论贡献,我们证明了FastAdaBelief达到了一个数据依赖的$O(\log T)$遗憾界,这是大大低于AdaBelief。在实证方面,我们验证了我们的理论分析与广泛的实验在两个场景的强和非强凸性三个流行的基线模型。实验结果是非常令人鼓舞的:FastAdaBelief收敛速度最快的所有主流算法相比,同时保持了良好的泛化能力,在强或非强凸的情况下。FastAdaBelief因此被假定为研究界的新基准模型。
2022-05-25 cs.LG stat.ML
Improving accuracy and convergence of federated learning edge computing methods for generalized DER forecasting applications in power grid
Massachusetts Institute of Technology(麻省理工学院);Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院)
本文提出开发更准确、收敛更快且通信需求更低的联邦学习方法,用于预测现代低碳电网中的分布式能源资源(DER),通过分层迭代聚类、时间序列全局模型及电力领域知识构建通用框架,支持异构客户端和多种DER类型。
2024-10-13 cs.AI cs.DC cs.LG
Improving the Convergence Rates of Forward Gradient Descent with Repeated Sampling
University of Twente(特文特大学)
针对线性模型中FGD收敛速率比SGD慢d倍的问题,本文提出基于每个训练样本计算ℓ步FGD的重复采样方法,将次优因子降至d/(ℓ∧d)(ℓ≳d时次优性消失),并证明其可适应输入分布低维结构。
2024-11-26 cs.LG cs.NE math.ST
Improving Optimization for Models With Continuous Symmetry Breaking
Disney Research(迪士尼研究院)
表征学习中的许多损失函数在连续对称变换下是不变的。例如,词嵌入的损失函数(Mikolov等人,2013)保持不变,如果我们同时旋转所有的词和上下文嵌入向量。我们表明,时间序列的表示学习模型具有近似连续的对称性,导致梯度下降收敛缓慢。我们提出了一个新的优化算法,加快收敛速度,从物理学规范理论的想法。我们的算法导致数量级更快的收敛速度和更可解释的表示,因为我们显示的矩阵分解和词嵌入模型的动态扩展。我们还提出了一个例子应用我们提出的算法,将现代的话到他们的历史等价物。
2018-07-30 cs.LG stat.ML
PCDP-SGD: Improving the Convergence of Differentially Private SGD via Projection in Advance
针对DP-SGD因梯度裁剪信息损失导致的收敛问题,提出PCDP-SGD框架,通过预投影压缩冗余梯度范数并保留关键分量,扩展为DPFL组件缓解数据异构,理论证明收敛性提升,实验在计算机视觉任务中准确率更高且优于现有联邦学习框架。
2025-04-12 cs.CR cs.LG
Improving Federated Relational Data Modeling via Basis Alignment and Weight Penalty
Ant Group(蚂蚁集团)
联邦学习(FL)近年来受到越来越多的关注。作为一种保护隐私的协作学习范式,它可以实现更广泛的应用,特别是对于计算机视觉和自然语言处理任务。然而,迄今为止,联邦学习在关系数据上的研究有限,即知识图谱(KG)。在这项工作中,我们提出了一个修改后的版本的图神经网络算法,在不同的参与者进行联合建模的KG。具体来说,为了解决固有的数据异构性问题和算法收敛效率低下,我们提出了一种新的优化算法,命名为FedAlign,1)最佳运输(OT)的客户端个性化和2)重量约束,以加快收敛。在几个广泛使用的数据集上进行了大量的实验。实验结果表明,我们提出的方法优于最先进的FL方法,如FedAVG和FedProx,具有更好的收敛性。
2020-11-23 cs.AI cs.LG
Improving the Speed of Response of Learning Algorithms Using Multiple Models
Yale University(耶鲁大学)
这是作者提出的关于使用多模型提高学习系统响应速度的一系列论文中的第一篇。在过去的二十年中,第一作者研究了许多方法,用于提高使用多个模型的自适应系统的稳定性,鲁棒性和性能,其他作者与他合作研究了其中的一些方法。独立地,他们还研究了几种学习方法,并对其优点和局限性有相当多的经验。特别是,他们很清楚,机器学习通常非常缓慢,这是常识。研究人员已经进行了许多尝试,以提高算法在不同情况下的收敛速度。鉴于基于多模型的方法在提高自适应系统收敛速度方面的成功,作者相信同样的方法在学习领域也将证明是富有成效的。在本文中,第一次尝试使用多个模型,以提高最简单的学习计划,已被研究的响应速度。学习自动机Learning Automata
2015-10-30 cs.LG
Noether's razor: Learning Conserved Quantities
Imperial College London(帝国理工学院);University of Oxford(牛津大学);CuspAI(卡斯普人工智能公司)
该研究利用Noether定理将对称性参数化为可学习的守恒量,通过近似贝叶斯模型选择推导变分下界进行联合训练,自动避免守恒定律坍缩,在谐振子和多体系统中准确识别守恒量与对称群并提升预测精度。
2024-10-10 cs.LG stat.ML
Three Birds with One Stone: Improving Performance, Convergence, and System Throughput with Nest
Rice University(里士大学)
本文提出Nest技术,通过动态调整量子比特保真度映射,同时提升VQA性能、加速收敛并提高系统吞吐量,实现一石三鸟的效果。
2025-10-10 cs.ET cs.LG quant-ph
Improving Pseudo-Time Stepping Convergence for CFD Simulations With Neural Networks
Technische Universität Berlin(柏林工业大学);COMSOL BV(COMSOL 公司);Delft University of Technology(代尔夫特理工大学)
本文利用神经网络预测局部伪时间步长,增强伪瞬态延续算法,以改善纳维-斯托克斯方程CFD模拟的非线性收敛性,并在基准问题上验证了性能。
2023-10-10 cs.LG cs.NA math.NA
Improving the Transient Times for Distributed Stochastic Gradient Methods
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
我们考虑分布式最优化问题,其中每个$n$代理拥有一个本地的成本函数,协作最小化的平均$n$费用函数在一个连接的网络。假设随机梯度信息是可用的,我们研究了分布式随机梯度算法,称为精确扩散与自适应步长(EDAS)适应的精确扩散方法和NIDS和执行非渐近收敛分析。我们不仅表明,EDAS渐近实现相同的网络独立的收敛速度集中随机梯度下降(SGD)最小化强凸和光滑的目标函数,但也表征了所需的瞬态时间的算法接近渐近收敛速度,表现为$K_T=\mathcal{O}\left(\frac{n}{1-λ_2}\right)$,其中$1-λ_2$代表混合矩阵的谱隙。据我们所知,当$n$费用函数的平均值是强凸的并且每个费用函数是平滑的时,EDAS实现了最短的过渡时间。数值模拟进一步证实和加强所获得的理论结果。
2021-05-11 cs.DC cs.LG cs.MA
Improving the Convergence Rate of Ray Search Optimization for Query-Efficient Hard-Label Attacks
Institute of Cyberspace Security, Zhejiang University of Technology(浙江工业大学网络空间安全研究院);JQ Investments(JQ投资);Binjiang Institute of Artificial Intelligence, ZJUT(浙江工业大学滨江人工智能研究院)
本文提出ARS-OPT和PARS-OPT算法,通过优化射线搜索方向提升硬标签攻击的收敛速度和查询效率。
2025-12-24 cs.AI cs.CR cs.CV
Deep Recurrent Convolutional Neural Network: Improving Performance For Speech Recognition
China University of Political Science and Law(中国政法大学);Institute of High Performance Computing(高性能计算研究所)
深度学习方法已广泛应用于序列建模问题。在自动语音识别(ASR)方面,通过增加大规模语音语料库和更深层次的神经网络,其性能得到了显著提升。特别是递归神经网络和深度卷积神经网络已经成功地应用于ASR。针对训练速度问题,本文提出了一种新的深度递归卷积网络用于声学建模,并将深度残差学习应用于其中,实验结果表明,与传统的深度递归卷积网络相比,它不仅具有更快的收敛速度,而且具有更高的识别精度。在实验中,我们比较了我们的新型深度递归卷积网络和传统深度卷积递归网络的收敛速度。凭借更快的收敛速度,我们的新型深度递归卷积网络可以达到相当的性能。我们进一步证明,应用深度残差学习可以提高我们新型深度递归卷积网络的收敛速度。最后,我们用我们提出的双向统计n-gram语言模型通过音素出错率(PER)来评估我们所有的实验网络。我们的评估结果表明,我们新提出的应用深度残余学习的深度递归卷积网络在TIMIT数据库上可以达到17.33%的最佳PER,并且收敛速度最快。具有深度残差学习的新型深度递归卷积神经网络的出色性能表明,它可以潜在地应用于其他序列问题。
2016-12-27 cs.CL cs.LG
Improving the Convergence of Private Shuffled Gradient Methods with Public Data
Carnegie Mellon University(卡内基梅隆大学)
本文提出Interleaved-ShuffleG方法,通过整合公共数据降低私有洗牌梯度方法的经验风险,提升收敛性。
2026-02-24 cs.LG
Improving Model Training by Periodic Sampling over Weight Distributions
LG Advanced AI Lab(LG高级人工智能实验室);Sanat Clara, CA, USA(美国加利福尼亚州圣克拉拉)
在本文中,我们探讨了围绕模型权重的周期性采样的技术,这些技术为各种视觉问题(分类,检测,分割)提供了梯度更新方法(香草\acs{SGD},动量,亚当)的收敛性改进。重要的是,我们的算法提供了更好,更快,更强大的收敛和训练性能,而计算时间只有轻微的增加。我们的技术是独立的神经网络模型,梯度优化方法或现有的最佳训练策略,并收敛在一个不太稳定的方式与性能改进,近似单调。我们进行了各种实验来量化这些改进,并确定这些技术可能更有用的场景。
2020-03-19 cs.CV cs.LG stat.ML
Improving KernelSHAP: Practical Shapley Value Estimation via Linear Regression
University of Washington(华盛顿大学)
合作博弈论中的Shapley值概念已经成为解释ML模型的流行技术,但有效地估计这些值仍然具有挑战性,特别是在模型不可知的环境中。在这里,我们重新审视通过线性回归估计Shapley值的想法,以理解和改进这种方法。通过分析原始KernelSHAP以及新提出的无偏版本,我们开发了检测其收敛性和计算不确定性估计的技术。我们还发现,原来的版本会导致一个可忽略不计的偏差增加,以换取显着降低方差,我们提出了一个方差减少技术,进一步加快收敛的两个估计。最后,我们开发了一个版本的KernelSHAP随机合作游戏,产生快速的新估计的两个全球性的解释方法。
2021-04-23 cs.LG stat.ML
Improving the Robustness of Neural Multiplication Units with Reversible Stochasticity
University of Southampton(南安普顿大学)
多层感知器很难学习某些简单的算术任务。用于算术的专家神经模块可以在外推、可解释性和收敛速度方面优于经典架构,但对训练范围高度敏感。在本文中,我们证明了神经乘法单元(NMU)在给定不同的训练范围时,无法可靠地学习像将两个输入相乘这样简单的任务。失败的原因与诱导和输入偏置有关,这些偏置鼓励收敛到不期望的最优解。一个解决方案,随机NMU(sNMU),提出了应用可逆的随机性,鼓励避免这样的最优,同时收敛到真正的解决方案。从经验上讲,我们表明,随机性提供了改进的鲁棒性,有可能提高上游网络的数值和图像任务的学习表示。
2022-11-10 cs.LG cs.NE
Is Shapley Value fair? Improving Client Selection for Mavericks in Federated Learning
Delft University of Technology(代尔夫特理工大学)
Shapley值通常用于衡量和激励客户参与联邦学习。在本文中,我们通过理论和模拟表明,Shapley值低估了一种常见类型的客户端的贡献:小牛。Mavericks是数据分布和数据量不同的客户端,可以是某些类型数据的唯一所有者。在正确的时刻选择正确的客户端对于联邦学习减少收敛时间和提高准确性非常重要。我们提出了FedEMD,一个自适应的客户端选择策略的基础上Wasserstein距离的本地和全球数据分布。由于FedEMD调整了选择概率,使得当模型受益于稀有类的改进时优选选择Mavericks,因此它始终确保在存在不同类型的Mavericks时的快速收敛。与现有的策略相比,包括基于Shapley值的策略,FedEMD将神经网络分类器的收敛性提高了至少26.9%,用于FedAvg聚合。
2021-06-20 cs.AI cs.CY cs.LG
Improving greedy core-set configurations for active learning with uncertainty-scaled distances
University of Toronto(多伦多大学);Vector Institute(向量研究所)
我们通过一个不确定性因素来缩放核心集算法的感知距离,并搜索低置信度配置,发现CIFAR 10/100和SVHN图像分类的样本效率有显著提高,特别是在较大的采集尺寸中。我们展示了我们的修改的必要性,并解释了如何改进是由于概率二次加速收敛的核心集损失,模型的不确定性和误分类的关系的假设下。
2022-02-09 cs.LG
Improving Local Training in Federated Learning via Temperature Scaling
School of Integrated Technology, Yonsei University(燕尼大学整合技术学院);BK21 Graduate Program in Intelligent Semiconductor Technology, Yonsei University(燕尼大学智能半导体技术研究生项目);Department of Electrical Engineering and Computer Science, University of Michigan(密歇根大学电气工程与计算机科学系)
FLex&Chill通过温度缩放方法提升联邦学习中本地训练的收敛速度和推理精度。
2025-12-23 cs.AI cs.LG
Strategies for Improving Communication Efficiency in Distributed and Federated Learning: Compression, Local Training, and Personalization
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本论文提出压缩、本地训练与个性化策略以提升分布式和联邦学习的通信效率,通过统一框架、Scafflix及剪枝方法在保持精度的同时降低通信开销。
2025-09-10 cs.AI cs.LG
Metric Privacy in Federated Learning for Medical Imaging: Improving Convergence and Preventing Client Inference Attacks
Instituto de Física de Cantabria (IFCA), CSIC-UC(坎塔布里亚物理研究所(IFCA,CSIC-UC));INRIA Saclay(法国国家信息与自动化研究所萨克雷分部);Ecole Polytechnique (LIX)(巴黎综合理工学院(LIX))
本文提出度量隐私以减轻经典服务器端全局差分隐私对联邦学习聚合模型收敛性的影响,在医学影像场景中对比了六种聚合策略,并引入并防御了半诚实客户端推理攻击,在提升模型性能的同时保持了对攻击的防护。
2025-02-03 cs.CR cs.LG
Improving SGD convergence by online linear regression of gradients in multiple statistically relevant directions
Jagiellonian University(雅盖隆大学)
深度神经网络通常使用随机梯度下降(SGD)进行训练,该算法使用非常粗略的梯度近似来最小化目标函数,仅对实际梯度进行平均。标准的方法,如动量或ADAM只考虑一个方向,并不试图从极值模型的距离-忽略了有价值的信息,从计算的梯度序列,往往停滞在一些次优的高原。二阶方法可以利用这些错过的机会,然而,除了遭受非常大的成本和数值不稳定性之外,由于忽略曲率的符号(作为Hessian的特征值),其中许多方法会吸引到次优点,如鞍点。无鞍牛顿法是解决这个问题的一个罕见的例子-将鞍吸引力变为排斥力,并被证明可以通过这种方式对最终值提供本质的改进。然而,它忽略了噪声,而建模二阶行为,专注于Krylov子空间的数值原因,并需要昂贵的特征分解。在保持SFN优势的情况下,提出了用于利用这些机会的廉价方式。二阶行为是一阶导数的线性依赖-我们可以用最小二乘线性回归从噪声梯度序列中最佳地估计它,在这里的在线设置中:用旧梯度的弱化权重。统计相关子空间由最近的噪声梯度的PCA建议-在在线设置中,它可以通过缓慢地将所考虑的方向旋转到新的梯度,逐渐用最近的统计相关取代旧的方向来实现。特征分解也可以在线执行:定期执行QR方法的步骤,以保持对角Hessian。在二阶建模子空间之外,我们可以同时执行梯度下降。
2023-03-13 cs.LG stat.ML
Improving Infinitely Deep Bayesian Neural Networks with Nesterov's Accelerated Gradient Method
Shenzhen Institutes of Advanced Technology Chinese Academy of Sciences Shenzhen, P.R.China
本文提出一种结合Nesterov加速梯度与残差跳接的SDE-BNN模型,通过减少函数评估次数提升收敛速度和预测精度。
2026-03-26 cs.LG stat.ML
Improving Minimax Estimation Rates for Contaminated Mixture of Multinomial Logistic Experts via Expert Heterogeneity
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文通过分析受污染的混合多项逻辑专家模型,揭示专家异质性在提升参数估计速率和样本效率方面的优势。
2026-01-31 cs.LG math.ST stat.TH
Equivariant Latent Alignment via Flow Matching under Group Symmetries
University of Illinois Urbana-Champaign, Illinois, USA(伊利诺伊大学厄巴纳-香槟分校);Seoul National University, Seoul, Korea(首尔国立大学)
针对现有方法在潜在空间中存在的等变错位问题,提出基于流的残差潜在流框架,通过纠正错位潜在表示来增强旋转群SO(n)下的等变一致性,提升新视角合成质量。
2026-06-02 cs.CV cs.LG
FedOSAA: Improving Federated Learning with One-Step Anderson Acceleration
Ohio State University(俄亥俄州立大学);Google Research(谷歌研究院)
针对联邦一阶方法通信轮次多、收敛慢的问题,本文提出 FedOSAA,在 FedSVRG、SCAFFOLD 等本地更新后加入一步 Anderson 加速,并证明其局部线性收敛率,可达到接近 GIANT 的效率。
2025-03-14 cs.DC cs.LG
SymmGrid: Super-Scaling On-Robot Learning with Parallelized Symmetries and Egocentric-Exocentric Visual Perception
Lipscomb University(利普斯科姆大学)
SymmGrid是一种并行对称性轨迹级增强框架,通过自我-外部视觉感知加速机器人上学习,在真实机器人操作任务上实现训练速度、成功率及nAUC比率提升,最快收敛时间低至10.9分钟。
2026-07-30 cs.AI cs.LG cs.RO
Improving Generalization and Stability of Generative Adversarial Networks
生成对抗网络(GANs)是学习复杂高维分布的最流行工具之一。然而,GANs的泛化特性还没有得到很好的理解。在本文中,我们分析了GANs在实际环境中的泛化能力。我们发现,在具有原始GAN损失的离散数据集上训练的鉴别器具有较差的泛化能力,并且不近似于理论上的最优分类。我们提出了一个零中心的梯度惩罚,通过将其推向最佳的梯度来提高泛化的梯度。惩罚保证了GANs的泛化和收敛。在合成数据集和大规模数据集上的实验验证了我们的理论分析。
2019-02-11 cs.AI cs.LG stat.ML
Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning
University of California, Davis(加利福尼亚大学戴维斯分校);Google(谷歌公司)
近年来,随着越来越多的法规涉及用户的隐私敏感数据保护,对此类数据的访问变得越来越受限制和有争议。为了利用移动电话等分布式实体生成和定位的大量数据,一种革命性的分散式机器学习设置(称为联邦学习)使位于不同地理位置的多个客户端能够协作学习机器学习模型,同时将所有数据保存在设备上。然而,联邦学习的规模和分散性带来了新的挑战。客户端和服务器之间的通信被认为是联邦学习收敛时间的主要瓶颈。在本文中,我们提出并研究了自适应联邦丢弃(AFD),一种新的技术,以减少与联邦学习相关的通信成本。它通过允许客户端在全局模型的选定子集上进行本地训练来优化服务器-客户端通信和计算成本。我们的经验表明,这种策略,结合现有的压缩方法,共同提供了高达57倍的收敛时间减少。它还优于最先进的通信效率解决方案。此外,它将模型泛化能力提高了1.7%。
2020-11-08 cs.DC cs.LG
SetGAN: Improving the stability and diversity of generative models through a permutation invariant architecture
University of Utah(犹他大学);Scientific Computing and Imaging Institute(科学计算与成像研究所)
生成对抗网络(GANs)已被证明在高维数据分布建模方面是有效的。然而,它们的训练不稳定性是一个众所周知的收敛障碍,这导致它们在应用于新数据时面临实际挑战。此外,即使达到收敛,GANs也可能受到模式坍塌的影响,这种现象是指生成器学习仅对目标分布的一小部分进行建模,而忽略了绝大多数数据流形或分布。本文通过引入SetGAN来解决这些挑战,SetGAN是一种对抗性架构,它处理生成的样本集和真实样本集,并区分这些样本集的来源(即,训练与生成的数据)。我们还提出了一个新的指标来定量评估GANs,除了数据本身之外,它不需要以前对应用程序的了解。使用新的度量标准,结合最先进的评估方法,我们表明,所提出的架构,当与源于类似策略的GAN变体相比,产生更准确的输入数据模型的方式,也是不太敏感的超参数设置。
2022-09-27 cs.LG stat.ML
Improving the Privacy and Accuracy of ADMM-Based Distributed Algorithms
University of Michigan(密歇根大学)
交替方向乘法器(ADMM)是一种用于设计机器学习算法的分布式版本的流行方法,由此对本地数据执行本地计算,其中输出以迭代方式在邻居之间交换。在这个迭代过程中,数据隐私的泄露出现了。在以前的工作中提出了一种差分私有ADMM(Zhang & Zhu,2017),其中只有一个节点在一次迭代期间的隐私损失是有界的,这种方法使得在考虑整个迭代过程中所有节点的总隐私损失时,难以平衡通过分布式计算获得的效用和隐私保证之间的权衡。我们提出了一种扰动方法ADMM的扰动项与惩罚参数相关,这是提高效用和隐私的同时。该方法是基于一个修改的ADMM,每个节点独立地确定自己的惩罚参数在每次迭代,并从双重更新步长的迭代。文中还给出了修正ADMM的收敛条件和收敛速度的下界。
2018-06-06 cs.CR cs.LG stat.ML