Distributed Gradient Methods for Nonconvex Optimization: Local and Global Convergence Guarantees
本文讨论了非凸优化中计算局部和全局极小值的分布式梯度下降算法。对于局部最优化,我们专注于分布式随机梯度下降(D-SGD)-一个简单的基于网络的经典SGD的变体。我们讨论了局部极小收敛保证,并探讨了稳定流形定理在分析鞍点避免中的简单但关键的作用。对于全局优化,我们讨论了基于退火的方法,其中缓慢衰减的噪声被添加到D-SGD。条件下,收敛到全局极小值的保证进行了讨论。数值例子说明了本文的关键概念。
2020-09-16 math.OC
Gradient-tracking based Distributed Optimization with Guaranteed Optimality under Noisy Information Sharing
分布式优化使得联网的代理能够协作地解决全局最优化问题,即使每个参与代理仅能够访问目标函数的局部视图。尽管取得了显着的进展,大多数现有的分布式优化的结果依赖于无噪声的信息共享的代理,这是有问题的,当通信信道是嘈杂的,消息被粗略量化,或共享的信息被掩盖的加性噪声的目的,实现差分隐私。信息共享噪声的问题在最先进的基于梯度跟踪的分布式优化算法中特别突出,因为信息共享噪声将随着这些算法的梯度跟踪估计的迭代而累积,并且当噪声持续时,随后的方差甚至将无限增长。本文提出了一种新的基于梯度跟踪的分布式优化方法,可以避免信息共享噪声积累的梯度估计。该方法是适用的,即使当{代理间的相互作用是}时变的,这是关键,使代理间的相互作用的衰减因子的结合,以逐步消除信息共享噪声的影响。事实上,我们严格证明,所提出的方法可以确保几乎必然收敛的所有代理相同的最优解,即使在存在持续的信息共享噪声。该方法适用于一般的有向图。它还能够确保所有代理的几乎必然收敛到一个最优解时,梯度是嘈杂的,这是常见的机器学习应用。数值模拟证实了所提出的方法的有效性。
2022-10-02 cs.SY eess.SY math.OC
Distributed Event-Triggered Control for Global Consensus of Multi-Agent Systems with Input Saturation
研究了有向图上输入饱和的多智能体系统的全局一致性问题。在底层有向图具有有向生成树的温和连通性条件下,利用李雅普诺夫方法证明了广泛使用的分布式一致性协议在无输入饱和约束的情况下解决了一致性问题,在有输入饱和约束的情况下也解决了全局一致性问题.为了减少通信和系统更新的总体需求,我们提出了一种分布式事件触发的控制律。全球共识仍然实现,芝诺行为被排除在外。通过数值模拟验证了理论结果的有效性。
2017-04-18 math.OC
Distributed Algorithm for the Global Optimal Controller of Nonlinear Multi-Agent Systems
School of Control Science and Engineering, Shandong University(山东大学控制科学与工程学院);School of Computer Science and Technology, Shandong University(山东大学计算机科学与技术学院);Department of Applied Mathematics, The Hong Kong Polytechnic University(香港理工大学应用数学系)
本文提出在信息结构受限下,通过分布式近似哈密顿-雅可比-贝尔曼方程实现非线性多智能体系统的全局最优控制器设计,验证了算法的有效性。
2026-04-07 math.OC
Global Asymptotic Stability for General Linear MIMO Distributed Systems: An Approach Based on Robust-Adaptive Controllers
稳定性是分布式线性多输入多输出系统的一个重要特征。全局渐近稳定性通常可以保证使用分散或分布式控制架构时,如果:(i)保守控制器的设计,(ii)集体稳定性条件得到满足,或(iii)相互作用项是中性的。本文扩展了集体稳定性方法,将自适应控制器,并表明,这种方法是不够的大增益互联系统。随后,我们表明,全球渐近稳定性可以系统地确保利用向量李雅普诺夫函数和代数Riccati方程。这导致了可扩展的分布式架构,其中本地控制器需要来自相应子系统和相邻控制器的信息。方便地,通信流具有与互连图相同的拓扑。理论结果通过所提出的架构的直流电网电压控制的应用程序进行了验证。
2018-03-05 math.OC
Global Games with Noisy Information Sharing
全局博弈是不完全信息博弈的一个子类,其中一组代理人决定对一个政权采取行动,该政权具有代表其权力的基本$θ$。每个代理都可以访问$θ$的独立噪声观测。为了捕捉在社会网络中的信息交换的代理人的行为,我们假设代理人分享他们的观察在一个嘈杂的环境中,然后才作出决定。我们表明,全球游戏与嘈杂的信息共享不承认一个直观的阈值政策,只依赖于代理的信念有关的基础$θ$类型。这是在对比现有的结果阈值政策的传统设置的全球游戏。出于这个结果,我们研究了存在的均衡策略在一个更一般的阈值型政策的集合,并表明,这种均衡策略的存在,是唯一的,如果信息共享发生在一个足够嘈杂的环境。
2017-10-28 cs.GT cs.SI math.OC
Distributed Linear Quadratic Optimal Control: Compute Locally and Act Globally
在本文中,我们考虑了单积分动态代理网络的分布线性二次控制问题。我们首先建立了一个一般的制定分布式LQ问题,并表明,最优控制增益依赖于网络上的全球信息。因此,最佳协议只能以集中的方式计算。为了克服这一缺点,我们提出了以分散方式计算的协议的设计。我们将把全局成本泛函写成局部成本泛函的和,每个局部成本泛函与一个代理相关联。为了实现受控网络的“良好”性能,每个代理然后计算自己的本地增益,使用其相邻代理的采样信息。这种分散的计算只会导致次优的全局网络行为。然而,我们将证明由此产生的网络将达成共识。最后给出了一个仿真例子来说明该协议的性能。
2019-05-13 math.OC
A Multi-Fidelity Active Learning Method for Global Design Optimization Problems with Noisy Evaluations
提出了一种多保真度(MF)主动学习方法,用于解决性能指标评价带有噪声的设计最优化问题。即,广义MF代理模型用于设计空间探索,利用任意数量的分层保真度水平,即,性能评估来自不同的模型,求解器或离散化,其特征在于不同的准确性。该方法旨在准确预测设计性能,同时减少仿真驱动设计(SDD)所需的计算工作量,以实现全局最优值。整体MF预测被评估为用连续保真度水平之间的误差的替代物校正的低保真度训练的替代物。代理是基于随机径向基函数(SRBF)与最小二乘回归和超参数的在环优化,以处理噪声训练数据。该方法自适应地查询新的训练数据,通过主动学习方法选择设计点和所需的保真度水平。这是基于较低的置信边界方法,该方法结合了性能预测和相关的不确定性,以选择最有前途的设计区域。保真度水平的选择考虑到与其在培训中的使用相关的收益成本比。该方法的性能进行评估和讨论,使用四个分析测试和三个SDD问题的基础上计算流体动力学模拟,即形状优化的NACA水翼,DTMB 5415驱逐舰,和滚上/滚下客运渡轮。保真度水平提供了自适应网格细化和多网格分辨率的方法。在有限的函数评估预算的假设下,与仅通过高保真评估训练的模型相比,所提出的MF方法表现出更好的性能。
2022-07-10 math.OC
A Smooth Distributed Feedback for Global Rendezvous of Unicycles
本文提出了一种解决方案的会合控制问题的网络的运动单轮在平面上,每个配备了一个板载相机测量其相对于它的邻居在身体框架坐标系中的相对位移。一个光滑的,与时间无关的控制律,驱动单圈从任意的初始条件下,一个共同的位置,假设传感有向图包含一个反向生成树。所提出的反馈非常简单,并且仅依赖于机载测量。不需要全球定位系统,也不需要任何关于独轮车方向的信息。
2016-05-25 math.OC
Exponential Convergence for Distributed Smooth Optimization Under the Restricted Secant Inequality Condition
本文研究了分布式光滑最优化问题,其目标是利用局部信息交换,使由局部光滑费用函数之和构成的全局费用函数最小。证明一阶方法的指数/线性收敛的标准假设是费用函数的强凸性,这在许多实际应用中并不成立。本文首先证明了在全局费用函数满足限制性割线不等式条件下,连续时间分布式原始-对偶梯度算法指数收敛于一个全局极小点.这个条件比强凸性条件弱,因为它不需要凸性,全局极小点也不需要唯一。然后,我们证明了离散时间分布式原始对偶法构造使用欧拉近似方法收敛到一个全局极小在相同的条件下线性。通过数值模拟说明了理论结果。
2019-09-07 math.OC
Distributed Stochastic Constrained Composite Optimization over Time-Varying Network with a Class of Communication Noise
研究了一类带有通信噪声的时变网络上分布式随机多智能体约束最优化问题。本文考虑的问题,在复合优化设置,这是更普遍的文献中的噪声网络优化。值得注意的是,现有的主流噪声网络优化方法是基于欧几里德投影。基于Bregman投影的镜像下降格式,提出了一种非欧方法,并研究了其收敛性。这种方法是分布式随机复合镜像下降型方法(DSCMD-N),它提供了一个更通用的算法框架。得到了DSCMD-N的一些新的误差界。据我们所知,这是第一个工作,分析和推导的收敛速度的优化算法在噪声网络优化。在适当的通信噪声条件下,我们还证明了该方法在非光滑凸优化下可以得到一个最优的$O(1/\sqrt{T})$速率。在期望收敛性、高概率收敛性和几乎必然收敛性方面得到了新的收敛结果。
2022-12-19 cs.SY eess.SY math.OC
Cooperative Global Robust Output Regulation for a Class of Nonlinear Multi-Agent Systems by Distributed Event-Triggered Control
研究了一类非线性多智能体系统基于分布式内模设计的事件触发协作全局鲁棒输出调节问题。我们表明,我们的问题实际上可以解决的意义上,跟踪误差的最终界可以任意小,通过调整所提出的事件触发机制的设计参数。我们的结果提供了一些新的功能。首先,我们的控制律是强大的外部干扰和参数不确定性,这是允许属于一些任意大的规定紧集。其次,我们的系统中的非线性函数不需要满足全局Lipchitz条件。因此,我们的系统是一般的,足以包括一些基准非线性系统,不能处理现有的方法。最后,我们的控制律是一个特定的分布式输出为基础的事件触发的控制律,它本身适合于一个直接的数字实现。
2017-07-26 math.OC
The Informational Approach to Global Optimization in presence of very noisy evaluation results. Application to the optimization of renewable energy integration strategies
我们考虑从非常嘈杂的评价函数f的全局优化的问题。我们采用贝叶斯序贯方法:选择评估点以减少关于f的全局最优位置的不确定性,如通过相应随机变量的熵所测量的(全局优化的信息方法,Villemonteix等人,2009年)。当评估是非常嘈杂的,来自使用条件模拟的熵的估计的误差变得不可忽略相比,其在输入域上的变化。我们提出了一个解决这个问题的方法,选择评价点,如果几个评价将在这些点。该方法被施加到可再生能源的整合到配电网的策略的优化。
2015-06-15 math.OC stat.AP stat.CO
Distributed Global Optimization by Annealing
本文考虑非凸函数全局极小化的一个分布式算法。该算法是一个一阶共识+新息型算法,采用衰减加性高斯噪声进行退火,在一定的技术假设下收敛到全局最小值。本文提出了简单的方法来验证所需的技术假设,并说明了它与分布式目标定位应用程序。
2019-07-20 cs.MA math.OC
On Distributed Stochastic Gradient Algorithms for Global Optimization
研究了光滑非凸最优化问题全局极小点的网络计算问题。众所周知,分布式梯度下降型算法可以通过添加缓慢衰减的高斯噪声以逃避局部极小值来实现收敛到全局极小值的集合。然而,据以确定会出现趋同的技术假设在实践中可能具有限制性。特别是,在已知的收敛结果中,代理所拥有的局部目标函数需要满足高度限制性的有界梯度相异度条件。本文证明了收敛到全局极小值集,同时放松这一关键假设。
2019-10-23 cs.MA math.OC
Error Correcting Codes for Distributed Control
在网络控制系统的应用中,如何在有噪声的通信链路上稳定不稳定对象是一个越来越重要的问题。虽然Schulman和Sahai在过去二十年的工作,以及他们对"树码" \phantom{}和"随时容量"概念的发展,为研究这些问题提供了理论框架,但由于不存在具有有效编码和解码的树码的显式构造,因此在这一领域很少有实际进展。为了稳定由有界噪声驱动的不稳定设备,需要实时编码和实时解码以及随着解码延迟呈指数增长的可靠性,这就是树码所保证的。我们证明了线性树码发生的概率很高,擦除信道,给出了一个明确的建设与预期的解码复杂度是恒定的每一个时刻。我们给出了新的充分条件的速度和可靠性所需的树代码稳定向量植物,并认为他们是渐近紧。这项工作采取了重要的一步,控制植物在嘈杂的渠道,我们通过几个例子证明了该方法的有效性。
2012-02-25 cs.IT math.IT math.OC
Annealing for Distributed Global Optimization
本文证明了一类基于网络的多智能体非凸优化分布式算法的全局收敛性。允许代理在时变无向图上通信。假设每个代理拥有一个本地目标函数(假设是光滑的,但可能是非凸的)。本文考虑优化和函数的算法。提出了一种基于一阶信息的共识+创新的分布式算法。在适当的条件下,网络的连通性和成本目标,收敛到全局最优解的集合是通过退火型的方法,与衰减高斯噪声独立地添加到每个代理的更新步骤。结果表明,所提出的算法收敛于概率的和函数的全局极小值的集合。
2019-03-18 math.OC stat.ML
Convergence rate of a simulated annealing algorithm with noisy observations
在本文中,我们提出了一个修改版本的模拟退火算法求解随机全局优化问题。更确切地说,我们解决的问题,找到一个全局极小值的函数与嘈杂的评价。我们提供了一个收敛速度和优化的参数化,以确保一个给定的准确性和置信水平接近1的最小数量的评估。这项工作是完成了一组数值实验和评估的实际性能都在基准测试用例和现实世界的例子。
2017-03-01 math.OC math.ST stat.ML
Sharp Global Guarantees for Nonconvex Low-rank Recovery in the Noisy Overparameterized Regime
Dept. of Electrical and Computer Engineering, University of Illinois at Urbana-Champaign(电气与计算机工程系,伊利诺伊大学厄巴纳-香槟分校)
本文提出一种新的证明技术,统一了逃逸方向与反例不存在性两种方法,证明在噪声过参数化机制下,轻微过参数化后近似二阶点即可达到与昂贵凸方法相同的极小极大最优恢复界,且结果对噪声水平和求解精度均锐利。
2025-05-06 cs.LG math.OC stat.ML
Analysis of Distributed ADMM Algorithm for Consensus Optimization in Presence of Error
ADMM算法是求解凸优化问题的一种常用算法。将该算法应用于分布式共识优化问题,得到了一个完全分布式的迭代解,该解依赖于节点的处理和邻居之间的通信。本地计算通常遭受不同类型的误差,例如,观测或量化噪声,这会降低算法的性能。在这项工作中,我们专注于分析分布式ADMM的一致性优化存在的附加节点误差的收敛行为。我们特别表明,(一个嘈杂的)ADMM在一定条件下线性收敛,并检查相关的收敛点。数值结果证明了所提出的分析的有效性。
2017-01-14 cs.DC math.OC
Nonuniform Line Coverage from Noisy Scalar Measurements
MIT(麻省理工学院);Princeton University(普林斯顿大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Ohio State University(俄亥俄州立大学)
本文研究了移动代理在直线网络中实现分布式覆盖控制的问题,提出了一种随机协议,通过每个代理在每一步采样三个附近点的标量场,保证收敛到最优位置,并分析了收敛时间。
2014-11-22 cs.SY eess.SY math.OC
Parallel Implementation of Distributed Global Optimization (DGO)
分布式全局优化(DGO)[13]在MP-1和NCUBE并行计算机上的并行实现显示了该算法性能的近似O(n)增长。因此,在并行处理器上实现DGO可以弥补该算法的唯一缺点,即随着维数的增加,执行时间为O(n2)。DGO的并行实现的加速因子是相对于相同的问题的顺序执行时间在IBM-IV计算机上测量的。在MP-1上对算法进行SIMD实现,对于n = 9的优化问题,总加速比为126,实现了最佳的加速。该优化问题分布在Mas-Par的128个PE上。
2020-12-16 cs.DC math.OC
Cooperative learning in multi-agent systems from intermittent measurements
Princeton University(普林斯顿大学)
针对时变连接和间歇测量下的多智能体系统,提出一种分布式学习协议,从噪声测量中学习未知向量μ,并给出学习速度与网络大小和组合特征的关系。
2014-12-15 cs.LG cs.MA cs.SY
GODDeS: Globally ε-Optimal Routing Via Distributed Decision-theoretic Self-organization
本文介绍了GODDeS:一种完全分布式的自组织决策理论路由算法,设计用于在有损ad-hoc无线环境中有效利用高质量路径,通常具有大量节点。路由问题被建模为一个分散的马尔可夫决策过程的最优控制问题,其特征在于本地已知的数据包丢弃概率,平均保持不变或变化缓慢的链路。这个优化问题的等价性的性能最大化的显式构造的概率自动机,使我们能够有效地应用概率正则语言的定量测量理论,并设计一个分布式的高效的解决方案的方法,试图最大限度地减少整个网络的源到汇的下降概率。理论结果为算法的全局性能提供了严格的保证,表明该算法在多项式时间内达到近全局最优。它还认为,GODDeS是显着的业务感知,并最佳地利用多路径路由。理论发展得到高保真网络模拟的支持。
2010-08-10 cs.NI math.OC
Global Optimality in Distributed Low-rank Matrix Factorization
Colorado School of Mines(科罗拉多矿业学院)
我们研究了分布式梯度下降(DGD)的一个变种的收敛性的分布式低秩矩阵近似问题,其中一些优化变量用于共识(如在经典的DGD)和一些优化变量只出现在本地的网络中的一个单一的节点。我们称所得到的算法为DGD+ DGD。使用算法连接到梯度下降和几何连接到集中式低秩矩阵逼近问题的良好景观,我们确定了充分条件,保证DGD+ DGD收敛到原集中式问题的全局极小值的精确共识。对于分布式低秩矩阵近似问题,这些保证是更强的-在共识和最优性方面-比出现在文献中的经典DGD和更一般的问题。
2018-12-24 cs.LG math.OC stat.ML
Diffusion LMS Strategies in Sensor Networks with Noisy Input Data
McGill University(麦吉尔大学)
本文研究了在存在白测量噪声的传感器网络中分布式LMS算法的性能,提出了一种消除偏差的技术,开发了新的扩散LMS算法以减轻回归噪声的影响并获得无偏参数估计。
2015-07-18 cs.SY eess.SY math.OC
Macroscopic Noisy Bounded Confidence Models with Distributed Radical Opinions
Delft University of Technology(代尔夫特理工大学);Politecnico di Torino(都灵理工学院);Institute for Problems of Mechanical Engineering, Russian Academy of Sciences (IPME RAS)(俄罗斯科学院机械问题研究所)
本文研究了作为有界信心意见动力学的均值场(宏观)近似出现的非线性福克-计划克(FP)方程,其中意见受环境噪声和极端观点(顽固个体)的影响。极端观点的分布作为无限维的外生输入影响FP方程的稳态意见分布。本文建立了FP方程的数学性质,特别是证明了动态方程的适定性,提供了稳态解的存在性结果及定量全局估计,以及建立了保证动态收敛到稳态的噪声水平下界。结合结果(ii)和(iii)可得系统在足够大噪声下的输入-输出稳定性。接着利用傅里叶分析研究了在均匀初始分布下意见簇的结构。具体给出了两种用于识别秩序-混乱转变和表征初始聚类行为的数值方案。分析结果通过连续体代理模型(偏微分方程)和对应的离散代理模型(相互作用随机微分方程)的数值模拟得到验证。
2020-01-13 cs.SY eess.SY math.AP
Learning the Globally Optimal Distributed LQ Regulator
本文研究了有限时域输出反馈线性二次型(LQ)控制问题的无模型学习方法,该问题的控制策略具有子空间约束。子空间约束自然出现在分布式控制领域,并提出了一个重大的挑战,在这个意义上,标准的基于模型的优化和学习导致棘手的数值程序一般。最近的零阶优化结果的基础上,我们建立了无模型的样本复杂性界的类的分布式LQ问题的局部梯度优势常数存在于任何子水平集的代价函数。%,其允许局部梯度优势常数在代价函数的子水平集上有效。我们证明了一类基本的分布式控制问题-通常被称为二次不变(QI)的问题-以及其他拥有此属性。据我们所知,我们的结果是第一个样本复杂度界保证学习全局最优的分布式输出反馈控制策略。
2020-05-30 cs.SY eess.SY math.OC
Distributed Adaptive Time-Varying Optimization with Global Asymptotic Convergence
针对多智能体时变优化,本文提出由死区算法桥接平均估计器与自适应优化器的分布式算法,证明全局渐近收敛并扩展至一般代价函数。
2024-08-03 cs.SY eess.SY math.OC
Passivity-Based Local Design Conditions for Global Optimality in Distributed Convex Optimization
本文利用无源性理论为分布式凸优化建立了仅需局部设计条件的通用框架,使异构智能体无需全局初始化即可实现即插即用的全局最优收敛,并支持有向拓扑扩展。
2025-03-12 cs.SY eess.SY math.OC
GIANT: Globally Improved Approximate Newton Method for Distributed Optimization
University of California at Berkeley(加州大学伯克利分校);University of Queensland(昆士兰大学);Stanford University(斯坦福大学)
针对分布式计算环境,考虑经验风险最小化问题,提出了一种分布式通信高效的牛顿型优化方法。在每一次迭代中,每个worker都在本地找到一个近似牛顿(ANT)方向,并将其发送给主驱动程序。然后,主驱动程序对从工作程序接收到的所有ANT方向进行平均,以形成{ \it全局改进的ANT}(GIANT)方向。GIANT是高度通信效率的,并且自然地利用了本地计算和全局通信之间的权衡,因为更多的本地计算导致更少的总通信轮次。理论上,我们表明,GIANT享有一个改进的收敛速度相比,一阶方法和现有的分布式牛顿型方法。此外,与许多现有的分布式牛顿型方法以及流行的一阶方法形成鲜明对比,GIANT的一个非常有利的实用功能是它只涉及一个调谐参数。我们进行大规模的计算机集群上的实验,并根据经验,证明了卓越的性能的巨人。
2018-09-11 cs.DC cs.LG math.OC
Distributed Nonconvex Optimization: Gradient-free Iterations and $ε$-Globally Optimal Solution
本文针对带约束的分布式非凸优化问题,提出结合切比雪夫多项式逼近、平均一致性和多项式优化的CPCA算法,实现无梯度迭代下的ε-全局最优解,并保证查询与通信高效及可分布式终止。
2024-04-21 cs.SY eess.SY math.OC
Distributed Adaptive Newton Methods with Global Superlinear Convergence
研究了对等网络中每个节点通过与相邻节点通信来最小化有限个目标函数和的分布式最优化问题。与现有文献中最快的分布式算法以全局线性或局部超线性速度收敛形成鲜明对比,我们提出了一种具有全局平方收敛速率的分布式自适应牛顿(DAN)算法。我们的核心思想在于设计一个有限时间的集一致性方法与Polyak的自适应步长。此外,我们引入了一种低秩矩阵近似(LA)技术来压缩黑塞矩阵的新息,使得每个节点每次迭代只需要发送维度为$\mathcal{O}(p)$(其中$p$是决策向量的维度)的消息,这在本质上与一阶方法相同。然而,由此产生的DAN-LA收敛到一个最优解的全局超线性率。通过对逻辑斯谛回归问题的数值实验,验证了该方法的优越性.
2022-01-14 cs.DC cs.MA cs.SY
A Distributed Hierarchical SGD Algorithm with Sparse Global Reduction
Georgia Institute of Technology(佐治亚理工学院);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在分布式平台上训练大规模机器学习应用时,减少通信仍然是一个很大的挑战。为了解决这个问题,我们提出了一个分布式分层平均随机梯度下降(Hier-AVG)算法,通过引入局部约简,减少了全局约简。作为一种通用的并行SGD,Hier-AVG可以通过调整参数来复制几种流行的同步并行SGD变体。我们表明,Hier-AVG与不频繁的全球减少仍然可以达到标准的收敛速度为非凸优化问题。此外,我们还表明,更多参与者参与的更频繁的局部平均可以导致更快的训练收敛。通过比较Hier-AVG与另一种流行的分布式训练算法K-AVG,我们表明,通过部署局部平均与更少的全局平均,Hier-AVG仍然可以达到相当的训练速度,同时经常得到更好的测试精度。这表明,局部平均可以作为一种替代的补救措施,以有效地减少通信开销时,学习者的数量是大的。Hier-AVG在CIFAR-10和IMAGENET-1 K上使用几种最先进的深度神经网络进行实验,以验证我们的分析并显示其优越性。
2019-09-09 cs.DC cs.LG math.OC
Safe global optimization of expensive noisy black-box functions in the $δ$-Lipschitz framework
University of Calabria(卡拉布里亚大学);Lobachevsky University(罗巴切夫斯基大学);University of Milano-Bicocca(米兰比可卡大学)
本文研究了满足Lipschitz条件的昂贵噪声黑箱函数的安全全局最大化问题(不应与鲁棒优化混淆)。概念“安全”意味着优化期间的目标函数$f(x)$不应违反“安全”阈值,例如,最大化问题中的某个先验给定值$h$。因此,任何新的函数评估(可能被噪声破坏)必须仅在“安全点”处执行,即,在已知目标函数$f(y) > h$的点$y$处执行。这里的主要困难在于,所使用的优化算法应当确保在执行$f(y)$的评估之前在点$y$处满足安全约束。因此,既需要确定搜索域$D$内的安全区域$Ω$,又需要找到$Ω$内的全局最大值。另一个困难在于,这些问题应该在存在噪声的情况下解决。本文首先从理论上研究了该问题,结果表明,即使目标函数$f(x)$满足Lipschitz条件,由于噪声的存在,传统的Lipschitz次量和优量也不能使用.然后,提出了一个$δ$ -Lipschitz框架和两个算法,使用它来解决安全的全局最大化问题。第一种方法确定搜索域内的安全区域,第二种方法在找到的安全区域上执行全局最大化。对于这两种方法的一些理论结果,其功能和收敛性的建立。最后,数值实验证实了所提出的程序的可靠性。
2020-08-15 cs.LG cs.NA math.NA