Partitioning Data on Features or Samples in Communication-Efficient Distributed Optimization?
Lehigh University（利哈伊大学）
本文研究了数据划分方式对分布式优化的影响。原始的DiSCO算法[Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss，Ychen Zhang and Lin Xiao，2015]基于样本对输入数据进行分区。我们描述了如何修改原始算法，允许分区功能，并显示其效率在理论上和实践中。
2015-10-22 cs.LG math.OC
Distributed Dynamic Safe Screening Algorithms for Sparse Regularization
University of Pittsburgh（匹兹堡大学）
分布式优化作为大规模样本模型训练的有效方法之一，得到了广泛的应用。然而，在大数据时代，大规模学习问题广泛存在，既有海量样本，又有高维特征。安全筛选是一种通过丢弃零系数的非活动特征来加速高维模型的流行技术。然而，现有的安全筛查方法仅限于序贯设置。本文提出了一种新的稀疏正则化模型的分布式动态安全筛选（DDSS）方法，并将其分别应用于共享内存和分布式内存结构，该方法在保证模型和数据集稀疏性的前提下，能够在保证精度的前提下显著提高计算速度.据我们所知，这是分布式安全动态筛选方法的第一项工作。理论上，我们证明了所提出的方法实现了线性收敛速度与较低的整体复杂度，可以消除几乎所有的非活动功能，在有限的迭代次数几乎肯定。最后，在基准数据集上的大量实验结果证实了我们提出的方法的优越性。
2022-04-23 cs.DC cs.LG stat.ML
Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss
Microsoft Research（微软研究院）
我们考虑源自随机最优化的样本平均近似或机器学习中的经验风险最小化的分布式凸优化问题。我们假设分布式计算系统中的每台机器都可以访问本地经验损失函数，该函数由独立同分布构造。从一个共同分布中采样的数据。我们提出了一个通信效率的分布式算法，以尽量减少整体经验损失，这是平均的本地经验损失。该算法基于不精确阻尼牛顿法，其中不精确牛顿步由分布式预条件共轭梯度法计算。我们分析了它的迭代复杂度和通信效率最小化自协调经验损失函数，并讨论了分布岭回归，逻辑斯谛回归和二进制分类与平滑铰链损失的结果。在监督学习的标准设置中，算法所需的通信轮数不会随着样本量的增加而增加，只会随着机器的数量缓慢增长。
2015-01-01 cs.LG math.OC stat.ML
Finite Sample Guarantees for Distributed Online Parameter Estimation with Communication Costs
Purdue University（普渡大学）
我们研究的问题，估计一个未知的参数在一个分布式和在线的方式。现有的分布式在线学习的工作通常集中在渐近分析，或提供遗憾的界限。然而，在有限数量的时间步长之后，这些结果可能不会直接转化为学习模型的误差界限。在本文中，我们提出了一个分布式在线估计算法，使网络中的每个代理，以提高其估计精度与邻居进行通信。我们提供的估计误差的非渐近界，利用底层模型的统计特性。我们的分析表明，估计误差和通信成本之间的权衡。此外，我们的分析允许我们确定通信可以停止的时间（由于与通信相关联的成本），同时满足期望的估计精度。我们还提供了一个数值例子来验证我们的结果。
2022-09-12 cs.LG cs.SY eess.SY
Local MixVR: Breaking the Communication-Sample Dependence in Distributed Learning
Technion Haifa, Israel（技术离子海法分校，以色列）；EPFL Lausanne, Switzerland（洛桑联邦理工学院，瑞士）
提出Local MixVR框架，通过局部更新与方差缩减技术消除通信复杂度对样本总数N的依赖，实现仅与工作节点数M相关的通信复杂度，在M<O(N^{1/4})时优于现有最优方法。
2026-10-01 cs.LG
Distributed gradient-based optimization in the presence of dependent aperiodic communication
Paderborn University（帕德博恩大学）；Karlstad University（卡尔斯塔德大学）；Hasso-Plattner-Institute, University of Potsdam（波茨坦大学哈索·普拉特纳研究院）
迭代分布式优化算法涉及多个代理，这些代理随着时间的推移彼此通信，以便最小化/最大化全局目标。在存在不可靠的通信网络的情况下，测量接收到的数据的新鲜度的信息量（AoI）可能很大，并且因此阻碍算法收敛。在本文中，我们研究了一般的分布式基于梯度的优化算法的收敛性的通信，既不定期发生，也不在随机独立的时间点。我们表明，收敛是有保证的随机变量与AoI过程是随机主导的随机变量有限的第一时刻。这改善了以前的要求有界性超过第一时刻。然后，我们引入随机强连接（SSC）网络，一种新的随机形式的强连通性的时变网络。我们展示：如果对于任何$p \ge0$，描述SSC网络中的代理之间的通信成功的过程是$α$ -与$n^{p-1}α(n)$可求和的混合，则相关联的AoI过程由具有有限$p$阶矩的随机变量随机支配。结合我们的第一个贡献，这意味着分布式随机梯度下降收敛的存在AoI，如果$α(n)$是可求和的。
2022-01-27 cs.LG cs.MA math.OC
Distributed Self-Paced Learning in Alternating Direction Method of Multipliers
Virginia Tech（弗吉尼亚理工大学）；George Mason University（乔治梅森大学）
自定进度学习（SPL）模仿人类的认知过程，人类通常从简单的样本学习到困难的样本。SPL中的一个关键问题是每个实例权重所需的训练过程取决于其他样本，因此无法在大规模数据集中以分布式方式运行。在本文中，我们重新制定的自定进度的学习问题到分布式设置，并提出了一种新的分布式自定进度的学习方法（DSPL）来处理大规模的数据集。具体而言，可以基于乘法器的共识交替方向方法为每个批次并行优化模型和实例权重。我们还证明了我们的算法在温和的条件下的收敛性。在合成数据集和真实数据集上的大量实验表明，我们的方法优于现有的方法。
2018-07-06 cs.LG stat.ML
Defending Distributed Classifiers Against Data Poisoning Attacks
University of Melbourne（墨尔本大学）
支持向量机（SVM）容易受到有针对性的训练数据操纵，例如中毒攻击和标签翻转。通过仔细地操纵训练样本的子集，攻击者迫使学习者计算不正确的决策边界，从而导致错误分类。考虑到支持向量机在工程和生命关键型应用中的重要性日益增加，我们开发了一种新的防御算法，提高了对此类攻击的抵抗能力。局部内在孤立性（LID）是一个很有前途的度量，它可以表征数据样本的离群性。在这项工作中，我们引入了一个新的近似LID称为K-LID，使用核距离的LID计算，这使得LID计算在高维变换空间。我们引入了一个加权支持向量机对这种攻击使用K-LID作为一个显着的特点，不强调可疑的数据样本的SVM决策边界的影响。每个样本都根据其K-LID值来自良性K-LID分布而不是受攻击的K-LID分布的可能性进行加权。然后，我们演示了如何提出的防御可以应用到分布式SVM框架，通过一个基于SDR的监控系统的案例研究。基准数据集的实验表明，所提出的防御大大降低了分类出错率（平均10%）。
2020-08-21 cs.LG stat.ML
Distributed Adaptive Nearest Neighbor Classifier: Algorithm and Theory
Texas Tech University（德克萨斯理工大学）；University of Miami（迈阿密大学）；New Jersey Institute of Technology（新泽西理工学院）
针对大规模分布式数据分类，提出一种由数据驱动随机选择近邻数并采用早停规则的分布式自适应 NN 分类器，证明其在子样本量足够大时达到近优超额风险收敛速率，并通过模拟和真实数据验证有效性。
2023-06-03 cs.LG stat.ME stat.ML
Entry Dependent Expert Selection in Distributed Gaussian Processes Using Multilabel Classification
University of Tübingen（蒂宾根大学）
本文提出一种基于输入数据点特征的灵活专家选择方法，将专家选择建模为多标签分类问题，以降低分布式高斯过程中集成聚合的计算成本并保持预测质量。
2024-01-08 cs.DC cs.LG
Learning of Tree-Structured Gaussian Graphical Models on Distributed Data under Communication Constraints
Sharif University of Technology（谢里夫理工大学）
在本文中，学习树结构的高斯图形模型从分布式数据。在我们的模型中，样本存储在一组分布式机器中，其中每台机器只能访问一个子集的功能。然后，中央机器负责基于从其他节点接收的消息来学习结构。我们提出了一套有效的沟通策略，理论上证明，传达足够的信息，可靠的学习的结构。特别是，我们的分析表明，即使每台机器只发送其本地数据样本的标志到中心节点，树结构仍然可以恢复高精度。我们在合成和真实世界数据集上的模拟结果表明，我们的策略在推断底层结构方面达到了预期的准确性，同时在通信上花费了少量预算。
2018-09-21 cs.LG stat.ML
Order Optimal One-Shot Distributed Learning
Sharif University of Technology（谢里夫理工大学）
我们考虑在单次设置中的分布式统计优化，其中有$m$机器，每个机器观察$n$ i.i.d.。样品基于其观察到的样本，每个机器然后向服务器发送$O(\log(mn))$长度的消息，在该服务器处，将估计使预期损失最小化的参数。我们提出了一种称为多分辨率估计（MRE）的算法，其期望误差不大于$\tilde{O}\big(m^{-{1}/{\max(d,2)}} n^{-1/2}\big)$，其中$d$是参数空间的维数。该误差界满足现有的下限多对数因子，从而阶最优。与现有算法不同，MRE的预期误差随着机器的数量（$m$）趋于无穷大而趋于零，即使当每台机器的样本数量（$n$）保持由常数限定的上限时也是如此。MRE算法的这一特性使其适用于$m$比$n$大得多的新机器学习范例。
2019-11-02 cs.LG stat.ML
D2D-Enabled Data Sharing for Distributed Machine Learning at Wireless Network Edge
School of Information Engineering, Guangdong University of Technology（广东工业大学信息工程学院）；Future Network of Intelligence Institute (FNii) and the School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）未来智能网络研究院及理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
移动边缘学习是一种新兴技术，它使分布式边缘设备能够通过利用其本地数据样本以及通信和计算资源来协作训练共享机器学习模型。为了解决该技术面临的落伍者困境问题，本文提出了一种新的设备到设备的数据共享方法，在该方法中，不同的边缘设备通过通信链路相互共享数据样本，以适当地调整它们的计算负载，从而提高训练速度。在这种设置下，我们优化无线电资源分配的数据共享和分布式训练，与固定数量的本地和全局迭代下的总训练延迟最小化的目标。数值结果表明，当数据样本在边缘设备间非独立同分布时，该数据共享设计显著降低了训练延迟，提高了训练精度.
2020-01-28 cs.LG eess.SP stat.ML
Distributed Nonparametric Estimation: from Sparse to Dense Samples per Terminal
Tsinghua University（清华大学）；Southeast University（东南大学）
针对通信约束下的分布式非参数函数估计问题，刻画了各样本量情形下的极小极大最优速率及相变，设计分层估计协议并证明其最优性，解决了此前研究遗留的开放问题。
2025-01-14 cs.IT cs.LG math.IT
Distributed Simulation and Distributed Inference
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）；Indian Institute of Science（印度科学学院）
来自大小为$k$的域上的未知概率分布$\bf p$的独立样本分布在$n$参与者之间，每个参与者持有一个样本。每个参与者可以在通信的同时消息传递模型中将$\ell$比特传送给中央裁判，以帮助裁判推断未知$\bf p$的属性。在$\ell<\log k$的通信匮乏设置中，推理所需的最少参与者数量是多少？我们开始探索一个通用的“模拟和推断”的策略，这样的推理问题，中心模拟所需数量的样本从未知的分布和应用标准的推理算法的配置设置。我们的第一个结果表明，对于$\ell<\log k$，即使是单个样本的完美模拟也是不可能的。尽管如此，我们提出了一个拉斯维加斯算法，模拟一个单一的样本从未知的分布使用$O(k/2^\ell)$样本的期望。作为直接推论，我们得到模拟-推断达到了$Θ(k^2/2^\ellε^2)$的最佳样本复杂度，用于学习未知分布到总变异距离$ε$。对于身份测试的原型测试问题，模拟和推断与$O(k^{3/2}/2^\ellε^2)$样本一起工作，这似乎是所有不使用任何额外资源的通信协议所固有的要求。有趣的是，我们可以使用公共硬币打破这一障碍。具体来说，我们展示了一个公共硬币通信协议，使用$O(k/\sqrt{2^\ell}ε^2)$样本进行身份测试。此外，我们表明，这是最佳的常数因子。我们理论上的样本最优协议很容易在实践中实现。我们的证明下限需要显示收缩$χ^2$距离的产品分布由于通…
2019-05-23 cs.DM cs.DS cs.IT
Communication-efficient Algorithms for Distributed Stochastic Principal Component Analysis
Technion - Israel Institute of Technology（以色列理工学院）；Weizmann Institute of Science（魏茨曼科学研究学院）；Toyotoa Technological Institute at Chicago（芝加哥丰田技术研究所）
我们研究了主成分分析的基本问题，在统计分布设置中，每台机器的$m$存储的$n$点采样i.i.d.的样本。一个未知的分布。我们研究的算法，用于估计人口协方差矩阵的主要成分，都是通信效率和实现估计误差的集中式ERM解决方案，使用所有$mn$样本的顺序。在消极的一面，我们表明，在凸性假设下的分布估计得到的结果相比，PCA的目标，简单地平均本地ERM解决方案不能保证误差是一致的集中式ERM。我们表明，这种不幸的现象可以通过执行一个简单的校正步骤，其中相关的个别解决方案，并提供了一个估计，这是一致的集中式ERM的巨大的$n$。我们还介绍了一个迭代分布式算法，适用于任何政权的$n$，这是基于分布式矩阵向量产品。该算法给出了显着的加速通信轮在以前的分布式算法，在一个广泛的制度的参数。
2017-02-27 cs.LG
Overpredictive Signal Analytics in Federated Learning: Algorithms and Analysis
Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对联邦学习中的隐私与通信约束，本文提出基于凸优化的客户端过预测信号近似算法，量化通信、采样率与近似误差权衡，并在住宅能耗数据集验证性能。
2024-10-02 cs.LG eess.SP stat.ML
Distributed Nonparametric Regression under Communication Constraints
University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）
研究了多机分布数据下光滑函数的非参数估计问题。我们假设在每台机器上收集来自白噪声模型的独立样本，并且需要在中央机器上构建底层真函数的估计量。我们对每台机器可以用来向中央机器传输信息的比特数进行了限制。我们的结果给出了各种设置下的统计风险的渐近下界和匹配上界。我们确定了三种制度，这取决于机器的数量，在每台机器上可用的数据的大小，和通信预算之间的关系。当沟通预算较小时，统计风险仅取决于此沟通瓶颈，而与样本量无关。在通信预算较大的情况下，恢复了非分布估计设置中的经典极小极大风险。在中间状态下，统计风险取决于样本量和通信预算。
2018-06-23 cs.LG math.ST stat.ML
Scalable and Sample Efficient Distributed Policy Gradient Algorithms in Multi-Agent Networked Systems
ShanghaiTech University（上海科技大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
本文针对奖励耦合的多智能体强化学习问题，提出一种分布式策略梯度算法，该算法在策略和学习过程上均实现分布式，并在无线网络访问控制和功率控制中显著优于现有方法。
2023-05-14 cs.LG cs.MA
Efficient Distributed Framework for Collaborative Multi-Agent Reinforcement Learning
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Ping An Technology（平安科技）
不完全信息环境下的多智能体强化学习受到了研究者的广泛关注。但由于样本采集慢、样本探索差等问题，多智能体强化学习仍存在模型迭代不稳定、训练效率低等问题。此外，现有的分布式框架大多是针对单智能体强化学习提出的，不适合多智能体。在本文中，我们设计了一个分布式MARL框架的基础上，演员工作学习者的架构。在该框架中，可以同时部署多个异步环境交互模块，大大提高了样本采集速度和样本多样性。同时，为了充分利用计算资源，我们将模型迭代与环境交互解耦，从而加速策略迭代。最后，在具有不完全信息特征的MaCA军事仿真环境和SMAC三维实时战略博弈环境中验证了该框架的有效性。
2022-05-11 cs.AI cs.LG cs.MA
Distributed Principal Subspace Analysis for Partitioned Big Data: Algorithms, Analysis, and Implementation
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）；ByteDance Ltd.（字节跳动有限公司）
主子空间分析（PSA）-及其兄弟，主成分分析（PCA）-是信号处理和机器学习中最流行的降维方法之一。但是，集中式PSA/PCA解决方案在现代大数据时代迅速变得无关紧要，其中样本的数量和/或样本的维度通常超过单个机器的存储和/或计算能力。这导致了对分布式PSA/PCA解决方案的研究，其中数据被划分到多台机器上，并且通过机器之间的协作获得主子空间的估计。正是在这种情况下，本文重新访问的分布式PSA/PCA的一般框架下的任意连接的网络的机器，缺乏一个中央服务器的问题。本文件在这方面的主要贡献有三个方面。首先，本文提出了两种可用于分布式PSA/PCA的算法，其中一种用于数据跨样本分区的情况，另一种用于数据跨（原始）特征分区的情况。其次，在样本划分数据的情况下，分析了所提出的算法及其变形，并证明了它们以线性速率收敛于真子空间。第三，在合成数据和真实数据上进行了大量的实验，以验证所提出的算法的有效性。特别是，在样本明智的分区数据的情况下，基于MPI的分布式实现进行研究网络拓扑结构和通信成本之间的相互作用，以及研究所提出的算法上的落后机器的影响。
2021-10-12 cs.DC cs.LG eess.SP
Distributed Traffic Synthesis and Classification in Edge Networks: A Federated Self-supervised Learning Approach
Huazhong University of Science and Technology（华中科技大学）；Peng Cheng Laboratory（鹏城实验室）；Pazhou Laboratory (Huangpu)（（黄埔）琶洲实验室）；China University of Geosciences（中国地质大学）
随着对无线服务的需求不断增长以及人们对数据保护需求的认识不断提高，现有的网络流量分析和管理架构在对日益多样化的服务和应用进行分类和综合方面面临着前所未有的挑战。本文提出了FS-GAN，联邦自监督学习框架，以支持自动流量分析和合成在大量的异构数据集。FS-GAN由多个分布式生成对抗网络（GANs）组成，具有一组生成器，每个生成器被设计为在单个服务流量的分布之后生成合成数据样本，并且每个生成器被训练以区分合成数据样本和本地数据集的真实数据样本。采用基于联邦学习的框架来协调不同数据集上不同GANs的局部模型训练过程。FS-GAN可以对未知类型的服务数据进行分类，并创建合成样本来捕获未知类型的流量分布。我们证明了FS-GAN可以最小化所有数据集上的真实数据分布与合成数据样本分布之间的Jensen-Shannon Divergence（JSD）。FS-GAN还最大化由不同生成器创建的数据样本分布之间的JSD，导致每个生成器产生遵循与一个特定服务类型相同分布的合成数据样本。大量的仿真结果表明，FS-GAN的分类准确率实现了超过20%的提高，平均相比，最先进的基于聚类的流量分析算法。FS-GAN还能够合成高度复杂的流量类型混合，而不需要任何人工标记的数据样本。
2023-02-01 cs.DC cs.LG cs.NI
Optimal Federated Learning for Nonparametric Regression with Heterogeneous Distributed Differential Privacy Constraints
University of Pennsylvania（宾夕法尼亚大学）
本文研究异构分布式差分隐私约束下非参数回归的联邦学习，提出分布式隐私保护估计器，并在 Besov 空间上建立全局与逐点估计的最优收敛速率及匹配 minimax 下界，揭示统计精度与隐私保护之间的权衡。
2024-06-10 cs.LG math.ST stat.ML
Distributed Stochastic Algorithms for High-rate Streaming Principal Component Analysis
University of Michigan（密歇根大学）；Rutgers University–New Brunswick（罗格斯大学新伯朗士威分校）
本文研究了在流媒体环境下，从独立同分布的数据样本中估计协方差矩阵的主特征向量的问题。在许多当代应用中，数据的流式传输速率可能足够高，以至于单个处理器在新样本到达之前无法完成现有特征向量估计方法的迭代。本文制定和分析了一个分布式的经典Krasulina的方法（D-Krasulina），可以跟上高数据流率分布在多个处理节点的计算负载。分析表明，在适当的条件下，D-Krasulina以顺序最优的方式收敛到主特征向量;即，在所有节点上接收到$M$样本之后，其估计误差可以是$O(1/M)$。为了减少网络通信开销，本文还开发和分析了D-Krasulina的小批量扩展，称为DM-Krasulina。对DM-Krasulina算法的分析表明，在适当的条件下，即使在网络中由于通信延迟而必须丢弃某些样本的情况下，DM-Krasulina算法也能实现阶次最优的估计出错率。最后，在合成数据和真实数据上进行实验，以验证D-Krasulina和DM-Krasulina在高速率流设置下的收敛行为。
2020-01-04 cs.CV cs.LG eess.SP
Optimal Convergence for Distributed Learning with Stochastic Gradient Methods and Spectral Algorithms
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
研究了再生核Hilbert空间（RKHS）上非参数回归分布式算法的推广性质。我们首先研究分布式随机梯度方法（SGM），小批量和多遍数据。我们发现，最佳的泛化误差界可以保留分布式SGM的分区水平不是太大。然后，我们将我们的结果扩展到谱正则化算法（SRA），包括核岭回归（KRR），核主成分分析，和梯度方法。我们的结果优于国家的最先进的理论。特别是，我们的研究结果表明，分布式SGM具有较小的理论计算复杂度，与分布式KRR和经典SGM相比。此外，即使对于非分布式SRA，考虑到回归函数可能不在RKHS中的情况，它们也提供了第一最优的、容量依赖的收敛速率。
2018-11-05 cs.AI cs.LG math.FA
Faster Adaptive Momentum-Based Federated Methods for Distributed Composition Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
联邦学习是机器学习中一种流行的分布式学习范式。同时，组合优化是一种有效的分层学习模型，它出现在许多机器学习应用中，如元学习和鲁棒学习。最近，虽然已经提出了一些联邦组合优化算法，但它们仍然受到高样本和通信复杂性的困扰。因此，在本文中，我们提出了一类更快的联邦组合优化算法（即，MFCGD和AdaMFCGD）来求解非凸分布组合问题，该方法建立在基于动量的方差缩减和局部SGD技术的基础上。特别是，我们的自适应算法（即，AdaMFCGD）使用统一的自适应矩阵来灵活地合并各种自适应学习率。此外，我们提供了一个坚实的理论分析，我们的算法在非独立同分布。设置，并证明我们的算法获得了较低的样本和通信复杂性同时比现有的联邦组合算法。具体来说，我们的算法获得较低的样本复杂度的$\tilde{O}(ε^{-3})$与较低的通信复杂性的$\tilde{O}(ε^{-2})$在寻找一个$ε$ -平稳的解决方案。我们在鲁棒的联邦学习和分布式元学习任务上进行了数值实验，以证明我们的算法的效率。
2023-03-30 cs.LG math.OC
Domain Compression and its Application to Randomness-Optimal Distributed Goodness-of-Fit
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）；Indian Institute of Science（印度科学学院）
我们研究了离散分布的拟合优度在分布式环境中，样本被划分在多个用户之间，由于各种信息约束，这些用户只能发布有限的样本信息。最近，作者的一个子集表明，访问一个共同的随机种子（即，共享随机性）导致该问题的样本复杂性的显著降低。在这项工作中，我们提供了一个完整的理解之间的相互作用的共享随机性，严格的信息约束，和样本的复杂性的测试问题，通过表征这三个参数之间的紧密权衡。我们提供了一个通用的分布式拟合优度协议，该协议作为共享随机性的函数，在私人和公共硬币样本复杂度之间平滑插值。我们补充我们的上限与一个一般的框架来证明下限的样本复杂性有限的共享随机性下，这个测试问题。最后，我们实例化我们的两个原型的信息约束的通信和本地隐私的界限，并表明我们的样本复杂性的界限是最佳的所有参数的问题，包括共享的随机性的函数。我们的上界的一个关键组成部分是域压缩的一个新的原语，这是一个工具，允许我们使用有限的随机性将分布映射到更小的域大小，同时保留它们的成对距离。
2019-07-20 cs.DM cs.DS cs.IT
Learning Linear Models Using Distributed Iterative Hessian Sketching
Columbia University（哥伦比亚大学）
本文研究了从观测数据中学习线性系的马尔可夫参数的问题。最近的非渐近系统辨识结果的特点是样本的复杂性，这个问题在单和多推出设置。在这两种情况下，为了获得可接受的估计所需样本个数可以产生最优化问题，对于二阶算法具有难以处理的大量决策变量。我们证明了一个基于Hessian-sketching的随机分布式牛顿算法可以产生$ε$ -最优解并几何收敛。此外，该算法是平凡并行。我们的结果适用于各种素描矩阵，我们用数值例子说明了理论。
2021-12-08 cs.LG cs.NA cs.SY
Adaptive Refinement Protocols for Distributed Distribution Estimation under $\ell^p$-Losses
Tsinghua University（清华大学）；Southeast University（东南大学）
本文针对 $\ell^p$ 损失下的分布式分布估计问题，提出自适应细化协议，实现极小极大最优速率，并识别出 $p=2$ 处的肘部效应。
2024-11-08 cs.IT cs.LG math.IT
