SparkNet: Training Deep Networks in Spark
University of California（加利福尼亚大学）
训练深度网络是一个耗时的过程，用于对象识别的网络通常需要数天的训练。因此，利用集群的资源加快培训是一个重要的工作领域。然而，像MapReduce和Spark这样广泛流行的批处理计算框架并不是为了支持现有分布式深度学习系统的异步和通信密集型工作负载而设计的。我们介绍SparkNet，这是一个在Spark中训练深度网络的框架。我们的实现包括一个方便的接口，用于从Spark RDD读取数据，一个Caffe深度学习框架的Scala接口，以及一个轻量级的多维张量库。使用一个简单的随机梯度下降并行化方案，SparkNet可以很好地扩展集群大小，并容忍非常高的延迟通信。此外，它易于部署和使用，无需参数调整，并且与现有的Caffe模型兼容。我们量化了SparkNet获得的加速比对机器数量、通信频率和集群通信开销的依赖性，并在ImageNet数据集上对我们的系统性能进行了基准测试。
2016-02-28 cs.DC cs.LG cs.NE
Feature selection in high-dimensional dataset using MapReduce
Université Libre de Bruxelles（布鲁塞尔自由大学）
本文描述了一个分布式MapReduce实现的最小冗余最大相关性算法，一个流行的特征选择方法在生物信息学和网络推理问题。所提出的方法处理高/窄和宽/短数据集。我们进一步提供了一个基于Hadoop/Spark的开源实现，并说明了它在涉及数百万观测或特征的数据集上的可扩展性。
2017-09-07 cs.DC cs.LG stat.ML
Modeling Scalability of Distributed Machine Learning
Hewlett Packard Laboratories（惠普实验室）
当今的机器学习是计算密集型的，并且处理大量数据。它以分布式方式实现，以解决这些可伸缩性问题。这项工作在多个计算节点上并行进行。通常很难提前估计有多少节点用于特定的工作负载。我们提出了一个简单的框架，估计分布式机器学习算法的可扩展性。我们衡量的可扩展性的加速算法实现更多的节点。我们提出了梯度下降和图形模型推理的时间复杂度模型。我们通过深度学习训练和信念传播的实验来验证我们的模型。该框架用于研究Apache Spark中机器学习算法的可扩展性。
2017-03-25 cs.DC cs.LG
Splash: User-friendly Programming Interface for Parallelizing Stochastic Algorithms
University of California, Berkeley（加州大学伯克利分校）
随机算法是解决机器学习和优化问题的有效方法。在本文中，我们提出了一个通用的框架称为飞溅的并行随机算法的多节点分布式系统。Splash由一个编程接口和一个执行引擎组成。使用编程接口，用户开发顺序随机算法，而不考虑任何细节的分布式计算。然后，该算法自动并行化的通信效率的执行引擎。我们提供了并行化随机梯度下降的最佳收敛速度的理论依据。Splash基于Apache Spark。逻辑回归，协同过滤和主题建模的真实数据实验验证了Splash比单线程随机算法和Spark上最先进的实现产生了数量级的加速。
2015-09-23 cs.LG
Communication-Efficient Distributed Dual Coordinate Ascent
ETH Zurich（苏黎世联邦理工学院）；UC Berkeley（加州大学伯克利分校）；Lehigh University（理海大学）
通信仍然是大规模机器学习分布式优化算法性能的最重要瓶颈。在本文中，我们提出了一个通信效率的框架，CoCoA，它使用本地计算在原始对偶设置，大大减少了必要的通信量。我们为这类算法提供了强大的收敛速度分析，以及在Spark中实现的真实分布式数据集上的实验。在我们的实验中，我们发现，与最先进的SGD和SDCA算法的小批量版本相比，CoCoA平均以25倍的速度收敛到相同的.001精度解决方案质量。
2014-09-29 cs.LG math.OC stat.ML
Large-scale Feature Selection of Risk Genetic Factors for Alzheimer's Disease via Distributed Group Lasso Regression
1 School of Computing, Informatics；2 Imaging Genetics Center, Institute for Neuroimaging
全基因组关联研究（GWAS）在阿尔茨海默病（AD）的遗传学研究中取得了巨大的成功。不同研究机构的合作成像遗传学研究显示了检测遗传风险因素的有效性。然而，GWAS数据的高维性对检测AD的风险SNP提出了重大挑战。选择相关特征在预测响应变量中至关重要。在这项研究中，我们提出了一种新的分布式特征选择框架（DFSF）进行大规模的成像遗传学研究在多个机构。为了加快学习过程，我们提出了一个家庭的分布式组Lasso筛选规则，以确定不相关的功能，并将它们从优化中删除。然后，我们通过在一系列参数中执行组Lasso特征选择过程来选择相关的组特征。最后，我们采用稳定性选择来对可能有助于早期检测AD的高风险SNP进行排名。据我们所知，这是第一个分布式特征选择模型集成组Lasso特征选择以及检测跨多个研究机构系统的风险遗传因素。对分布在多个机构的809名受试者进行了590万个SNP的实证研究，证明了所提出的方法的效率和有效性。
2017-04-27 cs.LG stat.ML
Understanding and Optimizing the Performance of Distributed Machine Learning Applications on Apache Spark
IBM Research Zürich（IBM苏黎世研究院）
在本文中，我们将探讨Apache Spark在机器学习应用中的性能限制。我们首先分析了Spark中实现的最先进的分布式机器学习算法的特性，并将其与使用高性能计算框架MPI的等效参考实现进行了比较。我们确定了Spark框架的关键瓶颈，并仔细研究了它们对算法性能的影响。为了提高Spark的性能，我们提出了一些实用的技术来减轻它的一些开销。然而，优化计算效率和框架相关的开销并不是性能的唯一关键-我们证明，为了获得最佳性能的任何实现，有必要仔细调整算法的计算时间和通信延迟之间的相应权衡。最佳的权衡取决于分布式算法的属性以及基础设施和框架相关的特性。最后，我们将这些技术和算法优化应用于Spark中实现的三种不同的分布式线性机器学习算法。我们使用五个大型数据集展示了结果，并证明通过使用所提出的优化，我们可以将Spark和MPI之间的性能差异从20倍减少到2倍。
2017-12-13 cs.DC cs.LG
Distributed Record Linkage in Healthcare Data with Apache Spark
Tarbiat Modares University（塔比阿特莫达雷斯大学）
针对医疗数据分散难整合及记录链接任务中的数据不平衡问题，本研究基于Apache Spark机器学习库构建分布式数据匹配模型，经训练数据验证及SVM、回归算法应用，模型无过拟合与欠拟合问题，表现良好。
2024-03-09 cs.DC cs.LG
First-order Constrained Trilevel Optimization Over Distributed Networks for Robust Coreset Selection
该研究针对分布式边缘网络的海量数据问题，提出F²CTO方法，将分布式鲁棒核心集选择建模为带层级约束的三层优化问题，其收敛速率为O(ε^(-3/2))，经实证验证有效高效。
2026-07-31 cs.LG
Fairness-Aware Unsupervised Feature Selection
Tsinghua University（清华大学）；Brandeis University（布兰迪斯大学）；University of Virginia（弗吉尼亚大学）
特征选择是一种普遍的数据预处理范例，用于各种学习任务。由于获取监督信息的代价昂贵，无监督特征选择近年来引起了人们的极大兴趣。然而，现有的无监督特征选择算法没有公平性考虑，并且通过选择与受保护属性（诸如性别、种族和民族）过度关联的特征而遭受放大歧视的高风险。在本文中，我们做了初步的调查公平意识的无监督特征选择问题，并开发了一个原则性的框架，利用内核对齐找到一个子集的高质量的功能，可以最好地保留在原始特征空间中的信息，同时最低限度地与受保护的属性相关。具体而言，不同于主流的处理中去偏置方法，我们提出的框架可以被视为一个模型无关的去偏置策略，消除偏见和歧视之前，下游学习算法参与。多个真实数据集上的实验结果表明，我们的框架实现了效用最大化和公平性促进之间的良好权衡。
2021-06-04 cs.AI cs.LG
RDD-Eclat: Approaches to Parallelize Eclat Algorithm on Spark RDD Framework (Extended Version)
Banaras Hindu University（巴纳拉斯印度教大学）；University of Allahabad（阿拉哈巴德大学）
频繁项集挖掘是一种计算量大、数据密集型的挖掘算法。因此，并行和分布式并行算法被设计成在减少的时间内处理大量的数据。近年来，在Hadoop MapReduce（一种分布式大数据处理框架）上设计了许多并行算法。但是，由于大量的磁盘I/O，MapReduce被发现是效率低下的高度迭代的并行算法。因此，Spark，一个更有效的分布式数据处理框架，已经开发了内存计算和弹性分布式数据集（RDD）功能，以支持迭代算法。在此框架下，基于Apriori和FP-Growth的并行算法已经在Spark RDD框架上得到了设计，但基于Eclat的并行算法还没有被研究。本文提出了一种基于Spark RDD框架的并行Eclat算法RDD-Eclat及其五种变体。在各种基准数据集上对所提出的算法进行了评估，实验结果表明，RDD-Eclat的性能比基于Spark的Apriori高出许多倍。实验结果表明，该算法在增加核数和数据集大小方面具有可扩展性。
2021-10-22 cs.DB cs.DC cs.LG
RDD-Eclat: Approaches to Parallelize Eclat Algorithm on Spark RDD Framework
Banaras Hindu University（贝拿勒斯印度大学）；University of Allahabad（阿拉哈巴德大学）；Mahila Maha Vidyalaya, Banaras Hindu University（贝拿勒斯印度大学女子学院）
最初，在Hadoop MapReduce（一种分布式大数据处理框架）上设计了许多频繁项集挖掘算法。但是，由于繁重的磁盘I/O，MapReduce被发现对于这种高度迭代的算法是低效的。因此，Spark是一种更高效的分布式数据处理框架，它具有内存计算和弹性分布式数据集（RDD）功能来支持迭代算法。在Spark RDD框架上，已经设计了基于Apriori和FP-Growth的并行算法，但基于Eclat的并行算法还没有被研究。本文提出了一种基于Spark RDD框架的并行Eclat算法RDD-Eclat及其五种变体。在各种基准数据集上对所提出的算法进行了评估，结果表明RDD-Eclat的性能比基于Spark的Apriori高出许多倍。实验结果表明，该算法在增加核数和数据集大小方面具有可扩展性。
2019-12-13 cs.DB cs.DC cs.DS
Spark-LLM-Eval: A Distributed Framework for Statistically Rigorous Large Language Model Evaluation
本文提出Spark-LLM-Eval，一个基于Apache Spark的分布式评估框架，通过数据并行处理实现大规模LLM评估，强调统计严谨性，提供置信区间和显著性检验，并利用Delta Lake实现响应缓存以降低评估成本。
2026-01-18 cs.CL cs.DC cs.LG
A Data and Model-Parallel, Distributed and Scalable Framework for Training of Deep Networks in Apache Spark
IBM Research India（IBM印度研究院）；CSIR-CEERI（印度科学与工业研究理事会-中央电子工程研究所）；IIT Delhi（印度理工学院德里分校）
训练深度网络既昂贵又耗时，训练周期会随着数据大小和模型参数的增长而增加。在本文中，我们提供了一个在Apache Spark的CPU集群上分布式训练深度网络的框架。该框架实现了数据分类主义和模型分类主义，使其适用于需要大量训练数据和模型参数的深度网络，这些数据和模型参数太大，无法放入单个机器的内存中。它可以很容易地扩展到一个廉价的商品硬件集群上，以实现显着的加速，并获得更好的结果，使其与GPU和超级计算机的农场相比非常经济。我们提出了一种用于训练深度网络的新算法，适用于网络在机器上划分的情况（模型分解），以及详细的成本分析和收敛性证明。我们已经开发了全连接前馈网络，卷积神经网络，递归神经网络和长短期记忆体系结构的实现。我们提出了广泛的模拟结果，展示了我们的框架对于不同大小的数据和模型参数以及工作核心/分区数量的变化所获得的加速和准确性;从而表明我们提出的框架可以实现显着的加速（对于CNN高达11倍），并且也具有相当的可扩展性。
2017-08-19 cs.AI cs.CV cs.DC
MMLSpark: Unifying Machine Learning Ecosystems at Massive Scales
Microsoft Applied AI（微软应用人工智能部门）；Microsoft Azure Machine Learning（微软Azure机器学习部门）；Microsoft AI Development Acceleration Program（微软人工智能发展加速项目）
我们将介绍Microsoft机器学习for Apache Spark（MMLSpark），这是一个增强生态系统，可扩展Apache Spark分布式计算库，以解决深度学习、微服务演示、梯度提升、模型可解释性和其他现代计算领域的问题。此外，我们提出了一种名为Spark Serving的新系统，允许用户将任何Apache Spark程序作为由现有Spark集群支持的分布式亚毫秒延迟Web服务运行。所有MMLSpark贡献都具有相同的API，可以在静态，弹性或无服务器集群上跨框架进行简单的组合，并在批处理，流式处理和RESTful Web服务场景中使用。我们通过创建一种能够在没有人类标记数据的情况下学习的深度目标检测方法来展示MMLSpark，并展示其对雪豹保护的有效性。
2019-06-21 cs.AI cs.DC cs.LG
Scalable Manifold Learning for Big Data with Apache Spark
University at Buffalo（布法罗大学）
非线性谱降维方法，如Isomap，仍然是学习流形的重要技术。然而，由于计算复杂性，使用Isomap的精确流形学习目前不可能从大规模数据中进行。本文提出了一种在Apache Spark模型下实现端到端精确Isomap的分布式内存框架。我们展示了Isomap算法的每个关键步骤如何使用基本的Spark模型有效地实现，而不需要在辅存中提供数据。我们展示了如何使用PySpark实现整个方法，将计算密集型线性代数例程卸载到BLAS。通过实验结果，我们证明了我们的方法具有良好的可扩展性，我们表明，它可以处理数据集的数量级大于目前可能的，使用25节点的并行集群。
2018-08-31 cs.DC cs.LG
BigDL: A Distributed Deep Learning Framework for Big Data
Intel Corporation（英特尔公司）；Tencent Inc.（腾讯公司）；Sequoia Capital（红杉资本）；Alibaba Group（阿里巴巴集团）
本文介绍了BigDL（Apache Spark的分布式深度学习框架），该框架已被业界的各种用户用于在生产大数据平台上构建深度学习应用程序。它允许深度学习应用程序在Apache Hadoop/Spark集群上运行，以便直接处理生产数据，并作为端到端数据分析管道的一部分进行部署和管理。与现有的深度学习框架不同，BigDL直接在Spark的功能计算模型（具有写时复制和粗粒度操作）之上实现分布式数据并行训练。我们还分享了用户采用BigDL来应对挑战的真实经验和“战争故事”（即，如何轻松地为其生产数据构建端到端数据分析和深度学习管道）。
2019-11-05 cs.AI cs.DC cs.LG
Large-scale text processing pipeline with Apache Spark
Princeton University（普林斯顿大学）
在本文中，我们评估了Apache Spark的数据密集型机器学习问题。我们的用例重点关注美国各州立法机构随着时间的推移的政策扩散检测。由于计算强度的原因，以前关于政策扩散的工作一直无法在法案之间进行全对比较。作为替代，学者们研究了单一主题领域。我们提供了一个实现这个分析工作流作为一个分布式的文本处理管道与Spark框架和Scala应用程序编程接口。我们讨论了非结构化数据处理的挑战和策略，用于存储和有效访问的数据格式，以及大规模的图形处理。
2019-12-02 cs.CL cs.DC cs.LG
An Intelligent and Time-Efficient DDoS Identification Framework for Real-Time Enterprise Networks SAD-F: Spark Based Anomaly Detection Framework
NUCES-FAST（巴基斯坦国立计算机与新兴科学大学）；University of Gloucestershire（格洛斯特郡大学）
异常检测是防止网络中的恶意活动并保持合法用户始终可用的资源的关键步骤。从各种研究中注意到，经典的异常检测器在小的采样数据下工作良好，但是在实时的【形】（非采样数据）流量数据下失败的机会增加。在本文中，我们将探索使用不同的机器学习技术的DDoS异常检测的安全分析技术。在本文中，我们提出了一种新的方法，它处理真实的交通作为系统的输入。此外，我们研究和比较三个不同的测试平台，包括正常的商品硬件，低端系统和高端系统的性能因素，我们提出的框架。试验台的硬件细节在相应章节中讨论。在本文中，我们进一步研究了分类器在（近）实时的【形】异常攻击检测中的性能。这项研究还集中在特征选择过程中，这是非常重要的异常检测过程，因为它是一般的建模问题。已经研究了几种用于特征选择的技术，并且观察到适当的特征选择可以在模型的执行时间方面提高性能-这完全取决于流量文件或流量捕获过程。
2020-02-14 cs.CR cs.LG stat.ML
Enel: Context-Aware Dynamic Scaling of Distributed Dataflow Jobs using Graph Propagation
Technische Universität Berlin（柏林工业大学）
像Spark和Flink这样的分布式数据流系统可以使用集群进行可扩展的数据分析。虽然运行时预测模型可用于在给定目标运行时的情况下初始选择适当的集群资源，但低成本作业的实际运行时性能取决于几个因素，并随时间而变化。然而，在许多情况下，动态缩放可以用来满足制定的运行时目标，尽管显着的性能差异。本文介绍了Enel，一种新的动态缩放方法，使用消息传播的属性图建模的低工作，因此，允许导出有效的重新缩放决策。为此，Enel结合了描述性属性，这些属性捕获相应的执行上下文，考虑来自单个可扩展任务的统计信息，并通过作业图传播预测，最终找到优化的新横向扩展。我们对Enel的四个迭代Spark作业的评估表明，我们的方法能够识别有效的重新缩放操作，例如对节点故障做出反应，并且可以在不同的执行上下文中重用。
2022-01-26 cs.DC cs.LG
Mobile Big Data Analytics Using Deep Learning and Apache Spark
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research（资讯通信研究院）；Singapore University of Technology and Design（新加坡科技设计大学）；Singapore Management University（新加坡管理大学）；University of Houston（休斯顿大学）
诸如智能手机和物联网（IoT）小工具的移动设备的激增导致了最近的移动大数据（MBD）时代。收集MBD是无利可图的，除非使用合适的分析和学习方法从数据中提取有意义的信息和隐藏的模式。本文介绍了MBD分析中的深度学习的概述和简短教程，并讨论了Apache Spark上的可扩展学习框架。具体来说，分布式深度学习在许多Spark工作者上作为迭代MapReduce计算执行。每个Spark worker在整个MBD的分区上学习一个部分深度模型，然后通过平均所有部分模型的参数来构建主深度模型。这个基于Spark的框架加快了由许多隐藏层和数百万个参数组成的深度模型的学习。我们使用一个上下文感知的活动识别应用程序与包含数百万个样本的真实数据集来验证我们的框架并评估其加速效率。
2016-02-23 cs.DC cs.LG cs.NE
Big Data analytics. Three use cases with R, Python and Spark
Université de Toulouse – INSA（图卢兹大学 – INSA）；Université de Toulouse – UT3（图卢兹大学 – UT3）
大数据的管理和分析系统地与Hadoop和现在的Spark框架中的数据分布式架构相关联。本文通过比较直接使用三种参考环境（R，Python Scikit-learn，Spark MLlib）在三个公共用例（字符识别，推荐电影，分类产品）上获得的性能，为统计学家介绍了这些技术。作为主要结果，似乎，如果Spark通过协同过滤（非负因子分解）非常有效地进行数据整理和推荐，那么MLlib或SparkML中的传统学习方法（逻辑斯谛回归，随机森林）的当前实现不会在集成或非分布式架构中与这些方法（R，Python Scikit-learn）的习惯使用竞争
2016-09-30 cs.LG stat.AP
Machine Learning Pipelines with Modern Big Data Tools for High Energy Physics
European Organization for Nuclear Research (CERN)（欧洲核子研究组织）；University of Padova（帕多瓦大学）
HEP用例的复杂机器学习（ML）技术的大规模有效利用带来了几个技术挑战，最重要的是专用端到端数据管道的实际实现。提出了一种解决这些挑战的解决方案，该解决方案允许使用来自大数据和数据科学生态系统的解决方案来训练神经网络分类器，并与HEP环境中常见的工具，软件和平台集成。特别是，Apache Spark被用于数据准备和特征工程，在Apacheyter笔记本上交互式地运行相应的（Python）代码。关键的集成和库，使Spark能够使用ROOT格式存储的数据，并通过XRootD协议访问，描述和讨论。使用Keras API定义的神经网络模型的训练通过使用BigDL和Analytics Zoo以及TensorFlow以分布式方式在Spark集群上执行，特别是用于CPU和GPU资源的分布式训练。在这项工作中详细描述了分布式训练的实施和结果。
2020-06-16 cs.DC cs.LG hep-ex
Tune: A Research Platform for Distributed Model Selection and Training
现代机器学习算法对计算的要求越来越高，需要专门的硬件和分布式计算才能在合理的时间范围内实现高性能。为了提高模型选择的效率，已经提出了许多超参数搜索算法，但是它们对分布式计算环境的适应性通常是ad-hoc的。我们提出了一个用于模型选择和训练的统一框架，它在训练脚本和搜索算法之间提供了一个窄腰接口。我们表明，这个接口满足广泛的超参数搜索算法的要求，允许直接扩展搜索到大集群，并简化了算法的实现。我们展示了几个国家的最先进的超参数搜索算法在Tune的实现。可以在http://ray.readthedocs.io/en/latest/tune.html上找到Tune。
2018-07-13 cs.DC cs.LG stat.ML
Dual-Node NVIDIA DGX Spark over Tailscale: A Remote-Access Testbed for Distributed LLM Training and Cyber-Threat-Intelligence Fine-Tuning
Grambling State University（格兰布林州立大学）
本研究展示了双节点NVIDIA DGX Spark通过Tailscale VPN实现分布式NanoChat预训练，构建网络安全微调数据集并验证其效果，同时该集群可支持研究与教学，证明适度本地基础设施的可行性。
2026-11-04 cs.AR cs.LG
A Stochastic Large-scale Machine Learning Algorithm for Distributed Features and Observations
Northwestern University（西北大学）
由于现代数据集的大小超过了单个计算机的磁盘和内存容量，机器学习从业者已经求助于并行和分布式计算。鉴于优化是机器学习和预测建模的支柱之一，分布式优化方法最近获得了足够的关注，特别是当观察或特征是分布式的，但不是两者都是。我们提出了一种通用的随机算法，其中观测，特征和梯度分量可以在双分布设置中进行采样，即，其中特征和观测都是分布式的。非常技术性的分析建立了算法在不同学习率条件下的收敛特性（减少到零或常数）。在Spark中的计算实验表明，我们的算法在算法的早期迭代中与基准相比具有优异的性能，这是由于算法的随机成分。
2019-12-08 cs.LG stat.ML
Sleep Stage Classification: Scalability Evaluations of Distributed Approaches
Kocaeli University（科贾埃利大学）
使用传统的分析工具处理和分析大量的临床数据是资源密集型和耗时的。脑电图是检测和诊断各种脑部疾病的主要技术之一，并且产生大量的大数据来处理。在这项研究中，我们提出了一个大数据框架，通过对EEG信号的睡眠阶段进行分类来诊断睡眠障碍。该框架是使用开源SparkMlib库开发的。我们还测试和评估所提出的框架，通过测量知名的分类算法的可扩展性的physionet睡眠记录。
2018-09-01 cs.DC cs.LG eess.SP
Optimization for Large-Scale Machine Learning with Distributed Features and Observations
Northwestern University（西北大学）
由于现代数据集的大小超过了单个计算机的磁盘和内存容量，机器学习从业者已经求助于并行和分布式计算。鉴于优化是机器学习和预测建模的支柱之一，分布式优化方法最近在文献中获得了足够的关注。虽然以前的研究主要集中在设置中的观察，或手头的问题的功能存储在分布式的方式，这两个分区跨计算机集群的节点（双重分布）的情况下，几乎没有被研究。在这项工作中，我们提出了两个双分布优化算法。第一个属于分布式双坐标上升法的保护伞下，而第二个属于一类的随机梯度/坐标下降混合方法。我们使用真实世界和模拟数据集在火花进行数值实验，并研究我们的方法的标度特性。我们的经验评估所提出的算法证明了一个块分布式ADMM方法，据我们所知，这是唯一的其他现有的双分布优化算法的性能。
2017-04-15 cs.LG stat.ML
Large-Scale Network Embedding in Apache Spark
Interactive Entertainment Group, Tencent（腾讯互动娱乐事业群）
针对大规模图网络嵌入单机器难处理、计算效率低的问题，提出基于Apache Spark的递归分图并行分布式算法，线性成本获节点嵌入，性能与速度均优于现有方法，已落地腾讯游戏推荐场景。
2021-06-20 cs.AI cs.DC cs.LG
Majority Vote for Distributed Differentially Private Sign Selection
School of Mathematics, Shanghai University of Finance and Economics（上海财经大学数学学院）；Ministry of Education Key Laboratory of Scientific and Engineering Computing, Shanghai Jiao Tong University（上海交通大学科学与工程计算教育部重点实验室）；Stern School of Business, New York University（纽约大学斯特恩商学院）
针对分布式环境下的符号选择问题，提出分布式组差分隐私 Majority Vote 机制，通过迭代剥离与指数机制恢复符号，在均值估计和线性回归中以最优信噪比优于现有方法，并具备理论保证与实验验证。
2024-06-04 cs.CR cs.LG stat.ME
Optimal Data Selection: An Online Distributed View
University of California, Berkeley（加州大学伯克利分校）
针对海量冗余数据的通信、存储与标注难题，提出基于子模最大化的在线分布式数据选择算法，具备与离线方法相当的理论保证，在ImageNet和MNIST任务上性能优于随机选择5-20%。
2023-12-15 cs.AI cs.LG cs.MA
