Efficient Protocols for Distributed Classification and Optimization
University of Maryland（马里兰大学）；University of Utah（犹他大学）
在分布式学习中，目标是以最少（昂贵）的通信对分布在多个节点上的数据执行学习任务。先前的工作（Daume III等人，2012）提出了一种通用模型，该模型限制了学习分类器所需的通信，同时允许$\eps$在跨节点逆向分布的线性可分离数据上的训练误差。在这项工作中，我们开发了这个基本模型的关键改进和扩展。我们的第一个结果是一个两方的乘法权重更新为基础的协议，使用$O(d^2 \log{1/\eps})$字的通信分类分布式数据在任意维度$d$，$\eps$ -最佳。这很容易扩展到对具有$O(kd^2 \log{1/\eps})$通信字的$k$节点的分类。我们提出的协议是简单的实现，是相当有效的基线相比，我们的实证结果表明。此外，我们说明了一般的算法设计范例做有效的学习分布式数据。我们展示了如何有效地解决固定维和高维线性规划在分布式环境中的约束可能分布在节点。由于许多学习问题可以被视为凸优化问题，其中约束由各个点生成，因此可以对许多典型的分布式学习场景进行建模。我们的技术利用了一种新的连接多通道流，以及适应乘法权重更新框架更普遍的分布式设置。因此，我们的方法扩展到使用这些技术可解决的问题的广泛范围。
2012-04-16 cs.LG stat.ML
Spatio-temporal crop classification of low-resolution satellite imagery with capsule layers and distributed attention
Yale University（耶鲁大学）
低分辨率遥感影像的土地利用分类是遥感研究的热点之一。尽管卫星技术取得了重大进展，但高分辨率图像缺乏全球覆盖，而且长时间采购高分辨率图像的费用可能高得令人望而却步。在没有高分辨率图像的情况下对土地利用变化进行准确分类，可以监测全球发展议程的重要方面，包括气候智能型农业、抗旱作物和可持续土地管理。利用胶囊层和长短期记忆层与分布式注意力的组合，本文实现了最先进的精度在时间作物类型分类在30 × 30米的分辨率与哨兵2图像。
2019-04-23 cs.CV cs.LG stat.ML
A MapReduce based distributed SVM algorithm for binary classification
National Research Institute of Electronics and Cryptology, TUBITAK（土耳其科学技术研究委员会电子学与密码学国家研究所）；Istanbul University（伊斯坦布尔大学）
虽然支持向量机（Support Vector Machine，SVM）算法在训练阶段后对未知样本的分类具有很高的泛化能力，并且损失值较小，但该算法并不适用于实际的分类和回归问题。SVM无法解决训练数据集中的数十万个示例。在以前的分布式机器学习算法的研究中，SVM是在一个昂贵的和预先配置的计算机环境中训练的。在这项研究中，我们提出了一个基于MapReduce的分布式并行SVM训练算法的二进制分类问题。该工作展示了如何使用MapReduce技术在云计算系统上分配优化问题。在这项工作的第二步中，我们使用统计学习理论从MapReduce的reduce函数创建的假设空间中找到最小化我们的经验风险的预测假设。本文的研究结果对于基于SVM算法的分类问题的大数据集训练具有重要意义。提出了利用MapReduce技术对分裂数据集进行迭代训练，在有限的迭代规模下，分类器函数的精度将收敛到全局最优分类器函数的精度。该算法的性能进行了测试的样本从字母识别和笔为基础的识别手写数字数据集。
2013-12-15 cs.DC cs.LG
Distributed Classification of Urban Congestion Using VANET
École Polytechnique de Montréal（蒙特利尔综合理工学院）
车辆自组网（VANET）可以有效地检测交通拥堵，但检测是不够的，因为拥塞可以进一步分为经常性和非经常性拥塞（NRC）。特别是，城市电网中的NRC主要由事故、工作区、特殊事件和恶劣天气引起。我们提出了一个框架，实时分布式分类的拥塞到其组件上的异构城市道路网络使用VANET。我们提出的模型建立在对空间和时间因果关系的理解的基础上，并在科隆的一个真实案例研究中扩展的合成数据上进行了训练。我们的性能评估显示，确定性分类树（CT）的预测准确率为87.63%，朴素贝叶斯分类器（NB）的预测准确率为88.83%，随机森林（RF）的预测准确率为89.51%，增强技术的预测准确率为89.17%。该框架可以帮助交通机构通过了解拥堵的根本原因来制定有效的缓解拥堵策略，从而减少城市拥堵。
2020-12-04 cs.LG stat.ML
Deep Convolutional Neural Networks for Anomaly Event Classification on Distributed Systems
服务器使用的日益普及带来了大量的异常日志事件，这些事件已经威胁到大量的机器。因此，识别和分类异常事件是我们系统的一项非常重要的工作，特别是那些产生大量数据并将其用于技术价值创造和业务发展的系统。为了帮助集中在分类和预测的异常事件，并从系统事件记录中获得关键的见解，我们提出了一种新的日志预处理方法，这是非常有效的过滤丰富的信息，并保留关键特征。此外，本文提出了一种竞争性的方法，用于自动分类的异常事件检测到的分布式系统日志与国家的最先进的深（卷积神经网络）架构。我们通过使用标准评估指标来测量一系列具有不同超参数组合的深度CNN算法，我们的研究结果揭示了所提出的深度CNN模型在现实世界系统中的异常事件分类任务的优势和潜在能力。该方法的最佳分类精度为98.14%，优于传统的机器学习方法。
2017-12-30 cs.DC cs.LG
Collage Inference: Achieving low tail latency during distributed image classification using coded redundancy models
University Of Southern California（南加州大学）；Microsoft Research（微软研究院）
减少机器学习推理中的延迟方差是许多应用中的关键要求。在存在掉队者的云部署中，差异更难控制。尽管存在这一挑战，但由于经济实惠的机器学习即服务（MLaaS）平台的出现，推理越来越多地在云中完成。现有的减少差异的方法依赖于复制，这是昂贵的，部分否定了MLaaS的可负担性。在这项工作中，我们认为MLaaS平台也提供了独特的机会来降低冗余成本。在MLaaS平台中，负载均衡器同时接收多个推理请求，然后可以在更大的图像集合中创建更具成本效益的冗余编码。我们提出了一种新的卷积神经网络模型Collage-CNN，以提供一个低成本的冗余框架。Collage-CNN模型采用通过组合多个图像形成的拼贴，并在一次拍摄中执行多图像分类，尽管精度略低。然后，我们使用单个Collage-CNN分类器来增强传统单个图像分类器的集合，该分类器作为低成本的冗余备份。然后，如果单个图像分类分散，Collage-CNN会提供备份分类结果。在云中部署Collage-CNN模型，我们证明与基于复制的方法相比，推断的第99百分位数尾部延迟可以减少1.47倍，同时提供高准确性。此外，推理延迟的变化可以减少9倍，平均推理延迟略有增加。
2019-06-05 cs.DC cs.LG stat.ML
On Distributed Quantization for Classification
University of California, Los Angeles（加州大学洛杉矶分校）
我们考虑分布式特征量化的问题，其目标是使一个预先训练的分类器在一个中心节点进行分类的功能，从分布式节点收集通过通信受限的渠道。我们提出了专门针对分类任务的分布式量化方案的设计：与帮助中心节点尽可能准确地重建原始信号的量化方案不同，我们的重点不是重建精度，而是正确的分类。我们的工作不做任何先验分布的数据假设，而是使用训练数据的量化器设计。我们的主要贡献包括：我们证明了在一般情况下寻找最佳量化器的NP-困难; 2我们为特殊情况设计了一个最佳方案; 3我们提出了量化算法，该算法利用离散神经表示和训练数据，并且可以在多项式时间内为任何数量的特征、任何数量的类和分布节点上的任意特征划分而设计。我们发现，量身定制的量化器的分类任务可以提供显着的节省：相比替代品，我们可以实现超过两个因素的减少方面的位数通信，相同的分类精度。
2019-11-01 cs.IT cs.LG math.IT
Sleep Stage Classification: Scalability Evaluations of Distributed Approaches
Kocaeli University（科贾埃利大学）
使用传统的分析工具处理和分析大量的临床数据是资源密集型和耗时的。脑电图是检测和诊断各种脑部疾病的主要技术之一，并且产生大量的大数据来处理。在这项研究中，我们提出了一个大数据框架，通过对EEG信号的睡眠阶段进行分类来诊断睡眠障碍。该框架是使用开源SparkMlib库开发的。我们还测试和评估所提出的框架，通过测量知名的分类算法的可扩展性的physionet睡眠记录。
2018-09-01 cs.DC cs.LG eess.SP
DiSMEC - Distributed Sparse Machines for Extreme Multi-label Classification
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
极端多标签分类是指涉及数十万甚至数百万个标签的监督多标签学习。极端分类中的数据集表现出符合幂律分布，即大部分标签在数据分布中具有非常少的正实例。大多数用于极端多标签分类的最先进方法试图通过将标签矩阵嵌入到低维线性子空间来捕获标签之间的相关性。然而，在幂律分布的非常大的和不同的标签空间的存在下，结构假设，如低秩可以很容易地被违反。在这项工作中，我们提出了DiSMEC，这是一个大规模的分布式框架，用于学习一对休息的线性分类器，再加上显式的容量控制，以控制模型的大小。与大多数最先进的方法不同，DiSMEC不对标签矩阵进行任何低秩假设。使用双层并行化，DiSMEC可以在几个小时内学习由数十万个标签组成的数据集的分类器。显式容量控制机制过滤掉虚假参数，使模型在尺寸上保持紧凑，而不会损失预测精度。我们对由多达670，000个标签组成的公开真实世界数据集进行了广泛的实证评估。我们比较DiSMEC与最近的国家的最先进的方法，包括SLEEC这是一个领先的方法，用于学习稀疏的本地嵌入，和FastXML这是一个基于树的方法，优化排名的损失函数。在一些数据集上，DiSMEC可以显著提高预测准确性-绝对值比SLECC高10%，比FastXML高15%。
2016-09-08 cs.LG stat.ML
On Distributed Online Classification in the Midst of Concept Drifts
University of California（加州大学）
在这项工作中，我们分析了分布式在线学习算法在平稳和非平稳环境下的泛化能力。我们推导出界限的过度风险达到每个节点在一个连接的网络的学习者和研究的性能优势，扩散策略有超过个人的非合作处理。我们进行了大量的模拟来说明结果。
2013-01-01 cs.DC cs.LG cs.SI
A Graph-Based Semi-Supervised k Nearest-Neighbor Method for Nonlinear Manifold Distributed Data Classification
Nanyang Technological University（南洋理工大学）；Shanghai University of Electric Power（上海电力大学）；Shanghai Jiao Tong University（上海交通大学）；Auckland University of Technology（奥克兰理工大学）
$k$ Nearest Neighbors（$k$ NN）是用于高斯分布数据分类的最广泛的监督学习算法之一，但当应用于非线性流形分布数据时，特别是当可获得的标记样本数量非常有限时，效果不佳。本文提出了一种新的基于图的$k$神经网络算法，它可以有效地处理高斯分布数据和非线性流形分布数据。为了实现这一目标，我们首先提出了一个受约束的疲劳随机游走（TRW）通过构建一个$R$级最近邻增强树的图形，然后计算TRW矩阵的相似性度量的目的。然后，根据TRW矩阵确定查询点的最近邻，并通过其最近邻的所有TRW权重之和确定查询点的类标签。为了处理在线的情况下，我们还提出了一个新的算法来处理基于局部邻域重建的连续样本。在合成数据集和真实数据集上进行了对比实验，验证了新的$k$ NN算法及其对其他版本的$k$ NN算法的改进的有效性.鉴于流形结构在现实世界中的广泛出现和传统的$k$ NN算法的流行，建议的流形版本$k$ NN分类流形分布的数据显示出良好的潜力。
2016-06-03 cs.LG stat.ML
DXML: Distributed Extreme Multilabel Classification
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
作为一种大数据应用，极端多标签分类已经成为一个重要的研究课题，其应用于产品和项目的排名和推荐。提出了一种可扩展的混合分布式共享内存的极端分类大规模排名和推荐的实现。具体而言，该实现是使用MPI跨节点传递消息和使用OpenMP在节点上使用多线程的混合。推导了通信延迟和通信量的表达式。针对共享内存体系结构，提出了基于工作跨度模型的并行计算方法。这揭示了类似极端分类方法的预期可扩展性。实验结果表明，该方法在大数据集上的训练和测试速度都比较快。在某些情况下，模型尺寸相对较小。
2021-10-20 cs.AI cs.DC cs.IR
Decentralized Online Big Data Classification - a Bandit Framework
University of California, Los Angeles（加州大学洛杉矶分校）
分布式、在线数据采掘系统的出现是由于需要分析由多个分布式数据源产生的大量相关和高维数据的应用。我们提出了一个分布式的在线数据分类框架，其中的数据是由分布式数据源收集和处理的一组异构的分布式学习者，在线学习，在运行时，如何分类不同的数据流，或者通过使用本地可用的分类功能，或通过帮助彼此分类对方的数据。重要的是，由于数据是在不同的位置收集的，因此将数据发送给另一个学习者进行处理会产生额外的成本，例如延迟，因此只有当从更好的分类中获得的好处超过成本时，这才是有益的。我们假设每个处理元素可用的分类函数是固定的，但它们对各种类型的传入数据的预测精度是未知的，并且可以随时间动态变化，因此它们需要在线学习。我们建模的问题的联合分类的分布式和异构的学习者从多个数据源作为一个分布式的上下文强盗问题，每个数据的特点是由一个特定的上下文。我们开发分布式在线学习算法，我们可以证明，他们有次线性遗憾。与分布式在线数据采掘中的先前工作相比，我们的工作是第一个提供分析遗憾的结果表征所提出的算法的性能。
2013-08-25 cs.LG cs.MA
Highly Accurate FMRI ADHD Classification using time distributed multi modal 3D CNNs
Purdue University（普渡大学）
这项工作提出了一种算法的fMRI数据分析ADHD障碍的分类。通过3D卷积神经网络（CNN）分析功能磁共振成像已经有了几个突破。有了这些新技术，就有可能保留功能磁共振成像数据的三维空间数据。此外，最近在使用3D生成对抗神经网络（GANs）来生成正常MRI数据方面取得了进展。这项工作利用多模态3D CNN和来自3D GAN的数据增强，从fMRI预测ADHD。通过利用3D-GAN，可以使用deepfake数据来提高大脑疾病的3D CNN分类的准确性。将在用于分类的时间分布的单模态3D CNN模型和具有MRI数据的修改的多模态模型之间进行比较。
2022-05-24 cs.LG eess.IV
NoPeek: Information leakage reduction to share activations in distributed deep learning
Massachusetts Institute of Technology（麻省理工学院）
对于具有敏感数据的分布式机器学习，我们演示了如何最小化原始数据和中间表示之间的距离相关性，从而减少敏感原始数据模式在客户端通信中的泄漏，同时保持模型的准确性。泄漏（使用输入和中间表示之间的距离相关性进行测量）是与中间表示的原始数据的可逆性相关的风险。这可以防止持有敏感数据的客户端实体使用分布式深度学习服务。我们证明了我们的方法对这种重建攻击具有弹性，并且基于在图像数据集的训练和推理过程中减少原始数据和学习表示之间的距离相关性。我们防止这种重建的原始数据，同时保持所需的信息，以维持良好的分类精度。
2020-08-20 cs.DC cs.LG stat.ML
Collage Inference: Using Coded Redundancy for Low Variance Distributed Image Classification
由云计算平台提供的MLaaS（ML-as-a-Service）产品正变得越来越流行。在云中托管预训练的机器学习模型，可随着需求的增长实现弹性可扩展性。但提供低延迟和减少延迟变化是一个关键要求。由于跨许多虚拟实例的资源分配的不确定性，云部署中的差异更难控制。我们提出拼贴推理技术，它使用一种新的卷积神经网络模型，拼贴cnn，提供低成本的冗余。拼贴cnn模型采用通过组合多个图像形成的拼贴图像，并且在一次拍摄中执行多图像分类，尽管精度略低。我们增加了一个传统的单一图像分类器模型的集合与一个单一的拼贴cnn分类器，作为其低成本的冗余备份。如果任何单个图像分类请求遇到减速，Collage-cnn将提供备份分类结果。在云中部署collage-cnn模型，我们证明了与基于复制的方法相比，推断的第99百分位尾部延迟可以减少1.2倍到2倍，同时提供高准确性。推理延迟的变化可以减少1.8倍到15倍。
2019-09-10 cs.CV cs.DC cs.IT
CFM-BD: a distributed rule induction algorithm for building Compact Fuzzy Models in Big Data classification problems
Institute of Smart Cities（智慧城市研究所）；Universidad Pública de Navarra（纳瓦拉公立大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
可解释性一直是模糊规则分类器的主要关注点。人类可读模型的使用使他们能够解释其预测和决策背后的推理。然而，当涉及到大数据分类问题时，基于模糊规则的分类器无法在准确性和可解释性之间保持良好的平衡，这是这些技术在非大数据环境中的特点。最精确的方法建立了由大量规则和模糊集组成的过于复杂的模型，而那些专注于可解释性的方法并不提供最先进的判别能力。在本文中，我们提出了一种新的分布式学习算法命名CFM-BD构建准确和紧凑的模糊规则为基础的分类系统的大数据。这种方法是专门为大数据问题从头开始设计的，不适应或扩展任何现有的算法。该学习过程包括3个阶段：1）基于概率积分变换定理的预处理; 2）基于CHI-BD和Apriori算法的规则归纳; 3）基于全局进化优化的规则选择。我们进行了一个完整的实证研究，以测试我们的方法在准确性，复杂性和运行时间方面的性能。将获得的结果与四种最先进的大数据模糊分类器（FBDT，FMDT，Chi-Spark-RS和CHI-BD）进行了比较和对比。根据这项研究，CFM-BD是能够提供竞争力的歧视能力，使用显着更简单的模型组成的一些规则少于3个前因，采用5个语言标签的所有变量。
2019-02-25 cs.LG stat.ML
Time-Distributed Feature Learning in Network Traffic Classification for Internet of Things
Ryerson University（瑞尔森大学）
物联网（IoT）设备的过多导致爆炸性的网络流量。网络流量分类（NTC）是探索网络流行为的重要工具，互联网服务提供商（ISP）需要NTC来管理物联网网络的性能。我们提出了一种新的网络数据表示，处理交通数据作为一系列的图像。因此，网络数据被实现为视频流以采用时间分布（TD）特征学习。使用卷积神经网络（CNN）和长短期记忆（LSTM）学习网络统计数据中的时间内信息，并且通过TD多层感知器（MLP）学习流之间的伪时间特征。我们进行实验，使用一个大的数据集与更多的类。实验结果表明，TD特征学习使网络分类性能提高了10%。
2021-09-29 cs.LG cs.NI
Distributed Transfer Learning with 4th Gen Intel Xeon Processors
Intel Corporation（英特尔公司）
本文证明使用第四代英特尔至强处理器结合AMX和Horovod分布式训练进行迁移学习，可在图像分类任务上达到接近最先进的准确率，挑战GPU依赖传统。
2023-10-10 cs.AI cs.CV cs.DC
On Supervised Classification of Feature Vectors with Independent and Non-Identically Distributed Elements
Monash University（莫纳什大学）
在本文中，我们研究的问题，相互独立，但不同分布的元素的特征向量的分类。首先，我们要说明这个问题的重要性。接下来，我们提出了一个分类器，并推导出其错误概率的分析上限。我们表明，随着特征向量长度的增长，错误概率趋于零，即使每个标签只有一个训练特征向量。因此，我们表明，对于这个重要的问题，至少存在一个渐近最优分类器。最后，我们提供了数值例子，我们表明，所提出的分类器的性能优于传统的分类算法时，训练数据的数量是小的，特征向量的长度是足够高的。
2021-03-30 cs.IT cs.LG math.IT
Entry Dependent Expert Selection in Distributed Gaussian Processes Using Multilabel Classification
University of Tübingen（蒂宾根大学）
本文提出一种基于输入数据点特征的灵活专家选择方法，将专家选择建模为多标签分类问题，以降低分布式高斯过程中集成聚合的计算成本并保持预测质量。
2024-01-08 cs.DC cs.LG
Fundamental limits of distributed multiclass classification from simple binary decisions
University of Bristol（布里斯托大学）；Indian Institute of Science（印度科学学院）
研究从\(O(\log K)\)个简单二元分类器组合构建\(K\)类分类器的问题，当二元分类器为超平面时，在高斯设置下得出性能界限，并通过模拟实验验证理论结果。
2026-07-22 cs.IT cs.LG math.IT
Secure Multi-Party Computation Based Privacy Preserving Extreme Learning Machine Algorithm Over Vertically Distributed Data
TÜBİTAK BİLGEM（土耳其科学技术研究理事会 信息与信息安全研究中心）；Cyber Security Institute（网络安全研究所）
特别是在大数据时代，不同分类方法的使用日益增多。这些分类方法的成功取决于学习方法的有效性。极限学习机（ELM）分类算法是一种基于前馈神经网络的相对较新的学习方法。ELM分类算法是一种简单快速的方法，可以从高维数据集创建模型。传统的ELM学习算法隐含地假设对整个数据集的完全访问。这在大多数情况下是一个重要的隐私问题。出于安全考虑，禁止共享私人数据（即医疗记录）。在这项研究中，我们提出了一个有效的和安全的隐私保护学习算法ELM分类数据之间的垂直分区。新的学习方法保留了数值属性的隐私性，在不共享隐私数据的情况下建立分类模型，同时不向他人泄露各方的数据。
2016-02-09 cs.CR cs.LG
Ensemble of Distributed Learners for Online Classification of Dynamic Data Streams
UCLA（加州大学洛杉矶分校）
我们提出了一个有效的分布式在线学习计划，从分布式，异构和动态数据源捕获的数据进行分类。我们的方案由多个分布式本地学习器组成，这些学习器分析与需要分类的共同事件相关的不同数据流。每个学习器使用局部分类器进行局部预测。然后，每个学习器收集局部预测，并使用加权多数规则组合以输出最终预测。我们提出了一种新的在线集成学习算法来更新聚合规则，以适应底层的数据动态。我们严格确定我们的算法，这取决于最好的静态聚集规则的误分类概率的最坏情况下的误分类概率的界限，和最好的本地分类。重要的是，我们的算法的最坏情况下的误分类概率渐近趋于0，如果最好的静态聚集规则的误分类概率或最好的局部分类器的误分类概率趋于0。然后，我们扩展我们的算法，以解决特定的分布式实现的挑战，我们证明了新的界限，适用于这些设置。最后，我们测试我们的计划进行评估研究的几个数据集。当应用到广泛使用的文献处理动态数据流和概念漂移的数据集，我们的计划表现出的性能增益范围从34%到71%的最先进的解决方案。
2013-08-24 cs.LG
Bandwidth-efficient distributed neural network architectures with application to body sensor networks
KU Leuven（鲁汶大学）；Leuven.AI - KU Leuven institute for AI（鲁汶大学人工智能研究所）
在本文中，我们描述了一个概念设计方法来设计分布式神经网络架构，可以在传感器网络的通信带宽的限制进行有效的推理。不同的传感器信道分布在多个传感器设备上，这些传感器设备必须通过带宽有限的通信信道交换数据以解决例如，分类任务。我们的设计方法从一个用户定义的集中式神经网络，并将其转换成一个分布式架构中的通道分布在不同的节点。分布式网络由两个并联支路组成，其输出在融合中心进行融合。第一个分支收集分类结果从本地，节点特定的分类器，而第二个分支压缩每个节点的信号，然后重建多通道的时间序列在融合中心的分类。我们进一步提高带宽增益动态激活压缩路径时，本地分类不足以。我们验证了这种方法在一个模拟的EEG传感器网络的电机执行任务，并分析了由此产生的带宽精度权衡。我们的实验表明，所提出的框架，使高达20倍的带宽减少，最小的损失（高达2%）的分类精度相比，集中的基线上演示电机执行任务。所提出的方法提供了一种方法来顺利地转换一个集中式架构的分布式，带宽效率的网络适合低功耗传感器网络。虽然本文的应用重点是可穿戴脑机接口，所提出的方法可以应用于其他传感器网络类应用程序以及。
2022-10-14 cs.LG cs.NI eess.SP
Optimizing Federated Learning for Medical Image Classification on Distributed Non-iid Datasets with Partial Labels
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
许多大型胸部X射线数据集已经率先使用深度学习进行专家级异常检测。然而，这些数据集专注于检测可能存在的疾病标签的子集，从而使它们具有部分标签的分布式和非iid。最近的文献表明，由于与带有部分标签的非iid数据相关的域偏移，批量归一化层对联邦学习收敛的影响。为此，我们提出了FedFBN，这是一个联邦学习框架，它通过使用预训练网络作为模型后端并在整个训练过程中冻结批量归一化层，从迁移学习中汲取灵感。我们使用合成iid玩具数据集和具有部分和完整标签的大规模非iid数据集，使用当前FL策略评估FedFBN。我们的研究结果表明，FedFBN优于当前的聚合策略，用于使用带有部分标签的分布式和非iid数据训练全局模型。
2023-03-10 cs.AI cs.CV cs.LG
Distributed Map Classification using Local Observations
Lehigh University（里海大学）
我们考虑的问题，分类地图使用一组通信机器人。假设所有机器人都具有局部视觉感知能力，并且可以与相邻机器人交换信息。使用图分解技术，我们提出了一种离线学习结构，使每个机器人都能够与邻居进行通信并融合来自邻居的信息，以计划其下一步走向环境中信息量最大的部分，用于地图分类。其主要思想是将一个给定的无向图分解成一个有向星图的并集，然后用有界数目的星图对机器人进行训练。这将大大降低离线训练的计算成本，并使学习具有可扩展性（与机器人数量无关）。我们的方法是特别有用的快速地图分类在大型环境中使用大量的通信机器人。我们通过大量的模拟验证了我们提出的方法的实用性。
2021-03-10 cs.LG cs.MA cs.RO
A Distributed Hybrid Quantum Convolutional Neural Network for Medical Image Classification
Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education（教育部智能感知与图像理解重点实验室）；Joint International Research Laboratory of Intelligent Perception and Computation（智能感知与计算联合国际研究实验室）；Collaborative Innovation Center of Quantum Information of Shaanxi Province（陕西省量子信息协同创新中心）；School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）
针对经典神经网络处理医学图像复杂特征能力有限、量子计算受硬件约束的问题，提出基于量子线路拆分的分布式混合QCNN，可在资源受限下用更少参数实现更优的医学图像分类性能。
2025-01-07 cs.CV cs.LG
Performance and Energy Trade-Off Analysis of Hierarchical Federated Learning for Plant Disease Classification
University of Zagreb（扎格雷布大学）；University of Thessaly（塞萨洛尼基大学）；University of Glasgow（格拉斯哥大学）；Trinity College Dublin（都柏林信任学院）；Italian National Research Council（意大利国家研究委员会）
本文分析了分层联邦学习在植物疾病分类中的性能与能耗权衡，提出了一种考虑能耗的优化框架，评估了不同模型聚合策略下的性能表现。
2026-04-28 cs.DC cs.LG
Efficient Distributed Learning with Sparsity
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Rutgers University（罗格斯大学）
我们提出了一种新的，有效的方法，分布式稀疏学习在高维，观察随机划分的机器。在计算上，在每一轮，我们的方法只需要主机器解决一个移位ell_1正则化M-估计问题，和其他工人计算梯度。在通信方面，所提出的方法可证明匹配的估计误差界的集中式方法在恒定轮的通信（忽略对数因子）。我们在模拟和真实世界的数据集上进行了广泛的实验，并在高维回归和分类任务上表现出令人鼓舞的性能。
2016-05-25 cs.LG stat.ML
Learning curves theory for hierarchically compositional data with power-law distributed features
SISSA（国际高等研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；EPFL（洛桑联邦理工学院）
本文以概率上下文无关文法建模层级组合数据，统一解释幂律单元与层级结构两类神经缩放律来源，并揭示分类与下一 token 预测学习曲线指数的不同决定机制。
2025-05-11 cond-mat.dis-nn cs.LG stat.ML
Distributed Traffic Synthesis and Classification in Edge Networks: A Federated Self-supervised Learning Approach
Huazhong University of Science and Technology（华中科技大学）；Peng Cheng Laboratory（鹏城实验室）；Pazhou Laboratory (Huangpu)（（黄埔）琶洲实验室）；China University of Geosciences（中国地质大学）
随着对无线服务的需求不断增长以及人们对数据保护需求的认识不断提高，现有的网络流量分析和管理架构在对日益多样化的服务和应用进行分类和综合方面面临着前所未有的挑战。本文提出了FS-GAN，联邦自监督学习框架，以支持自动流量分析和合成在大量的异构数据集。FS-GAN由多个分布式生成对抗网络（GANs）组成，具有一组生成器，每个生成器被设计为在单个服务流量的分布之后生成合成数据样本，并且每个生成器被训练以区分合成数据样本和本地数据集的真实数据样本。采用基于联邦学习的框架来协调不同数据集上不同GANs的局部模型训练过程。FS-GAN可以对未知类型的服务数据进行分类，并创建合成样本来捕获未知类型的流量分布。我们证明了FS-GAN可以最小化所有数据集上的真实数据分布与合成数据样本分布之间的Jensen-Shannon Divergence（JSD）。FS-GAN还最大化由不同生成器创建的数据样本分布之间的JSD，导致每个生成器产生遵循与一个特定服务类型相同分布的合成数据样本。大量的仿真结果表明，FS-GAN的分类准确率实现了超过20%的提高，平均相比，最先进的基于聚类的流量分析算法。FS-GAN还能够合成高度复杂的流量类型混合，而不需要任何人工标记的数据样本。
2023-02-01 cs.DC cs.LG cs.NI
Comparison of Privacy-Preserving Distributed Deep Learning Methods in Healthcare
DeepTek Inc（DeepTek公司）；Singapore Bioimaging Consortium - A*Star（新加坡生物成像联盟——新加坡科技研究局）
在本文中，我们比较了三种隐私保护分布式学习技术：联邦学习，分裂学习和SplitFed。我们使用这些技术来开发用于从胸部X射线检测结核病的二进制分类模型，并在分类性能，通信和计算成本以及训练时间方面对其进行比较。我们提出了一种新的分布式学习架构SplitFedv3，在我们的实验中，它的性能优于分裂学习和SplitFedv2。我们还提出了交替小批量训练，这是一种用于分割学习的新训练技术，它比交替客户端训练（客户端轮流训练模型）性能更好。
2020-12-23 cs.CR cs.LG
Multi-limb Split Learning for Tumor Classification on Vertically Distributed Data
German University in Cairo（开罗德国大学）；Ain Shams University（艾因夏姆斯大学）
脑肿瘤是威胁生命的癌症之一。以前的研究已经使用深度神经网络对脑肿瘤进行了分类。在本文中，我们使用协作式深度学习技术（更具体地说，分裂学习）来执行后面的任务。分裂学习允许通过神经网络分裂成两个（或更多）部分，客户端网络和服务器端网络进行协作学习。客户端被训练到称为剪切层的某个层。然后，在服务器端网络上恢复其余的训练。垂直分布是一种在组织之间分布数据的方法，在几家医院为同一组患者保存不同属性的信息的情况下实施。据我们所知，本文将是第一篇同时实现分裂学习和垂直分布的脑肿瘤分类的论文。使用这两种技术，我们能够实现训练和测试的准确性大于90%和70%，分别。
2023-01-27 cs.CV cs.LG eess.IV
Multiple Classification with Split Learning
Gwangju Institute of Science and Technology（光州科学技术院）
在医疗、移动和其他领域的深度学习培训过程中，出现了隐私问题。为了解决这个问题，我们提出了隐私保护的分布式深度学习方法，允许客户端在不直接暴露的情况下学习各种数据。我们将单个深度学习架构划分为通用提取器、云模型和用于分布式学习的本地分类器。首先，由本地客户端使用的公共提取器从输入数据中提取安全特征。安全功能还发挥作用，云模型可以使用各种任务和不同类型的数据。该功能包含有助于进行各种任务的最重要的信息。第二，云模型包含了整个训练模型的大部分内容，它从大量的本地客户端获取嵌入的特征，并执行大部分的深度学习操作，这需要大量的计算成本。在云模型中的操作完成后，云模型的输出发送回本地客户端。最后，本地分类器确定分类结果，并将结果交付给本地客户端。在客户端对模型进行训练时，我们的模型不直接将敏感信息暴露给外部网络。在测试过程中，与现有的本地培训模型相比，平均性能提高了2.63%。然而，在分布式环境中，由于暴露的特征，存在反转攻击的可能性。出于这个原因，我们尝试使用常见的提取器来防止数据恢复。通过调整常用提取器的深度，测试了原始图像的恢复质量。结果，我们发现，越深的共同提取器，恢复得分下降到89.74。
2020-09-11 cs.LG stat.ML
Time-Distributed Feature Learning for Internet of Things Network Traffic Classification
Toronto Metropolitan University（多伦多都会大学）；Tsinghua University（清华大学）；NovAtel（诺瓦泰）；Hexagon（海克斯康）
针对物联网NTC忽略包内与流内时间信息的问题，提出时间分布式整体特征学习方法，可同时用于常规与CoS分类，并在真实数据集上平均提升准确率13.5%。
2024-09-08 cs.LG eess.SP
Federated Visual Classification with Real-World Data Distribution
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）
联邦学习使视觉模型能够在设备上训练，为用户隐私带来优势（数据永远不需要离开设备），但在数据多样性和质量方面存在挑战。虽然数据中心中的典型模型是使用独立同分布（IID）的数据进行训练的，但源数据通常远离IID。此外，不同数量的数据通常在每个设备处可用（不平衡）。在这项工作中，我们描述了这些真实世界的数据分布对分布式学习的影响，使用标准的联邦平均（FedAvg）算法作为基准。为此，我们引入了两个新的用于物种和地标分类的大规模数据集，其中每个用户数据分割都模拟了真实世界的边缘学习场景。我们还开发了两种新算法（FedVC，FedIR），可以智能地对客户端池进行重新采样和重新加权，从而大大提高了训练的准确性和稳定性。这些数据集可在网上查阅。
2020-07-17 cs.CV cs.LG stat.ML
Distributed and parallel time series feature extraction for industrial big data applications
Blue Yonder GmbH（Blue Yonder公司）；University of Auckland（奥克兰大学）；University of Freiburg（弗莱堡大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
特征选择的全相关问题是所有强相关和弱相关属性的识别。这个问题对于工业应用中的时间序列分类和回归特别难以解决，例如预测性维护或生产线优化，对于这些应用，每个标签或回归目标同时与多个时间序列和元信息相关联。在这里，我们提出了一个有效的，可扩展的特征提取算法的时间序列，过滤可用的功能在早期阶段的机器学习管道相对于其重要性的分类或回归任务，同时控制预期的百分比选择，但不相关的功能。该算法结合了已建立的特征提取方法与特征重要性过滤器。它具有低的计算复杂性，允许开始一个问题，只有有限的领域知识可用，可以trivially并行化，是高度可扩展的，并基于充分研究的非参数假设检验。我们基准我们提出的算法上的所有二进制分类问题的UCR时间序列分类存档，以及时间序列从生产线优化项目和模拟随机过程与潜在的定性变化的动态。
2017-05-19 cs.LG
SNR and Resource Adaptive Deep JSCC for Distributed IoT Image Classification
Department of Electrical and Electronics Engineering, Koç University, Istanbul, Turkey（电子与电气工程系，科大学院，伊斯坦布尔，土耳其）
提出SNR与计算自适应的分布式CNN框架，利用学习辅助智能遗传算法优化网络配置，在低SNR和有限计算资源下提升无线图像分类准确率10%。
2025-09-26 cs.LG eess.IV
Consistency in Models for Distributed Learning under Communication Constraints
受传感器网络和其他分布式环境的启发，提出了几种分布式学习模型。该模型不同于经典的作品在统计模式识别通过分配观察一个独立和同分布（i.i.d.）在简单的学习代理网络的成员之间的采样过程。代理在它们与中央融合中心通信的能力方面受到限制，因此，可用于分类或回归的信息量受到约束。对于二进制分类和回归框架中的几个基本通信模型，我们质疑代理决策规则和融合规则的存在，这些规则导致普遍一致的集成。对这一问题的回答提出了在普遍一致性方面需要考虑的新问题。由于这些模型提出了一个有用的分布式场景的图片，本文讨论的问题，是否石头定理在集中式环境中提供的保证，在分布式设置。
2005-09-30 cs.IT cs.LG math.IT
Privacy-Preserving Classification with Secret Vector Machines
EPFL（洛桑联邦理工学院）；Cliqz
如今，大量有价值的数据分布在数百万用户持有的设备中，例如个人电脑、电话或物联网设备。许多公司收集这些数据的目的是将其用于训练机器学习模型，使他们能够改进服务。然而，用户持有的数据往往是敏感的，收集这些数据在隐私方面存在问题。我们通过提出一种新的方法来解决这个问题，这种方法类似于最近提出的联邦学习范式，但在更严格的隐私要求下，训练模型的服务器被认为是不可信的，并且可能是恶意的。因此，我们通过设计而不是信任来保护用户隐私。特别是，我们的框架，称为秘密向量机（SecVM），提供了一种算法，用于训练线性支持向量机（SVM）的设置中，数据持有客户端与不可信的服务器通过交换旨在不透露任何个人身份信息的消息进行通信。我们从两个方面来评估我们的模型。首先，在离线评估中，我们训练SecVM从推文中预测用户性别，这表明我们可以在不牺牲分类性能的情况下保护用户隐私。其次，我们为Cliqz Web浏览器实现了SecVM的分布式框架，并将其部署在具有数千个客户端的大规模在线评估中用于预测用户性别，大幅超过基线，从而展示了SecVM适用于生产环境。
2020-08-19 cs.CR cs.LG stat.ML
A Novel Self-Attention-Enabled Weighted Ensemble-Based Convolutional Neural Network Framework for Distributed Denial of Service Attack Classification
Vellore Institute of Technology（韦洛尔理工学院）
本研究提出一种结合三种不同CNN架构的加权集成框架，利用自注意力机制增强特征提取与整合，在DDoS攻击检测中实现了98.69%的准确率，显著优于传统机器学习方法。
2024-10-12 cs.AI cs.CR cs.LG
Road User Classification from High-Frequency GNSS Data Using Distributed Edge Intelligence
Coburg University of Applied Sciences and Arts（科堡应用科学与艺术大学）
本文提出在分布式边缘设备上利用高频 GNSS 位置序列和 LSTM RNN 对行人、骑行者、摩托车及乘用车进行非侵入式分类，并验证了序列长度对分类效果的影响。
2024-11-28 cs.AI cs.ET cs.LG
Personalized Federated Hierarchical Gaussian Processes for Privacy-Preserving Modeling of Heterogeneous Distributed Systems
Arizona State University（亚利桑那州立大学）
提出个性化联邦分层高斯过程，通过共享全局组件与局部残差分解实现异构客户端隐私保护的概率建模，在故障分类和空气质量建模中取得高效结果。
2026-09-18 cs.LG
Distributed Quantum Neural Networks via Partitioned Features Encoding
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）
本文提出通过分布式量子神经网络提升分类性能，利用多个小网络的期望值生成预测，实验表明在MNIST数据集上达到96%以上准确率，降低了硬件需求。
2024-01-08 cs.LG quant-ph
A Privacy-Aware Bayesian Approach for Combining Classifier and Cluster Ensembles
University of Texas (UT) at Austin（德克萨斯大学奥斯汀分校）；University of Sao Paulo (USP)（圣保罗大学）
本文介绍了一种隐私感知贝叶斯方法，它结合了分类器和聚类器的集成来执行半监督和直推学习。我们考虑的情况下，实例及其分类/聚类结果分布在不同的数据站点，并有共享限制。作为一种特殊情况，当目标数据的实例分布在不同的数据站点时，模型的隐私感知计算也进行了讨论。实验结果表明，该方法可以提供良好的分类精度，同时坚持数据/模型共享的限制。
2012-04-20 cs.CV cs.LG stat.ML
Learned Gradient Compression for Distributed Deep Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec
在包含高维数据的大型数据集上训练深度神经网络需要大量的计算。这个问题的一个解决方案是数据并行分布式训练，其中模型被复制到几个可以访问不同数据块的计算节点中。然而，这种方法需要高的通信速率和延迟，因为计算的梯度需要在每次迭代时在节点之间共享。在节点之间存在无线通信的情况下（即，由于有限的网络带宽），该问题变得更加明显。为了解决这个问题，已经提出了各种压缩方法，包括稀疏化、量化和梯度的熵编码。现有方法利用节点内信息冗余，即它们独立地压缩每个节点处的梯度。相反，我们主张跨节点的梯度是相关的，并提出了利用这种节点间冗余来提高压缩效率的方法。根据节点通信协议（参数服务器或环allreduce），我们提出了两个实例的LGC方法，我们硬币学习梯度压缩（LGC）。我们的方法利用自动编码器（即在分布式训练的第一阶段进行训练）来捕获分布式节点梯度中存在的共同信息。我们已经使用不同的卷积神经网络（ResNet50，ResNet101，PSPNet）和多个数据集（ImageNet，Cifar10，CamVid）在图像分类和语义分割任务上测试了我们的LGC方法。在Cifar 10上训练的用于图像分类的ResNet 101模型达到了93.57%的准确率，这比使用未压缩梯度的基线分布式训练仅低0.18%。
2021-03-17 cs.AI cs.DC cs.LG
FedUKD: Federated UNet Model with Knowledge Distillation for Land Use Classification from Satellite and Street Views
Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）；Vellore Institute of Technology（韦洛尔理工学院）；College of Engineering, Anna University（安娜大学工程学院）；Measi Academy Of Architecture（米西建筑学院）
联合深度学习框架可以战略性地用于监测本地土地使用并推断全球环境影响。需要来自世界各地的分布式数据来建立土地利用分类的全球模型。在这个应用领域中，联邦方法的需求是避免从分布式位置传输数据，并节省网络带宽以降低通信成本。我们使用联邦UNet模型的卫星和街景图像的语义分割。所提出的架构的新颖之处在于集成了知识蒸馏，以减少通信成本和响应时间。精度达到95%以上，街景和卫星图像的模型压缩分别超过17倍和62倍。我们提出的框架有可能成为全球气候变化实时跟踪的游戏规则改变者。
2022-12-05 cs.CV cs.DC cs.LG
Tile2Vec: Unsupervised representation learning for spatially distributed data
Stanford University（斯坦福大学）
地理空间分析缺乏像词向量表示和预训练网络这样的方法，这些方法可以显着提高各种自然语言和计算机视觉任务的性能。为了填补这一空白，我们引入了Tile 2 Vec，这是一种无监督的表示学习算法，它将分布假设从自然语言--出现在相似上下文中的单词往往具有相似的含义--扩展到空间分布数据。我们以经验证明，Tile 2 Vec在三个数据集上学习语义有意义的表示。我们学习的表示显著提高了下游分类任务的性能，并且与词向量类似，视觉类比可以通过潜在空间中的简单算法获得。
2018-05-30 cs.CV cs.LG stat.ML
On the Trade-off between Flatness and Optimization in Distributed Learning
Institute of Electrical and Micro Engineering in EPFL（瑞士联邦理工学院电气与微电子工程学院）；Sun Yat-sen University（中山大学）；Center for Machine Learning Research (CMLR) in Peking University（北京大学机器学习研究中心）
本文通过理论框架分析分布式学习中平坦性与优化性能的权衡，发现去中心化策略尤其是扩散方法能更快逃离局部极小值并取得更优的平坦性-优化平衡，从而提升分类准确率。
2025-07-02 cs.LG
ABC-FL: Anomalous and Benign client Classification in Federated Learning
Sungkyunkwan University（成均馆大学）
联邦学习是一种分布式机器学习框架，设计用于数据隐私保护，即，本地数据在整个训练和测试过程中保持私有。联邦学习越来越受欢迎，因为它允许人们在保护隐私的同时使用机器学习技术。然而，它继承了深度学习技术中提出的漏洞和不确定性。例如，联邦学习特别容易受到数据投毒攻击，由于其分布式特性和无法访问原始数据，这些攻击可能会降低其性能和完整性。此外，由于非独立和/或相同分布（非IID）数据，正确识别恶意客户端非常困难。真实世界的数据可能是复杂和多样的，使得它们在没有对原始数据的直接存取的情况下很难与恶意数据区分开来。先前的研究集中在检测恶意客户端，而仅将具有IID数据的客户端视为良性。在这项研究中，我们提出了一种方法，从良性客户端检测和分类异常客户端时，良性的非IID数据。我们提出的方法利用特征降维，动态聚类和基于余弦相似性的裁剪。实验结果表明，该方法不仅可以对恶意客户端进行分类，而且可以从整个过程中消除恶意客户端的负面影响。我们的研究结果可以用于未来的研究，以有效地消除异常客户端时，建立一个模型与不同的数据。
2022-12-01 cs.AI cs.CR cs.DC
Activation Regression for Continuous Domain Generalization with Applications to Crop Classification
Stanford University（斯坦福大学）；Salesforce（赛富时）；Cornell University（康奈尔大学）
卫星图像中的地理差异会影响机器学习模型推广到新区域的能力。在本文中，我们将中分辨率Landsat-8卫星图像中的地理概括建模为连续的领域自适应问题，展示了模型如何利用适当的领域知识更好地概括。我们开发了一个在空间上分布在整个美国大陆的数据集，提供宏观洞察地理对作物分类的影响，在多光谱和时间分布的卫星图像。我们的方法证明了改进的概括性，从1）通过地理相关的气候变量与卫星数据的Transformer模型和2）回归模型的功能，以重建这些域变量。结合起来，我们提供了一个新的角度对卫星图像的地理概括和一个简单而有效的方法来利用领域知识。代码可在：\url{https://github.com/samar-khanna/cropmap}获得
2022-04-14 cs.CV cs.LG
Generalized Prediction Intervals for Arbitrary Distributed High-Dimensional Data
Technische Universität Berlin（柏林工业大学）
本文通过引入显著性水平分布，推广了高维特征空间中任意概率密度函数的预测区间的传统统计概念。显著性水平分布为连续随机变量提供了与区间无关的概率。将概率密度函数变换为显著性水平分布的优点在于，它能够以直接的方式进行单类分类或离群值检测。
2008-09-19 cs.AI cs.CV cs.LG
Training a Distributed Acoustic Sensing Traffic Monitoring Network With Video Inputs
School of Physics and Astronomy, Tel-Aviv University（物理与天文学院，特拉维夫大学）；School of Electrical Engineering, Tel-Aviv University（电气工程学院，特拉维夫大学）；Porter School of the Environment and Earth Sciences, Tel-Aviv University（环境与地球科学波特学院，特拉维夫大学）
针对分布式声学传感（DAS）交通监测，提出集成同位置视觉信息的方法，用基于YOLO的摄像头车辆数据标记DAS数据训练仅用DAS的检测分类网络，性能超94%、误报率约1.2%，展示一周应用并开源数据集，助力智慧城市发展。
2024-12-17 cs.CV cs.LG eess.SP
