Artificial Intelligence for Cost-Aware Resource Prediction in Big Data Pipelines
BITS Pilani（比斯·帕利尼大学）
本文提出基于随机森林回归的AI方法，利用Google Borg跟踪数据预测大数据管道资源利用率，实现高精度（R²=0.99），支持成本感知的云自动伸缩。
2025-09-30 cs.AI cs.DC
Knowledge Graphs-Driven Intelligence for Distributed Decision Systems
University of Messina（墨西拿大学）
本文提出基于知识图谱的分布式决策系统智能方法，通过知识共享范式实现去中心化协调，提升复杂动态环境下的决策能力。
2026-02-07 cs.DC
Paving the Way for Distributed Artificial Intelligence over the Air
分布式人工智能（DAI）被认为是在严格的隐私保护规则下为多个客户端提供智能服务的最有前途的技术之一。通过应用DAI，对原始数据的训练在本地进行，而训练的输出，例如，来自多个本地客户端的模型参数被发送回中央服务器用于聚集。最近，为了实现更好的实用性，DAI被研究结合无线通信网络，纳入各种随机效应所带来的无线信道。然而，由于无线信道的复杂性和情况依赖性，一个通用的模拟器应用DAI在无线通信网络中仍然缺乏。为了加速DAI在无线通信网络中的应用，我们提出了一个通用的系统设计，在本文中，以及相关的模拟器，可以根据无线信道和系统级配置设置。详细的系统设计和无线环境的影响分析，以促进进一步的实施和更新。我们采用了一系列的实验来验证所提出的系统设计的有效性和效率，并显示其优越的可扩展性。
2022-01-21 cs.DC
Distributed and Deep Vertical Federated Learning with Big Data
近年来，数据通常分布在多个组织中，而数据安全变得越来越重要。联邦学习（Federated Learning，FL）使多个参与者能够在不交换原始数据的情况下协同训练模型，引起了越来越多的关注。基于数据的分布，FL可以在三个场景中实现，即，水平、垂直和混合。在本文中，我们提出了分布式机器学习技术与垂直FL相结合，并提出了分布式垂直联邦学习（DVFL）的方法。DVFL方法在每一方内部采用完全分布式的架构，以加快训练过程。此外，我们利用同态加密（HE）来保护数据免受诚实但好奇的参与者的攻击。我们在大规模集群环境和云环境中进行了广泛的实验，以显示我们提出的方法的效率和可扩展性。实验表明，我们的方法具有良好的可扩展性和显着的效率优势（高达6.8倍，单台服务器和15.1倍，多台服务器的训练时间）与基线框架相比。
2023-03-10 cs.DC
Distributed-Memory Parallel Algorithms for Counting and Listing Triangles in Big Graphs
在许多应用领域中出现的大图（网络）对图分析师提出了重大挑战，因为这些图增长到数十亿个节点和边，并且大到无法容纳在主内存中。求图中三角形个数是图挖掘和分析中的一个重要问题。在本文中，我们提出了两个有效的基于MPI的分布式内存并行算法计数三角形的大图。第一个算法采用重叠分区和有效的负载均衡计划，以提供一个非常快的并行算法。该算法可以很好地扩展到具有数十亿个节点的网络，并且可以在16分钟内计算出具有100亿条边的网络中三角形的确切数量。第二种算法将网络划分为不重叠的分区，从而产生空间有效的算法。我们在人工和真实世界的网络上的结果表明，该算法显着节省空间。我们还提出了一种新的方法，大大降低了通信成本，导致算法的空间和运行时高效的算法。此外，我们演示了我们的算法可以用来列出所有的三角形在一个图形和计算聚类系数的节点。我们的算法也可以适用于并行近似算法使用边缘稀疏化方法。
2017-06-16 cs.DC
Unveiling Crowdfunding Futures: Analyzing Campaign Outcomes through Distributed Models and Big Data Perspectives
本研究利用分布式机器学习模型分析基于奖励的众筹活动数据，揭示其中的模式与趋势，帮助企业优化众筹策略、提升融资效能并理解众筹生态的经济动态。
2024-02-21 cs.DC
Performance of Distributed File Systems on Cloud Computing Environment: An Evaluation for Small-File Problem
针对分布式文件系统在小文件及复杂机器学习场景下的性能问题，提出结合高性能计算、大数据与共享存储的架构，并通过实验验证其适用性。
2023-12-29 cs.DC
Federated Neural Radiance Field for Distributed Intelligence
针对分布式数据存储下NeRF训练图像受法规与隐私限制的问题，本文构建联邦学习测试平台并部署FedNeRF，在部分客户端选择下验证其隐私保护式协同训练的可行性。
2024-06-15 cs.DC
Autonomic Intrusion Response in Distributed Computing using Big Data
我们介绍了一种基于行为异常和潜在威胁的分类，理解和预测，发布建议，并采取行动来解决突出问题的入侵检测方法。我们的工作旨在通过分析操作过程中生成的大型数据集，在混合分布式计算环境中自动识别和响应网络安全威胁的过程中寻求实用的解决方案。云计算和边缘计算作为商业和社会解决方案的技术的使用增长推动了我们的发展。技术组合和复杂的操作使这些环境成为劫持、中间人、拒绝服务、网络钓鱼等攻击的目标。自主入侵响应系统实现了数据分析和上下文感知推荐系统的创新模型，以响应攻击和自我修复。我们介绍了一个概念验证的实现，并根据基于公共云和私有云的实验场景的数据集进行评估。结果表明，响应效率和扩展到大环境的潜力显着提高。
2018-11-13 cs.DC
A Distributed Real-Time Recommender System for Big Data Streams
在当今数据驱动的世界中，推荐系统（RS）在支持决策过程中发挥着至关重要的作用。随着用户不断连接到互联网，他们变得越来越没有耐心，对RS提出的过时建议的容忍度也越来越低，例如，Netflix上的电影推荐或亚马逊上的书籍阅读。这反过来又要求不断培训登记系统，以应对数据的在线时尚以及用户品味和兴趣的不断变化，即概念漂移。流（在线）RS必须满足三个要求：持续的培训和推荐，处理概念漂移和扩展能力。流推荐系统在文献中提出的大多数，解决前两个要求，不考虑可扩展性。这是因为他们在一台机器上运行训练过程。这样的机器，无论它有多强大，最终都无法应对数据量，这是从大数据处理中吸取的教训。为了解决第三个挑战，我们提出了一个分裂和复制机制构建分布式流推荐系统。我们的机制受到了支持当代大数据处理系统的成功无共享架构的启发。我们已经将我们的机制，两个著名的在线推荐系统，即矩阵分解和基于项目的协同过滤方法。我们已经在Apache Flink上实现了我们的机制。我们进行了实验比较基线（单机）的方法与我们的分布式方法的性能。通过评估不同的数据集，已经观察到处理延迟、吞吐量和准确性的改善。我们的实验表明，在线召回提高了40%以上的内存消耗减少了50%。
2022-04-10 cs.DC
Blockchain and Distributed Ledger Technologies for Cyberthreat Intelligence Sharing
本文全面探讨了网络威胁情报共享的定义、目标与影响，分析了区块链和分布式账本技术在增强情报共享中的作用、挑战与风险，并研究了实验设置、国家网络安全战略及课程影响。
2025-04-03 cs.CR cs.DC
A Survey on Geographically Distributed Big-Data Processing using MapReduce
Hadoop和Spark是广泛使用的分布式处理框架，用于在私有云或公共云上以高效和容错的方式进行大规模数据处理。这些大数据处理系统被许多行业广泛使用，例如，谷歌、Facebook和亚马逊，用于解决一大类问题，例如，搜索、聚类、日志分析、不同类型的连接操作、矩阵乘法、模式匹配和社会网络分析。然而，所有这些流行的系统在本地分布式计算方面都有一个主要缺点，这阻止了它们实现地理上分布式的数据处理。越来越多的地理分布的海量数据正在推动行业和学术界重新思考当前的大数据处理系统。这些新框架将超越当前系统所涉及的最先进的架构和技术，预计将在其位置处理地理上分布的数据，而无需将整个原始数据集移动到单个位置。在本文中，我们调查和讨论的挑战和要求，在设计地理分布的数据处理框架和协议。我们分类和研究批处理（基于MapReduce的系统），流处理（基于Spark的系统），SQL风格的处理地理分布的框架，模型和算法，其开销问题。
2017-07-06 cs.DB cs.DC
Distributed Bayesian Matrix Decomposition for Big Data Mining and Clustering
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Center for Excellence in Animal Evolution and Genetics, Chinese Academy of Sciences（中国科学院动物进化与遗传前沿交叉卓越创新中心）；Yunnan University（云南大学）
矩阵分解是从现代应用程序生成的大数据中发现知识的基本工具之一。然而，在单个机器中使用这种方法处理非常大的数据仍然是低效或不可行的。此外，大数据通常是分布式收集和存储在不同的机器上。因此，这样的数据通常带有强的非均匀噪声。分布式矩阵分解是大数据分析中的一个重要而有用的方法。这样的方法应该可以很好地扩展，对异构噪声进行建模，并解决分布式系统中的通信问题。为此，我们提出了一个分布式贝叶斯矩阵分解模型（DBMD）的大数据采掘和聚类。具体来说，我们采用三种策略来实现分布式计算：1）加速梯度下降，2）交替方向乘子法（ADMM），3）统计推断。我们研究了这些算法的理论收敛性。为了解决噪声的异质性，我们提出了一个最佳的插件加权平均，减少了估计的方差。合成实验验证了我们的理论结果，真实世界的实验表明，我们的算法可以很好地扩展到大数据，并实现优于或竞争性能相比，其他分布式方法。
2020-02-10 cs.CV cs.DC cs.LG
BigDL: A Distributed Deep Learning Framework for Big Data
Intel Corporation（英特尔公司）；Tencent Inc.（腾讯公司）；Sequoia Capital（红杉资本）；Alibaba Group（阿里巴巴集团）
本文介绍了BigDL（Apache Spark的分布式深度学习框架），该框架已被业界的各种用户用于在生产大数据平台上构建深度学习应用程序。它允许深度学习应用程序在Apache Hadoop/Spark集群上运行，以便直接处理生产数据，并作为端到端数据分析管道的一部分进行部署和管理。与现有的深度学习框架不同，BigDL直接在Spark的功能计算模型（具有写时复制和粗粒度操作）之上实现分布式数据并行训练。我们还分享了用户采用BigDL来应对挑战的真实经验和“战争故事”（即，如何轻松地为其生产数据构建端到端数据分析和深度学习管道）。
2019-11-05 cs.AI cs.DC cs.LG
Distributed Silhouette Algorithm: Evaluating Clustering on Big Data
Politecnico di Torino（都灵理工大学）
在大数据时代，每种算法需要具备的关键特征是能够在分布式环境中高效并行运行。不幸的是，用于评估聚类质量的流行的Silhouette度量不具有此属性，并且相对于输入数据集的大小具有二次计算复杂性。出于这个原因，它的执行在大数据场景中受到了阻碍，在这些场景中，必须以其他方式评估聚类。为了填补这一空白，在本文中，我们介绍了第一个算法，计算的轮廓度量线性复杂度，可以很容易地在分布式环境中并行执行。它的实现在Apache Spark ML库中免费提供。
2023-03-24 cs.AI cs.DC cs.DS
Improved Distributed Fractional Coloring Algorithms
我们证明了分布分数着色问题的新的界限在ESTA模型。分数$c$ -着色可以理解为如下的多色。对于某些自然数$p$和$q$，使得$p/q\leq c$，每个节点$v$被分配来自$\{1,\dots,p\}$的至少$q$颜色的集合，使得相邻节点被分配不相交的颜色集合。图$G$的分数$c$ -染色存在的最小$c$称为$G$的分数色数$χ_f(G)$。最近，[Bousquet，Esperet和Pirot; SIROCCO '21]表明，对于任何常数$ε>0$，分数$(Δ+ε)$ -着色可以在$Δ^{O(Δ)} + O(Δ\cdot\log^* n)$轮中计算。我们表明，这样的着色可以计算只有$O(\log^2 Δ)$轮，没有任何依赖$n$。进一步证明了在$O\big(\frac{\log n}ε\big)$轮中，即使分数色数$χ_f(G)$未知，也可以计算分数$(1+ε)χ_f(G)$ -着色.也就是说，这个问题可以近似任意好的一个有效的算法，在模型中。对于标准着色问题，我们只知道$O\big(\frac{\log n}{\log\log n}\big)$ -近似可以在多项式对数时间内计算。我们还表明，我们的分布式分数着色近似算法是最好的可能。我们表明，在树，它有分数色数$2$，计算分数$(2+ε)$着色至少需要$Ω\big(\frac{\log n}ε\big)$轮。最后，我们研究了规则…
2021-12-09 cs.DC
Distributed Data Processing Frameworks for Big Graph Data
最近，我们创建了如此多的数据（每天2.5兆字节），以至于当今世界90%的数据都是在过去两年中创建的。这些数据来自用于收集交通或气候信息的传感器，社交媒体网站的帖子，照片，视频，电子邮件，购买交易记录，蜂窝网络的通话记录等。在本报告中，我们首先简要讨论了用于大数据处理的编程模型，并重点关注图数据，并对用于解决超大规模图问题的编程模型/框架进行了调查研究。在第2节中，我们介绍了不是专门设计用于处理图数据的编程模型，但我们将它们包括在本调查中，因为我们相信这些是重要的框架和/或已经有研究来定制它们以实现更有效的图处理。在第3节中，我们讨论了一些技术，这些技术在应用于Hadoop时，可以为某些图形问题提供高达1340倍的加速。在第4节中，我们讨论了基于顶点的编程模型，它被简单地设计为处理大型图和适应它的框架。在第5节中，我们实现了两个基本的图算法（页面排名和权重二分匹配），并将它们作为基线方法在单个节点上运行，以查看它们对于大型数据集的速度以及是否值得对其进行分区。
2016-12-18 cs.DC
Consensus-based Decentralized Distributed Swarm Learning with Heterogeneous Big Data
Georgia State University（佐治亚州立大学）；University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）；George Mason University（乔治梅森大学）
针对边缘智能中非凸目标、数据异构和复杂网络拓扑的挑战，提出融合共识优化与粒子群优化的去中心化分布式群体学习框架，实现无需原始数据交换的协作，并缓解异构数据导致的性能退化。
2026-09-14 cs.DC
Optimizing Distributed Networking with Big Data Scheduling and Cloud Computing
本文研究分布式网络中的大数据调度问题，结合云计算与软件定义网络分析数据管理的机遇和挑战，指出云环境大数据调度及 coflow 调度算法是未来网络优化重点。
2023-11-08 cs.DC cs.NI
BigFCM: Fast, Precise and Scalable FCM on Hadoop
聚类在大数据挖掘中扮演着重要的角色，它既是一种建模技术，也是许多数据采掘过程实现中的预处理步骤。模糊聚类比非模糊方法提供了更大的灵活性，它允许每个数据记录在某种程度上属于多个聚类。然而，模糊聚类的一个严重挑战是缺乏可扩展性。地球科学、生物学和网络等新兴领域的海量数据集确实需要高性能的并行和分布式计算来解决现实世界的问题。虽然一些聚类方法已经被改进以在大数据平台上执行，但它们的执行时间对于大数据集来说会大大增加。提出并设计了一种基于Hadoop分布式数据平台的可扩展模糊C均值聚类算法BigFCM。基于map-reduce编程模型，它利用了几种机制，包括一个有效的缓存设计，以实现几个数量级的执行时间减少。在多千兆字节数据集上的广泛评估表明，BigFCM是可扩展的，同时它保留了聚类的质量。
2016-05-10 cs.DC
Run Time Prediction for Big Data Iterative ML Algorithms: a KMeans case study
在大数据基础设施上运行的数据科学和机器学习算法在从商业智能和分析到网络安全、智慧城市管理以及许多科学和工程领域的活动中越来越重要。随着这些算法进一步集成到日常运营中，了解它们在大数据基础设施上运行的时间对于控制成本和交付时间至关重要。在本文中，我们讨论了理解迭代机器学习算法的运行时间所涉及的问题，并提供了这样一个算法的案例研究-包括使用Edward概率程序设计语言的Spark大数据引擎的K-Means实现的运行时间的统计特征和模型。
2017-10-09 cs.DC
Applying Large-Scale Distributed Computing to Structural Bioinformatics -- Bridging Legacy HPC Clusters With Big Data Technologies Using kafka-slurm-agent
Warsaw School of Economics（华沙经济大学）；University of Virginia（弗吉尼亚大学）
KSA通过结合大数据技术与传统HPC集群，为结构生物信息学研究提供了一种新的分布式计算解决方案，用于检测蛋白质结节结构。
2025-03-19 cs.DC
3, 2, 1, Drones Go! A Testbed to Take off UAV Swarm Intelligence for Distributed Sensing
University of Leeds（利兹大学）；University of Sheffield（谢菲尔德大学）
本文介绍了一个研究具有群体智能的无人机分布式感知问题的实验平台。一些智慧城市应用，如交通和灾难响应，需要通过一群智能和协作的无人机来有效收集传感器数据。这往往被证明过于复杂和昂贵，无法在不影响规模、现实性和外部有效性的情况下进行系统和严格的研究。与建议的测试平台，本文设置了一个垫脚石，模仿，在小实验室空间，大感兴趣的领域起源于经验数据和仿真模型。在这张传感地图上，一群低成本的无人机可以飞行，从而可以研究大量的问题，如能源消耗、充电控制、导航和防撞。分散式多智能体集体学习算法（EPOS）在无人机群体智能中的适用性以及功耗测量的评估提供了概念验证并验证了所提出的测试平台的准确性。
2022-08-11 cs.DC cs.RO
Acceleration for Compressed Gradient Descent in Distributed and Federated Optimization
由于分布式和联邦学习问题中的高通信成本，依赖于通信消息压缩的方法变得越来越流行。虽然在其他情况下，性能最好的梯度型方法总是依赖于某种形式的加速/动量来减少迭代次数，但没有结合梯度压缩和加速两者的优点的方法。在本文中，我们纠正这种情况，并提出了第一加速压缩梯度下降（ACGD）方法。在单机状态下，我们证明ACGD享有率$O\Big((1+ω)\sqrt{\frac{L}μ}\log \frac{1}ε\Big)$的$μ$ -强凸问题和$O\Big((1+ω)\sqrt{\frac{L}ε}\Big)$的凸问题，分别，其中$ω$是压缩参数。我们的研究结果改善了现有的非加速率$O\Big((1+ω)\frac{L}μ\log \frac{1}ε\Big)$和$O\Big((1+ω)\frac{L}ε\Big)$，分别，并恢复加速梯度下降的最佳速率作为一种特殊情况下，没有压缩（$ω=0$）时，应用。我们进一步提出了ACGD的分布式变体（称为ADANA），并证明了收敛速度$\widetilde{O}\Big(ω+\sqrt{\frac{L}μ}+\sqrt{\big(\fracω{n}+\sqrt{\fracω{n}}\big)\frac{ωL}μ}\Big)$，其中$n$是设备/工人的数量和$\widetilde{O}$隐藏对数因子$\log \frac{1}ε$。这改进了Mishchenk…
2020-06-25 cs.DC cs.LG math.OC
CANITA: Faster Rates for Distributed Convex Optimization with Communication Compression
KAUST（阿卜杜拉国王科技大学）
由于分布式和联邦学习中的高通信成本，依赖于压缩通信的方法变得越来越流行。此外，理论上和实际上性能最好的梯度型方法总是依赖于某种形式的加速/动量来减少通信的数量（更快的收敛），例如，Nesterov的加速梯度下降（Nesterov，1983，2004）和Adam（Kingma和Ba，2014）。为了结合通信压缩和收敛加速的优点，我们提出了一种基于ANITA（Li，2021）的\emph{compressed and accelerated}梯度方法用于分布式优化，我们称之为CANITA。我们的CANITA实现了\emph{first accelerated rate} $O\bigg(\sqrt{\Big(1+\sqrt{\frac{ω^3}{n}}\Big)\frac{L}ε} + ω\big(\frac{1}ε\big)^{\frac{1}{3}}\bigg)$，其改进了DIANA的现有技术的非加速速率$O\left((1+\fracω{n})\frac{L}ε + \frac{ω^2+ω}{ω+n}\frac{1}ε\right)$（Khaled等人，2020），其中$ε$是目标误差，$L$是目标的平滑参数，$n$是机器/设备的数量，$ω$是压缩参数（较大的$ω$意味着可以应用更多的压缩，没有压缩意味着$ω=0$）。我们的研究结果表明，只要设备$n$的数量很大（在分布式/联邦学…
2021-11-07 cs.DC cs.DS cs.LG
Distributed Big-Data Optimization via Block-wise Gradient Tracking
我们研究多智能体网络中的分布式大数据非凸优化问题。我们考虑光滑（可能）非凸函数之和的（约束）最小化，即，代理的和效用，加上一个凸（可能）非光滑正则化。我们感兴趣的是大数据问题，其中有大量的变量进行优化。如果通过标准的分布式优化算法处理，这些大规模的问题可能是棘手的，由于禁止在每个节点的本地计算和通信负担。我们提出了一种新的分布式解决方案的方法，在每次迭代，代理更新在一个不协调的方式只有一个块的整个决策向量。为了解决费用函数的非凸性问题，该方案采用连续凸近似（SCA）技术，并结合一种新的块扰动推和一致性协议，该协议有助于执行局部块平均操作和跟踪梯度平均值。证明了该非凸问题平稳解的渐近收敛。最后，数值结果表明所提出的算法的有效性和突出的块尺寸的通信开销和实际收敛速度的影响。
2018-08-31 cs.DC cs.MA math.OC
DOD-ETL: Distributed On-Demand ETL for Near Real-Time Business Intelligence
全球化市场的竞争动态需要关于公司内部和外部现实的信息。信息是一种宝贵的资产，负责建立关键优势，使公司能够保持领先地位。然而，可靠、丰富的信息不再是唯一的目标。从数据中提取信息的时间框架决定了其有用性。这项工作提出了DOD-ETL，一个工具，以创新的方式，在商业智能解决方案的主要瓶颈，提取转换加载过程（ETL），提供它在近实时的【形】。DODETL通过将按需数据流管道与具有内存缓存和高效数据分区的分布式、并行和技术独立架构相结合来实现这一点。我们将DOD-ETL与其他用于执行近实时的【形】ETL的流处理框架进行了比较，发现DOD-ETL执行工作负载的速度快了10倍。我们已经在一家大型钢铁厂中部署了它，作为其以前ETL解决方案的替代品，实现了以前无法实现的近乎实时的【形】报告。
2019-07-15 cs.DB cs.DC
Development of a Big Data Framework for Connectomic Research
本文概述了一种新的基于Hadoop架构的分布式处理和脑电子显微镜分析的研究和开发。我们展示了一个新的C++库的开发，用于实现3D图像分析技术，并部署在分布式地图/减少框架。我们在Open Connectome Project的Kasthuri 11数据集的一个子集上展示了我们的新框架。
2015-01-25 cs.CE cs.DC
Parallel and Distributed Successive Convex Approximation Methods for Big-Data Optimization
近年来，人们对大规模系统的并行和分布式最优化方法产生了浓厚的兴趣。特别是非凸大规模最优化问题在许多工程领域有着广泛的应用。这种复杂的大规模系统的设计和分析提出了一些挑战，并要求开发新的最优化模型和算法。本文的主要贡献是提出了一个通用的，统一的，算法框架，连续凸逼近（SCA）技术的基础上，并行和分布式解决方案的一般类的非凸约束（不可分离的，网络）的问题。所提出的框架统一和概括了现有的几种SCA方法，使他们呼吁并行/分布式实现，同时提供了一个灵活的选择函数逼近，步长时间表，和控制的计算/通信效率。本文是根据作者之一在CIME暑期学校集中式和分布式多智能体最优化模型和算法，在Cetraro，意大利，2014年6月23日至27日举行的讲座。这些讲座是：I）连续凸逼近方法：基础; II）并行连续凸逼近方法;和III）分布式连续凸逼近方法。
2018-05-17 cs.DC math.OC
Artificial Intelligence (AI)-Centric Management of Resources in Modern Distributed Computing Systems
The University of Melbourne（墨尔本大学）；Amazon Web Services (AWS)（亚马逊云科技（AWS））
诸如云数据中心的当代分布式计算系统（DCS）是大规模的、复杂的、异构的，并且分布在多个网络和地理边界上。另一方面，物联网（IoT）驱动的应用程序正在产生大量数据，需要实时处理和快速响应。有效地管理这些资源以向最终用户或应用程序提供可靠的服务是一项具有挑战性的任务。现有的资源管理系统（RMS）依赖于静态或启发式的解决方案不适合这样的复合和动态系统。由于数据可用性和处理能力，人工智能（AI）的出现表现为在RMS任务中探索数据驱动的解决方案的可能性，这些解决方案是自适应的，准确的，高效的。在这方面，本文的目的是得出在资源管理中的数据驱动的解决方案的动机和必要性。它确定了与之相关的挑战，并概述了未来潜在的研究方向，详细说明了在不同的RMS任务中如何应用数据驱动技术。最后，它为DCS提供了一个概念性的数据驱动RMS模型，并展示了两个实时用例（GPU频率扩展和来自Google Cloud和Microsoft Azure的数据中心资源管理），展示了以AI为中心的方法的可行性。
2020-11-07 cs.DC cs.LG
Distributed and Big Data Storage Management in Grid Computing
大数据存储管理是网格计算环境中最具挑战性的问题之一，因为大量数据密集型应用经常涉及高度的数据访问局部性。网格应用程序通常处理大量数据。在传统的方法中，高性能计算包括用于数据存储和数据复制的专用服务器。在本文中，我们提出了一种新的机制，分布式和大数据存储和资源发现服务。提出了一种网格环境下的动态可扩展存储管理（DSSM）体系结构。这允许在网格计算中不仅共享计算周期，而且共享存储空间。可以从任何网格机器透明地访问存储，从而允许在网格用户和应用程序之间轻松地进行数据共享。允许创建虚拟空间的虚拟ID的概念已经被引入和使用。DSSM将所有面向网格的存储设备（节点）划分为多个地理上分布的域，以促进本地化并简化域内存储管理。采用基于网格服务的存储资源，随着需求的增长，将简单的模块化服务逐块堆叠起来。为此，我们提出了四个定义轴：DSSM架构和算法描述，存储资源和资源发现到网格服务，评估目的原型系统，动态，可扩展性和带宽，并讨论结果。在底层和上层的算法标准化的动态和可扩展的存储管理，以及更高的带宽已经设计。
2012-07-12 cs.DC cs.NI
On the Convergence of Artificial Intelligence and Distributed Ledger Technology: A Scoping Review and Future Research Agenda
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Institute for Applied Informatics and Formal Description Methods（应用信息学与形式化描述方法研究所）
人工智能（AI）和分布式账本技术（DLT）的发展目前在学术界和实践中引发了激烈的争论。人工智能处理数据，以执行以前认为只有人类才能完成的任务。DLT有可能在不确定环境中的一组参与者之间建立数据共识。在最近的研究中，这两种技术都用于类似甚至相同的系统。例如，设计安全的分布式账本或创建分布在多个节点上的联合学习系统。这可能导致技术融合，而这在过去为信息技术的重大创新铺平了道路。以前的工作强调了AI和DLT融合的几个潜在好处，但只提供了一个有限的理论框架来描述这两种技术即将到来的现实世界集成案例。我们的目标是通过对以前的工作进行系统的文献综述，并提供严格派生的未来研究机会。这项工作有助于活跃在人工智能或DLT领域的研究人员克服其领域的现有限制，并帮助从业人员开发融合两种技术的系统。
2020-02-05 cs.AI cs.CR cs.DC
Risk Management for Distributed Arbitrage Systems: Integrating Artificial Intelligence
North Carolina State University（北卡罗来纳州立大学）；Columbia University（哥伦比亚大学）
本研究调研对比AI在分布式套利系统风险管理中的应用，分析三类缓存技术的性能提升作用，考察AI对多类风险的缓解效果，结合Aave等案例说明AI与缓存融合可革新该领域风险管理。
2025-03-24 cs.AI cs.DC cs.LG
Distributed Big-Data Optimization via Block-Iterative Convexification and Averaging
Università del Salento（萨莱诺大学）；Purdue University（普渡大学）
本文研究多智能体网络中的分布式大数据非凸优化问题，提出基于块迭代凸化和平均的算法，通过局部优化和通信子集，解决非凸性问题并保证渐近收敛。
2018-05-02 cs.DC cs.SY eess.SY
Distributed Coordinate Descent Method for Learning with Big Data
University of Edinburgh（爱丁堡大学）
在本文中，我们开发和分析Hydra：HYbriD坐标下降法解决大数据的损失最小化问题。我们首先对坐标（特征）进行分区，并将每个分区分配给集群的不同节点。在每次迭代中，每个节点从其拥有的坐标中随机选择一个子集，独立于其他计算机，并基于简单的封闭式公式并行计算并应用更新到选定的坐标。我们给出的迭代次数的界限足以近似解决问题的高概率，并显示它如何依赖于数据和分区。我们进行数值实验与LASSO实例描述的3TB矩阵。
2013-10-08 cs.DC cs.LG math.OC
A randomized primal distributed algorithm for partitioned and big-data non-convex optimization
Università del Salento（萨兰托大学）
本文提出了一种简单的原始分布式算法，用于解决分区和大数据非凸优化问题，该算法基于随机下降方法，在异步 gossip 通信下收敛到 stationary 点。
2017-03-24 cs.DC cs.NA math.NA
Fast Distributed PageRank Computation
在过去的十年中，PageRank在广泛的应用程序和领域中获得了重要性，自从它首次被证明可以有效地确定大型图中的节点重要性（并且是Google搜索引擎背后的先驱思想）。在单独的分布式计算中，PageRank向量或更一般地基于随机游走的量已经用于范围从确定重要节点、负载均衡、搜索和识别连接结构的若干不同应用。然而，令人惊讶的是，设计可证明有效的全分布式算法来计算PageRank的工作很少。困难在于，由于通信带宽限制和收敛速率，传统的矩阵-向量乘法风格的迭代法可能并不总是很好地适应分布式设置。在本文中，我们提出了快速的随机行走为基础的分布式算法计算PageRanks在一般的图，并证明了强界轮复杂度。我们首先提出了一种分布式算法，它在任何图（有向或无向）上以高概率进行$O\big(\log n/\eps \big)$轮，其中$n$是网络大小，$\eps$是PageRank计算中使用的重置概率（通常$\eps$是固定常数）。然后，我们提出了一个更快的算法，需要$O\big(\sqrt{\log n}/\eps \big)$轮无向图。上述两种算法都是可缩放的，因为每个节点在每个轮的每个边缘上仅发送少量（$\polylog n$）比特。据我们所知，这是第一个完全分布式的计算PageRank向量的算法，可证明运行时间有效。
2015-11-25 cs.DC cs.DS
Pervasive AI for IoT applications: A Survey on Resource-efficient Distributed Artificial Intelligence
Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Qatar University（卡塔尔大学）；Delft University of Technology（代尔夫特理工大学）；Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学（MBZUAI））
人工智能（AI）在各种物联网（IoT）应用和服务方面取得了重大突破，从推荐系统到机器人控制和军事监视。这是由更容易访问传感数据和产生ZB（zettabytes）实时数据流的无处不在的设备的巨大规模所驱动的。使用这些数据流设计准确的模型，预测未来的见解并彻底改变决策过程，开创了普适系统作为提高生活质量的有价值的范例。普适计算和人工智能的融合，即普适AI，将无处不在的物联网系统的作用从主要的数据汇集扩展到执行分布式计算，并提出了各种挑战。在这种情况下，应该在IoT设备之间设想明智的合作和资源调度（例如，智能手机、智能车辆）和基础设施（例如边缘节点和基站），以避免通信和计算开销并确保最大性能。在本文中，我们对最近开发的技术进行了全面的调查，以克服普及AI系统中的这些资源挑战。具体来说，我们首先提出了一个普适计算，其架构，其交叉点与人工智能的概述。然后，我们回顾了AI的背景，应用和性能指标，特别是在无处不在的系统中运行的深度学习（DL）和在线学习。接下来，我们从算法和系统的角度，对物联网设备、边缘设备和云服务器组合中的分布式推理、训练和在线学习任务的通信效率技术进行了深入的文献综述。最后，我们讨论了我们未来的愿景和研究挑战。
2022-08-27 cs.AI cs.DC
Distributed Byzantine Tolerant Stochastic Gradient Descent in the Era of Big Data
North Carolina State University（北卡罗来纳州立大学）；Wuhan University（武汉大学）
传感器技术和智能设备的最新进展使得能够从多个信息源协作收集大量数据。作为从大数据中有效提取有用信息的一种有前途的工具，机器学习已被推到最前沿，并在计算机视觉、医疗保健和金融市场分析等广泛的相关领域取得了巨大成功。为了适应大数据量的需求，分布式机器学习的设计受到了广泛的关注，其中随机梯度下降（SGD）是最常用的方法之一。尽管如此，分布式机器学习方法可能容易受到拜占庭攻击，其中对手可以故意共享伪造的信息以破坏预期的机器学习过程。因此，在这项工作中，提出了两个异步拜占庭容忍SGD算法，其中诚实的协作工作者被假定为存储来自他们自己的本地数据的模型参数，并使用它们作为地面真理。所提出的算法可以处理任意数量的拜占庭攻击者和可证明收敛。基于真实世界数据集的仿真结果验证了理论结果，并证明了所提出的算法的有效性。
2019-03-06 cs.DC cs.LG stat.ML
EarthSight: A Distributed Framework for Low-Latency Satellite Intelligence
Planet Labs Inc.（Planet Labs公司）；Spire Global Inc.（Spire Global公司）
EarthSight通过分布式决策框架优化卫星图像分析，减少计算时间和端到端延迟，提升卫星任务的响应效率和可扩展性。
2026-04-18 cs.DC cs.LG
Distributed Private Online Learning for Social Big Data Computing over Data Center Networks
Huazhong University of Science & Technology（华中科技大学）；Peking University（北京大学）；Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）
随着互联网技术的快速发展，云计算和社交网络已经变得无处不在。越来越多的人参与到社交网络中，获得了大量的在线社交数据。为了从获取的大量数据中挖掘知识，预测用户的社会行为，迫切需要在社交网络中实现数据采掘。几乎所有的在线网站都使用云服务来有效地处理从分布式数据中心收集的大规模社交数据。这些数据是如此的大规模，高维和广泛分布，我们提出了一个分布式稀疏在线算法来处理它们。此外，隐私保护是社交网络中的一个重要问题。我们不应该损害网络中个人的隐私，而这些社会数据正在为数据采掘而学习。因此，本文也考虑了隐私问题。我们的模拟结果表明，适当的稀疏数据将提高我们的算法的性能和隐私保护的方法并没有显着损害所提出的算法的性能。
2016-02-21 cs.DC cs.LG cs.SI
Distributed Averaging CNN-ELM for Big Data
Universitas Indonesia（印度尼西亚大学）
提高机器学习的可扩展性以处理大量数据是一项具有挑战性的任务。按比例放大的方法有一些局限性。本文提出了一种基于MapReduce的分类器级扩展CNN-ELM方法。映射过程是对一定分区数据的CNN-ELM训练。它涉及许多可以异步训练的CNN-ELM模型。Reduce过程是所有CNN-ELM权重的平均值作为最终训练结果。这种方法可以比单独训练单个CNN-ELM模型节省大量的训练时间。这种方法还通过组合横向扩展和纵向扩展方法来增加机器学习的可扩展性。我们在扩展的MNIST数据集和非MNIST数据集上验证了我们的方法。但是，它也有一些缺点，需要仔细采取额外的迭代学习参数和训练数据分布，需要仔细选择。需要进一步研究使用更复杂的图像数据集。
2016-10-07 cs.CV cs.DC cs.LG
Infrastructure Enabled Autonomy: A Distributed Intelligence Architecture for Autonomous Vehicles
Texas A&M University（得克萨斯农工大学）
多项研究表明，自动驾驶的显著渗透可能带来巨大的社会、环境和经济效益。然而，目前所有的自动驾驶方法都要求汽车制造商承担与自动化取代人类感知和决策相关的主要责任和责任，这可能会减缓自动驾驶汽车的渗透，从而减缓自动驾驶汽车社会效益的实现。我们在这里提出了一种新的自动驾驶方法，将重新平衡传统汽车制造商、基础设施参与者和第三方参与者之间与自动驾驶相关的责任和义务。我们提出的分布式智能架构利用了近几十年来连接和边缘计算方面的重大进步，将车辆、路边的边缘计算机和车辆中的专用第三方计算机之间的驾驶功能进行划分。基础设施成为实现自主性的关键推动因素。有了这个基础设施支持的自主性（IEA）概念，传统汽车制造商只需要承担与他们今天已经做的事情相当的责任和义务，基础设施和第三方参与者将分担与自主功能相关的额外责任和义务。我们提出了一个基于贝叶斯网络模型的框架，用于评估这种分布式智能架构的风险收益。所提出的架构的另一个好处是，它实现了“自动化即服务”，同时仍然允许私人拥有汽车。
2018-02-05 cs.CY cs.DC cs.MA
Strategies and Principles of Distributed Machine Learning on Big Data
Carnegie Mellon University（卡内基梅隆大学）
大数据的兴起导致了对机器学习（ML）系统的新需求，以学习具有数百万到数十亿参数的复杂模型，这些模型承诺有足够的能力来消化海量数据集并提供强大的预测分析。为了在具有数十到数千台机器的分布式集群上以如此规模运行ML算法，通常需要大量的工程工作--人们可能会问这样的工程是否真正属于ML研究的范围。考虑到大型ML系统可以从基于ML的统计和算法见解中受益匪浅，因此ML研究人员不应该回避这样的系统设计，我们讨论了从我们最近在工业规模ML解决方案上的努力中提炼出来的一系列原则和策略。这些原则和策略涵盖了从应用到工程，再到大机器学习系统和架构的理论研究和开发的连续统一体，目的是了解如何使它们高效，普遍适用，并得到收敛和扩展保证的支持。它们涉及传统上在ML研究中很少受到关注的四个关键问题：如何在集群上分发ML程序？如何将ML计算与机器间通信联系起来？如何进行这样的沟通？机器之间应该进行哪些通信？通过揭示机器学习程序特有的、但在传统计算机程序中通常看不到的基本统计和算法特征，并通过剖析成功案例来揭示我们如何利用这些原则来设计和开发高性能分布式机器学习软件以及通用机器学习框架，我们为ML研究人员和实践者提供了进一步塑造和发展ML和系统之间区域的机会。
2015-12-31 cs.DC cs.LG stat.ML
Collective Intelligence for Control of Distributed Dynamical Systems
我们考虑El Farol酒吧问题，也被称为少数人游戏（W。B. Arthur，“The American Economic Review”，84（2）：406- 411（1994），D. Challet和Y.C. Zhang，"Physica A“，256：514（1998））。我们认为这是一个实例的一般问题，如何配置的节点元素的分布式动力系统，使他们不“工作在交叉业务”，在他们的集体动力学避免挫折，从而实现了一个提供的全球目标。我们总结了一个数学理论，这种配置适用时（如在酒吧的问题）的全局目标可以表示为最小化的全球能源功能和节点可以表示为最小的本地自由能函数。我们表明，该理论设计的系统几乎最佳的酒吧问题。
1999-08-17 adap-org cond-mat cs.AI
Distributed Optimization Based on Gradient-tracking Revisited: Enhancing Convergence Rate via Surrogation
我们研究分布式多智能体优化（有向，时变）图。我们考虑凸约束下的最小化$F+G$，其中$F$是代理损失的光滑强凸和，$G$是非光滑凸函数。我们建立在SONATA算法的基础上：该算法在代理的子问题中使用代理目标函数（因此超越线性化，例如近似梯度），再加上一个扰动（推和）共识机制，旨在局部跟踪$F$的梯度。SONATA在每个节点的$\mathcal{O}(κ_g \log(1/ε))$梯度计算和$\tilde{\mathcal{O}}\big(κ_g (1-ρ)^{-1/2} \log(1/ε)\big)$通信步骤中实现了目标值的精确$ε>0$，其中$κ_g$是$F$的条件数，$ρ$表征了网络的连通性。这是分布式复合优化的第一个线性速率结果;它还改进了现有的（非加速）方案，仅最小化$F$，其速率取决于比$κ_g$大得多的量（例如，代理中的最坏情况条件数）。当考虑特别是经验风险最小化问题的统计相似的数据在代理，SONATA采用高阶代理实现精确$ε>0$在$\mathcal{O}\big((β/μ) \log(1/ε)\big)$迭代和$\tilde{\mathcal{O}}\big((β/μ) (1-ρ)^{-1/2} \log(1/ε)\big)$通信步骤，其中$β$措施的程度相似的代理人的损失和$μ$是强凸常数的$F$。因此，当使用$β/μ< κ_g$时，高阶代理的使用产生了比一阶模型…
2020-10-12 cs.DC math.OC
On the Complexity of Distributed Splitting Problems
在分布式图算法领域的一个基本的开放问题是，是否需要有效的对称破缺的随机化的问题。虽然有快速的，$\text{poly}\log n$时间随机分布式算法的所有经典对称破缺问题，对他们中的许多人来说，最好的确定性算法几乎是指数慢。下面的基本局部分裂问题，被称为\emph{weak splitting}问题，在这个上下文中起着中心作用：图$G=(V,E)$的每个节点必须被着色为红色或蓝色，使得每个足够大的度的节点在其邻居中至少有一个节点的每种颜色。Ghaffari，库恩和Maus [STOC '17]表明，这个看似简单的问题是完整的w.r.t.上述基本的开放问题在以下意义上：如果有一个有效的$\text{poly}\log n$ -时间确定性分布式算法的弱分裂，那么有这样的算法的所有局部可检查的图问题，一个有效的随机算法存在。本文研究了弱分裂的分布复杂性及其相关问题。例如，在一个示例中，对于弱分裂的特殊情况，我们得到了有效的算法，其中图是近正则的。特别是，我们表明，如果$δ$和$Δ$的最小和最大程度的$G$，如果$δ=Ω(\log n)$，弱分裂可以解决确定性的时间$O\big(\fracΔδ\cdot\text{poly}(\log n)\big)$。此外，如果$δ= Ω(\log\log n)$和$Δ\leq 2^{\varepsilonδ}$，则存在具有时间复杂度$O\big(\f…
2019-05-28 cs.DC cs.DS
Distributed Intelligence in the Computing Continuum with Active Inference
本文针对计算连续体中分布式、异构和动态的服务管理难题，提出利用主动推理（AIF）智能体自主协同管理分布式流处理服务，实验表明AIF无需大量训练即可高效满足设备感知的服务水平目标，并具备强适应能力。
2025-05-30 cs.DC cs.MA cs.SY
Distributed Real-Time Sentiment Analysis for Big Data Social Streams
University of Jyväskylä（于韦斯屈莱大学）
大数据趋势迫使以数据为中心的系统具有连续的快速数据流。近年来，流数据的实时分析已经形成了一个新的研究领域，其目标是以可忽略的延迟回答关于正在发生的事情的查询。实时流数据处理的真正挑战是不可能存储数据实例，因此使用在线分析算法。为了执行实时分析，数据的预处理应该以仅将流的简短摘要存储在主存储器中的方式执行。此外，由于到达速度快，每个数据实例的平均处理时间应该是这样的，即传入实例不会在没有被捕获的情况下丢失。最后，学习者需要提供高分析准确性的衡量标准。Sentinel是一个用Java编写的分布式系统，旨在通过强制以分布式形式完成处理和学习过程来解决这一挑战。Sentinel建立在Apache Storm之上，这是一个分布式计算平台。Sentinels学习器（Vertical Hoeffding Tree）是一种基于VFDT的并行决策树学习算法，具有在分布式环境下实现并行分类的能力。Sentinel还使用SpaceSaving来保存数据流的摘要，并将其摘要存储在概要数据结构中。Sentinel在Twitter公共流API上的应用，并讨论了结果。
2016-12-27 cs.CL cs.DB cs.DC
Distributed Big-Data Optimization via Block Communications
Università del Salento（萨伦托大学）；Purdue University（普渡大学）
本文研究了分布式多智能体大规模优化问题，提出了一种仅优化和通信局部变量部分的算法，通过 successive convex approximation 处理非凸性，并结合块信号跟踪方案估计梯度平均，证明了算法的渐近收敛性。
2018-05-27 cs.DC cs.SY eess.SY
Classification of Scientific Papers With Big Data Technologies
传统数据存储和分析系统无法处理的数据大小称为大数据。它也指为存储，处理和分析大量数据而开发的新技术。在大数据领域，对大量不同来源的文档内容进行自动信息检索、识别研究领域和主题、提取文档摘要或发现模式等都是研究的热点。本文采用朴素贝叶斯分类算法，对由科学论文组成的数据集进行分类，并对分类结果进行了分析。已经尝试自动确定这些文档所属的类。我们已经开发了一个有效的系统，可以分析土耳其的科学文献与分布式文档分类算法上运行的云计算基础设施。Apache Mahout库在研究中使用。对分布式文档进行分类和群集所需的服务器是
2018-02-14 cs.DC cs.DL
Triclustering in Big Data Setting
National Research University Higher School of Economics（俄罗斯高等经济研究大学）
在本文中，我们描述的版本的三聚算法适用于高效的计算在分布式环境中与MapReduce模型或并行化机制提供现代程序设计语言。由于独立处理三元形式上下文的三元组，三聚算法的OAC家族显示出良好的并行化能力。我们提供的时间和空间复杂度的算法，并证明其相关性。我们还比较了使用分布式系统和可扩展性的性能增益。
2020-10-24 cs.DC cs.LG
Resilient by Design -- Active Inference for Distributed Continuum Intelligence
Department of Computer Systems and Sciences, Stockholm University（斯德哥尔摩大学计算机系统与科学系）；Department of Information Engineering, University of Pisa（比萨大学信息工程系）；Distributed Systems Group, TU Wien（维也纳技术大学分布式系统组）
针对分布式计算连续体中设备故障问题，引入概率主动推理弹性代理，通过构建因果故障图、利用马尔可夫毯和自由能原理识别故障并主动推理修复，经理论验证其可靠有效。
2026-07-07 cs.AI cs.DC cs.MA
Agentic Fog: A Policy-driven Framework for Distributed Intelligence in Fog Computing
Sarhad University of Science & Information Technology（萨赫德科学与技术大学）；GIK Institute of Engineering Sciences & Technology（吉克工程科学与技术学院）；University of Essex（埃塞克斯大学）
本文提出了一种基于策略的雾计算框架，通过将雾节点建模为自主代理并利用势博弈理论，实现了动态环境下的高效资源管理和稳定系统收敛。
2026-01-28 cs.DC cs.MA
