A Survey of Big Data Machine Learning Applications Optimization in Cloud Data Centers and Networks
这篇调查文章回顾了与在云数据中心和网络中部署和优化大数据应用程序以及机器学习算法相关的挑战。MapReduce编程模型及其广泛使用的开源平台Hadoop正在开发大量基于云的服务和大数据应用程序。因此，MapReduce和Hadoop引入了创新、高效和加速的密集型计算和分析。这些服务通常利用地理分布的数据中心内的商品集群，并提供具有成本效益和弹性的解决方案。然而，迁移、存储和处理大数据的数据中心之间和内部的流量不断增加，这正在成为一个瓶颈，需要能够减少拥塞和功耗的增强型基础设施。此外，具有请求各种大数据服务的多个租户的企业面临的挑战是，需要以降低的运行成本和功耗来优化其资源的租赁，同时避免利用不足或过度利用。在本调查中，我们总结了各种大数据编程模型和应用程序的特点，并对云计算基础设施以及虚拟化和软件定义网络等相关技术进行了审查，这些技术越来越多地支持大数据系统。此外，我们还简要回顾了数据中心的拓扑结构、路由协议和流量特征，并强调了大数据对云数据中心及其支持网络的影响。在各种应用程序性能指标和/或基础设施能效方面，我们致力于优化处理大数据的系统。最后，提出了一些启示和未来的研究方向。
2019-10-01 cs.DC cs.LG cs.NI
Optimizing Distributed Networking with Big Data Scheduling and Cloud Computing
本文研究分布式网络中的大数据调度问题，结合云计算与软件定义网络分析数据管理的机遇和挑战，指出云环境大数据调度及 coflow 调度算法是未来网络优化重点。
2023-11-08 cs.DC cs.NI
BigRoots: An Effective Approach for Root-cause Analysis of Stragglers in Big Data System
通常认为，掉队者对大数据系统的性能有很大的影响。然而，造成掉队的原因是复杂的。以往的工作主要集中在掉队者检测、调度级优化和粗粒度原因分析等方面。这些方法无法提供有价值的见解来帮助用户优化他们的程序。在本文中，我们提出了BigRoots，一个通用的方法，结合框架和系统的特点，在大数据系统中的落伍者的根本原因分析。BigRoots考虑了大数据框架的特性，如shuffle读/写字节和JVM垃圾回收时间，以及系统资源利用率，如CPU，I/O和网络，能够检测出掉队者的内部和外部根源。我们通过在不同的系统组件中注入高资源利用率来验证BigRoots，并进行案例研究来分析Hibench中的不同工作负载。实验结果表明，BigRoots算法能够有效地识别出产生掉队的根本原因，为性能优化提供指导。
2018-01-10 cs.DC
Polypus: a Big Data Self-Deployable Architecture for Microblogging Text Extraction and Real-Time Sentiment Analysis
本文提出了一种基于大数据技术的微博帖子实时的【形】情感分析并行架构。Polypus是一个模块化框架，提供以下功能：（1）从Twitter中提取大量文本，（2）针对时间范围查询优化的分布式非关系存储，（3）基于内存的模块间缓冲，（4）实时的【形】情感分类，（5）时间序列中的近实时的【形】关键词情感聚合，（6）一个HTTP API与Polypus集群进行交互，（7）一个Web界面来可视化地分析结果。整个架构是可自部署的，基于Docker容器。
2018-01-11 cs.DC
Oseba: Optimization for Selective Bulk Analysis in Big Data Processing
选择性批量分析，如时间/空间数据的统计学习，是当代数据分析的基础。然而，随着越来越大的数据集，如天气数据和营销交易，数据组织/访问变得更具挑战性的选择性批量数据处理与使用当前的大数据处理框架，如Spark或键值存储。在本文中，我们提出了一种方法来优化大数据处理中的选择性批量分析，称为Oseba。Oseba在内存中为数据组织维护了一个超级索引，以支持通过定位每个选择性分析程序所涉及的数据进行快速查找。与默认的数据处理框架相比，Oseba能够节省内存和计算。
2017-07-12 cs.DC
BiJuTy: An Interactive HPC-Aware Big Data Cluster Lifecycle Manager and Performance Assessment Utility for JupyterHub
Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据分析和人工智能中心）；Center for Interdisciplinary Digital Sciences (CIDS)（跨学科数字科学中心）；TUD Dresden University of Technology（德累斯顿工业大学）
提出BiJuTy，通过Jupyter交互界面简化HPC上大数据集群的生命周期管理和性能评估，降低使用门槛，支持多集群管理和迭代优化。
2026-06-24 cs.DC
Experimental Study of the Cloud Architecture Selection for Effective Big Data Processing
大数据决定了他们对硬件和软件的要求。简单的迁移到云端的数据处理，虽然解决了增加计算能力的问题，但也带来了一些问题：需要确保安全性，需要控制数据传输过程中的质量，需要优化请求。计算云不仅仅提供可扩展的资源，还需要网络基础设施、未知的路由和用户请求数量。此外，在运行过程中可能会出现这样的情况，即您需要更改应用程序的架构-部分数据需要放置在私有云中，部分在公共云中，部分留在客户端上。
2015-07-01 cs.DC
BigSUMO: A Scalable Framework for Big Data Traffic Analytics and Parallel Simulation
University of Florida（佛罗里达大学）；NVIDIA Corp.（英伟达公司）；FDOT（佛罗里达州交通部）
BigSUMO是一种开源框架，用于大数据交通分析和并行模拟，通过描述性分析和预测性分析优化交通性能。
2026-01-05 cs.DC
Distributed Big-Data Optimization via Block-Iterative Convexification and Averaging
Università del Salento（萨莱诺大学）；Purdue University（普渡大学）
本文研究多智能体网络中的分布式大数据非凸优化问题，提出基于块迭代凸化和平均的算法，通过局部优化和通信子集，解决非凸性问题并保证渐近收敛。
2018-05-02 cs.DC cs.SY eess.SY
Towards Big data processing in IoT: network management for online edge data processing
Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）
数据负载大、覆盖范围广一直是物联网面临的关键问题。然而，在移动边缘计算（MEC）网络中，庞大的数据可以在边缘进行部分处理。本文讨论了一种基于MEC的大数据分析网络。分布式网络终端生成的原始数据由边缘服务器收集和处理。边缘服务器分离出大量冗余数据，并将提取的信息传输到中心云进行进一步分析。然而，考虑到边缘计算能力有限，庞大数据源中的部分原始数据可能会直接传输到云端。为了在线管理有限的资源，我们提出了一种基于李亚普诺夫优化的算法，以联合优化边缘处理器频率，发射功率和带宽分配的政策。该算法的目标是在不知道数据源概率分布的情况下，稳定数据处理延迟和节省能量。所提出的网络管理算法可能有助于未来物联网中的大数据处理。
2019-05-05 cs.AI cs.DC cs.IT
Storage Solutions for Big Data Systems: A Qualitative Study and Comparison
大数据系统开发充满了挑战，因为该技术承诺服务于各种应用领域和领域。通常，大数据系统设计中涉及的基本设计决策包括选择适当的存储和计算基础设施。在这个异构系统集成不同技术以优化解决特定现实问题的时代，大数据系统也不例外。就任何大数据系统的存储方面而言，这方面的主要方面是存储基础设施，NoSQL似乎是满足其需求的正确技术。然而，每个大数据应用程序都具有可变的数据特征，因此，相应的数据适合不同的数据模型。本文对面向文档、键值、图和宽列这四种主要数据模型的特点和用例进行了分析和比较。此外，还提供了80个NoSQL解决方案的功能分析，详细说明了开发人员在做出可能的选择时必须考虑的标准和要点。通常，大数据存储需要与执行引擎以及其他处理和可视化技术进行通信，以创建全面的解决方案。这就引出了大数据存储的第二个方面，即大数据文件格式。研究论文的后半部分比较了Hadoop可用的大数据文件格式的优点、缺点和可能的用例，Hadoop是大多数大数据计算技术的基础。分散存储和区块链被视为下一代大数据存储，其挑战和未来前景也被讨论。
2019-04-25 cs.DB cs.DC
Big Data Strategies for Data Center Infrastructure Management Using a 3D Gaming Platform
高性能计算（HPC）与有效的数据中心基础设施管理（DCIM）有着内在的联系。云服务和HPC已成为国防部和企业信息技术在全球和商业领域竞争战略的关键组成部分。因此，对一致、可靠的数据中心空间的依赖比以往任何时候都更加重要。提供高质量DCIM的成本和复杂性不断受到美国政府和谷歌、微软和Facebook等公司的测试和评估。本文将展示一个系统，其中利用大数据战略和3D游戏技术成功地监控和分析多个HPC系统和单一平台上的Lights-out模块化HP EcoPOD 240 a数据中心。大数据技术和3D游戏平台可以相对实时的监控5000个环境传感器、3500多个IT数据点，并从100英里外的指挥中心显示数据中心整体运行状况的可视化分析。此外，大数据模型允许对历史趋势和条件进行深入分析，以优化运营，实现更高的效率和可靠性。
2015-06-29 cs.DC
Distributed Big-Data Optimization via Block-wise Gradient Tracking
我们研究多智能体网络中的分布式大数据非凸优化问题。我们考虑光滑（可能）非凸函数之和的（约束）最小化，即，代理的和效用，加上一个凸（可能）非光滑正则化。我们感兴趣的是大数据问题，其中有大量的变量进行优化。如果通过标准的分布式优化算法处理，这些大规模的问题可能是棘手的，由于禁止在每个节点的本地计算和通信负担。我们提出了一种新的分布式解决方案的方法，在每次迭代，代理更新在一个不协调的方式只有一个块的整个决策向量。为了解决费用函数的非凸性问题，该方案采用连续凸近似（SCA）技术，并结合一种新的块扰动推和一致性协议，该协议有助于执行局部块平均操作和跟踪梯度平均值。证明了该非凸问题平稳解的渐近收敛。最后，数值结果表明所提出的算法的有效性和突出的块尺寸的通信开销和实际收敛速度的影响。
2018-08-31 cs.DC cs.MA math.OC
Trustworthy Scheduling for Big Data Applications
Athens University of Economics and Business（雅典经济与商业大学）；National and Kapodistrian University of Athens（雅典国立卡波迪斯特里阿斯大学）
X-Sched通过整合反事实解释与机器学习模型，提供可操作的资源配置指导，提升容器化环境中的任务执行效率和透明度。
2026-01-26 cs.DC
Learning-based Automatic Parameter Tuning for Big Data Analytics Frameworks
大数据分析框架（BDAF）已被广泛用于数据处理应用。这些框架向用户提供了大量的配置参数，这导致了一个困扰用户的调优问题。为了解决这个问题，已经提出了许多自动调谐方法。然而，它仍然是一个关键的挑战，以产生足够的样本在高维参数空间内的时间约束。在本文中，我们提出了AutoTune-一个自动参数调整系统，旨在优化BDAF上的应用程序执行时间。AutoTune首先从生产系统中构建一个较小规模的测试台，以便它可以生成更多样本，从而在给定的时间约束下训练更好的预测模型。此外，AutoTune算法产生一组样本，可以在高维参数空间上提供广泛的覆盖范围，并使用训练的预测模型搜索更有希望的配置。AutoTune是使用Spark框架和HiBench基准部署在公共云上实现和评估的。大量的实验结果表明，AutoTune平均提高了63.70%的默认配置，并在五个国家的最先进的调优算法的6%-23%。
2018-08-17 cs.DC cs.SE
A Two-Phase Dynamic Throughput Optimization Model for Big Data Transfers
在专用和非专用网络链路上移动的数据量的增加比网络容量的增加快得多，但是当前的解决方案甚至不能保证所承诺的可实现的传输吞吐量。在本文中，我们提出了一种新的动态吞吐量优化模型的基础上的数学建模与离线知识发现/分析和自适应在线决策。在离线分析中，我们挖掘历史传输日志，以执行有关传输特性的知识发现。在线阶段使用从离线分析中发现的知识以及对网络状况的实时调查来优化协议参数。由于实时调查是昂贵的，并提供有关当前网络状态的部分知识，我们的模型使用有关网络和数据的历史知识，以减少实时调查开销，同时确保每次传输的吞吐量接近最佳。我们的新方法在不同的网络和不同的数据集上进行了测试，性能比最接近的竞争对手高出1.7倍，比默认情况高出5倍。与这些网络上可能实现的最佳吞吐量相比，它还实现了高达93%的准确性。
2018-12-29 cs.DC
Fine-Grained Modeling and Optimization for Intelligent Resource Management in Big Data Processing
本文提出基于MaxCompute的细粒度实例级建模与分层多目标优化系统，分解资源优化问题，在生产负载下同时降低37-72%延迟和43-78%成本。
2022-07-09 cs.DB cs.DC
Challenges of Heterogeneity in Big Data: A Comparative Study of Classification in Large-Scale Structured and Unstructured Domains
本研究通过比较结构化和非结构化领域分类策略，揭示了高维空间中线性模型优于深度学习的复杂性悖论，并提出基于Transformer嵌入和贝叶斯编码的鲁棒特征工程方法。
2025-11-29 cs.CL cs.DC cs.LG
A hybrid architecture for astronomical computing
随着一批大型科学仪器的建设和投入使用，天文学已经进入了大数据时代。大数据处理的新方法和基础设施已经成为许多天文学家的新需求。云计算、Map/Reduce、Hadoop、Spark等许多新技术近年来如雨后春笋般涌现。相对于高性能计算（HPC），数据是这些新技术的核心。因此，一个新的计算架构基础设施是必要的，它可以由HPC和大数据处理共享。本文以中国虚拟天文台天文云项目为背景，对混合计算平台进行了优化设计。其中包括硬件体系结构、集群管理、作业和资源调度。
2018-01-19 astro-ph.IM cs.DC
Distributed Big-Data Optimization via Block Communications
Università del Salento（萨伦托大学）；Purdue University（普渡大学）
本文研究了分布式多智能体大规模优化问题，提出了一种仅优化和通信局部变量部分的算法，通过 successive convex approximation 处理非凸性，并结合块信号跟踪方案估计梯度平均，证明了算法的渐近收敛性。
2018-05-27 cs.DC cs.SY eess.SY
Scalable3-BO: Big Data meets HPC - A scalable asynchronous parallel high-dimensional Bayesian optimization framework on supercomputers
Sandia National Laboratories（桑迪亚国家实验室）；Xilinx Inc.（赛灵思公司）
贝叶斯优化（BO）是一个灵活而强大的框架，适用于计算昂贵的基于仿真的应用程序，并保证统计收敛到全局最优。虽然仍然是最流行的优化方法之一，但其能力受到数据大小，所考虑问题的维度以及顺序优化的性质的阻碍。这些可伸缩性问题相互交织，必须同时解决。在这项工作中，我们提出了可扩展的$^3$ -BO框架，它采用稀疏GP作为底层的代理模型，以大数据的范围，并配备了一个随机嵌入，以有效地优化高维问题，有效维数低。可扩展的$^3$ -BO框架进一步利用异步并行化特征，其在计算预算内充分利用HPC上的计算资源。因此，所提出的可扩展$^3$ -BO框架在三个独立的方面是可扩展的：关于HPC上的数据大小、维度和计算资源。这项工作的目标是推动BO的前沿超越其众所周知的可扩展性问题，并最大限度地减少挂钟等待时间，以优化高维计算昂贵的应用程序。我们展示了可扩展的$^3$ -BO的能力，在HPC环境中有100万个数据点，10，000维问题，20个并发工作者。
2021-08-12 cs.DC cs.LG math.OC
