C3O: Collaborative Cluster Configuration Optimization for Distributed Data Processing in Public Clouds
分布式并行处理系统使得能够在集群上对大型数据集进行数据并行处理。公共云提供商提供了大量可用于此类集群的资源。然而,为低成本工作(既不会导致瓶颈,也不会导致低资源利用率)选择合适的云资源通常具有挑战性,即使对于数据工程师等专家用户也是如此。我们提出了C3O,一个协作系统,用于优化公共云中的数据处理集群配置共享的历史运行时数据的基础上。该共享数据用于使用专门的回归模型来预测不同可能的集群配置上的数据处理作业的运行时间。这些模型考虑了不同用户的不同执行上下文,并在我们对930个独特的Spark作业的实验评估中显示出低于3%的平均绝对误差。
2021-12-01 cs.DC
Training Data Reduction for Performance Models of Data Analytics Jobs in the Cloud
像Apache Flink和Apache Spark这样的分布式Linux系统以数据并行的方式简化了集群上的大量数据处理。然而,选择合适的集群资源的分布式并行作业的类型和数量是困难的,特别是对于用户谁没有访问以前的性能指标。克服这个问题的一种方法是让用户共享运行时度量,以训练上下文感知的性能模型,从而帮助找到适合手头工作的配置。共享运行时数据而不是训练的模型或模型参数时的一个问题是,数据大小可能会随着时间的推移而大幅增长。本文研究了几种聚类技术,以最大限度地减少训练数据的大小,同时保持相关的性能模型准确。我们的研究结果表明,数据传输,存储和模型训练的效率增益可以通过训练数据减少。在对我们的解决方案进行评估时,我们观察到,平均而言,75%的数据减少只会使预测误差增加一个百分点。
2022-03-11 cs.DC
Towards Collaborative Optimization of Cluster Configurations for Distributed Dataflow Jobs
用分布式的XML系统分析大型数据集需要使用集群。公共云提供商提供了大量可用于此类集群的资源。然而,在类型和数量上选择适当的资源通常是具有挑战性的,因为所选择的配置需要匹配分布式并行作业的资源需求和访问模式。良好的群集配置可避免硬件瓶颈并最大限度地提高资源利用率,从而避免代价高昂的过度配置。我们提出了一种协作的方法,找到最佳的集群配置的基础上共享和学习的历史运行时数据的分布式并行作业。通过使用专门的回归模型,可以利用协作的共享数据来预测未来作业执行的运行时。然而,在由不同用户在不同上下文中产生的历史运行时数据上训练预测模型需要模型考虑这些上下文。
2021-04-27 cs.DC
Flora: Efficient Cloud Resource Selection for Big Data Processing via Job Classification
针对大数据处理中云资源配置选择困难的问题,提出Flora方法,通过作业分类和测试执行推导配置,在Google Cloud上180次Spark作业中实现成本优化,平均偏差低于6%。
2025-02-28 cs.DC
Floe: Federated Specialization for Real-Time LLM-SLM Inference
Floe通过结合云LLM和边缘SLM实现低延迟隐私保护推理,提升实时环境下的个性化与性能
2026-02-15 cs.DC cs.LG
Adaptive Energy-aware Scheduling of Dynamic Event Analytics across Edge and Cloud Resources
作为物联网(IoT)的一部分,传感器的部署越来越多,正在产生数千个事件流。复杂事件处理(CEP)查询提供了一个有用的范例,对这些数据源的快速决策。虽然通常集中在云中,但在现场部署有能力的边缘设备激发了对跨边缘和云计算的协作事件分析的需求。在这里,我们确定了一个新的问题,即在边缘和云资源上放置查询,以动态地到达和离开分析流程。我们将其定义为一个优化问题,以最小化所有事件分析的总完工时间,同时满足资源的能量和计算约束。我们提出了4种自适应算法和3种重新平衡策略,并使用100 - 1000个边缘设备和虚拟机的详细模拟来验证它们。结果表明,我们的算法提供O(秒)的规划时间,在所有情况下,提供一个有效的和高质量的解决方案,并减少查询迁移的数量。此外,再平衡策略在这些物流中应用时,显着减少了约20 - 25%的完工时间。
2018-01-03 cs.DC
Managing Large-Scale Transient Data in IoT Systems
流数据的普遍可用性推动了对用于流应用的分布式快速数据平台的兴趣。这种延迟敏感的应用程序需要使用弹性云资源上的横向扩展来响应输入速率和任务行为的动态性。像Apache Storm这样的平台不提供强大的功能来响应这种动态性和跨VM快速迁移任务。我们提出了几种流媒体流检查点和迁移方法,允许流媒体流迁移,而不会丢失任何飞行中的消息或其内部任务状态,同时减少恢复和稳定的时间。我们在Apache Storm上实施并评估这些迁移策略,使用微和应用程序扩展来扩展到多达2-21个Azure VM。我们的结果表明,我们可以在50秒内迁移大尺寸的磁盘,而Storm的默认方法需要100秒以上。我们还发现,我们的方法可以更早地稳定应用程序,并且没有失败和重新处理消息。
2018-03-24 cs.DC
Scientific Computing Meets Big Data Technology: An Astronomy Use Case
科学分析通常将多个单进程程序组合成一个子程序。单进程程序的端到端并行流被称为多任务应用程序。通常,来自HPC软件栈的工具用于并行化这些分析。在这项工作中,我们研究了一种替代方法,该方法使用Apache Spark(一种现代大数据平台)来并行化多任务应用程序。我们提出Kira,一个灵活的分布式天文学图像处理工具包,使用Apache Spark。然后,我们使用Kira工具包来实现天文图像的源提取器应用程序,称为Kira SE。以Kira SE为用例,我们研究了运行在EC2云上的Apache Spark的编程灵活性、底层丰富性、调度能力和性能。通过利用数据局部性,Kira SE在Amazon EC2云上使用512个核心分析1TB数据集时,实现了2.5倍于等效C程序的加速。此外,通过利用最初为大数据基础设施设计的软件,Kira SE实现了与NERSC Edison超级计算机上运行的C实现竞争的性能。我们使用Kira的经验表明,Apache Spark等新兴大数据平台是多任务科学应用程序的高性能替代方案。
2016-03-14 cs.DC
Extending TensorFlow's Semantics with Pipelined Execution
TensorFlow是一个流行的云计算框架,目标是机器学习应用程序。它将应用程序逻辑的规范(在一个简单的图中)与逻辑的执行分开。TensorFlow的原生运行时在各种硬件(包括CPU、GPU和ASIC)上以低开销执行应用程序。虽然支持这些功能的底层底层的XML引擎可以应用于机器学习之外的计算,但某些设计决策限制了这种更广泛的应用,例如应用程序无法区分并发请求中的数据项。本文介绍了Pipelined TensorFlow(PTF),这是一个扩展TensorFlow语义的系统,为更广泛的应用程序逻辑提供支持。特别是,PTF支持在单个实例化上并发处理有限批数据的应用程序。PTF添加这些语义的方法是将图划分为一个更小的图的管道,并使用元数据标记每个数据项。这些较小的图由门(gate)分隔:PTF中的新数据结构,用于缓冲图之间的数据项,并解释元数据以应用新的语义。PTF的流水线架构在未经修改的TensorFlow运行时上执行,保持与许多现有TensorFlow库函数的兼容性。我们的评估表明,PTF的流水线机制可以增加生物信息学应用程序的吞吐量4 $\times$,而只增加其延迟0.13 $\times$。这导致持续的基因组比对和排序速度为321兆字节/秒,使用20台计算机的计算和I/O资源。
2019-08-25 cs.DC
Resilient Execution of Data-triggered Applications on Edge, Fog and Cloud Resources
物联网(IoT)正在导致物理世界的流数据的普遍可用性,再加上作为智能城市和5G部署的一部分部署的边缘计算基础设施。这些受限的、不太可靠但便宜的资源由雾资源补充,雾资源提供联合管理和加速计算,以及按需付费的云资源。缺乏直观的方法来部署应用程序管道以使用这些不同的流,并在边缘和雾资源上可靠地执行它们。我们提出了一个创新的应用程序模型,声明式地指定查询,以匹配来自流源的微批数据流,并触发数据管道的分布式执行。我们还设计了一个弹性的调度策略,使用先进的保留可靠的雾,以保证在最后期限内,同时最大限度地减少执行成本的低完成。我们对100多个虚拟物联网资源和$\approx 10k$任务执行进行了详细的实验,并与基线调度策略进行了比较,说明了我们框架的成本效益,弹性和可扩展性。
2022-03-24 cs.DC
SGX-MR: Regulating Dataflows for Protecting Access Patterns of Data-Intensive SGX Applications
英特尔SGX是一种流行的可信执行环境(TEE),用于保护在云等不可信平台上运行的应用程序的完整性和机密性。然而,基于SGX的程序的访问模式仍然可以被对手观察到,这可能会泄露成功攻击的重要信息。研究人员一直在试验遗忘RAM(ORAM)来解决访问模式的隐私问题。ORAM是一种功能强大的低级原语,它为任何I/O操作提供与应用程序无关的保护,但成本很高。我们发现,一些特定于应用程序的访问模式,如顺序块I/O,不提供额外的信息给对手。其他算法,例如排序,可以用比ORAM更有效的特定不经意算法来取代。挑战在于,开发人员可能需要查看特定于应用程序的访问模式的所有细节,以设计合适的解决方案,这既耗时又容易出错。在本文中,我们提出了轻量级的SGX基于MapReduce(SGX-MR)的方法,调节数据密集型SGX应用程序的可扩展性,以更容易的应用程序级访问模式分析和保护。它使用MapReduce框架来覆盖大量的数据密集型应用程序,整个框架可以用很小的内存占用来实现。在此框架下,我们研究了数据处理的各个阶段,识别了需要保护的访问模式,并设计了相应的有效保护方法。我们的实验表明,基于SGX-MR的应用程序比基于ORAM的实现更有效。
2020-09-08 cs.CR cs.DC cs.SY
ShoreKeeper: Accelerating Iterative Data Analytics in the Cloud via Distributed Recovery-Cost-Aware Caching
POSTECH(浦项工科大学);Amazon Web Services(亚马逊云服务)
ShoreKeeper是将集群内存视为统一弹性池的框架,通过全局优化模型和图剪枝技术降低数据恢复成本,在各类云实例上运行,性能优于现有最先进系统。
2026-10-12 cs.DC
A Benchmarking Study to Evaluate Apache Spark on Large-Scale Supercomputers
随着数据集大小的增加,高性能计算(HPC)中的数据分析任务越来越依赖于复杂的并行计算和核外方法来提高系统利用率。此外,随着HPC系统的增长,存储器访问和数据共享正在成为性能瓶颈。云计算采用通常建立在低成本计算节点的松散连接组上而不依赖于共享存储和/或存储器的数据处理范例。Apache Spark是一个流行的云计算大规模数据分析引擎,我们已经通过作业提交脚本成功部署在生产集群上。在本文中,我们描述了消息传递接口(MPI)和基于云的应用程序的常见并行分析流程。我们开发了一个有效的基准来衡量这些任务的性能特征,使用这两种类型的系统,特别是比较MPI/C为基础的分析与火花。基准测试是一个数据处理管道,代表了使用map-reduce实现的典型分析框架。在Spark的例子中,我们还考虑了语言是否通过使用Python和Scala(一种构建在Java虚拟机(JVM)上的语言)编写测试来发挥作用。我们包括来自阿贡国家实验室的两个大型系统的性能结果,其中包括Theta,Cray XC 40超级计算机,我们的实验运行65,536个核心(1024个节点,每个节点64个核心)。我们的实验结果进行了讨论,其适用性的背景下,未来的HPC架构。除了了解性能之外,我们的工作还表明,Spark等技术虽然通常针对基于云的多租户环境,但在传统的集群/超级计算环境中显示出数据分析需求的前景。
2019-09-27 cs.DC cs.SE
Characterizing Application Scheduling on Edge, Fog and Cloud Computing Resources
云计算已经发展成为由商业提供商提供的流行的分布式计算服务。最近,边缘和雾计算资源作为物联网(IoT)部署的一部分出现在广域网上。这三个资源抽象层是互补的,并提供独特的好处。在云上调度应用程序一直是一个活跃的研究领域,工作流和XML模型作为一个灵活的抽象来指定要执行的应用程序。然而,边缘和雾的应用程序编程和调度模型仍在成熟中,并且可以从云资源的学习中受益。同时,在应用程序的执行中使用这些资源也是有价值的。在本文中,我们提出了一个概念分类,这些概念对于指定和解决边缘上的应用程序调度问题,以及云计算资源至关重要。我们首先描述了这些基础设施的资源能力和局限性,并设计了一个分类的应用程序模型,服务质量(QoS)的约束和目标,调度技术,基于文献综述。我们还使用这种分类法列出了关键的研究原型和论文。这项调查有利于这些分布式资源的开发人员和研究人员设计和分类他们的应用程序,选择相关的计算抽象,开发或选择适当的调度算法。它还强调了文学中仍然存在开放问题的差距。
2019-04-23 cs.DC
Elastic Processing of Analytical Query Workloads on IaaS Clouds
许多现代应用程序需要对大量数据进行分析查询。这样的查询需要连接和大量的聚合,通常包括用户定义函数(UDF)。处理这些特定类型查询的最有效方法是使用树执行计划。在这项工作中,我们开发了一个引擎的分析查询处理和一套专门的技术,共同利用这种计划的树形式。该引擎在弹性IaaS云基础设施中执行这些树计划,并根据在滑动时间窗口内监控的查询工作负载分配和释放相关资源,从而动态适应。该引擎根据与传入查询相关的服务级别协议(SLA)提供收费服务;其云资源管理旨在消除使用这些资源的成本后最大化利润。我们已经完全实现了我们的算法在Exareme的处理系统。我们提出了一个广泛的评估,表明我们的方法是非常有效的(表现出快速的响应时间),弹性(成功地调整它使用的云资源作为引擎不断适应查询工作负载的变化),和有利可图的(非常接近SLA为基础的收入和基于云的费用之间的最大差异)。
2015-01-06 cs.DB cs.DC
How Accurately Can the Energy Use of Spark Applications Be Estimated Based on Resource Utilisation?
University of Glasgow(格拉斯哥大学);Humboldt-Universität zu Berlin(柏林洪堡大学)
该研究以Kubernetes上的Apache Spark为对象,对比模型能耗估算与Intel RAPL实测能耗,发现外部监测可降低Spark应用的封装级能耗低估误差,为云环境下Spark应用能耗估算提供了优化方向。
2026-08-11 cs.DC
CamFlow: Managed Data-sharing for Cloud Services
一种云服务模式正在兴起,少数受信任的提供商管理底层硬件和通信,而许多公司则在此基础设施上构建,以提供更高级别的云托管PaaS服务和/或SaaS应用程序。从一开始,云租户之间的强隔离就被认为是至关重要的,首先由虚拟机(VM)提供,后来由共享操作系统(OS)内核的容器提供。越来越多的情况是,应用程序也需要设施来实现对由这些应用程序管理的数据的隔离和保护。它们还需要与其他应用程序进行灵活的数据共享,通常跨越传统的云隔离边界;例如,当政府在公共平台上为其公民提供许多相关服务时。类似的考虑也适用于应用程序的最终用户。但特别是,在“物联网”架构中纳入云服务正在推动对保护和跨应用程序数据共享的需求。这些问题涉及数据管理。传统的访问控制是特定于应用程序和主体/角色的,应用于策略实施点,之后就没有对数据流的后续控制;一旦数据通过云托管应用程序和云服务离开其所有者的控制,这就是一个关键问题。此外,信息流控制(IFC)还提供了基于数据属性的系统范围的端到端流控制。我们讨论了云部署的IFC在保护和共享以及防范恶意软件或漏洞软件方面执行所有者的低成本政策的潜力。此外,与IFC相关的审计日志还提供了透明度,从而提供了可配置的系统范围内的数据流可见性。[...]
2015-12-21 cs.CR cs.DC
Object as a Service: Simplifying Cloud-Native Development through Serverless Object Abstraction
High Performance Cloud Computing (HPCC) Lab, University of North Texas(北德克萨斯大学高性能云计算实验室)
本文提出Object as a Service(OaaS)范式及Oparaca平台,以云对象统一封装数据与函数,支持访问控制、继承和数据流语义,实验表明其开销微小且提升可扩展性与易用性。
2025-10-20 cs.DC cs.OS cs.SE
Object as a Service (OaaS): Enabling Object Abstraction in Serverless Clouds
针对FaaS在数据管理和工作流方面的不足,提出对象即服务(OaaS)抽象,封装数据与函数,支持数据流编程,原型评估显示低开销、高可扩展性。
2023-09-05 cs.DC cs.PL cs.SE
Spira: Exploiting Voxel Data Structural Properties for Efficient Sparse Convolution in Point Cloud Networks
SPIN-Research-Group(SPIN研究组)
Spira通过利用体素坐标整数性、空间范围限制和几何连续性等特性,设计了高效的稀疏卷积引擎,显著提升了点云网络的推理效率和层间执行性能。
2026-04-23 cs.AR cs.DC cs.LG