AsyncFLEO: Asynchronous Federated Learning for LEO Satellite Constellations with High-Altitude Platforms
Missouri University of Science and Technology(密苏里科技大学)
低地球轨道(LEO)星座,每个星座都包括大量的卫星,已经成为“来自天空”的大数据的新来源。将这些数据下载到地面站(GS)进行大数据分析需要非常高的带宽,并且涉及大的传播延迟。联邦学习(FL)提供了一个很有前途的解决方案,因为它允许数据保持原位(永远不会离开卫星),并且它只需要传输机器学习模型参数(在卫星数据上训练)。然而,传统的同步FL过程可能需要几天的时间来训练卫星通信(Satcom)的背景下,单个FL模型,由于一个瓶颈所造成的掉队的卫星。在本文中,我们提出了一个异步FL框架的LEO星座称为AsyncFLEO,以提高FL效率的卫星通信。AsynFLEO不仅解决了同步FL中的瓶颈(空闲等待),而且还解决了由离散卫星引起的模型失效问题。AsyncFLEO利用定位在“天空中”的高空平台(HAP)作为参数服务器,并且由三个技术组件组成:(1)星环通信拓扑,(2)模型传播算法,以及(3)具有卫星分组和陈旧折扣的模型聚合算法。我们对IID和非IID数据的广泛评估表明,AsyncFLEO的性能大大优于现有技术,收敛延迟减少了22倍,准确度提高了40%。
2022-12-22 cs.DC cs.LG cs.NI
A Cloud in the Sky: Geo-Aware On-board Data Services for LEO Satellites
提出一种面向LEO卫星星座的星载数据基础设施架构及协议,利用海洋等无人区上空卫星的闲置资源,通过动态地理感知服务区持续进行账本迁移,高效提供区块链智能合约服务并控制处理开销。
2024-10-14 cs.DC
A Comprehensive Survey on Orbital Edge Computing: Systems, Applications, and Algorithms
本文首次全面综述轨道边缘计算(OEC),涵盖2000至2023年研究,聚焦协议优化、移动性管理与资源分配,并指出技术挑战与未来方向。
2026-11-17 cs.DC
FedSN: A Federated Learning Framework over Heterogeneous LEO Satellite Networks
Institute of Space Internet, Fudan University(复旦大学空间互联网研究所);School of Computer Science, Fudan University(复旦大学计算机科学学院);University of Hong Kong(香港大学)
本文提出FedSN框架,通过子结构方案和伪同步聚合策略解决低轨卫星网络中异构资源、有限上行速率和模型陈旧性三大挑战,在空间调制识别和遥感图像分类任务上验证了其高准确率与低开销优势。
2024-10-18 cs.AI cs.DC cs.LG
Transplantation of Data Mining Algorithms to Cloud Computing Platform when Dealing Big Data
本文对云计算和大数据进行了简要的回顾,并讨论了一般数据采掘算法在云计算平台上的可移植性。揭示了基于Map-Reduce的云计算平台并不能解决所有的大数据和数据采掘问题。将通用的数据采掘算法移植到实时的云计算平台上将是云计算和大数据领域的研究热点之一。
2017-02-06 cs.DC
A RAG-Enhanced Bi-Level Cognitive Orchestration Framework for LEO Satellite Networks
Wuhan University of Technology(武汉理工大学);Hubei Key Laboratory of Transportation Internet of Things, Wuhan University of Technology(武汉理工大学交通物联网湖北省重点实验室);Swinburne University of Technology(斯威本科技大学);Hangzhou Dianzi University(杭州电子科技大学);Technical University of Munich(慕尼黑工业大学)
针对LEO卫星网络中资源碎片化问题,提出RAG增强的双层认知编排框架,上层LLM利用离线专家知识库动态推断偏好权重,下层遗传调度器计算路由与任务卸载方案,在Walker-Delta网络测试中丢包率降低30.7%,能效提升30%,端到端时延降低8.5%。
2026-06-16 cs.DC
Constella: A Novel Framework for Cost-Efficient Distributed AI Inference in LEO Space Data Centers
Technische Universität Wien(维也纳工业大学)
Constella框架通过DNN拆分和最优卫星角色比例分配,在LEO太空数据中心实现成本效益高的分布式AI推理,显著降低成本与延迟。
2026-09-09 cs.DC
BOINC: A Platform for Volunteer Computing
“志愿者计算”是使用消费者数字设备进行高吞吐量科学计算。它可以以低成本提供大的计算能力,但由于设备异构性,不可靠性和流失而带来挑战。BOINC是一个广泛使用的志愿者计算开源中间件系统,它解决了这些挑战。我们描述了它的功能,架构和实现。
2019-03-05 cs.DC
SatFed: A Resource-Efficient LEO Satellite-Assisted Heterogeneous Federated Learning Framework
Institute of Space Internet, Fudan University(复旦大学空间互联网研究院);University of Hong Kong(香港大学)
本文提出SatFed框架,通过基于新鲜度的模型优先级队列和多图聚合同伴指导,解决LEO卫星辅助异构联邦学习中星地带宽受限与设备异构性问题,实验证明其性能与鲁棒性优于现有基准。
2024-11-21 cs.AI cs.DC cs.LG
OrbitBFT: Enabling Scalable and Robust BFT Consensus in LEO Constellations
School of Computer Science and Technology, Shandong University(山东大学计算机科学与技术学院);Quancheng Laboratory(泉城实验室)
本文提出OrbitBFT协议,针对低地球轨道星座的动态拓扑和稀疏连接特性,通过分层BFT共识机制提升可扩展性和鲁棒性,优化PBFT和HotStuff以实现线性消息复杂度。
2026-05-01 cs.CR cs.DC
Fog computing state of the art: concept and classification of platforms to support distributed computing systems
随着物联网(IoT)成为我们日常生活的一部分,连接设备的数量迅速增长。基于云计算技术的成熟方法无法在这样的环境中提供必要的服务质量,特别是在减少数据延迟方面。如今,雾计算技术被视为处理大量关键和时间敏感数据的新方法。本文回顾了云计算技术,分析了这种方式演进的前提条件和雾计算概念的出现。作为雾计算关键特征概述的一部分,我们分析了雾和边缘计算概念的常见混淆。我们提供了雾计算技术的概述:虚拟化,容器化,编排,可扩展性,并行计算环境,以及对支持雾计算的最流行平台的系统分析。作为分析的结果,我们提供了两种方法来分类雾计算平台:通过组件的开放/封闭原则和基于所提供的平台功能(部署,平台和生态系统即服务)的三级分类。
2021-06-22 cs.DC
Platforms for Building and Deploying Applications for Cloud Computing
云计算正在迅速成为一种新的范例,用于将IT服务作为基于订阅的面向实用程序的服务来交付。应用程序的快速开发及其在云计算环境中的高效部署是一项复杂的任务。在本文中,我们简要介绍了云计算技术和平台即服务,我们研究了这一类别的产品,并提供了基础,帮助读者了解基本的应用程序平台的机会,云计算技术,如Microsoft Azure,销售队伍,谷歌应用程序,和Aneka的云计算。我们证明Manjrasoft Aneka是一个云应用平台(CAP),利用这些概念,并允许在私有/公共/混合云上轻松开发云就绪应用程序。Aneka CAP提供快速开发云应用程序的设施和模块化平台,可以轻松集成其他服务以扩展系统功能,从而与云计算的快速发展保持同步。
2011-04-22 cs.DC
Augernome & XtremWeb: Monte Carlos computation on a global computing platform
在本文中,我们介绍了XtremWeb,这是一个全球计算平台,用于在Auger中生成蒙特卡洛簇射,Auger是一个HEP实验,用于研究阿根廷Mallargue-Mendoza的最高能量宇宙射线。作为全球计算平台,XtremWeb的主要目标是利用广泛互连的计算机的空闲时间计算分布式应用程序。它特别致力于-但不限于-多参数应用程序,如蒙特卡洛计算;它的安全机制不仅确保主机的完整性,而且还确保结果认证及其容错功能,鼓励我们对其进行测试,最后,将其部署为支持我们的CPU需要模拟淋浴。我们首先介绍Auger计算需求以及Global Computing如何提供帮助。然后,我们将详细介绍XtremWeb体系结构和目标。第四部分,也是最后一部分,介绍了我们选择这个平台所获得的收益。我们就下一步可以做什么作出结论。
2003-07-29 cs.DC
Comparative Review of Cloud Computing Platforms for Data Science Workflows
凭借云计算在平台即服务、软件即服务和基础设施即服务方面提供的优势,数据工程师和数据科学家能够利用云计算满足其ETL/ELT(提取、转换和加载)和ML(机器学习)需求和部署。用于数据科学工作流程的云计算平台比较审查的拟议框架使用了层次分析法、Saaty的绝对数字基本尺度和相关评价标准的选择(即:自动化、错误处理、容错、性能质量、单元测试、数据加密、监控、基于角色的访问、安全性、可用性、易用性,集成和互操作性)。该框架使用户能够评估与用于数据科学工作流的云平台有关的标准,并且还能够基于上述标准的相对重要性推荐哪个云平台适合用户。对标准的评估是一致的,因此根据云服务提供商或云平台选择的目标对标准进行加权是明智的。拟议的框架足够强大,可以适应标准和替代方案的变化,这取决于用户云平台的要求和云平台选择的范围。
2022-08-30 cs.DC
GreenWhisk: Emission-Aware Computing for Serverless Platform
本文提出基于Apache OpenWhisk的碳感知无服务器平台GreenWhisk,通过并网/离网两种模式和碳感知负载均衡算法,在不显著影响性能的前提下降低函数执行的碳足迹。
2024-09-04 cs.DC
CroSatFL: Energy-Efficient Federated Learning with Cross-Aggregation for Satellite Edge Computing
Western Sydney University(西悉尼大学);The University of Sydney(悉尼大学)
本文提出CroSatFL,一种面向卫星边缘计算的分层联邦学习框架,通过跨聚合减少能耗并保持训练性能,显著降低地面站通信次数和能耗,同时实现高准确性和快速收敛。
2026-04-17 cs.DC
Serverless Computing: Behind the Scenes of Major Platforms
无服务器计算为应用程序开发提供了一个事件驱动的按需付费框架。一个关键的卖点是没有后端服务器管理的概念,允许开发人员专注于应用程序功能。这是通过严格抽象的底层架构的功能running.We检查底层架构和报告的性能无服务器功能,以及它们是如何受到某些因素,如内存分配和干扰引起的负载由其他用户在平台上。具体而言,我们专注于四大平台的无服务器产品:AWS Lambda,Google Cloud Functions,Microsoft Azure Functions和IBM Cloud Functions。在本文中,我们观察和这些平台之间的对比,在他们的方法,以共同的问题“冷启动”,我们设计了一种方法来揭示底层架构无服务器功能执行,我们调查的影响,从负载在平台上超过一个月的时间跨度。
2020-12-10 cs.DC
Iapetus: Content-Aware Hierarchical Scheduling for Collaborative ViT Inference in LEO Satellite Networks
Beihang University(北京航空航天大学)
针对低轨卫星网络协同ViT推理的传输开销问题,提出内容感知分层调度器Iapetus,经实验验证其在任务完成率、延迟、能耗上均优于基线方法。
2026-09-04 cs.DC
An Experimental Study of Load Balancing of OpenNebula Open-Source Cloud Computing Platform
云计算正在成为面向服务计算的可行的计算解决方案。有几个开源云解决方案可用于这些支持。开源软件栈提供了大量的可定制性,而无需支付巨额的许可费。因此,开源软件被广泛用于设计云,私有云也越来越多地以开源方式构建。与私有IaaS云相关的开源社区做出了许多贡献。OpenNebula -云平台是流行的私有云管理软件之一。然而,在现有的文献中,几乎没有做过系统地调查这种开源云解决方案的性能评估。性能评估有助于新的和现有的研究,工业和国际项目选择OpenNebula软件的工作。本文的目的是评估OpenNebula云管理软件的负载平衡性能。对于性能评估,OpenNebula云管理软件作为原型实施进行安装和配置,并在DIU云实验室进行测试。本文通过两组实验来验证OpenNebula云管理平台的负载均衡性能:(1)从OpenNebula云平台中删除和添加虚拟机(VM);(2)在OpenNebula云平台中将物理磁盘映射到虚拟机(VM)。
2014-06-22 cs.DC
An Experimental Study on Microservices based Edge Computing Platforms
物联网(IoT)的快速技术进步使智慧城市的蓝图变得可行,通过整合异构的云/雾/边缘计算范例,在我们的城市和社区中协作提供各种智能服务。由于具有细粒度和松耦合等吸引人的特性,微服务架构已被提出来在大规模分布式物联网系统中提供可扩展和可扩展的服务。最近的研究基于云计算环境下的场景对微服务之间的性能干扰进行了评估和分析。然而,考虑到边缘设备(如计算消耗和网络容量)的限制,它们对于物联网应用并不全面。本文研究了边缘计算平台上的多种微服务部署策略。微服务作为Docker容器开发,全面的实验结果展示了微服务在基准场景上运行的性能和干扰。
2020-04-06 cs.DC
Platform Autonomous Custom Scalable Service using Service Oriented Cloud Computing Architecture
全球经济衰退和IT项目预算的缩减导致了以较低成本开发集成信息系统的需求。如今,新兴的云计算现象旨在通过提供软件应用和硬件资源作为服务来改变传统的计算方式。随着信息通信技术(ICT)的快速发展,政府、组织和企业正在寻找解决方案来改善其服务并整合其IT基础设施。近年来,SOA和云计算等先进技术已经发展到解决集成问题。云的巨大容量和相对较低的成本使其成为SOA部署的理想平台。本文论述了云和面向服务的架构的组合方法,以及案例研究和评论。
2016-03-01 cs.DC
Rethinking High Performance Computing Platforms: Challenges, Opportunities and Recommendations
一类新的第二代高性能计算应用具有异构性、动态性和数据密集性的特性,其需求扩展到应用部署、资源分配、控制和I/O调度。当前的生产HPC平台模型和策略无法满足这些要求。这导致新的计算方法和工具的机会、生产力和创新的损失。它还降低了平台提供商的有效系统利用率,因为在应用程序空间中实现了无监督的解决方案和流氓资源管理策略。在本文中,我们批判性地讨论了占主导地位的HPC平台模型,并描述了第二代应用程序,因为它的不对称的资源视图,接口和软件部署策略所带来的挑战。我们提出了一个扩展的,更对称和以应用程序为中心的平台模型,增加了分散部署,内省,双向控制和信息流和更全面的资源调度。我们描述cHPC:基于Linux容器(LXC)的非中断实现的早期原型。它可以与现有的批处理排队系统一起运行,并公开一个对称平台API,而不会干扰现有的应用程序和使用模式。我们认为我们的方法是HPC平台发展的一个可行的、渐进的下一步,使应用程序和平台提供商都受益。为了进一步证明这一点,我们为未来的研究和实验评估制定了路线图。
2017-02-27 cs.DC
Stitching Satellites to the Edge: Pervasive and Efficient Federated LEO Satellite Learning
Missouri University of Science and Technology(密苏里科技大学)
针对低轨卫星通信间歇与算力受限问题,提出FL-SEC框架,通过分治个性化学习和轨道模型重训练,在Jetson Nano与真实数据集上实现近30倍收敛加速、1.38瓦低能耗和96%准确率。
2024-04-08 cs.DC cs.LG
ColonyOS -- A Meta-Operating System for Distributed Computing Across Heterogeneous Platform
本文提出开源元操作系统ColonyOS,通过分布式执行器与零信任安全协议整合IoT、边缘、云和HPC等异构平台,实现跨平台AI工作流与超分布式应用的无缝运行。
2024-03-25 cs.DC
Analytical Insight of Earth: A Cloud-Platform of Intelligent Computing for Geospatial Big Data
本文介绍AI Earth,一个基于阿里云的遥感智能计算平台,提供公开数据集、计算工具、深度学习模型及大视觉分割模型,支持用户训练和部署模型,以应对海量地球观测数据处理的挑战。
2023-12-27 cs.DC
SimDC: A High-Fidelity Device Simulation Platform for Device-Cloud Collaborative Computing
本文提出高保真设备仿真平台SimDC,通过集成高性能服务器与物理手机的混合异构资源,解决了现有仿真器忽略真实设备差异与环境行为的问题,支持低成本功能测试与精确响应捕获,实验证明其有效性与应用潜力。
2025-04-02 cs.DC
Double-Edge-Assisted Computation Offloading and Resource Allocation for Space-Air-Marine Integrated Networks
Information Science and Technology College, Dalian Maritime University(大连海事大学信息科学技术学院);Dalian Neusoft University of Information(大连东软信息学院)
本文提出一种双边辅助计算卸载与资源分配方案,用于空天海一体化网络中的能量高效计算任务处理。
2025-12-03 cs.DC cs.IT math.IT
Communication-Efficient Federated Learning for LEO Satellite Networks Integrated with HAPs Using Hybrid NOMA-OFDM
Missouri University of Science and Technology(密苏里科技大学);The Higher Institute of Engineering in Elshorouk City(舒鲁克高等工程学院)
针对LEO卫星网络中联邦学习训练缓慢的问题,提出NomaFedHAP方法,利用HAP作为分布式参数服务器并引入NOMA技术,实现快速高效的模型传输与高精度收敛。
2024-02-16 cs.AI cs.DC cs.LG
Computing All-Pairs Shortest Communication Time Paths for Periodically Varying Satellite Networks
Southern Illinois University(南伊利诺伊大学);National Institute of Technology Raipur(赖布尔国家技术学院);Sister Nivedita University(西斯特·尼维迪塔大学)
针对时变卫星网络,提出一种基于双向矩阵乘法结构的高效算法,可在指定时间内计算所有节点对的最短通信时间路径,且适配GPU等并行架构,能为低轨卫星星座提供高效全网消息路由方案。
2026-10-14 cs.DC cs.NI
Hierarchical Learning and Computing over Space-Ground Integrated Networks
School of Information Science and Technology, ShanghaiTech University(信息科学与技术学院,上海科技大学);Beijing National Research Center for Information Science and Technology, Tsinghua University(信息科学与技术国家研究中心,清华大学)
针对天地一体化物联网中集中式AI训练的高通信开销与隐私问题,提出结合LEO/GEO卫星的分层学习计算框架,并用TAEER算法求解模型聚合的DST能量最小化问题。
2025-05-15 cs.DC cs.LG cs.NI
Function Delivery Network: Extending Serverless Computing for Heterogeneous Platforms
无服务器计算在亚马逊的Lambda平台推出后迅速发展。功能即服务(FaaS)是无服务器计算的关键推动因素,它允许将应用程序分解为在FaaS平台上执行的简单独立功能。FaaS平台负责将资源部署和促进功能。当今的一些云应用程序分布在异构的连接计算资源上,并且在其结构和资源需求方面具有高度动态性。然而,FaaS平台仅限于同构集群和同构功能,并且在调度之前不考虑功能的数据访问行为。我们引入了一个扩展的FaaS异构集群和支持异构功能,通过网络的分布式异构目标平台称为功能交付网络(FDN)。目标平台是同构节点集群和其上的FaaS平台的组合。FDN提供功能交付即服务(FDaaS),将功能交付到正确的目标平台。我们展示的机会,如不同的目标平台的特点,多个目标平台之间的协作执行的可能性,以及本地化的数据,FDN提供在实现两个目标:服务水平目标(SLO)的要求和能源效率时,通过评估超过五个分布式目标平台调度功能使用FDNInspector,我们开发的分布式目标平台的基准测试工具。与高端目标平台上的调度相比,我们评估中的边缘目标平台上的调度功能将总体能耗降低了17倍,而不违反SLO要求。
2021-02-03 cs.DC cs.PF
EdgeBench: Benchmarking Edge Computing Platforms
边缘计算的新兴趋势已经导致一些云提供商发布了自己的平台,用于在网络的“边缘”执行计算。我们比较了两个这样的平台,Amazon AWS Greengrass和Microsoft Azure IoT Edge,使用了一个包含一套性能指标的新基准。我们还将边缘框架的性能与其各自云生态系统中的纯云实现进行了比较。Amazon AWS Greengrass和Azure IoT Edge使用不同的底层技术,边缘Lambda函数与容器,因此我们还详细介绍了可供开发人员使用的平台功能。我们的研究表明,这两种边缘平台都提供了相当的性能,但在边缘应用程序中使用的关键类型的工作负载方面存在重要差异。最后,我们讨论了当前部署这些平台时面临的几个问题和挑战。
2018-11-14 cs.DC cs.NI
A Self-Reconfigurable Computing Platform Hardware Architecture
现场可编程门阵列(FPGA)近来越来越多地用于计算密集型任务的高度并行处理。本文介绍了一种基于PC的FPGA硬件平台架构,允许通过PCI总线快速重新配置,并保留了简单的物理硬件设计。首先讨论了设计考虑因素,然后说明了由此产生的系统架构设计。最后,实验结果的FPGA资源用于本设计。
2004-11-20 cs.AR cs.DC
Scalable and massively parallel Monte Carlo photon transport simulations for heterogeneous computing platforms
我们提出了一个高度可扩展的蒙特卡罗(MC)三维光子输运模拟平台,设计用于异构计算系统。通过开发一个大规模并行MC算法,使用开放计算语言(OpenCL)框架,本研究扩展了我们现有的图形处理单元(GPU)加速MC技术,一个高度可扩展的供应商无关的异构计算环境,实现显着提高性能和软件可移植性。许多并行计算技术的研究,以实现广泛的计算硬件的便携式性能。此外,开发了多个线程级和设备级负载平衡策略,以使用多个中央处理单元(CPU)和GPU来获得高效的仿真。
2018-01-25 cs.DC physics.comp-ph
A Distributed Multi Agents Based Platform for High Performance Computing Infrastructures
这项工作介绍了一种新的,模块化的,分层的基于Web的平台,用于管理基于网格的高性能计算基础设施上的机器学习实验。通过数据同步实用程序,网格提供的通信服务与管理层和传统的Web服务器编程的耦合导致了基于Web的用户界面的直接开发,该用户界面允许监视和管理各种在线分布式计算应用。它还介绍了一个实验生成和监控工具,特别适合于调查机器学习在游戏中。该平台被证明与两个不同的游戏实验。
2016-10-11 cs.DC cs.MA
Chiminey: Reliable Computing and Data Management Platform in the Cloud
将高度并行、长时间运行和数据密集型的科学实验引入基于云的执行环境是一项令人向往的任务,尽管对许多研究人员来说很复杂。这种虚拟环境的管理是繁琐的,不一定是科学家和工程师的核心技能。Chiminey是一个软件平台,它使研究人员能够(i)在传统的高性能计算和基于云的计算基础设施上运行应用程序,(ii)处理执行过程中的故障,(iii)管理和可视化执行输出,(iv)与合作者或公众共享这些数据,以及(v)搜索公开可用的数据。
2015-07-06 cs.DC cs.SE
Let's HPC: A web-based interactive platform to aid High Performance Computing education
Let's HPC(www.letshpc.org)是一个开放的在线平台,以补充传统的面向课堂的高性能计算(HPC)和并行和分布式计算(PDC)教育。基于Web的平台提供在线绘图和分析工具,允许用户从系统的角度学习,评估,教学和查看并行算法的性能。用户可以定量地比较和理解影响并行程序性能的软件和硬件的许多确定性和非确定性因素的重要性。该平台的核心是一个数据库,用于归档使用不同编程环境在不同计算架构上执行的标准并行算法的性能和执行环境相关数据,这些数据由HPC社区的各个利益相关者提供。我们平台的绘图和分析工具可以与数据库无缝结合,以帮助自学,教学,评估和讨论不同的HPC相关主题。HPC/PDC相关课程的教师可以使用该平台的工具来说明正确分析对理解影响性能的因素的重要性,鼓励学生之间的同伴学习,以及允许学生准备标准的实验室/项目报告,以帮助教师进行统一评估。该平台的模块化设计使其能够轻松地包含来自贡献者的性能相关数据,并在未来添加新功能。
2017-01-23 cs.CY cs.DC
Future Computing Platforms for Science in a Power Constrained Era
功耗将是高能物理(HEP)使用的分布式高吞吐量计算(DHTC)未来增长的关键制约因素。这使得性能功耗比成为选择经济高效的计算解决方案的关键指标。在本文中,我们对市场上可用的当前和新兴架构进行了广泛的调查,包括x86-64变体,ARMv7 32位,ARMv 8 64位,众核和GPU解决方案,以及较新的片上系统(SoC)解决方案。我们使用一套不断发展的标准化HEP相关基准和我们一直在开发的功率测量技术来比较性能和能效。我们评估的DHTC系统,如全球大型强子对撞机计算网格(WLCG)的背景下使用这种计算解决方案的潜力。
2015-07-28 cs.DC hep-ex
FpgaHub: Fpga-centric Hyper-heterogeneous Computing Platform for Big Data Analytics
FpgaHub提出以FPGA为中心的超异构计算平台,利用可重构计算和丰富IO接口作为数据与控制枢纽,协同CPU、GPU、DPU等处理器,以突破专用硬件IO限制并提升大数据分析性能。
2025-03-12 cs.AR cs.DC
Boutiques: a flexible framework for automated application integration in computing platforms
我们提出精品店,一个系统,自动发布,集成和执行跨计算平台的应用程序。精品店应用程序通过以丰富灵活的JSON语言描述的软件容器安装。一组核心工具促进了应用程序的构建、验证、导入、执行和发布。精品店目前由几个不同的虚拟研究平台支持,它已被用来描述神经信息学领域的数十个应用程序。我们希望精品店能够提高计算平台中应用程序集成的质量,减少冗余工作,促进计算的可重复性,并促进开放科学。
2017-11-08 cs.DC cs.SE
Molecular Dynamics Simulations on Cloud Computing and Machine Learning Platforms
Indiana University(印第安纳大学)
科学计算应用已经极大地受益于诸如超级计算机的高性能计算基础设施。然而,我们正在看到这些应用程序的计算结构,设计和要求的范式转变。数据驱动和机器学习方法正越来越多地用于支持、加速和增强科学计算应用,特别是分子动力学模拟。同时,云计算平台对科学计算越来越有吸引力,提供“无限”计算能力、更容易的编程和部署模型以及对计算加速器(例如TPU(张量处理单元))的访问。这种机器学习(ML)和云计算的融合为云和系统研究人员带来了令人兴奋的机会。ML辅助的分子动力学模拟是一类新的工作量,并表现出独特的计算模式。这些模拟为低成本和高性能执行提出了新的挑战。我们认为,瞬态云资源,如低成本的抢占式云虚拟机,可以是一个可行的平台,这种新的工作负载。最后,我们提出了云资源管理方面的一些低挂果实和长期挑战,以及将分子动力学模拟集成到ML平台(如TensorFlow)中。
2021-11-11 cond-mat.soft cs.DC cs.LG
The AutoSPADA Platform: User-Friendly Edge Computing for Distributed Learning and Data Analytics in Connected Vehicles
本文提出并实现 AutoSPADA 边缘计算平台,使开发者可用通用 Python 脚本在网联汽车内直接进行分布式数据分析,从而缩短开发周期并兼顾可扩展、可靠、安全与隐私。
2023-11-29 cs.DC cs.NI
Developing an edge computing platform for real-time descriptive analytics
移动物联网包括由传感器生成的流数据,拉和推这些数据流的网络通信,以及运行处理和分析,可以有效地利用可操作的信息进行交通规划,管理和业务优势。边缘计算作为一种新的范式出现,它将通信,计算,控制和存储资源从云端分散到网络边缘。本文提出了一种边缘计算平台,其中移动边缘节点是部署在公交车上的物理设备,其中描述性分析用于从实时的【形】公交数据流中发现有意义的模式。一个应用实验是用来评估我们提出的平台的优点和缺点,以支持描述性分析在移动边缘节点,并生成可操作的信息,运输管理人员。
2018-12-17 cs.CY cs.DC cs.NI
Performance Modeling of Metric-Based Serverless Computing Platforms
University of Alberta(阿尔伯塔大学);York University(约克大学)
分析性能模型在确保服务部署的服务质量和成本在不同的条件和工作负载下保持理想方面是非常有效的。虽然已经为云计算中的先前范例提出了各种分析性能模型,但是无服务器计算缺乏可以为开发人员提供性能保证的这样的模型。此外,大多数无服务器计算平台仍然需要开发人员的输入来指定其部署的配置,这可能会影响其部署的性能和成本,而不会向他们提供任何直接和即时的反馈。在以前的研究中,我们建立了这样的性能模型,用于按请求缩放的无服务器计算平台的稳态和瞬态分析(例如,AWS Lambda、Azure Functions、Google Cloud Functions),可以为开发人员提供有关服务质量和部署成本的即时反馈。在这项工作中,我们的目标是为无服务器计算平台的最新趋势开发分析性能模型,这些平台使用并发值和每秒请求的速率进行自动缩放决策。这种无服务器计算平台的示例是Knative和Google Cloud Run(由Google管理的Knative服务)。提出的性能模型可以帮助开发人员和提供商预测不同配置的部署的性能和成本,这可以帮助他们调整配置以获得最佳结果。我们通过在Knative上进行的大量真实实验验证了所提出的性能模型的适用性和准确性,并表明我们的性能模型能够以最少的数据汇集量准确地预测给定工作负载的稳态特性。
2022-02-23 cs.DC cs.LG cs.NI