Unleashing the Power of Distributed CPU/GPU Architectures: Massive Astronomical Data Analysis and Visualization case study
即将到来的和未来的天文学研究设施将系统地生成TB大小的数据集,将天文学带入Petascale数据时代。虽然这些设施将为天文学家提供前所未有的准确度和覆盖范围,但数据集大小和维度的增加将对许多当前的天文学数据分析和可视化工具构成严重的计算挑战。在这样的数据大小的情况下,即使是简单的数据分析任务(例如,计算直方图或计算数据最小值/最大值)在不访问超级计算设施的情况下也可能无法实现。为了有效地处理这样的数据集大小,这超过了今天的单机内存和处理限制,我们提出了一个框架,利用GPU和众核CPU的分布式电源,目标是提供数据分析和可视化任务作为天文学家的服务。通过混合共享和分布式内存架构,我们的框架有效地利用底层硬件基础设施处理批处理和实时数据分析和可视化任务。以“软件即服务”的方式提供这种功能作为服务将降低总拥有成本,为更广泛的天文社区提供易于使用的工具,并使底层硬件基础设施的利用更加优化。
2011-11-29 astro-ph.IM cs.DC
Accelerating Green Computing with Hybrid Asymmetric Multicore Architectures and Safe Parallelism
在本文中,我们提出了一种新的策略,通过利用和采用混合非对称多核架构(HAMA)模型与安全并行加速绿色计算。大多数现代计算都是串行的,并导致全球能源消耗。这些影响在许多服务器群和云计算平台中经常被目睹和体验到,世界上大多数信息都驻留在这些平台上。显然,在本文中,我们提出了一种新的策略,可以帮助减缓计算造成的全球能源消耗足迹。通过我们的策略,我们证明,通过采用HAMA和利用安全并行计算的能量消耗可以最小化。
2019-09-19 cs.DC
Review of Hybrid Load Balancing Algorithms in Cloud Computing Environment
本文综述了云计算环境中的多种混合负载均衡算法,指出传统静态和动态算法的局限性,并说明混合方法通过继承两者特性来克服其不足,以解决动态工作负载分配问题。
2022-02-26 cs.DC
Hybrid Classical-Quantum Solutions to Accelerate the Adoption of Quantum Computing
The Open University(开放大学);Politecnico di Milano(米兰理工大学)
本文探讨混合经典-量子计算软件方案,分析现有工具并列出关键资源,指出混合计算因依赖经典前后处理而可能成为长期模式,并提出未来研究议程。
2026-10-06 cs.DC cs.ET cs.PL
Hybrid Serverless Computing: Opportunities and Challenges
近年来,由于易于部署,有吸引力的按使用付费定价和透明的水平自动扩展,无服务器计算的采用激增。与此同时,基础设施的进步,如5G网络的出现和连接到互联网(称为物联网(IoT))的设备的爆炸式增长,以及限制计算和数据发生的新应用程序需求,将使云计算的范围从传统的数据中心扩展到混合云。疫情导致的数字化转型加速了劳动力的变化,并刺激了人工智能的进一步采用,预计将加速,新兴的混合云市场可能扩大到超过万亿美元。在混合云环境中,在无服务器租户的推动下,将越来越需要专注于为使用分布式平台(包括公共云、私有云和边缘系统)的应用程序构建者实现高效工作。在本章中,我们将探讨无服务器计算可以扩展到何种程度,以成为混合无服务器计算。
2022-09-14 cs.DC cs.SE
Deployment of Elastic Virtual Hybrid Clusters Across Cloud Sites
虚拟集群是广泛使用的计算平台,可以部署在多个云平台中。动态增加和减少节点数量的能力为高性能计算和高吞吐量计算工作负载的定制弹性计算铺平了道路。然而,弹性通常限于单个云站点,因此阻碍了从多个地理上分布的云站点提供计算资源的能力。为此,本文介绍了一种开源组件的架构,该架构在多个云站点上一致地部署虚拟弹性集群以执行大规模计算。这些混合虚拟弹性群集使用基础架构即代码(IaC)方法在分布式混合测试平台上自动部署和配置,该测试平台跨越不同的组织,包括内部部署和公共云,支持跨具有高级VPN拓扑的群集节点的自动隧道通信。结果表明,基于集群的并行作业计算可以受益于混合虚拟集群,该集群聚合来自多个云后端的计算资源,并将它们聚集到一个专用的虚拟网络中。本文中介绍的工作部分由欧盟(EU)Horizon 2020研究项目DEEP Hybrid-DataCloud(资助协议编号777435)资助。
2021-02-17 cs.DC
Hybrid Cloud Architectures for Research Computing: Applications and Use Cases
Bielefeld University(比勒费尔德大学);University of Basel(巴塞尔大学);Swiss Institute of Bioinformatics(瑞士生物信息学研究所);Forschungszentrum Jülich GmbH(于利希研究中心有限公司);EMBL-EBI(欧洲分子生物学实验室欧洲生物信息学研究所);Masaryk University(马萨里克大学)
本文探讨了混合云架构在科研计算中的应用,分析了网格和云平台及工作流管理工具,并提出了促进混合云采用的路线图,强调治理框架和技术解决方案。
2026-01-07 cs.DC
Optimization of hybrid parallel application execution in heterogeneous high performance computing systems considering execution time and power consumption
许多重要的计算问题需要利用高性能计算(HPC)系统,所述高性能计算(HPC)系统由组合越来越多数量的具有各种特性的设备的多级结构组成。利用这样的系统的全部功率需要编程在两个意义上混合的并行应用:它们可以同时在多个级别上利用并行性并且将专用于各种类型的计算设备的编程接口组合在一起。并行处理的主要目标是提高处理性能,从而减少应用程序的执行时间。国际HPC社区的目标是到2020年开发“Exascale”超级计算机(能够维持每秒$10^{18}$浮点运算)。实现该目标的主要障碍之一是计算系统的功耗超过能量供应限制。考虑到这一标准的新的编程模型和算法是实现这一目标需要取得重大进展的关键领域之一。本论文的目标是提取一个通用模型的混合并行应用程序执行在异构HPC系统,这是一个现有的具体方法的合成,并开发一种优化方法,这种执行旨在最大限度地减少应用程序的执行时间和功耗的矛盾目标所利用的计算硬件。这两种意义的应用程序的混合性的执行参数的非平凡的相互依赖性和所考虑的优化标准的影响的多重性的结果。应用程序进程在计算设备上的映射也对这些标准产生重大影响。
2018-09-20 cs.DC
Task Scheduling in Cloud Computing Using Hybrid Meta-heuristic: A Review
近年来,随着高带宽互联网接入的出现,云计算应用蓬勃发展。随着越来越多的应用程序在云上运行以及不同云平台的总体用户群的增加,对高效作业调度技术的需求也有所增加。传统的作业调度算法的任务是确定作业的执行顺序,其使用最少的资源,如时间、处理、存储器等。通常,用户需要更多的服务和非常高的效率。有效的调度技术有助于资源的合理利用。在这个研究领域中,混合元启发式算法已经被证明是非常有效的优化任务调度提供更好的成本效率比单独使用。这项研究提出了一个系统的和广泛的分析任务调度技术在云计算使用各种混合变种的Meta探试法,如遗传算法,禁忌搜索,和谐搜索,人工蜂群,粒子群优化等在这项研究综述中,一个单独的部分讨论了使用各种性能评估指标在整个文献。
2022-01-23 cs.DC
HybridGen: Efficient LLM Generative Inference via CPU-GPU Hybrid Computing
University of California, Merced(加州大学默塞德分校);NVIDIA(英伟达)
HybridGen通过CPU-GPU混合计算解决长上下文LLM推理中的内存带宽和负载不平衡问题,采用注意力logit并行、反馈调度器和语义感知的KV缓存映射,提升效率1.41倍至3.2倍。
2026-04-20 cs.DC cs.PF
HyEdge: Optimal Request Scheduling in Hybrid Edge Computing Environment
随着物联网(IoT)设备的广泛使用和5G时代的到来,边缘计算已成为服务最终用户并提供更好QoS的有吸引力的范例。已经做了许多努力来在边缘提供一些合并的公共网络服务。我们发现,特定用户通常会调用私有和隔离的边缘服务来保护数据隐私并实现其他安全意图。然而,在边缘计算中满足这种混合请求仍然是开放的。在本文中,我们提出了混合边缘计算的框架,以系统地提供公共和私有边缘服务。为了充分利用这种新框架的好处,我们定义了一个给定的混合边缘服务器的放置解决方案的最优请求调度问题,以最大限度地减少响应延迟。这个问题被进一步建模为一个混合整数非线性问题(MINLP),这是典型的NP-难。因此,我们提出了基于划分的优化方法,它可以有效地解决这个NP难问题,通过问题分解和分支定界策略。最后,我们用真实世界的数据集进行了广泛的评估,以衡量我们的方法的性能。实验结果表明,该方法具有良好的性能和较低的计算复杂度.
2019-09-14 cs.DC
Tierkreis: A Dataflow Framework for Hybrid Quantum-Classical Computing
我们提出了Tierkreis,一个更高阶的图程序表示和运行时设计的组合,量子经典的混合算法。该系统的设计是由量子计算机的远程性质,混合算法涉及云和分布式计算的需要,以及这些算法的长期运行性质所激发的。基于图形的表示反映了设计人员如何推理和可视化算法,并允许自动并行和并行性。一个强大的静态类型系统和高阶语义允许程序中的高表达性和组合性。灵活的运行时协议使第三方开发人员能够使用任何语言或环境添加功能。借助Tierkreis,量子软件开发人员可以轻松构建、可视化、验证、测试和调试复杂的混合工作流,并立即将其部署到云或自定义分布式环境中。
2022-11-04 cs.DC quant-ph
A Distributed GPU-based Framework for real-time 3D Volume Rendering of Large Astronomical Data Cubes
我们提出了一个框架,以交互式体渲染三维数据立方体使用分布式光线投射和体积砖在一个或多个图形处理单元(GPU)和一个多核CPU的工作站集群。该框架的主要设计目标是提供一个核心可视化解决方案,能够提供TB级数据立方体的三维交互式视图。我们使用包含64个节点、总共128个GPU的计算集群测试了所提出的框架。该框架被证明是可扩展的,可以以平均每秒30帧的速度渲染204 GB的数据立方体。我们的性能分析还比较了使用NVIDIA Tesla 1060和2050 GPU架构以及增加可视化输出分辨率对渲染性能的影响。虽然我们最初的重点,并在这项工作中提出的例子,是体绘制的光谱数据立方体从射电天文学,我们认为,我们的方法具有适用性的其他学科接近实时体绘制的TB级的3D数据集是一个要求。
2012-05-01 astro-ph.IM cs.DC cs.GR
Hybrid Vehicular and Cloud Distributed Computing: A Case for Cooperative Perception
在这项工作中,我们提出了使用混合卸载的计算任务,同时通过LTE通信到边缘服务器(垂直卸载)和通过V2V通信到附近的汽车(水平卸载),以提高与本地处理相比的任务处理速率。我们的主要贡献是一个优化的资源分配和调度框架的混合卸载的计算任务。该框架最佳地利用了边缘和微云中的计算资源,同时考虑了通信限制和任务要求。虽然合作感知是我们的框架的主要用例,该框架是适用于其他合作车辆应用程序的高计算需求和显着的传输开销。该框架在一个模拟环境中进行测试,该环境建立在从Veins车辆网络模拟器导出的汽车轨迹和通信速率之上。我们观察到的合作感知传感器帧的处理速率显着增加时,采用混合卸载与优化资源分配。此外,处理速率随着V2V连接而提高,因为可以水平卸载更多的计算任务。
2020-10-09 cs.DC cs.SY eess.SY
MPI-Q: A Message Communication Library for Large-Scale Classical-Quantum Heterogeneous Hybrid Distributed Computing
Laboratory for Advanced Computing and Intelligence Engineering, Information Engineering University(信息工程大学先进计算与智能工程实验室)
针对经典-量子系统异构性问题,提出MPI-Q库,通过统一管理经典与量子进程、轻量通信路径和异构同步机制,实现高效混合分布式计算,实验显示其具有接近线性扩展性。
2026-04-02 cs.DC
Overbook in Advance, Trade in Future: Computing Resource Provisioning in Hybrid Device-Edge-Cloud Networks
分布式物联网(IoT)系统中的大数据处理需要创新的计算架构和资源配置技术来支持实时和经济高效的计算服务。本文介绍了一种新的超额预订促进的远期交易机制,称为提前超额预订,未来交易(OATF),其中计算资源可以在具有不确定性(例如,“没有节目”)。更重要的是,OATF鼓励可行的超额预订率,其允许边缘服务器向多个最终用户超额预订资源(例如,超过资源供应),同时从云服务器购买备份资源,通过分析历史统计数据(例如,网络、资源动态)。这种机制可以大大提高时间效率和资源利用率由于超额预订和预先签署的远期合同。本文对超售率设计和风险管理等关键问题进行了深入研究,并给出了一个有趣的案例分析。综合模拟表明,与传统交易方法相比,OATF为不同方(云、边缘和最终用户)实现了互利的效用,以及大量的资源使用和值得称赞的时间效率。
2022-08-25 cs.DC
HI-HCQC: A Tightly-Coupled Hardware Interface with High-Efficiency Communication for Hybrid Classical-Quantum Computing
State Key Laboratory of Mathematical Engineering and Advanced Computing(数学工程与先进计算国家重点实验室);University Of Electronic Science And Technology Of China(电子科技大学)
针对经典-量子混合计算中数据交换延迟高、吞吐量低的问题,提出基于RFSoC的紧耦合硬件接口HI-HCQC,集成PCIe Gen3 x8接口,实现微波脉冲合成、量子比特读出和高吞吐数据传输,实验表明能降低延迟并提升任务吞吐量。
2026-08-06 cs.DC
Toward a Unified Hybrid HPCQC Toolchain
本文提出一种统一的混合高性能计算-量子计算(HPCQC)工具链设计,旨在解决量子与经典系统集成中的可扩展性、跨技术执行及提前优化等关键问题。
2023-09-07 cs.DC quant-ph
Secure Data Processing in a Hybrid Cloud
云计算使得用户能够在需要时精确地选择计算服务。然而,某些因素,如数据安全和监管问题,将影响用户使用此类服务的选择。这些问题的解决方案是使用混合云,将用户的本地计算能力(用于任务或组织关键型任务)与公共云(用于影响力较小的任务)相结合。我们预见在采用混合云方法之前必须克服的三个挑战:1)数据设计:如何在混合云中划分关系?这个问题的解决方案必须考虑关系中属性的敏感性以及用户的工作负载; 2)数据安全性:如何通过加密保护公共云中的用户数据,同时启用对该加密数据的查询处理?以及3)查询处理:如何在加密和未加密的数据上有效地执行查询?本文将解决这些挑战,并将其解决方案整合到基于Hadoop和Hive的云计算基础设施的附加工具中。
2011-05-10 cs.DC
Hybrid multi-objective evolutionary algorithms for service placement in the computing continuum: a comparative study with genetic traceability
University of the Balearic Islands(巴利阿里群岛大学)
研究计算连续体中多目标服务放置问题,采用协作混合岛模型MOEA,通过两个实验活动进行异构混合的系统应用与分析,结合多种指标评估,结果表明混合方法优于多数独立基线,各岛贡献不均,有效验证了混合合作。
2026-07-16 cs.DC cs.NE
A Hybrid Reactive-Proactive Auto-scaling Algorithm for SLA-Constrained Edge Computing
The University of Melbourne(墨尔本大学)
本文提出一种混合反应-主动自动扩展算法,结合机器学习预测和实时调整,以提高边缘计算在SLA约束下的性能和稳定性。
2025-12-16 cs.DC
Computing Shortest Paths and Diameter in the Hybrid Network Model
在[Augustine et al.,SODA '20]为允许多种通信模式的网络提供了理论基础。该模型遵循同步消息传递的原则,而节点被允许使用\textit{two}根本不同的通信模式。首先,本地模式,其中节点可以在本地通信图$G$的边缘上每轮交换任意信息(类似于$\mathsf{LOCAL}$模型)。第二,全局模式,其中每个节点可以与网络中的任意节点交换每轮大小为$O(\log n)$比特的$O(\log n)$消息。$\mathsf{HYBRID}$模型旨在反映许多实际混合网络的条件,其中高带宽但固有的本地通信与具有受限带宽的高度灵活的全局通信相结合。我们继续探索的权力和限制的$\mathsf{HYBRID}$模型通过调查的复杂性计算最短路径和直径的本地通信图$G$。我们改进了[Augustine et al.,SODA '20],并提供算法来近似解$k$源最短路径问题($k$ -SSSP)。我们证明,我们的结果APSP和$k$ -SSP几乎是紧密的(多对数因子)。此外,我们给出了大直径图的精确单源最短路问题的一个改进算法。对于局部通信网络的直径近似问题,给出了第一个非平凡上界。这个上限是由一个精确的直径问题的下限补充。
2020-10-02 cs.DC
Integration of FogBus2 Framework with Container Orchestration Tools in Cloud and Edge Computing Environments
目前,由于容器技术具有重量轻、部署简单、支持多环境、启动时间短、可扩展、易迁移等优点,在云计算和边缘/雾计算中得到了广泛应用,并解决了不同计算环境下的设备异构问题。在此基础上,作为最流行的容器编排和管理系统之一,Kubernetes几乎主导了云环境。但是,由于它主要是为计算资源充足的集中式资源管理场景而设计的,因此由于硬件限制,该系统在边缘环境中不稳定。因此,为了实现云和边缘/雾混合计算环境下的容器编排,提出了一种可行的基于K3 s构建混合集群的方法,解决了不同环境下虚拟实例因IP地址而无法连接的问题。我们还提出了将FogBus 2框架部署到混合环境中的三种设计模式,包括1)主机网络模式,2)代理服务器和3)环境变量。
2021-12-11 cs.DC
Paving the Way to Hybrid Quantum-Classical Scientific Workflows
本文针对量子计算难以融入复杂科学工作流的问题,形式化混合量子-经典工作流,提出量子组件识别与资源映射方法,并通过真实用例验证及设计混合工作流管理系统架构。
2024-04-16 cs.DC cs.ET
An Agent-based Cloud Service Negotiation in Hybrid Cloud Computing
随着云计算发展的到来,大型组织已经将内部IT基础设施扩展到云。虽然这是一种流行的做法,但它缺乏全面的努力来研究云客户和提供商之间的资源自动协商方面。本文提出了一个完整的框架,多方,多问题的协商系统的云资源。它引入了一个强大的云市场系统来购买和销售云资源。基于BDI模型的云客户和供应商代理同时就多个问题进行谈判,追求基于时间和资源的动态截止日期算法的混合策略来生成报价和还价。基于云市场的系统被进一步增强,为代理分配行为规范分数和信誉指数,以建立它们之间的信任。
2020-06-16 cs.DC cs.MA cs.NI
Distributed Quantum Circuit Cutting for Hybrid Quantum-Classical High-Performance Computing
本文提出分布式量子电路切割库 Qdislib,通过图表示与线路/门切割技术将大型量子电路分解并在 CPU、GPU 和 QPU 上并行执行,以支持混合量子-经典高性能计算中的可扩展工作流。
2025-05-05 cs.DC quant-ph
Identity and Access Management Framework for Multi-tenant Resources in Hybrid Cloud Computing
虽然近年来越来越多的组织一直在尝试将其基础设施迁移到云端,但在混合云环境中如何管理身份和访问方面存在重大挑战。本文展示了一种新的身份和访问管理框架,在多租户混合云环境中的共享资源。本文演示了一种在云中实现本地身份的“镜像”身份的方法。遵循最佳安全实践,该框架确保只有合法用户才能在云中使用其镜像身份。此外,本文还提出了一种扩展框架以适应大型企业的技术。本文中展示的框架为企业在其混合云基础设施中实施身份和访问控制提供了全面且可扩展的解决方案。虽然本文的重点是在Google Cloud Platform中实现该框架,但它可以轻松应用于任何主要的公共云平台。
2022-03-22 cs.CR cs.DC cs.NI
Training Computer Scientists for the Challenges of Hybrid Quantum-Classical Computing
针对量子计算课程与计算机科学课程脱节的问题,本文设计了一门混合量子-经典系统课程,培养学生分解应用并实现混合计算任务的能力,以弥合课程缺口。
2024-03-01 cs.DC cs.ET physics.ed-ph
Design and Simulation of a Hybrid Architecture for Edge Computing in 5G and Beyond
5G及以后的边缘计算是超低延迟应用(例如自动驾驶汽车,增强现实和远程手术)的一种有前途的解决方案,这些应用对延迟的容忍度非常低,并且需要对非常大量的数据进行快速数据处理。由于用户设备和云之间的高延迟,延迟敏感应用的要求(例如,低延迟、邻近度和位置/上下文感知)不能由云计算满足。尽管如此,5G及以后的边缘计算可以通过将计算能力放置在更接近终端设备的位置来实现超高速,而5G鼓励比4G LTE-Advanced快200倍的速度。本文深入研究了5G中的边缘计算,并根据超低延迟应用的要求对其进行了表征。作为贡献,我们提出了一种混合架构,该架构利用了新颖且可持续的技术(例如D2 D通信,Massive MIMO,SDN和NFV),并具有可扩展性,可靠性和超低延迟支持等主要功能。基于代理的模拟,证明它可以满足要求,并有能力响应高容量的需求,低延迟的基础上,所提出的架构进行评估。
2020-08-31 cs.DC eess.SP
Hybrid CPU-GPU Framework for Network Motifs
由于最近数据的激增,诸如GPU的大规模并行架构变得越来越重要。在本文中,我们提出了一类关键的混合并行graphlet算法,利用多个CPU和GPU同时计算k-顶点诱导子图统计(称为graphlet)。除了混合多核CPU-GPU框架之外,我们还研究了单GPU方法(使用多核)和多GPU方法,这些方法同时利用所有可用的GPU来计算诱导子图统计。这两种方法都只利用GPU设备,而混合多核CPU-GPU框架利用所有可用的多核CPU和多个GPU来计算大型网络中的graphlet。与最近的方法相比,我们的方法速度快了几个数量级,同时也更具成本效益,人均和每瓦性能优越。特别是,该方法比最近的最先进的方法快300倍。据我们所知,这是第一个同时利用多个CPU和GPU来计算诱导子图统计的工作。
2016-10-28 cs.DC cs.SI stat.ML
A Hybrid Artificial Neural Network for Task Offloading in Mobile Edge Computing
边缘计算(EC)是关于重塑数据在庞大的异构网络中处理、处理和交付的方式。电子商务的基本概念之一是通过利用具有强大计算能力的前端设备将数据处理推向边缘。因此,仅在必要时才使用集中式架构,例如云计算。本文提出了一种新的边缘计算机卸载技术,将设备生成的计算任务分配给具有足够计算资源的潜在边缘计算机。该方法根据边缘计算机的硬件规格对边缘计算机进行聚类。之后,由设备生成的任务将被馈送到混合人工神经网络(ANN)模型,该模型基于这些任务预测简档,即,功能,具有足够的计算资源来执行它们的边缘计算机。然后将预测的边缘计算机分配到它们所属的集群,以便将每个任务分配到边缘计算机的集群。最后,我们为每个任务选择预期提供最快响应时间的边缘计算机。实验结果表明,我们提出的方法优于其他国家的最先进的机器学习方法使用真实世界的物联网数据集。
2022-06-06 cs.DC cs.NI
Hybrid Genetic Algorithm for Cloud Computing Applications
University Sapienza of Rome(罗马第一大学);Dalian Maritime University(大连海事大学);Machine Intelligence Research Labs (MIR Labs)(机器智能研究实验室)
本文将遗传算法和模糊理论相结合,提出了一种混合作业调度方法,该方法考虑了系统的负载均衡,减少了总的执行时间和执行成本。本文尝试对标准遗传算法进行改进,并借助模糊理论减少种群生成的迭代次数。本研究的主要目标是在考虑虚拟机MIPS和作业长度的情况下,将作业分配给资源。新算法综合考虑作业长度和资源容量,将作业分配给资源。我们评估我们的方法与一些著名的云调度模型的性能。实验结果表明,所提出的方法的执行时间,执行成本和平均度的不平衡(DI)方面的效率。
2014-04-22 cs.AI cs.DC
Joint Offloading and Resource Allocation for Hybrid Cloud and Edge Computing in SAGINs: A Decision Assisted Hybrid Action Space Deep Reinforcement Learning Approach
针对SAGINs中混合云与边缘计算场景,提出一种决策辅助混合动作空间的多智能体深度强化学习算法,联合优化任务卸载与资源分配,有效降低了系统能耗与延迟。
2024-01-02 cs.DC cs.IT math.IT