HET: Scaling out Huge Embedding Model Training via Cache-enabled Distributed Framework
Peking University(北京大学);Tencent Inc.(腾讯公司)
嵌入模型是一种有效的高维数据学习范式。然而,嵌入模型的一个公开问题是,它们的表示(潜在因素)通常会导致较大的参数空间。我们观察到,现有的分布式训练框架面临着嵌入模型的可扩展性问题,因为从服务器更新和检索共享的嵌入参数通常占主导地位的训练周期。在本文中,我们提出了HET,一个新的系统框架,显着提高了巨大的嵌入模型训练的可扩展性。我们拥抱嵌入的倾斜流行度分布作为一个性能的机会,并利用它来解决嵌入缓存的通信瓶颈。为了确保整个缓存的一致性,我们将一个新的一致性模型到HET设计,它提供了细粒度的一致性保证,每嵌入的基础上。与以前只允许读操作过时的工作相比,HET还利用写操作的过时。对六个代表性任务的评估表明,HET实现了高达88%的嵌入式通信减少和高达20.68倍的性能加速。
2021-12-14 cs.DC cs.LG
A Unified Cloud-Enabled Discrete Event Parallel and Distributed Simulation Architecture
Universidad Complutense de Madrid(马德里康普顿斯大学);The MITRE Corporation(米特雷公司)
如今的云仿真环境主要用于对复杂系统进行建模和仿真,以满足远程访问和可变容量需求。在这方面,建模与仿真(M\&S)计算需求中的可扩展性问题可以通过按需云部署的弹性来解决。然而,按照这些弹性原则实现高性能云M\&S框架并不是一项简单的任务,因为并行化和分布现有架构是具有挑战性的。事实上,并行和分布式M\&S的发展都是按照不同的方式发展的。并行解决方案一直专注于ad-hoc解决方案,而分布式方法,另一方面,导致了标准分布式框架的定义,如高层体系结构(HLA)或影响了分布式技术的使用,如消息传递接口(MPI)。只有少数开发能够随着计算硬件资源部署的当前弹性而发展,主要集中在模拟即服务(SaaS)的实现上,尽管独立于并行ad-hoc方法分支。在本文中,我们提出了一个统一的并行和分布式M\&S架构,具有足够的灵活性,部署并行和分布式仿真在云中,以较低的努力,而无需修改底层模型的源代码,并达到重要的加速比对顺序模拟,特别是在并行实现。我们的框架是基于离散事件系统规范(DEVS)的形式主义。使用xDEVS M\&S工具,应用程序编程接口(API)和DEVStone基准测试多达8个计算节点的并行和分布式框架的性能,分别获得最大的加速比$15.95\times$和$1.84\times$。
2023-02-22 cs.AI cs.DC
TrustMesh: A Blockchain-Enabled Trusted Distributed Computing Framework for Open Heterogeneous IoT Environments
本文提出TrustMesh,一种面向开放异构IoT环境的区块链可信分布式计算框架,通过三层架构结合许可链与多阶段PBFT协议,支持非确定性调度且保持拜占庭容错,在冷链监控实验中故障检测延迟低于150毫秒,有效平衡了安全性、性能与灵活性。
2025-01-17 cs.DC
Fog enabled distributed training architecture for federated learning
本文提出一种雾使能分布式训练架构,结合在线学习与联邦学习,在资源受限的工业物联网设备上实现快速变化数据下的隐私保护机器学习,并通过人体位置检测任务验证其有效性。
2024-02-20 cs.DC
Infrastructure Enabled Autonomy: A Distributed Intelligence Architecture for Autonomous Vehicles
Texas A&M University(得克萨斯农工大学)
多项研究表明,自动驾驶的显著渗透可能带来巨大的社会、环境和经济效益。然而,目前所有的自动驾驶方法都要求汽车制造商承担与自动化取代人类感知和决策相关的主要责任和责任,这可能会减缓自动驾驶汽车的渗透,从而减缓自动驾驶汽车社会效益的实现。我们在这里提出了一种新的自动驾驶方法,将重新平衡传统汽车制造商、基础设施参与者和第三方参与者之间与自动驾驶相关的责任和义务。我们提出的分布式智能架构利用了近几十年来连接和边缘计算方面的重大进步,将车辆、路边的边缘计算机和车辆中的专用第三方计算机之间的驾驶功能进行划分。基础设施成为实现自主性的关键推动因素。有了这个基础设施支持的自主性(IEA)概念,传统汽车制造商只需要承担与他们今天已经做的事情相当的责任和义务,基础设施和第三方参与者将分担与自主功能相关的额外责任和义务。我们提出了一个基于贝叶斯网络模型的框架,用于评估这种分布式智能架构的风险收益。所提出的架构的另一个好处是,它实现了“自动化即服务”,同时仍然允许私人拥有汽车。
2018-02-05 cs.CY cs.DC cs.MA
Edge AI Collaborative Learning: Bayesian Approaches to Uncertainty Estimation
Silicon Austria Labs(奥地利硅研究所);FH Joanneum(约阿尼纳应用科学大学)
本文研究边缘设备分布式机器学习中的不确定性估计问题,提出基于贝叶斯神经网络扩展DiNNO算法,实验表明该方法有效且通过Kullback-Leibler散度正则化使验证损失降低12-30%。
2024-10-11 cs.DC cs.LG cs.MA
Distributed statistical inference with pyhf enabled through funcX
在高能物理中,提供高性能计算环境的设施提供了一个有效地执行大型强子对撞机数据分析所需的统计推断的机会,但可能会带来编排和有效调度的问题。这些设施的计算架构不容易支持Python计算模型,并且物理批处理作业的配置调度通常需要多个作业调度服务的专业知识。pure-Python库pyhf和funcX的组合减少了HEP分析中使用分箱模型执行统计推断的常见问题,传统上需要花费多个小时和定制调度,以按需(拟合)“功能即服务”,可以在几分钟内跨工作人员可扩展地执行,减少了洞察和推断的时间。我们演示了一个可扩展的工作流程,使用funcX同时适合125个信号假设,从发表的ATLAS搜索新的物理使用pyhf与壁时间不到3分钟。我们还显示了其他物理分析与公开发表的概率模型的性能比较,并主张在HPC中心作为服务系统的蓝图。
2021-08-31 cs.DC hep-ex
MPICH-G2: A Grid-Enabled Implementation of the Message Passing Interface
用于分布式计算“网格”的应用程序开发可以从各种工具中受益,这些工具可以隐藏或启用对异构环境的关键方面的应用程序级管理。作为这些问题的调查的一部分,我们已经开发了MPICH-G2,网格启用的消息传递接口(MPI)的实现,允许用户在多台计算机上运行MPI程序,在相同或不同的网站,使用相同的命令,将在并行计算机上使用。此库扩展了MPI的Argonne MPICH实现,以使用Globus Toolkit提供的服务进行身份验证、授权、资源分配、可执行文件暂存和I/O,以及进程创建、监视和控制。各种性能关键操作(包括启动和集合操作)被配置为利用网络拓扑信息。该库还利用MPI结构进行性能管理;例如,MPI通信器结构用于应用程序级发现和适应网络拓扑和网络服务质量机制。我们描述了MPICH-G2的设计和实施,目前的性能结果,并审查应用程序的经验,包括创纪录的分布式模拟。
2002-06-25 cs.DC
Heterogeneous Relational Databases for a Grid-enabled Analysis Environment
基于网格的系统需要一种数据库访问机制,该数据库访问机制可以通过虚拟数据访问系统(即,可以负责跟踪存储在地理上分布的异构数据库中的数据的系统)来提供对所请求的数据的无缝同构访问。该系统应通过使用虚拟数据访问机制(即,可以向客户端应用程序隐藏后端数据库的异构性的机制)来提供存储在不同存储库中的数据的集成视图。本文主要研究通过Web服务接口访问存储在不同关系数据库中的数据,并利用数据仓库和数据集市的特点。我们提出了一个中间件,使应用程序访问存储在地理上分布的关系数据库中的数据,而不知道他们的物理位置和底层模式。提供了一个Web服务接口,使应用程序能够以独立于语言和平台的方式访问该中间件。基于Clarens [4]、Unity [7]和POOL [8]创建了一个原型实现。这种透明地访问存储在分布式关系数据库中的数据的能力对于网格用户,特别是希望整理和分析分布在网格上的数据的科学界来说可能是非常强大的。
2005-04-10 cs.DC
REACT: Distributed Mobile Microservice Execution Enabled by Efficient Inter-Process Communication
增加的移动连接性、网络中各种计算环境中可用的服务的范围和数量要求移动应用高度动态,以便能够有效地将这些服务与移动设备上的其他本地能力一起合并到应用中。然而,如今移动应用组件的整体结构和大部分静态配置限制了应用动态管理内部组件、能够适应用户和环境以及利用网络中的各种服务来改善应用体验的能力。在本文中,我们介绍了REACT,这是一个新的基于Android的框架,允许将应用程序开发为松耦合微服务(MS)的集合。它允许基于上下文变化由网络中的服务执行MS的单独分发、动态管理和卸载。REACT旨在提供i)一个框架,作为Android库,用于创建适应上下文变化的基于MS的应用程序ii)一个统一的基于HTTP的通信机制,使用Android进程间通信(IPC)在本地运行的MS之间传输请求,同时允许在卸载时在网络和IPC请求之间进行灵活和透明的切换。我们通过实现一个视频流应用程序来评估REACT,该应用程序动态地将MS卸载到网络中的Web服务,以适应上下文的变化。评估表明,适应上下文的变化和降低功耗时卸载,而我们的通信机制克服了Android IPC的性能限制,使移动MS之间的大有效载荷的有效传输。
2021-01-04 cs.DC cs.NI
Towards Enabling Novel Edge-Enabled Applications
边缘计算已经作为克服云计算的实际可扩展性限制的分布式计算范例出现。边缘计算的主要原理是利用云外部的计算资源,在更靠近数据源的地方执行计算,避免不必要的数据传输到云,并为客户端提供更快的响应。虽然这种模式已成功地用于在某些情况下改善响应时间,主要是通过让客户端执行预处理和/或过滤数据,或通过利用分布式缓存基础设施,但我们认为边缘和云计算的组合有可能实现新的应用程序。然而,要做到这一点,计算机科学界必须解决一些重大的研究挑战。在本文中,我们讨论了不同的边缘资源及其潜在用途,由设想的用例激发。然后,我们讨论了具体的研究挑战,在实现我们的边缘愿景的关键路线。最后,我们提出了一个研究议程,以充分利用新兴的混合云/边缘范例的潜力。
2019-10-04 cs.DC
Edge-enabled Metaverse: The Convergence of Metaverse and Mobile Edge Computing
University College Dublin(都柏林大学学院);Ulster University(阿尔斯特大学);University of Cagliari(卡利亚里大学);University of Science and Technology Beijing(北京科技大学)
Metaverse是一个虚拟环境,用户由化身代表来导航虚拟世界,与物理世界有很强的联系。最先进的Metaverse架构依赖于基于云的方法来进行化身物理仿真和图形渲染计算。这种集中式设计是不利的,因为它遭受由云访问所需的长延迟引起的若干缺点,例如低质量的可视化。为了解决这个问题,在本文中,我们提出了一个雾边缘混合计算架构的Metaverse应用程序,利用边缘使能的分布式计算范例,它利用边缘设备的计算能力,以满足所需的计算成本繁重的任务,如碰撞检测在虚拟宇宙和虚拟仿真中的3D物理计算。与Metaverse中的实体相关的计算成本,例如碰撞检测或物理仿真,在相关物理实体的终端设备上执行。为了证明所提出的架构的有效性,我们模拟了一个分布式的社会metaverse应用程序。仿真结果表明,与传统的基于云的Metaverse应用相比,该架构可以将延迟降低50%。
2022-04-13 cs.AI cs.DC cs.NI
A Taxonomy and Survey of Grid Resource Planning and Reservation Systems for Grid Enabled Analysis Environment
耦合地理上分布的资源来解决大规模问题的概念正变得越来越流行,形成了通常所说的网格计算。网格环境中的资源管理变得复杂,因为资源在地理上是分布的,本质上是异构的,并且由不同的个人和组织拥有,每个人都有自己的资源管理策略和不同的访问和成本模型。已经有许多项目设计和实现了具有各种架构和服务的资源管理系统。在本文中,我们提出了资源管理系统应满足的一般要求。分类也已定义的基础上,在不同的现有网格项目的资源管理系统的调查已进行,以确定这些系统缺乏所需的功能的关键领域。
2018-01-14 cs.DC
Parallel GPU-Enabled Algorithms for SpGEMM on Arbitrary Semirings with Hybrid Communication
Cornell University(康奈尔大学)
本文提出了一种基于GPU的分布式内存SpGEMM算法,通过混合通信方案优化进程间通信,实现对大输入矩阵的加速
2025-12-22 cs.DC
BE-RAN: Blockchain-enabled Open RAN for 6G with DID and Privacy-Preserving Communication
针对6G下分布式RAN的端到端认证需求,提出结合DID与隐私保护通信的BE-RAN架构,利用区块链实现无中心化的可信认证与P2P通信,可降开销、提隐私、助力CSC融合。
2024-09-13 cs.CR cs.DC cs.NI
Distributed Algorithms for Internet-of-Things-enabled Prosumer Markets: A Control Theoretic Perspective
University College Dublin(都柏林大学学院);University of Passau(帕绍大学);Concordia University(康考迪亚大学)
本文提出一种基于控制论的分布式算法,用于调节产消者社区中的产消者数量,每个产消者具有耦合其资源时间平均生产与消费的成本函数,并通过概率方式做出二元决策。该方法通过中央机构广播反馈信号实现信息交换,无需直接通信,最终实现渐近最优。
2019-03-25 cs.DC cs.MA cs.SY
Blockchain enabled fog structure to provide data security in IoT applications
物联网通过将智能设备连接到互联网,并利用所述设备生成的数据来为个人和企业提供增值服务。在这种情况下,如果数据被暴露、篡改或丢失,服务将无法正常运行。在本文中,我们从五个方面讨论物联网应用中的数据安全性:机密性、完整性、真实性、不可否认性和可用性。我们讨论了如何使用分布式账本技术来克服这些问题,并建议使用雾计算架构作为分散的计算支持来部署账本。
2019-01-15 cs.CR cs.DC
Toward Edge-enabled Cyber-Physical Systems Testbeds
边缘计算的使用在支持CPS工作方面非常有价值。然而,很少有测试平台提供支持边缘启用CPS实验所需的资源控制和配置类型。同样,商业产品提供了运营能力,但缺乏研究测试平台提供的分布式基础设施和透明度。在本文中,我们提出了开发新的和增强现有测试平台的方法,以更好地支持边缘计算和CPS研究的挑战。拟议的网络专门设计用于解决与边缘和数据中心资源孤岛之间基于边缘的配置、数据汇集、分析、监控和测量相关的挑战。我们提出了我们的工作的目的,基本架构,初步结果,与现有软件的关系,以及现有的边缘为重点的框架,以支持边缘为重点的CPS测试平台的基础的潜力。
2019-10-02 cs.DC
Distributed Stochastic Graph Algorithms
Technion(以色列理工学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Inria(法国国家信息与自动化研究所)
本文研究了在新型分布式环境下随机图优化问题,提出了一种高效的分布式随机算法,用于求解最大匹配、最小顶点覆盖和最小支配集问题,并克服了已知的下限。
2026-05-20 cs.DC cs.DS
Identity-Aware Attribute Recognition via Real-Time Distributed Inference in Mobile Edge Clouds
The Key Laboratory for Ubiquitous Network and Service Software of Liaoning Province, School of Software, Dalian University of Technology(大连理工大学软件学院,辽宁省泛在网络与服务软件重点实验室);School of Software, Dalian University of Technology(大连理工大学软件学院);The Key Laboratory for Ubiquitous Network and Service Software of Liaoning Province, International School of Information Science and Engineering, Dalian University of Technology(大连理工大学国际信息与软件学院,辽宁省泛在网络与服务软件重点实验室);The Hubei Engineering Research Center on Big Data Security, School of Cyber Science and Engineering, Huazhong University of Science and Technology(华中科技大学网络空间安全学院,湖北省大数据安全工程研究中心)
随着深度学习技术的发展,通过在云计算中心执行计算密集型的深度神经网络,属性识别和人员重新识别(re-ID)得到了广泛的关注和不断的改进。然而,数据中心部署不能满足属性识别和人员重新ID的实时的【形】要求,这是由于回程网络的禁止性延迟和从相机到数据中心的大量数据传输。因此,一个可行的解决方案是在相机附近采用移动边缘云(MEC),并实现分布式推理。在本文中,我们设计了新的模型,行人属性识别与重新ID在MEC启用摄像机监控系统。我们还研究了分布式推理的问题,在MEC使能的相机网络。为此,我们首先提出了一种新的推理框架与一组分布式模块,通过联合考虑属性识别和人的重新ID。然后,我们设计了一个基于学习的算法,建议分布式推理框架的模块的分布,考虑动态MEC启用相机网络的不确定性。最后,我们评估所提出的算法的性能与真实的数据集和系统实现在一个真正的测试平台的模拟。实验结果表明,与现有方法相比,该算法的属性识别和身份识别准确率分别达到92.9%和96.6%,推理延迟降低了40.6%。
2020-08-12 cs.CV cs.DC cs.MM