an intelligent security centered resource-efficient resource management model for cloud computing environments
本文提出了一个概念模型,在云环境中的安全和性能高效的工作负载管理模型。在该模型中,采用资源管理单元来进行虚拟机的能量和性能优化分配,同时通过实时防御由于对虚拟机的未授权访问而导致的数据泄露来确保用户应用程序的安全处理。资源管理单元由安全虚拟机管理单元引导,该安全虚拟机管理单元被设计为生成关于活动虚拟机之间的未授权访问或相互通信链路的信息。此外,工作负载分析器单元同时操作以估计资源利用信息,以帮助资源管理单元进行虚拟机的性能高效分配。与先前的工作,从事访问控制机制,加密和解密的数据之前的传输和隧道的使用,以防止未经授权的访问虚拟机,从而提高了额外的计算成本开销,所提出的模型操作diligence有效地服务于相同的目的。
2022-10-29 cs.DC
Consentio: Managing Consent to Data Access using Permissioned Blockchains
越来越多的个人数据在隐私、安全和数据所有权方面引发了严重的问题。其数据被收集的实体可以受益于管理可以访问其数据的各方和审计谁访问了其数据的机制。同意管理系统解决了这些问题。我们介绍了Consentio,一个基于Hyperledger Fabric许可区块链的可扩展同意管理系统。我们解决的数据管理挑战是确保认可数据访问请求以及授予或撤销同意的高吞吐量和低延迟。实验结果表明,我们的系统每秒可以处理多达6,000个访问请求,使其能够扩展到非常大的部署。
2020-03-09 cs.DC
An automatized Identity and Access Management system for IoT combining Self-Sovereign Identity and smart contracts
如今,自主身份和访问管理的开放标准使便携式解决方案能够满足物联网系统的要求。本文提出了一个基于区块链的物联网身份和访问管理系统-特别是智能车辆-作为用例的例子,展示了两个可互操作的区块链,以太坊和Hyperledger Indy,以及一个自我主权身份模型。
2022-01-01 cs.CR cs.DC
FIRM: An Intelligent Fine-Grained Resource Management Framework for SLO-Oriented Microservices
现代面向用户的延迟敏感的Web服务包括许多分布式的、相互通信的微服务,这些微服务有望简化软件开发和操作。然而,跨微服务的计算资源复用在生产中仍然具有挑战性,因为对共享资源的争用可能会导致延迟峰值,从而违反用户请求的服务级别目标(SLO)。本文介绍了FIRM,这是一种智能细粒度资源管理框架,用于跨微服务可预测地共享资源,以提高整体利用率。FIRM利用在线遥测数据和机器学习方法自适应地(a)检测/定位导致SLO违规的微服务,(b)识别争用的低级资源,以及(c)通过动态重新配置采取行动来减轻SLO违规。在四个微服务基准测试中的实验表明,FIRM将SLO违规减少了16倍,同时将整体请求的CPU限制减少了62%。此外,FIRM通过将尾部延迟减少多达11倍来提高性能可预测性。
2020-10-19 cs.DC cs.PF
Access Control Management for Computer-Aided Diagnosis Systems using Blockchain
计算机辅助诊断(CAD)系统已经出现,以支持临床医生解释医学图像。CAD系统传统上与人工智能(AI)、计算机视觉和数据增强相结合,以评估医学图像中的可疑结构。这一评估产生了大量的数据。传统的CAD系统属于单一机构,集中处理数据访问管理。然而,CAD系统的出现,多个机构之间的研究需要分布式访问管理。这项研究提出了一种基于区块链的解决方案,以实现CAD系统中的分布式数据访问管理。该解决方案已在联盟网络中使用以太坊开发为分布式应用程序(DApp)。
2020-06-20 cs.CR cs.DC
Enabling Lock-Free Concurrent Fine-Grain Access to Massive Distributed Data: Application to Supernovae Detection
我们认为,在一个大规模的分布式环境中有效地管理大量数据的问题。我们认为数据串的大小在TB的顺序,共享和并发客户端访问。每次访问时,都会读取或修改一个字节级的字符串段。我们的目标是为客户端提供高效的细粒度访问数据字符串,尽可能并发,而不锁定字符串本身。这个问题对于天文学、数据库、数据采掘和多媒体领域的应用至关重要。我们说明了这些要求与搜索超新星的应用程序的情况下。我们的解决方案依赖于分布式、基于RAM的数据存储,同时利用基于DHT的并行元数据管理方案。所提出的架构和算法已通过软件原型验证,并在集群环境中进行评估。
2008-10-13 cs.DC
Dynamic Service Scheduling and Resource Management in Energy-Harvesting Multi-access Edge Computing
University of Leeds(利兹大学);Southern University of Science and Technology (SUSTech)(南方科技大学);University of Thessaly(色萨利大学);Research Institute of Trustworthy Autonomous Systems (RITAS), SUSTech(南方科技大学可信自主系统研究院)
本文提出了一种基于能量收集的MEC系统在线策略,通过动态任务调度和实时能耗管理,实现高效能量利用与低延迟服务的平衡。
2025-10-31 cs.DC
A Resource Management Protocol for Mobile Cloud Using Auto-Scaling
云无线接入网(C-RAN)和移动云计算(MCC)已经成为下一代接入网技术的有希望的候选者。MCC使资源有限的移动设备能够将计算密集型任务卸载到云端,而C-RAN则提供了一种解决日益增长的移动流量的技术。在本文中,我们提出了一个协议,用于任务卸载和管理资源在C-RAN和移动云一起使用一个集中式控制器。使用云自动伸缩进行资源管理的实验表明,资源(CPU,RAM,存储)伸缩时间不同。
2017-01-20 cs.DC
A smart resource management mechanism with trust access control for cloud computing environment
Panipat Institute of Engineering and Technology(帕尼帕特工程技术学院)
计算机业务的核心现在在云计算的帮助下提供基于订阅的按需服务。我们现在可以通过使用虚拟化在多个用户之间共享资源,虚拟化创建了运行在抽象硬件层中的计算机系统的虚拟实例。与早期的分布式计算模型相比,它通过其庞大的云计算中心提供无限的计算能力,并且由于其不断增长的基础设施,用户群和托管数据量,近年来一直非常受欢迎。本文为云环境中的工作负载管理范例提出了一个概念框架,它既安全又高效。在此范例中,资源管理单元用于能量和高效地执行虚拟机分配,确保用户应用程序的安全执行,并实时防止由未经授权的虚拟机访问带来的数据泄露。安全虚拟机管理单元控制资源管理单元,并且被创建为产生关于非法访问或相互通信的数据。此外,工作负载分析器单元同时工作以估计资源消耗数据,以帮助资源管理单元在虚拟机分配期间更有效。所建议的模型以不同的方式有效地服务于相同的目标,包括在传输之前进行数据加密和解密,使用信任访问机制来防止对虚拟机的未授权访问,这会产生额外的计算成本开销。
2022-12-10 cs.AI cs.DC
Learning-based Dynamic Cache Management in a Cloud
高速缓存是现代计算系统的重要组成部分,因为它们对性能有显著影响。特别是,由于大规模数据密集型处理的性质,缓存在云中发挥着关键作用。云提供商的关键挑战之一是如何在租户之间共享缓存容量,在这种情况下,每个租户往往需要不同程度的服务质量(QoS),相对于数据访问性能。不变的是,应满足各个租户的QoS要求,同时以系统范围的方式优化缓存使用。在本文中,我们介绍了一种基于学习的方法在云中的动态缓存管理,这是基于租户的数据访问模式的估计和访问模式的缓存性能的预测问题。我们考虑了各种概率分布来估计数据访问模式,并研究了一组基于学习的回归技术来预测访问模式的缓存命中率。然后,使用预测的缓存命中率来决定是否需要重新分配缓存空间以满足租户的QoS要求。我们的实验结果与广泛的一组合成的痕迹和YCSB基准测试表明,该方法始终优化缓存空间,同时满足QoS要求。
2019-02-02 cs.DC
Meeting Real-Time Constraint of Spectrum Management in TV Black-Space Access
在下一代电视系统ATSC 3.0中标准化的电视机反馈特征将使得能够在未来的认知无线电网络中机会性地接入活动电视频道。这种新的动态频谱接入方法被命名为黑空间接入,因为它是当前TV白空间的补充,TV白空间代表不活动的TV信道。电视黑空间接入可以显著增加认知无线电网络在人口密集的城市市场的可用频谱,其中频谱短缺最严重,而电视白空间非常有限。然而,为了实现TV黑空间访问,次用户必须在TV用户进入时及时地撤离TV频道。这种严格实时的【形】约束是认知无线电网络频谱管理基础设施的独特挑战。在本文中,频谱管理的实时的【形】性能方面的集中化程度的基础设施进行建模和测试。基于收集的经验网络延迟和数据库响应时间,我们分析了频谱管理基础设施的四种结构下的平均疏散时间:完全分布,全市集中,全国集中,半全国集中。结果表明,全国性集中可能无法满足实时的【形】要求,而半全国性集中采用多个独立的频谱管理器协同工作,可以在保持完全集中式结构的大部分运行优势的同时实现实时的【形】性能。
2018-10-23 cs.DC cs.NI
Distributed Resource Management in Systems of Systems: An Architecture Perspective
本文介绍了一个框架,研究自治系统组件的相互作用和系统(SoSs)的连接结构的设计。这个框架,它使用复杂的网络模型,也被用来研究连接结构对资源管理的影响。我们讨论资源共享的机制,增加了一个层次的灵活性,分布式系统和描述的连接结构,提高组件的访问系统内可用的资源。本文介绍的框架明确纳入成本的连接和直接和间接获得资源的好处,并提供了连接结构的最优性的措施。我们讨论了中央和分布式计划,分别代表系统中,中央计划确定的连接结构和系统中,允许分布式组件添加和切断连接,以提高自己的资源访问。此外,我们确定最佳的连接结构的系统具有各种异质性条件。
2016-08-04 cs.DC
Dynamic Role-Based Access Control for Decentralized Applications
访问控制管理是维护应用程序安全性的一个组成部分。虽然在云访问控制机制领域已经有了大量的工作,但是随着分布式账本技术(DLT)的出现,链上访问控制管理框架几乎不存在。现有的访问控制管理机制与业务逻辑紧密耦合,导致治理问题,与现有的身份管理解决方案不一致,安全性低,可用性受损。我们提出了一个新的框架来实现分布式应用程序(dApps)的动态基于角色的访问控制。该框架允许管理dApp上的访问控制,dApp与业务应用程序完全解耦,并与任何dApp无缝集成。智能合约架构允许独立管理业务逻辑和执行访问控制策略。它还有助于安全、低成本和高度灵活的访问控制管理。拟议的框架促进了访问控制策略的分散治理和高效的智能合约升级。我们还提供了定量和定性指标的有效性和效率的框架。任何图灵完备的智能合约程序设计语言都非常适合实现该框架。我们希望这个框架能够使企业和非企业dApps受益,并提供更大的访问控制灵活性,以及与传统和最先进的身份管理解决方案的有效集成。
2020-03-11 cs.CR cs.DC cs.SE
Software Defined Edge Computing for Distributed Management and Scalable Control in IoT Multinetworks
最近,边缘计算已经成为支持物联网多网络中移动访问的一个有前途的范例。然而,异构无线通信方案的共存给此类网络中的移动性管理和接入控制带来了新的挑战。为了保持其计算连续性,软件定义网络(SDN)架构可以应用于分布式边缘网络,其为移动性管理提供一致的框架并为访问控制创建安全机制。在本文中,我们首先回顾了最先进的SDN技术及其在边缘计算中的应用。特别是,我们强调了与边缘计算环境中SDN的移动性管理和访问控制相关的突出问题。我们还介绍了一些有效的解决方案,这些问题,通过提出现实世界的测试床实验,原型和数值分析采用基于SDN的边缘计算范例的物联网多网络。
2021-04-06 cs.DC cs.NI
Digital Twins and Blockchain for IoT Management
针对物联网管理中的安全与隐私问题,提出集成数字孪生与区块链的方法,通过智能合约管理对数字孪生的访问,实现多租户数据流定制并防止访问漏洞。
2023-09-03 cs.CR cs.DC
Fine-Grained Modeling and Optimization for Intelligent Resource Management in Big Data Processing
本文提出基于MaxCompute的细粒度实例级建模与分层多目标优化系统,分解资源优化问题,在生产负载下同时降低37-72%延迟和43-78%成本。
2022-07-09 cs.DB cs.DC
Xema: Efficient Diffusion Serving through Fine-Grained Memory Management and Auto-Configuration
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
研究针对扩散模型服务受GPU内存限制问题,提出Xema系统,通过细粒度内存管理和自动配置,利用可预测张量生命周期优化内存,引入离线规划器联合选择参数,实现高效扩散服务,相比现有配置提升SLO达成率并降低规划成本。
2026-07-14 cs.DC
Ganga: a tool for computational-task management and easy access to Grid resources
在本文中,我们提出了计算任务管理工具Ganga,它允许的规格,提交,簿记和后处理的计算任务上广泛的分布式资源。Ganga的开发是为了解决科学项目中越来越常见的一个问题,即研究人员必须定期在不同的处理系统之间切换,每个系统都有自己的命令集,以完成他们的计算任务。Ganga为处理异构资源上的数据提供了一个同构环境。我们给出了高能物理的例子,演示了如何在本地系统上开发分析,然后透明地移动到网格系统来处理所有可用的数据。Ganga有一个API,可以通过交互式界面、脚本或GUI使用。通过插件系统在运行时提供有关任务或计算资源类型的特定知识,使新的开发易于集成。我们给出了一个概述的恒河架构,给出当前使用的例子,并演示了如何恒河可以在许多不同的科学领域。
2009-06-09 cs.DC
MEMO: Fine-grained Tensor Management For Ultra-long Context LLM Training
Peking University(北京大学);Tencent Inc.(腾讯公司)
针对超长上下文LLM训练中GPU显存不足、碎片化严重及MFU低的问题,提出MEMO框架,通过细粒度激活卸载、逐令牌重计算与双层MIP显存复用优化,实现高MFU的百万级长序列7B模型训练。
2025-01-15 cs.DC cs.LG
Identity and Access Management Framework for Multi-tenant Resources in Hybrid Cloud Computing
虽然近年来越来越多的组织一直在尝试将其基础设施迁移到云端,但在混合云环境中如何管理身份和访问方面存在重大挑战。本文展示了一种新的身份和访问管理框架,在多租户混合云环境中的共享资源。本文演示了一种在云中实现本地身份的“镜像”身份的方法。遵循最佳安全实践,该框架确保只有合法用户才能在云中使用其镜像身份。此外,本文还提出了一种扩展框架以适应大型企业的技术。本文中展示的框架为企业在其混合云基础设施中实施身份和访问控制提供了全面且可扩展的解决方案。虽然本文的重点是在Google Cloud Platform中实现该框架,但它可以轻松应用于任何主要的公共云平台。
2022-03-22 cs.CR cs.DC cs.NI
A JSON Token-Based Authentication and Access Management Schema for Cloud SaaS Applications
云计算正在显著重塑围绕虚拟化、处理能力、连接性和弹性等核心概念构建的计算行业,以通过广泛的网络存储和共享IT资源。它已经成为释放大数据、物联网、移动和Web应用程序以及其他相关技术潜力的关键技术,但它也带来了挑战-例如治理、安全和隐私。本文重点讨论了云计算的安全性和隐私性挑战,并特别提到了云SaaS应用程序的用户身份验证和访问管理。建议的模型使用一个框架,利用JWT的无状态和安全特性进行客户端身份验证和会话管理。此外,对受保护的云SaaS资源的授权访问也得到了有效管理。因此,引入了策略匹配门(PMG)组件和策略活动监视器(PAM)组件。此外,还建立了其他子组件,如策略验证单元(PVU)和策略代理数据库(PPDB),以优化服务交付。该模型的理论分析描绘了一个系统,是安全的,轻量级的和高度可扩展的云资源的安全性和管理。
2017-10-23 cs.CR cs.DC cs.PF
On the energy efficiency of client-centric data consistency management under random read/write access to Big Data with Apache HBase
2010年,数据中心的总能源费用估计为115亿美元,专家估计,典型数据中心的能源成本每五年翻一番。另一方面,计算的发展已经开始落后于存储的进步,成为未来数据增长的瓶颈,数据增长已经接近Exascale级别。我们调查的数据吞吐量和能源足迹之间的关系在一个大型存储集群,其目标是正式作为一个指标,反映一致性和能源之间的交易。采用以客户端为中心的一致性方法,同时尊重ACID属性的案例研究(Apache HBase)所选择的柱状存储,我们提出的系统的能源消耗所涉及的因素,以及经验教训,以支持进一步设计的节能集群规模的存储系统。
2016-11-30 cs.DC cs.PF
TransNFV: Integrating Transactional Semantics for Efficient State Management in Virtual Network Functions
针对NFV中高并发共享可变状态管理难、难满足COE要求的问题,提出集成事务语义的TransNFV框架,通过事务化状态访问、依赖解析与动态调度,实现状态一致性与复杂跨流状态处理,提升NFV平台性能。
2023-07-20 cs.DC cs.NI
Astronomical data organization, management and access in Scientific Data Lakes
由于仪器的发展和改进,望远镜档案中存储的数据量不断增加。档案通常需要存储在独立计算中心提供的分布式存储架构上。这样的分布式数据归档需要总体数据管理编排。这种编排包括处理数据存储和编目的工具,以及整合不同存储系统和协议的引导传输,同时了解数据策略和本地性。此外,它还需要一个通用的授权和身份验证基础设施(AAI)层,最终用户将其视为单个实体,并提供透明的数据访问。粒子物理学的科学领域也使用复杂的分布式数据管理系统。欧洲核子研究中心的大型强子对撞机(LHC)加速器的实验每年产生数百PB的数据。这些数据在全球范围内分发给使用国家计算设施的合作伙伴网站和用户。几个创新的工具,成功地解决了分布式计算的挑战,在全球大型强子对撞机计算网格(WLCG)的背景下。在ESCAPE项目和开放科学数据基础设施(DIOS)工作包中正在进行的工作是使用在WLCG背景下开发的工具建立科学数据湖原型,利用不同的物理科学学科解决FAIR标准和开放数据。我们介绍了如何将科学数据湖原型应用于解决天文数据用例。我们将介绍软件栈,并讨论域之间的一些差异。
2022-02-03 astro-ph.IM cs.DC
Physical Access Control Management System Based on Permissioned Blockchain
本文提出基于 Hyperledger Fabric 和 Composer 的区块链物理访问控制系统,说明模块化架构并提取演示元数据,最后用 Hyperledger Caliper 评估性能与资源消耗。
2019-01-28 cs.CR cs.DC cs.SY
ROMANet: Fine-Grained Reuse-Driven Off-Chip Memory Access Management and Data Organization for Deep Neural Network Accelerators
Technische Universität Wien(维也纳工业大学);Institute of Computer Engineering(计算机工程研究所)
实现高能效对于深度学习的嵌入式实现至关重要。多项研究表明,基于DRAM的片外存储器访问是深度神经网络(DNN)加速器中最耗能的操作之一,从而限制了设计在最大潜力下实现效率增益。DRAM访问能量根据所需的访问次数以及每次访问消耗的能量而变化。因此,寻找最小DRAM存取能量的解决方案是一个重要的优化问题。为此,我们提出了ROMANet的方法,旨在减少内存访问的次数,通过搜索适当的数据分区和调度网络的每一层使用的设计空间探索,基于知识的可用的片上存储器和数据重用因素。此外,ROMANet还旨在通过利用DRAM多存储体突发特征来提高每次访问的能量来减少DRAM行缓冲器冲突和未命中的数量。除了提供能源的好处,我们提出的DRAM数据映射还导致增加有效的DRAM吞吐量,这是有用的延迟约束的情况。我们的实验结果表明,ROMANet节省了12%的AlexNet,36%的VGG-16,和46%的MobileNet的DRAM访问能量,同时也提高了10%的DRAM吞吐量相比,国家的最先进的。
2020-08-02 cs.AR cs.DC cs.LG
Pretty Private Group Management
组管理是当今互联网应用的基本组成部分。邮件列表、聊天系统、协作文档编辑以及在线社交网络(如Facebook和Twitter)都使用组管理系统。在许多情况下,组安全性是必需的,因为对数据的访问仅限于组成员。一些应用程序还要求通过保持组成员匿名和不受干扰来保护隐私。集团管理系统通常依赖于管理和控制系统基础设施和数据的中央机构。然后,与组相关的个人用户数据事实上可由中央机构访问。本文提出了一种基于分布式哈希表的完全分布式组管理方法。由于没有向中央机构注册,因此各种应用程序可以利用创建的组。按照这种模式,我们描述了这样一个系统的协议。我们认为安全和隐私问题固有地引入了删除中央权威,并提供了一个正式的验证系统使用AVISPA的安全属性。我们证明了该协议的可行性,通过实现一个原型运行在Vuze的DHT之上。
2011-11-22 cs.DC cs.SI