Near Linear OS Scheduling Optimization for Memory Intensive Workloads on Multi-socket Multi-core servers
多插槽多核服务器用于解决计算中的一些重要问题。远程DRAM访问可能影响在此类服务器上运行的某些应用程序的性能。本文提出了一种新的近线性操作系统(OS)调度算法,以减少这种远程DRAM访问的影响。通过跟踪本地和远程DRAM访问的数量,使用性能计数器,为每个线程并应用此算法,我为下一个量子提出了一个新的线程调度。这种新的调度减少了远程DRAM访问并提高了整体性能。我还证明了这个算法在最好的情况下实际上是线性的。由于该算法是近线性的,因此它适合于在实际操作系统中实现。
2020-08-06 cs.DC
RFP: A Remote Fetching Paradigm for RDMA-Accelerated Systems
远程直接内存访问(RDMA)是提高传统客户机-服务器系统性能的有效方法。目前,有两个主要的设计范式的RDMA加速系统。第一种允许客户端直接操作服务器的内存,完全绕过服务器端的CPU。第二种遵循传统的服务器应答范例,它要求服务器将结果写回客户机。然而,第一种方法必须暴露服务器的内存,并且需要对上层软件进行大量的重新设计,这是复杂的,不安全的,容易出错的,并且效率低下。第二种不能实现高的每秒输入/输出操作(IOPS),因为它在服务器端采用出站的RDMA写,这是没有效率的。我们发现,出绑定的RDMA-write和入绑定的RDMA-read的性能是不对称的,后者是前者的5倍。基于这一观察,我们提出了一种新的设计范式命名为远程获取范式(RFP)。在RFP中,服务器仍然负责处理来自客户端的请求。然而,与直觉相反的是,服务器只将结果写入本地内存缓冲区,而不是通过出站RDMA-write将结果发送回客户端,客户端使用入站RDMA-read远程获取这些结果。由于入站RDMA-read比出站RDMA-write具有更高的IOPS,因此我们的模型能够带来比传统模型更高的性能。为了证明RFP的有效性,我们设计并实现了一个RDMA加速的内存键值存储遵循RFP模型。为了进一步提高IOPS,我们提出了一种结合状态检查和结果获取的优化机制。实验结果表明,与现有的内存键值存储模型相比,RFP可以将IOPS提高160…
2015-12-24 cs.DC
Verifying the Consistency of Remote Untrusted Services with Conflict-Free Operations
一组相互信任的客户端将计算服务外包给远程服务器,他们并不完全信任该服务器,该服务器可能会受到攻击。客户端之间不进行通信,并且希望验证远程计算的正确性和服务器响应的一致性。本文提出了一种无分叉的操作验证协议(COP),该协议在服务器正确的情况下确保可线性化,在其他任何情况下都保持分叉的可线性化。所有观察彼此操作的客户端都是一致的,从某种意义上说,它们自己的操作和它们所看到的其他客户端的操作都是可线性化的。如果服务器通过隐藏操作来派生两个客户端,那么这些客户端再也看不到彼此的操作。COP支持无等待的客户端操作,在这个意义上,当与正确的服务器执行时,不冲突的操作可以在不等待其他客户端的情况下运行,从而允许比早期协议更多的并行性。当一个操作导致随后的操作产生不同的输出值的客户端运行it.The文件的客户端的COP的保证给出了一个精确的模型,并包括一个正式的分析,这些都实现了冲突。
2018-03-26 cs.DC
CWASI: A WebAssembly Runtime Shim for Inter-function Communication in the Serverless Edge-Cloud Continuum
本文提出CWASI,一种符合WebAssembly OCI标准的运行时垫片,通过基于函数局部性的三模式通信模型优化同驻无服务器函数间的数据交换,将通信延迟最多降低95%,吞吐量最多提升30倍。
2025-04-30 cs.DC
InfiniCache: Exploiting Ephemeral Serverless Functions to Build a Cost-Effective Memory Cache
互联网规模的Web应用程序变得越来越存储密集型,并且严重依赖内存中的对象缓存来获得所需的I/O性能。我们认为,新兴的无服务器计算范式提供了一个非常适合的,具有成本效益的平台对象缓存。我们提出了InfiniCache,这是一个首个内存中对象缓存系统,完全构建和部署在短暂的无服务器功能之上。InfiniCache利用和编排无服务器函数的内存资源,以启用弹性按使用付费缓存。InfiniCache的设计结合了擦除编码、智能计费持续时间控制和高效的数据备份机制,可最大限度地提高数据可用性和成本效益,同时平衡丢失缓存状态和性能的风险。我们在AWS Lambda上实现了InfiniCache,并表明它:(1)与AWS ElastiCache相比,在仅大型对象的生产工作负载中实现了31 - 96倍的租户端成本节约,(2)可以有效地为每个一小时的窗口提供95.4%的数据可用性,(3)实现了典型内存缓存中的比较性能。
2020-01-28 cs.DC
REMOTEGATE: Incentive-Compatible Remote Configuration of Security Gateways
想象一下,一个恶意的黑客试图通过互联网攻击一个服务器,而服务器希望尽可能地在靠近攻击数据包的来源地阻止攻击数据包。但是,攻击源前面的安全网关是不可信的。服务器如何阻止通过此网关的攻击数据包?在本文中,我们介绍了REMOTEGATE,一个值得信赖的机制,允许任何一方(服务器)在互联网上配置一个安全网关所拥有的第二方,在一定的商定的报酬,前者支付给后者的服务。我们采取一个互动的激励兼容的方法,当服务器和网关都是合理的情况下,设计一个协议,将允许服务器帮助安全网关生成和部署一个策略规则,过滤攻击数据包之前,他们到达服务器。只有当网关能够成功验证它已经为问题生成并部署了正确的规则时,服务器才会奖励网关。这一机制将使互联网规模的方法能够在数字支付激励的支持下提高安全性和隐私性。
2017-09-14 cs.CR cs.DC cs.GT
OS Scheduling Algorithms for Memory Intensive Workloads in Multi-socket Multi-core servers
主要的芯片制造商都推出了多核微处理器。由这些处理器构建的多插槽系统通常用于运行各种服务器应用程序。根据系统上运行的应用程序,远程内存访问可能会影响整体性能。本文提出了一种新的操作系统(OS)调度优化,以减少这种远程内存访问的影响。通过观察每个调度量子中每个线程的本地和远程DRAM访问模式并应用不同的算法,我们为下一个量子提出了一个新的线程调度。这种新的调度可能会减少下一个调度量的远程DRAM访问,并提高整体性能。我们提出了三个这样的新算法的不同复杂度的算法,这是一个适应匈牙利算法。我们使用了三种不同的合成工作负载来评估算法。我们还对不同的DRAM延迟进行了敏感性分析。我们表明,这些算法可以减少DRAM访问延迟高达55%,这取决于所使用的算法。从算法中获得的好处取决于它们的复杂性。一般来说,复杂性越高,收益越高。匈牙利算法产生最优解。我们发现,四分之二的算法提供了一个很好的权衡性能和复杂性的工作负载,我们研究。
2018-09-23 cs.DC
Implementation of a Cloud Data Server (CDS) for Providing Secure Service in E-Business
云数据服务器是为电子商务提供安全服务的一种新方法,数以百万计的用户因各种不同的目的而在云上冲浪,因此他们需要高度安全和持久的服务。通常黑客的目标是特定的操作系统或特定的控制器。受一些正在进行的研究的启发,传统的Web服务器及其入侵检测系统可能无法检测到此类攻击。因此,我们实现了一个云数据服务器与会话控制器架构,使用冗余和断开连接的数据访问机制。在本文中,我们使用MD5算法生成哈希码。借助它,我们甚至可以规避传统系统未定义的攻击。我们使用Java实现云数据服务器,使用My SQL实现哈希代码备份管理。在这里我们实现AES算法,为哈希码提供更多的安全性。CDS使用虚拟控制器控制和监控页面的连接和修改,以防止恶意用户入侵网站。在所提出的方法中,活动分析器负责向管理员告知可能的入侵以及解决这些入侵所需的对策。与同类方法相比,该方法的效率为98.21%。
2010-05-31 cs.DC
Write-Optimized and Consistent RDMA-based NVM Systems
为了在云计算中提供高性能,我们通常在网络中利用和利用RDMA(远程直接存储器访问),在终端系统中利用和利用NVM(非易失性存储器)。由于不涉及CPU,单侧RDMA变得高效地访问远程存储器,并且NVM技术具有非易失性、字节可寻址性和类似DRAM的延迟的优点。为了实现端到端的高性能,许多努力旨在协同单侧RDMA和NVM。由于需要保证远程数据原子性(RDA),我们必须消耗额外的网络往返、远程CPU参与和双重NVM写入。为了解决这些问题,我们提出了一个零拷贝日志结构的内存设计,高效的远程数据原子性,称为Erda。在Erda中,客户端通过单侧RDMA写入直接将数据传输到服务器的目的地址,而无需冗余复制和远程CPU消耗。为了检测获取数据的不完整性,我们在没有客户端-服务器协调的情况下验证校验和。我们通过在哈希表中利用8字节的原子更新来进一步确保元数据的一致性,该哈希表还包含陈旧数据的地址信息。发生故障时,服务器会正确恢复到一致的版本。实验结果表明,与Redo Logging(CPU参与方案)和Read After Write(网络主导方案)相比,Erda将NVM写入减少了约50%,同时显著提高了吞吐量并降低了延迟。
2019-06-18 cs.DC
NEOS Server 4.0 Administrative Guide
近地天体观测系统服务器4.0提供了一个通用的因特网客户机/服务器,作为用户和软件应用程序之间的联系。该管理指南涵盖了NEOS服务器操作背后的基本原理、服务器软件的安装和故障排除,以及NEOS服务器管理员可能感兴趣的实施详细信息。该指南还讨论了如何通过服务器提供新的软件应用程序,包括远程求解程序管理员关注的领域,例如维护安全性、提供使用说明以及对作业实施合理的限制。该管理指南既可作为近地天体服务器的介绍,也可作为运行服务器时的参考。
2001-07-26 cs.DC
GPGPU Based Parallelized Client-Server Framework for Providing High Performance Computation Support
并行数据处理已经成为处理涉及巨大数据集的应用程序所不可或缺的。这使得强调众核计算的图形处理单元(GPU)成为焦点。随着通用图形处理器(GPGPU)的出现,与图形操作不直接相关的应用程序也可以利用图形处理器的计算能力。因此,如果给定GPGPU的计算能力可以被任务优化并且可用,则将是有益的。本文描述了一个客户-服务器的【形】框架,用户可以选择一个处理任务,并提交大型数据集处理到远程GPGPU和接收结果回来,使用定义良好的接口。该框架在任务的数量和类型方面提供了可扩展性,客户端可以选择或提交这些任务以在远程GPGPU服务器机器上进行处理,并且对底层硬件和操作系统具有完全的透明性。GPGPU上的用户提交任务的并行化已通过NVIDIA计算统一设备架构(CUDA)实现。
2015-05-21 cs.DC
Transparent Serverless execution of Python multiprocessing applications
访问透明性意味着使用相同的操作访问本地和远程资源。通过透明性,未经修改的单机应用程序可以在分散的计算,存储和内存资源上运行。通过透明性隐藏分布式系统的复杂性将带来巨大的好处,例如在云中灵活的分散资源上扩展本地并行科学应用程序。本文提出了一个性能评估,我们评估的可行性,访问透明度超过国家的最先进的云分解资源的Python多处理应用程序。我们已经将多处理模块与一个实现接口,该实现透明地在无服务器函数上运行进程,并将内存中的数据存储用于共享状态。为了评估透明度,我们在云中运行了四个未经修改的应用程序:Uber Research的演化策略,Baselines-AI的近端策略优化,Pandaral.lel的Arrame和ScikitLearn的Hyperparameter tuning。我们比较了使用我们的库在分散的资源上运行的相同应用程序的执行时间和可扩展性,以及大型VM中的单机Python多处理库。对于相同的资源,尽管远程通信的开销很大,但有效地使用消息传递抽象的应用程序可以获得类似的结果。其他共享内存密集型应用程序由于高远程内存延迟而无法执行。结果表明,Python的多处理库设计是实现透明性的一个推动因素:使用高效的分解抽象的遗留应用程序可以透明地扩展到VM有限的资源之外,以提高并行性,而无需更改底层代码或架构。
2022-11-22 cs.DC
Synchronous replication of remote storage
存储复制是网络环境的基本要求之一。虽然存在许多形式的网络附加存储(NAS)、存储区域网络(SAN)和其他形式的网络存储,但是需要在远距离站点(小于1英里)之间的可靠的同步存储复制技术。这种技术可以为虚拟服务器的网络故障转移和故障恢复系统设定新的标准;特别是,满足对有效灾难恢复(DR)规划日益增长的需求。本文的目的是介绍支持虚拟服务器远程存储同步复制的最新技术,如SAN/iQ和Storage VMotion。本研究分析和比较了为企业需求创建解决方案的各种SAN。此外,还将讨论这些技术与业界领先产品VMware ESX Server的互操作性。
2014-04-08 cs.DC cs.NI
Overbook in Advance, Trade in Future: Computing Resource Provisioning in Hybrid Device-Edge-Cloud Networks
分布式物联网(IoT)系统中的大数据处理需要创新的计算架构和资源配置技术来支持实时和经济高效的计算服务。本文介绍了一种新的超额预订促进的远期交易机制,称为提前超额预订,未来交易(OATF),其中计算资源可以在具有不确定性(例如,“没有节目”)。更重要的是,OATF鼓励可行的超额预订率,其允许边缘服务器向多个最终用户超额预订资源(例如,超过资源供应),同时从云服务器购买备份资源,通过分析历史统计数据(例如,网络、资源动态)。这种机制可以大大提高时间效率和资源利用率由于超额预订和预先签署的远期合同。本文对超售率设计和风险管理等关键问题进行了深入研究,并给出了一个有趣的案例分析。综合模拟表明,与传统交易方法相比,OATF为不同方(云、边缘和最终用户)实现了互利的效用,以及大量的资源使用和值得称赞的时间效率。
2022-08-25 cs.DC
DXRAM's Fault-Tolerance Mechanisms Meet High Speed I/O Devices
内存中的键值存储为所有对象提供一致的低延迟访问,这对于社交媒体网络或在线图形分析等交互式大规模应用非常重要,也开辟了新的应用领域。但是,当将数据存储在数千台服务器上的RAM中时,必须考虑服务器故障。只有少数内存中的键值存储提供故障服务器的自动在线恢复。这些系统中最突出的例子是RAMCloud。另一个具有复杂容错机制的系统是DXRAM,它针对小数据对象进行了优化。在这份报告中,我们详细介绍了基于日志的远程复制过程,调查这些日志的重组选择策略,并评估DXRAM中顺序,随机,zipf和冷热分布的重组性能。这也是DXRAM的备份系统首次使用高速I/O设备进行评估,特别是使用56 GBit/s InfiniBand互连和PCI-e SSD。此外,我们讨论了副本集副本分布,以减少数据丢失的概率和适应DXRAM的原始方法。
2018-07-14 cs.DC
Grid-Brick Event Processing Framework in GEPS
像大型强子对撞机上的ATLAS这样的实验涉及的计算和数据管理的规模大大超过了现有系统的能力,因此有必要求助于基于网格的并行事件处理系统(GEPS)。传统的网格系统将数据集中在中央数据服务器上,每次分析或处理作业开始时,都必须由许多节点访问这些服务器。这些系统需要非常强大的中央数据服务器,并且很少使用商用计算机中可用的分布式磁盘空间。本文所描述的网格砖系统遵循不同的方法。数据存储在所有网格节点之间进行分割,每个网格节点都有一条完整的信息。用户提交查询,系统将通过所有节点分发任务并检索结果,然后将它们合并到Job Submit Server中。使用该系统的主要优点是它提供了巨大的可扩展性,而其最大的缺点出现在其中一个节点发生故障的情况下。解决此问题的方法包括数据复制或备份。
2003-06-14 cs.DC
Energy-Efficient Offloading in Mobile Edge Computing with Edge-Cloud Collaboration
多址移动边缘计算是一种新兴的技术,使计算资源接近终端移动用户。通过在WiFi接入点或蜂窝基站部署边缘服务器,可以扩展移动用户的计算能力。现有的工作大多假设远程云服务器可以被视为一个特殊的边缘服务器或边缘服务器愿意合作,这是不切实际的。在这项工作中,我们提出了一个边缘云合作架构,边缘服务器可以租用远程云服务器,以加快移动用户的任务计算。在此架构下,计算卸载问题被建模为一个具有延迟约束的混合整数规划问题,这是NP-难的。目标是最小化移动设备的总能耗。我们提出了一个贪心算法以及模拟退火算法来有效地解决这个问题。大量的仿真结果表明,所提出的贪心算法和模拟退火算法可以达到接近最优的性能。平均而言,所提出的贪心算法仅需31%的额外能量开销就能达到与Brute Force可选算法相同的应用程序完成时间预算性能。模拟退火算法可以达到与贪心算法相似的性能。
2018-11-09 cs.DC
Federated Online/Offline Remote Data Inspection for Distributed Edge Computing
本文提出联邦在线/离线远程数据检查方法O²DI,使应用供应商无需原始数据即可高效批量验证、定位并修复边缘服务器中的缓存数据,在随机预言机模型下安全且成本效益优于现有方法。
2023-08-09 cs.CR cs.DC
Resource Allocation of Industry 4.0 Micro-Service Applications across Serverless Fog Federation
本文研究偏远工业现场无服务器雾联邦中的资源分配问题,提出感知微服务架构和延迟约束的应用划分方法,实验表明可按时多服务约20%的任务。
2024-01-14 cs.DC
Global Stabilization for Causally Consistent Partial Replication
因果一致的分布式存储系统最近受到了极大的关注,由于提供高吞吐量和因果关系的保证的潜力。{ \em Global stabilization}是为在分布式多版本键值存储系统中实现因果一致性而建立的技术,由诸如GentleRain \cite{Du2014GentleRainCA}和Cure \cite{akkoorath2016cure}的先前工作所采用。直观地说,这种方法通过它们的物理时间序列化所有更新,并计算“全局稳定时间”,这是一个时间点$t$,这样具有时间戳$\leq t$的版本可以返回给客户端,而不会违反因果关系。然而,具有全局稳定性的所有先前设计都假设{ \em完全复制},其中每个数据中心存储数据的完整副本,并且每个客户端被限制为访问一个数据中心内的服务器。在本文中,我们提出了一个理论框架,以支持{ \em一般部分复制}的因果一致性,通过全球稳定,其中每个服务器可以存储任意子集的数据,每个客户端被允许与任何子集的服务器和迁移之间没有额外的延迟。我们提出了一个算法,实现一般部分复制的分布式多版本键值存储的因果一致性。我们证明了我们的算法中的全局稳定时间计算的最优性,关于远程更新的可见性延迟,即如何快速更新从远程服务器是可见的客户端,在一般的部分复制。我们还通过在客户端迁移过程中引入额外的延迟来进一步优化远程更新可见性。我们的算法的性能相比,以前的工作的仿真结果也提供。
2019-05-06 cs.DC
Optimizing Federated Learning using Remote Embeddings for Graph Neural Networks
Department of Computational and Data Sciences (CDS), Indian Institute of Science (IISc), Bangalore 560012 India(计算与数据科学系,印度科学研究院(IISc),班加罗尔)
针对现有基于远程嵌入的联邦GNN训练方法通信开销大的问题,提出OpES框架,通过远程邻域剪枝和训练-推送重叠降低成本,在大型稠密图上实现更快收敛和更高精度。
2025-06-14 cs.DC cs.LG
A Remote Procedure Call Approach for Extreme-scale Services
当工作在百万亿级时,系统的极端规模所施加的各种约束为应用程序用户和软件/中间件开发人员带来了新的挑战。在该上下文中,并且为了提供最佳性能、弹性和能量效率,软件可以被提供为面向服务的方法,调整资源利用以最佳地满足设施和用户要求。远程过程调用(RPC)是一种最初遵循客户机/服务器模型的技术,允许在远程资源上透明地执行本地调用。RPC包括将本地函数参数序列化到内存缓冲区中,并将该缓冲区发送到远程目标,该远程目标依次对参数进行序列化并执行相应的函数调用,然后将结果返回给调用方。构建可重用的服务需要定义一个通信模型来远程访问这些服务,为此,RPC可以作为访问它们的基础。我们介绍了必要的构建块,使这个生态系统的软件和中间件开发人员与RPC框架称为水星。
2015-10-05 cs.DC
Training Through Failure: Effects of Data Consistency in Parallel Machine Learning Training
Stanford(斯坦福大学);Google(谷歌公司)
本文研究并行机器学习训练中故障时的数据一致性策略,提出无状态参数服务器方法,使工作节点在服务器宕机时继续生成梯度更新,实验表明该方法在故障情况下准确率可提高10%,且成本与标准检查点方法相当。
2024-06-08 cs.AI cs.DC
Transmission Failure Analysis of Multi-Protection Routing in Data Center Networks with Heterogeneous Edge-Core Servers
最近提出的RCube网络是一种基于立方体的以服务器为中心的数据中心网络(DCN),包括两种类型的异构服务器,称为核心服务器和边缘服务器。值得注意的是,它将后者作为备份服务器来处理服务器故障,从而实现高可用性。本文首先指出RCube适合作为边缘计算DCN的候选拓扑。核心服务器和边缘服务器之间根据应用程序的计算和即时响应的需求分为三种传输类型。然后,我们采用保护路由来分析RCube DCN的传输失败。不同于传统的保护路由只能容忍单个链路或节点故障,我们使用多保护路由方案,以提高容错能力。为了在网络中配置保护路由,根据Tapolcai的建议,我们需要构建两个完全独立的生成树(CIST)。RCube的逻辑图表示为$L$ - $RCube(n,m,k)$,是一个具有递归结构的网络。每个基本构建元素由$n$核心服务器和$m$边缘服务器组成,其中顺序$k$是在结构中应用的递归的数量。在本文中,我们提供了算法来构建$\min\{n,\lfloor(n+m)/2\rfloor\}$ CIST在$L$为$n+m\geqslant 4$和$n>1$。通过多个CST的组合,我们可以配置所需的多重保护路由。在我们的模拟中,我们为RCube DCN配置了多达10个保护路由。据我们所知,在过去的研究中,最多有三个保护路由在其他网络结构中发展。最后,我们总结了一些关键的分析观点的DCN与异构边缘核心服务器的传输效…
2021-05-24 cs.DC cs.NI
Comparisons of Algorithms in Big Data Processing
并行计算是Hadoop中MapReduce框架的基础。每个数据块在3台服务器上复制,以提高数据的可用性并降低数据丢失的概率。因此,将Map任务存储在其磁盘上的3台服务器是处理它们的最快服务器,称为本地服务器。与本地服务器在同一机架中的所有服务器称为机架本地服务器,其比本地服务器慢,因为与地图任务相关联的数据块应通过机架顶部交换机获取。所有其他服务器称为远程服务器,是最慢的服务器,因为它们需要从另一个机架中的本地服务器获取数据,因此数据应通过至少2个架顶交换机和一个核心交换机传输。请注意,数据传输路径中的交换机数量取决于数据中心的内部网络结构。先进先出(FIFO)和Hadoop公平竞争(HFS)算法没有考虑数据中心的机架结构,因此已知它们不是重流量延迟最优的,甚至不是吞吐量最优的。考虑到数据中心的机架结构和服务器的异构性,数据中心调度的最新进展导致了最先进的Balanced-PANDAS算法,其性能优于经典的MaxWeight算法。在Balanced-PANDAS和MaxWeight算法中,假设本地、机架本地和远程服务器的处理速率是已知的。然而,除了处理速率的估计误差之外,随着业务量随时间的变化,认为处理速率是已知的是不现实的。在这项工作中,我们研究了平衡PANDAS和MaxWeight算法的鲁棒性不准确的估计处理速率。我们观察到,Balanced-PANDAS在处理速率的准确性上不…
2020-07-20 cs.DC cs.PF
Seagull: An Infrastructure for Load Prediction and Optimized Resource Allocation
Microsoft Corporation(微软公司)
Microsoft Azure致力于为客户提供高服务质量,特别是在客户活动频繁的时期,同时控制成本。我们采用数据科学(DS)驱动的解决方案来预测用户负载,并利用这些预测来优化资源分配。为此,我们构建了Seagull基础设施,用于处理每个服务器的遥测,验证数据,训练和部署ML模型。这些模型用于预测每台服务器的客户负载(未来24小时),并优化服务运营。Seagull不断重新评估预测的准确性,回退到以前已知的良好模型,并在适当时触发警报。我们在所有Azure区域的PostgreSQL和MySQL服务器的生产环境中部署了这个基础设施,并将其应用于在低负载时间调度服务器备份的问题。这最大限度地减少了对用户引起的负载的干扰,并改善了客户体验。
2020-10-16 cs.DB cs.DC cs.LG
Seed Feature Maps-based CNN Models for LEO Satellite Remote Sensing Services
Sun Yat-sen University(中山大学);Beijing Jiaotong University(北京交通大学);Beijing University of Posts and Telecommunications(北京邮电大学);Southern University of Science and Technology(南方科技大学);New York University(纽约大学);Michigan State University(密歇根州立大学)
本文提出一种地面站服务器辅助框架,通过每层仅学习一个种子特征图并由随机超参数规则生成其余特征图,大幅降低CNN参数量和FLOPs,在多个遥感语义分割数据集上超越现有方法。
2023-08-12 cs.CV cs.DC
Carbon and Reliability-Aware Computing for Heterogeneous Data Centers
本文提出一种面向异构数据中心的跨分布式数据中心时空工作负载迁移综合优化框架,通过基于服务器预期寿命的隐含碳排放模型及考虑硬件、软件和工作负载故障的备份资源分配策略,在满足SLA的同时联合最小化运营与隐含碳排放,使总碳排放减少高达21%。
2025-04-01 cs.CE cs.DC cs.PF
PoCL-R: An Open Standard Based Offloading Layer for Heterogeneous Multi-Access Edge Computing with Server Side Scalability
提出基于 OpenCL 的计算运行时 PoCL-R,支持 MEC 集群跨服务器可扩展卸载,通过点对点协议与 RDMA 降低延迟,在 AR 渲染和流体仿真中显著提升性能与扩展性。
2023-09-01 cs.DC cs.NI cs.PF
Elastic Remote Methods
为了使分布式应用程序充分利用云计算系统,我们需要中间件系统,允许开发人员将弹性管理组件直接构建到应用程序中。本文描述了ElasticRMI的设计和实现,这是一个中间件系统,它(1)使应用程序开发人员能够根据应用程序的工作负载动态更改(服务器)对象的数量,以处理远程方法调用,而无需对客户端进行重大更改远程方法的调用者,(2)通过允许开发人员使用资源利用率指标和细粒度应用程序的组合来实现灵活的弹性伸缩,特定信息,如内部数据结构的属性,以驱动缩放决策,(3)提供高级编程框架,其处理类和对象级别的弹性,屏蔽低级平台特定任务(如配置VM映像),以及(4)通过Apache Mesos提高了ElasticRMI应用程序在不同私有数据中心/IaaS云上的可移植性。
2019-09-07 cs.DC cs.SE
TOPCAT Visualisation over the Web
桌面GUI目录分析工具TOPCAT及其命令行对应工具STILTS提供了对包含数百万行或更多行的本地存储表的可视化探索等功能。它们提供了散点图、密度图和直方图主题的许多变体,可以交互式导航。这些功能现在已经扩展到客户端-服务器模型,因此绘图服务器可以在数据存储附近运行,远程轻量级HTML/JavaScript客户端可以根据该数据配置绘图并与之交互。交互可以包括平移/缩放/旋转导航、识别各个点以及潜在的子集选择。由于只有像素而不是行数据被传输到客户端,这使得能够以相对较低的带宽灵活地远程可视化探索大型表。Web客户端可以请求TOPCAT/STILTS提供的任何绘图选项。可能的应用包括基于Web的静态数据集可视化太大而无法传输,存档搜索结果的可视化预览,复杂数据集的服务配置的图表阵列,以及将本地或远程表的可视化嵌入到XNUMX YTER笔记本中。
2020-12-19 astro-ph.IM cs.DC
SECO: Secure Inference With Model Splitting Across Multi-Server Hierarchy
针对预测即服务中的隐私问题,提出安全推理协议SECO,通过多服务器层级分割神经网络模型,结合多方同态加密与混淆电路,在不泄露数据与模型隐私的前提下协作完成推理,并降低用户端的计算与通信开销。
2024-04-24 cs.CR cs.DC