Runtime Verification Containers for Publish/Subscribe Networks
针对运行时验证技术难以无缝集成到工业级发布/订阅网络的问题,本文提出轻量的运行时验证容器方案,可与发布订阅节点共部署以监控消息流,经多组实验和软件定义汽车案例完成全面性能基准测试。
2024-08-09 cs.DC cs.NI
A Serverless Publish/Subscribe System
操作一个可伸缩和可靠的服务器应用程序,比如发布/订阅(pub/sub)系统,需要大量的开发工作和资源。新兴的无服务器模式通过将大多数操作问题委托给云提供商来简化高可用性应用程序的开发和部署。无服务器范式描述了一种编程模型,开发人员将应用程序分解为在云上运行的较小的微服务以响应事件。本文提出了一种基于IBM Bluemix云平台的无服务器发布/订阅系统。我们的发布/订阅系统执行基于主题,基于内容和基于功能的匹配。基于函数的匹配是一种新颖的匹配方法,其中订阅者可以定义代理应用于云中发布的高度可定制的订阅函数。对所设计系统的评估验证了所设计系统的实用性。但是,IBM Bluemix资源的特定于供应商的约束是代理可伸缩性的瓶颈。
2022-10-14 cs.DC
A Hybrid Multicast-Unicast Infrastructure for Efficient Publish-Subscribe in Enterprise Networks
在企业网中构建大规模的订阅-订阅基础设施的主要挑战之一是向订阅者提供所需的信息,同时最小化所消耗的主机和网络资源。通常,先前的方法利用IP多播或点对点单播来有效地传播信息。在这项工作中,我们提出了一种新的混合框架,这是一个组合的组播和单播数据传播。我们的混合框架使我们能够同时利用多播和单播的优势,同时避免其缺点。我们研究了几种算法,用于计算发布者的传输到多播和单播传输的最佳映射。使用广泛的模拟,我们表明,我们的混合框架减少了消耗的主机和网络资源,优于传统的解决方案。为了确保用户的兴趣与现实世界的设置非常相似,我们的模拟基于股票市场数据和记录的IBM WebShpere订阅。
2010-04-12 cs.DC cs.NI
Publish-Subscribe Systems via Gossip: a Study based on Complex Networks
本文分析了采用非结构化P2P覆盖网络来构建网络订阅系统。我们考虑一个非常简单的分布式通信协议,基于八卦和本地知识,每个节点有关于其邻居的订阅。特别地,在接收(或生成)新事件时,节点将其发送到订阅与该事件匹配的那些邻居。此外,该节点将该事件传播给其“不感兴趣”的邻居,使得该事件可以通过覆盖层传播。提供了一种数学分析,以估计接收事件的节点的数量,基于网络拓扑结构,用户的数量和八卦概率。将这些结果与通过模拟获得的结果进行比较。结果表明,即使当订阅者的数量代表一个非常小的(但不可忽略的)网络节点的一部分,通过调整八卦概率的事件可以渗透通过覆盖。因此,使用非结构化网络。与简单的传播协议相结合,代表了一种构建对等网络订阅应用程序的可行方法。
2012-06-20 cs.DC cs.NI
Why We Shouldn't Forget Multicast in Name-oriented Publish/Subscribe
面向名称的网络引入了以信息为中心的、安全的、全球可用的网络订阅基础设施的愿景。当前的方法集中于基于单播的拉取机制,从而在接收器处自动更新内容方面不足。在本文中,我们认为,包括多播将授予额外的好处,网络层,即有效的实时数据分布,多对多的通信模型,并简化会合过程。面向组的命名概念全面反映了这些方面,该概念集成了各种可用的组方案并引入了新的用例。这个面向名称的多播访问的第一稿已经在HAMcast中间件中实现。
2012-01-01 cs.DC cs.NI
PSVR - Self-stabilizing Publish/Subscribe Communication for Ad-hoc Networks
本文提出了一种新的路由算法PSVR的ad-hoc网络中的发布/订阅系统。它的重点是通信链路不稳定和节点频繁更改订阅的场景。由于订阅和退订以及路由路径的长度,PSVR对路由表的大小和维护工作量进行了折衷。它以自我稳定的方式设计,可以很好地扩展网络规模。评估结果表明,PSVR只需要稍微多一点的消息比接近最佳的路由结构发布交付,并创建更短的路由路径比现有的自稳定算法。一个真实的部署展示了该方法的可用性
2016-09-22 cs.DC cs.DS
Time-Aware Publish/Subscribe for Networks of Mobile Devices
智能移动设备越来越普遍,并且是用户生成的内容的主要来源,并且当前的通信基础设施未能跟上对这种内容的狂热共享的不断增长的需求。为了缓解这一问题并充分利用网络边缘当前可用的资源量,移动边缘范例开始出现。然而,由于缺乏足够的通信和交互抽象,应用程序开发人员仍然难以在边缘挖掘这种潜力。因此,我们提出了一个高级抽象,开发人员可以很容易地利用它来设计专注于数据传播的移动边缘应用程序。在本文中,我们提出了百里香,一种新的扩展的主题为基础的,时间感知的发布/订阅系统的移动设备的网络。在Thyme中,时间是第一阶维度。每个订阅都有一个相关的时间范围,开始和结束于未来、现在或过去。要使过去的版本可用,需要持久存储订阅和发布。我们提出了百里香的设计,并使用模拟评估,讨论和表征最适合其使用的场景。
2017-12-31 cs.DC
A Spatially-Aware Publish-Subscribe Middleware for IoT Applications
University of Potsdam(波茨坦大学);University of Stuttgart(斯图加特大学)
针对物联网应用中空间感知中间件缺失的问题,提出基于 MQTT5 协议的空间感知发布-订阅中间件,实验验证其效率高、开销小且可部署于现有 IoT 设备。
2026-08-27 cs.DC
Performance Analysis of Publish/Subscribe Systems
桌面网格提供了解决方案,以克服一些挑战,并回答日益增长的科学计算的需求。其技术主要包括利用地理上分散的资源来处理需要大计算能力和/或重要存储容量的复杂应用。然而,随着资源数量的增加,对可扩展性,自组织,动态重新配置,分散和性能的需求变得越来越重要。由于P2P系统具有这些特性,因此网格计算和P2P计算的融合是自然的。在这种情况下,本文评估的可扩展性和性能的P2P工具发现和注册服务。三个协议用于此目的:Bonjour,Avahi和Free-Pastry。我们已经研究了这些协议的行为与两个标准:注册服务的运行时间和发现新服务所需的时间。我们的目标是分析这些结果,以选择我们可以使用的最佳协议,以便为桌面网格创建一个分散的中间件。
2007-07-03 cs.DC
IPSME- Idempotent Publish/Subscribe Messaging Environment
高度异构系统的集成(互操作性)在许多领域都是一个开放的研究课题。使两个高度不同的系统能够互操作的一种常见方法是通过一个商定的协议(例如,通过标准化)或通过采用公共框架。当许多这些协议/框架出现时,集成系统的问题就出现了。就协议/框架达成一致以及在协议之间创建映射都需要时间和精力。互操作性解决方案必须是可扩展的,不应要求利益相关者适应其系统中的重大更改,即,在整合过程中增加、删除或替换其他系统时,不应重新设计系统。IPSME是作为集成高度不同系统的解决方案而引入的。IPSME使交互参与者之间的依赖关系更加紧密。互操作性通过动态转换实现,避免了对协议或框架的需求。可伸缩性是通过对消息传送环境的数量或其拓扑组织没有限制来实现的。IPSME是最小侵入性的,并通过网络效应降低了将许多系统集成为线性的整体复杂性。IPSME已在三个用例中进行了评估和测试。
2021-04-23 cs.DC
A Publish/Subscribe QoS-aware Framework for Massive IoT Traffic Orchestration
物联网(IoT)应用部署需要分配虚拟机、存储和网络元素等资源,这些资源必须部署在不同的基础设施上,如云计算、物联网(CoT)、数据中心和骨干网络。对于大规模物联网数据采集,通常使用基于网关的数据聚合方法,其特征在于传感器/执行器无缝访问并提供缓存/缓冲和预处理功能。从这个角度来看,作为生产者的网关需要分配网络资源来向消费者发送物联网数据。在本文中,它提出了一个发布/订阅(PubSub)服务质量(QoS)感知框架(PSIOT-Orch),编排物联网流量和分配网络资源之间的聚合和消费者的大规模物联网流量。PSIOT-Orch根据其配置的QoS要求调度物联网数据流。此外,该框架在物联网数据用户和消费者之间通过具有有限和受约束资源的受控骨干网络分配网络资源(LSP/带宽)。使用带宽分配模型(BAM)来分配网络资源,以实现用于调度的IoT数据流的高效网络资源分配。PSIOT-Orch采用ICN(信息中心网络)PubSub架构方法来处理框架组件之间的物联网数据传输请求。所提出的框架旨在使用PubSub消息方案收集以ICN为中心的方法的固有优势,同时有效地分配资源,保持QoS意识并处理大规模物联网流量的受限网络资源(带宽)。
2018-06-08 cs.DC cs.NI
Adaptive Content-based Routing using Subscription Subgrouping in Structured Overlays
循环或一般覆盖可以提供发布者和订阅者之间的多个路径。但是,在发布/订阅系统中,广告树和匹配的订阅仅激活一条通知路由路径。这对处理网络状况(如拥塞、链路或代理故障)提出了严峻的挑战。此外,通知的基于内容的动态路由要求路由路径中的即时更新,这不是可伸缩的选项。本文介绍了一种集群的方法与位向量技术的集群间动态路由的通知在一个结构化的循环拓扑结构,提供了多个路径之间的发布者和感兴趣的订阅者。广告转发过程利用覆盖拓扑的结构化性质来生成长度为1的广告树,而不在广告转发过程中生成重复消息。发布的订阅被划分为多个不相交的子组,其中每个订阅被广播到集群,集群是结构化循环覆盖网络的有限部分。我们实现了新的静态和集群内的动态路由算法,在建议的覆盖拓扑结构为我们的基于执行的发布/订阅系统,称为OctopiA。我们还进行了一个务实的比较,我们的两个算法与国家的最先进的集群测试床上的实验表明,我们的方法产生更少的代理间的消息,是可扩展的。
2016-04-23 cs.DC
A Lightweight Hybrid Publish/Subscribe Event Fabric for IPC and Modular Distributed Systems
Harokopio University of Athens(哈罗科皮奥雅典大学)
本文提出CNS,一种轻量级本地优先混合事件织物,结合类型事件键、按家族序列化和验证、本地发布/订阅上下文和基于NATS的分布式上下文,实现低开销进程内协调和选择性跨节点分发。
2026-03-31 cs.DC cs.SE
Lotus: Serverless In-Transit Data Processing for Edge-based Pub/Sub
发布-订阅系统是基于边缘的物联网用例的一种流行方法:可以轻松集成异构、受约束的边缘设备,并将消息路由逻辑卸载到边缘消息代理。然而,消息处理仍然在受约束的边缘设备上完成。复杂的基于内容的过滤、数据表示之间的转换或消息提取给这些系统带来了相当大的负载,并且由此产生的多余消息传输给网络带来了压力。在本文中,我们提出了Lotus,将传输中的数据处理添加到边缘订阅中间件,以便将基本的消息处理从边缘设备卸载到代理。具体来说,我们利用功能即服务范式,它提供了对高效多租户、扩展到零和实时处理的支持。通过Lotus的概念验证原型,我们验证了它的可行性,并演示了它如何用于将传感器数据转换卸载到订阅消息传递中间件。
2023-03-14 cs.DC
A Distributed Event-Triggered Control Strategy for DC Microgrids Based on Publish-Subscribe Model Over Industrial Wireless Sensor Networks
本文提出一种基于发布-订阅模型的分布式事件触发控制策略,用于直流微电网电压稳定和储能平衡,通过改进卡尔曼共识滤波器和事件触发通信减少网络流量,仿真验证其有效性。
2019-06-09 cs.DC cs.MA cs.NI
Content-based Dynaic Routing in Structured Overlays Networks
用于基于代理的发布/订阅系统的非循环覆盖为从发布者到感兴趣的订阅者的基于内容的路由提供唯一路径。循环覆盖可以提供多个路径,然而,订阅广播过程为每个订阅生成一个基于内容的路由路径。这对在检测到拥塞时提供通知的动态路由提出了严峻的挑战,因为需要即时更新路由表以生成替代路由路径。本文介绍了第一个基于订阅的发布/订阅系统,OctopiS,它提供集群间的动态路由时,在输出队列中的拥塞被检测到。OctopiS基于正式定义的结构化循环覆盖拓扑(SCOT)。SCOT被划分为同质集群,其中每个集群具有相同数量的代理,并通过多个集群间覆盖链路连接到其他集群。这些链接用于在连接到不同集群中的代理的发布者和订阅者之间提供并行路由路径。针对数据中心网络的部署,OctopiS生成静态通知路由(SNR)算法所使用的最短长度的订阅树。动态通知路由(DNR)算法利用分簇SCOT的结构性,在不更新路由表的情况下,通过位向量机制提供簇间的动态路由,并最大限度地减少代理和拥塞链路的负载。在集群测试平台上进行的实验表明,OctopiS具有良好的可扩展性,在订阅传递过程中代理间消息数量减少了89%,订阅延迟减少了77%,静态路由和动态路由的端到端通知延迟分别减少了47%和58%,动态路由路径中代理的输出队列长度减少了59%.
2017-03-02 cs.DC
SmartPubSub: Content-based Pub-Sub on IPFS
星际文件系统(IPFS)是一种超媒体分发协议,它允许创建完全分布式的应用程序。分发信息的最有效的方式之一是通过通知,内容的生产者(发布者)与其他感兴趣的部分(订阅者)共享内容。IPFS已经在一个实验性的标志下实现了基于主题的订阅系统。这项工作的目标是通过开发一个基于内容的发布-订阅系统(订阅作为事件内容的谓词)来推进这一点,以有效和分散的方式在IPFS之上传播信息,利用其基础设施。我们设计了两个协议:完全分散的ScoutSubs;以发布者为中心的FastDelivery。有了这两种方法,我们通过比较ScoutSubs完全分散化和FastDelivery集中在数据源,展示了同时拥有这些协议的不同优势。
2022-07-13 cs.DC cs.NI
Security, Performance and Energy Trade-offs of Hardware-assisted Memory Protection Mechanisms
大规模分布式系统的部署,例如,使用公共云提供商的基础设施对敏感数据进行操作的订阅平台,如今受到对云运营商缺乏信任的严重阻碍。虽然存在纯粹基于软件的解决方案来保护数据和处理本身的机密性,例如同态加密方案,但它们的性能在现实世界的工作负载下远非实用。本实践经验中描述了两种新型硬件辅助内存保护机制(即AMD SEV和Intel SGX)的性能权衡-目前市场上可用于解决此问题。具体来说,我们实现和评估一个发布/订阅用例,并评估内存保护机制的影响和由此产生的性能。本文报告了在构建该系统时获得的经验,特别是在必须应对SEV和SGX施加的技术限制时。通过微观和宏观基准测试,展示了在延迟、吞吐量、处理时间和能源需求方面提供有价值见解的几个权衡。
2019-06-26 cs.DC
A Holistic Approach for Trustworthy Distributed Systems with WebAssembly and TEEs
本文提出并实现了一种基于WebAssembly和Intel SGX的可移植、全 attestation 的MQTT发布/订阅中间件,通过扩展TLS保护attestation信息隐私,并实验评估了其安全可信通信的性能开销。
2023-12-01 cs.CR cs.DC
Towards Scalable Subscription Aggregation and Real Time Event Matching in a Large-Scale Content-Based Network
虽然已经提出了许多可扩展的事件匹配算法来实现大规模的基于内容的网络的可扩展性,基于内容的发布/订阅网络(特别是对于大规模的实时的系统)仍然遭受性能恶化时,订阅规模增加。虽然订阅聚合技术可用于通过利用订阅之间的相似性来减少订阅传播业务量和订阅表大小,但是高效的订阅聚合不是要完成的微不足道的任务。已有的研究工作已经证明了它是一个NP完全或co-NP完全问题。本文提出了一种新的订阅表示模型DLS(Discrete Label Set),并设计了从传统布尔谓词模型到DLS模型的映射算法。基于DLS模型,我们提出了一个在大多数情况下具有O(1)时间复杂度的订阅聚合算法和一个具有O(1)时间复杂度的事件匹配算法。显著的性能改善是以内存消耗和可控制的误报率为代价的。理论分析表明,这些算法具有内在的可扩展性,能够在大规模的基于内容的发布/订阅网络中实现实时的事件匹配。我们讨论了内存,假阳性率和内容空间的划分颗粒之间的权衡。实验结果表明,该算法达到了预期的性能.随着计算机内存容量的增加和内存价格的下降,越来越多的大规模实时的应用可以从我们提出的DLS模型中受益,如股票行情发布、地震监测、恶劣天气预警等。
2018-11-21 cs.DC
ContCommRTD: A Distributed Content-based Misinformation-aware Community Detection System for Real-Time Disaster Reporting
University Politehnica of Bucharest(布加勒斯特理工大学);Fraunhofer Institute for Open Communication Systems(弗劳恩霍夫开放通信系统研究所)
实时的【形】社交媒体数据可以提供有关不断演变的灾害的有用信息。除了传统的灾害检测方法外,社交媒体数据的整合可以大大加强灾害管理。在本文中,我们研究了在Twitter上检测地理位置内容社区的问题,并提出了一种新的分布式系统,提供近实时的【形】信息灾害相关的事件及其演变。我们表明,基于内容的社区分析导致更好,更快地传播危害报告。我们的分布式灾难报告系统分析了全球地理位置的推文之间的社会关系,并应用主题建模组推文的主题。考虑到每条tweet的以下信息:用户,时间戳,地理位置,转发和回复,我们创建了一个主题的发布者-订阅者分布模型。我们使用内容相似性和节点的接近度来创建一个新的基于地理位置的社区模型。用户可以在特定的地理区域或全球范围内订阅不同的主题,并接收有关这些主题的实时的【形】报告。由于错误信息如果在危险相关的推文中传播会导致损害增加,因此我们提出了一种新的深度学习模型来检测假新闻。然后,错误的推文将从显示中删除。我们还展示了经验的可扩展性能力的建议系统。
2023-01-30 cs.AI cs.DC cs.SI