Internet of Things for Residential Areas: Toward Personalized Energy Management Using Big Data
机器的智能管理,特别是在住宅区中,多年来一直受到关注。然而,这样的系统设计一直局限于从本地或从互联网远程地对机器进行简单控制。在本报告中,首次提出了一种智能系统,不仅为用户提供机器的智能控制能力,而且还利用大数据和优化技术为用户提供促销优惠,以优化机器的能源消耗。由于机器之间的高流量通信和系统的优化-大数据核心,所提出的系统的通信核心是基于云设计的,其中涉及许多具有挑战性的问题,如频谱分配和资源管理。针对这一问题,基于认知无线电系统设计了家庭区域网(HAN)的通信网络,提出了一种基于蚁群优化(ACO)算法的频谱分配方法,对HAN中的机器进行频谱分配。性能评估的频谱分配方法表明,它的性能在机器之间的公平频谱分配。
2015-12-30 cs.NI
Sensing as a Service and Big Data
物联网(IoT)将包括数十亿个可以感知、通信、计算和潜在驱动的设备。来自这些设备的数据流将挑战传统的数据管理方法,并为新兴的大数据范式做出贡献。本文讨论了新兴的物联网(IoT)架构,大规模传感器网络应用,联合传感器网络,传感器数据和相关的上下文捕获技术,基于云的管理,存储,归档和处理传感器数据的挑战。
2013-01-02 cs.CY cs.NI
Anomaly Detection and Redundancy Elimination of Big Sensor Data in Internet of Things
在大数据和物联网时代,海量的传感器数据随着物联网而聚集。传感器网络捕获的大量数据被认为包含了非常有用和有价值的信息。然而,由于各种原因,接收到的传感器数据经常出现异常。因此,需要有效的异常检测方法来保证这些传感器节点收集的数据的质量。由于传感器数据通常在时间和空间上是相关的,因此并非所有收集的数据都对进一步的数据处理和分析有价值。为了消除采集到的海量传感器数据中的冗余信息,需要对数据进行预处理.在本文中,所提出的工作定义了一个传感器数据预处理框架。它主要由两部分组成,传感器数据异常检测和传感器数据冗余消除。第一部分提出了基于主统计量分析和贝叶斯网络的传感器数据异常检测方法。然后,提出了基于静态贝叶斯网络(SBN)和动态贝叶斯网络(DBN)的传感器数据冗余消除方法。提出了用于消除静态数据集中冗余数据的静态传感器数据冗余检测算法(SSDRDA)和用于实时消除冗余数据的实时传感器数据冗余检测算法(RSDRDA)。使用真实世界收集的传感器数据集验证了所提出方法的效率和有效性。
2017-03-09 cs.DC cs.NI
Mapping The Invisible Internet: Framework and Dataset
University of Cincinnati(辛辛那提大学);Garden City University College(花园城市大学学院);Kwame Nkrumah University of Science and Technology(克瓦梅·恩克鲁玛科技大学)
本文提出SWARM-I2P框架,通过部署I2P路由器作为映射代理收集网络拓扑与流量数据,构建了包含超5万个节点的公开数据集,为分析I2P匿名网络的路由行为、节点选择与韧性提供基础资源。
2025-11-05 cs.NI
Internet of Underwater Things and Big Marine Data Analytics -- A Comprehensive Survey
水下物联网(IOUT)是一种新兴的通信生态系统,用于连接海洋和水下环境中的水下物体。物联网技术与智能船舶、智能海岸和海洋、自动海上运输、定位和导航、水下勘探、灾害预测和预防以及智能监控和安全等密切相关。IOUT在各种规模上都有影响力,从小型科学观测站到中型港口,再到覆盖全球海洋贸易。IoUT的网络架构本质上是异构的,并且应该具有足够的弹性以在恶劣环境中运行。这给水下通信带来了重大挑战,同时依赖有限的能源资源。此外,物联网中传感器、水听器和摄像头产生的数据量、速度和种类都是巨大的,这就产生了海洋大数据(BMD)的概念,它有自己的处理挑战。因此,传统的数据处理技术将动摇,定制的机器学习(ML)解决方案必须采用自动学习的特定BMD行为和功能,促进知识提取和决策支持。本文的动机是全面调查的IOUT,BMD,和他们的综合。它还旨在探索BMD与ML的关系。我们从水下数据汇集出发,然后讨论了IOUT数据通信技术的家庭,重点是最先进的研究挑战。然后,我们将回顾适用于BMD处理和分析的ML解决方案套件。我们从教育的角度演绎地对待这个问题,批判性地评价调查的材料。
2021-01-18 cs.NI
Location Anomalies Detection for Connected and Autonomous Vehicles
The Alan Turing Institute(艾伦·图灵研究所);University of Bristol(布里斯托大学)
未来的互联和自动驾驶汽车(CAV),以及更广泛的ITS,将形成一个高度互联的系统。这样的范例被称为车辆互联网(本文中的CAV互联网),并且是协调城市中的交通流的先决条件。为了优化决策和监督,交通中心将有权访问适当匿名的CAV移动信息。因此,安全和有保障的行动将取决于早期发现异常情况。提出了一种基于深度自编码器的无监督学习模型,以车辆位置和接收信号强度指示(RSSI)为特征,检测CAV中的自报告位置异常。仿真数据集上的定量实验表明,该方法是有效的和强大的检测自我报告的位置异常。
2019-07-01 cs.LG cs.NI eess.SP
Large Scale Enrichment and Statistical Cyber Characterization of Network Traffic (Enriquecimiento a gran escala y caracterización cibernética estadística del tráfico de red)
现代网络传感器不断产生大量原始数据,超出了人类分析师的能力。网络传感器的互相关增加了这一挑战,通过丰富每个网络事件与额外的元数据。这些大量丰富的网络数据提供了统计网络流量特征并快速回答一个关键问题的机会:“我的网络数据的主要网络特征是什么?Python GraphBLAS和PyD 4 M分析框架可以在非常大的网络数据集上快速有效地执行匿名统计分析。使用来自最大的互联网天文台(CAIDA望远镜)的数十亿匿名网络数据样本和来自最大的商业背景富集能力(GreyNoise)的数千万匿名记录来测试这种方法。分析证实,大多数丰富的变量遵循预期的重尾分布,网络流量的很大一部分是由于少量的网络活动。这些信息可以简化网络分析员的任务,使网络活动的优先级的基础上统计流行。--现代红色传感器产生的数据不经过处理,因此具有更大的分析人类的能力。Una cruzada de sensores de red se convierte en un desafío al enriquecer cada evento de red con metadatos adicionales.大量的红色数据提供了一个机会,可以确定红色数据的特征,并对预测作出反应:“?这些红色数据的主要特征是什么“Los esquemas de análisis de Python GraphBLAS y D4M permiten reali…
2022-12-01 cs.NI
Personal Internet of Things (PIoT): What is it Exactly?
在家庭中使用物联网(IoT)设备以及个人的直接接近通信来创建个人IoT(PIoT)网络。PIoT的探索性研究尚处于起步阶段,将探索新用例的扩展、服务需求以及PIoT设备的激增。本文提供了PIoT架构、愿景和未来研究范围的全貌。
2021-05-24 cs.NI
Flexible IoT Datapath Programming using P4
网络和设备技术的进步使得任何设备都能够连接到互联网,从而形成物联网(IoT)架构。基于物联网服务的互联网相关活动不可避免地会产生大量的实时数据,从而导致大数据现象。为了有效地处理如此大的物联网数据,软件定义网络(SDN)技术可以发挥作用。在SDN技术中,P4是用于编程协议无关的分组处理器的高级语言。本文介绍了我们如何使用P4来实现大规模物联网流数据流的灵活数据路径编程的初步工作。作为一个案例研究,我们描述了在任意网络拓扑结构中实现基于动态MST的数据路径编程,用于物联网数据汇集。
2020-06-29 cs.NI
A Survey on Big Data for Network Traffic Monitoring and Analysis
网络流量监控和分析(NTMA)是网络管理的关键组成部分,特别是为了保证大型网络(如Internet)的正确运行。随着互联网服务的复杂性和业务量的不断增加,设计可扩展的NTMA应用变得越来越困难。流量分类和监管等应用需要实时和可扩展的方法。异常检测和安全机制需要在处理数以百万计的异构事件时快速识别和响应不可预测的事件。最后,系统必须收集、存储和处理大量的历史数据集,以便进行事后分析。这些正是一般大数据方法所面临的挑战:数量,速度,多样性和准确性。这项调查将NTMA和大数据结合在一起。我们对NTMA以前采用大数据方法的工作进行了分类,以了解NTMA在多大程度上探索了大数据的潜力。本调查主要关注管理NTMA大数据的方法和技术,此外还简要讨论了大数据分析(例如,机器学习)。最后,我们为未来的工作提供了指导方针,讨论了经验教训和研究方向。
2020-03-03 cs.DC cs.NI
Towards Near Real-Time BGP Deep Analysis: A Big-Data Approach
BGP(边界网关协议)作为互联网的主要路由协议,使自治系统(各个网络运营商)能够交换网络可达性信息。除了正在进行的重大研究和开发工作外,还需要了解互联网上发生的事件的性质。网络运营商敏锐地意识到与安全相关的事件,如“前缀劫持”,以及网络不稳定的影响,波及互联网。最近的研究集中在BGP异常(网络/前缀不稳定性和安全相关事件)的研究已经基于历史日志的分析。进一步分析以了解这些异常事件的性质并不总是足以能够区分恶意活动,如前缀或子前缀劫持,从无意的错误配置引起的事件。此外,这种技术受到缺乏足够的资源来实时的【形】存储和处理来自多个BGP优势点(VP)的数据馈送的挑战。在本文中,我们提出了一个BGP深度分析应用程序,使用PNDA(网络数据分析平台)的大数据平台开发。PNDA提供了一个高度可扩展的环境,可以以模式无关的方式从许多有利位置摄取和处理“实时”BGP馈送。基于Apache Spark的应用程序与PNDA的分布式处理功能相结合,能够执行高级洞察以及接近实时的【形】统计分析
2017-05-24 cs.NI
Big Data for Traffic Monitoring and Management
过去二十年见证了信息和通信技术的巨大进步。除了计算能力和存储容量的提高之外,通信网络现在还承载着大量的数据,这在几年前是无法想象的。随着网络的普及,网络的复杂性也在以同样的速度增长,使得运营商和研究人员几乎没有什么工具来了解网络中以及全球范围内的互联网上发生了什么。幸运的是,数据科学和机器学习的最新进展拯救了网络分析师,并允许进行复杂程度和空间/时间范围的分析,这在10年前是不可能的。在我的论文中,我采取的角度来看,互联网服务提供商(ISP),并说明了挑战和可能性,分析来自现代运营网络的流量。我利用大数据和机器学习算法,并将其应用于来自ISP和大学校园网络的被动测量的数据集。数据科学和网络测量之间的结合由于机器学习算法的复杂性以及此类数据固有的多维性和可变性而变得复杂。因此,我的工作提出并评估了新颖的技术,灵感来自流行的机器学习方法,但经过精心定制,以适应网络流量。
2019-02-28 cs.NI
Big Data Model Simulation on a Graph Database for Surveillance in Wireless Multimedia Sensor Networks
传感器以各种形式存在于世界各地,如手机,监控摄像头,智能电视,智能冰箱和血压监测仪。通常,大多数传感器是其他系统的一部分,这些系统具有组成网络的类似传感器。其中一个网络由数百万个连接到互联网的传感器组成,称为物联网(IoT)。随着无线通信技术的进步,多媒体传感器及其网络有望成为物联网的主要组成部分。无线多媒体传感器网络在火灾探测、城市监控、预警系统等不同领域已经有了很多研究。所有这些应用都需要定位传感器节点,并以实时数据流长时间收集数据,这些数据被认为是大数据。大数据可能是结构化的或非结构化的,需要存储以供进一步处理和分析。分析多媒体大数据是一项具有挑战性的任务,需要高层次的建模来有效地从数据中提取有价值的信息/知识。在这项研究中,我们提出了一个大的数据库模型的基础上,图数据库模型来处理无线多媒体传感器网络产生的数据。我们引入了一个模拟器来生成合成数据,并使用图模型作为一个大数据库存储和查询大数据。为了这个目的,我们评估了著名的基于图的NoSQL数据库,Neo4j和OrientDB,和一个关系数据库,MySQL。我们已经运行了一些查询实验,我们实现的模拟器,以显示在无线多媒体传感器网络的监控数据库系统(S)是有效的和可扩展的。
2017-08-13 cs.DB cs.NI
Content-Centric and Software-Defined Networking with Big Data
许多团体已经研究了诸如内容中心网络(CCN)和软件定义网络(SDN)的新型网络架构的应用以构建未来的互联网。另一项新兴技术大数据分析也赢得了学术界和工业界的广泛关注。关于云计算网络、SDN和大数据已经有了很多精彩的研究,但在传统文献中都是单独讨论的。在本文中,我们提出了一种新的网络范式,以联合考虑CCN,SDN和大数据,并提供了架构内部数据流,大数据处理和用例,表明其优点和适用性。仿真结果显示,所提出的网络范例的潜在好处。我们将这种新的范例称为数据驱动网络(DDN)。
2016-11-19 cs.NI
Traffic Road Congestion System using by the internet of vehicles (IoV)
本文通过系统文献综述分析2014-2023年间121篇论文,研究车联网(IoV)在交通拥堵控制中的应用,并基于SUMO仿真和车辆云提出比传统模型更高效的IoV交通控制模型。
2023-06-01 cs.CY cs.NI
Quality-Driven Energy-Efficient Big Data Aggregation in WBANs
School of Computing, University of Utah(犹他大学计算机学院);FPT University(富国大学)
在物联网(IoT)时代,无线体域网(WBAN)的发展及其在大数据基础设施中的应用得到了医学研究界的广泛关注。由于传感器节点是需要异构服务质量(QoS)的低功耗设备,因此管理大量医疗数据在WBAN中至关重要。因此,有效地聚合大量的医疗数据是重要的。在这种情况下,我们提出了一个质量驱动和节能的大数据聚合方法,云辅助WBAN。对于BAN内(阶段I)和BAN间(阶段II)通信,聚合方法是成本有效的。大量的仿真结果表明,所提出的方法DEBA大大提高了网络效率的聚合延迟和成本相比,现有的计划。
2022-06-12 cs.DC cs.NI
Intelligent Management and Efficient Operation of Big Data
本章详细介绍了如何在网络和计算基础设施中使用和实施大数据。具体而言,它涉及三个主要方面:从异构的、通常是非结构化的大型数据源中及时提取相关知识,增强处理和网络(云)基础设施的性能,这些基础设施是大数据应用程序或服务最重要的基础支柱,和新颖的方法来有效地管理网络基础设施,级别组合策略,用于支持传输具有不同带宽的大量数据(视频与非视频)。一个案例研究,涉及一个智能管理解决方案,路由数据流量与不同的要求,在广域互联网交换点的大数据的背景下进行了讨论,并进行评估。
2016-01-22 cs.NI
Internet Of Rights(IOR) In Role Based Block Chain
积累了大量的数据。随着互联网行业的发展。数据爆炸暴露出许多问题:1.数据隐私和数据协作之间的矛盾; 2。数据所有权与数据使用权的矛盾; 3.数据汇集和数据使用的合法性; 4.数据治理与规则治理的关系; 5.证据链的可追溯性。为了应对这种复杂的情况,许多算法被提出和发展。本文试图从区块链的角度构建一个模型,以取得一些突破。权利互联网(IOR)模型使用多链技术,将共识机制逻辑地分解为多个层次,包括存储共识、权限共识、角色共识、交易共识等,从而构建一个新的基础设施,使得组织结构和交互复杂的数据源在保护数据隐私的前提下能够顺利协作。基于区块链的去中心化、开放性、自治性、不变性和可控匿名性,权利互联网(IOR)模型注册了数据的所有权,使应用程序能够构建基于责任和权利的生态系统。它还提供了具有隐私保护的跨域处理,以及数据治理和规则治理的分离。借助人工智能和大数据技术的处理能力,以及物联网无处不在的数据汇集能力,权利互联网(IOR)模式可能为实现群体智能、构建互联网新范式,即智能治理,提供一种新的基础设施理念。
2022-11-02 cs.NI
Sensor Discovery and Configuration Framework for The Internet of Things Paradigm
物联网(IoT)将包括数十亿个可以感知、通信、计算和潜在驱动的设备。物联网产生的数据是有价值的,有潜力推动创新和新颖的应用。来自这些设备的数据流将挑战传统的数据管理方法,并为新兴的大数据范式做出贡献。在收集和处理来自这些设备(例如传感器)的数据之前,最具挑战性的任务之一是发现和配置传感器和相关的数据流。在本文中,我们提出了一种称为SmartLink的工具,可用于发现和配置传感器。具体而言,SmartLink能够发现部署在特定位置的传感器,尽管它们具有异质性(例如,不同的通信协议,通信序列,功能)。SmartLink在传感器硬件和基于云的物联网中间件之间建立直接通信。我们使用插件架构解决异构性的挑战。我们的原型工具在Android平台上开发。我们通过发现和配置52种不同类型的Libelium传感器来评估我们方法的意义。
2013-12-23 cs.NI
Big Data Analytics for Wireless and Wired Network Design: A Survey
目前,由于移动网络用户、互联网网站和在线服务的数量不断增加,世界正在目睹数据雪崩。这种趋势正在以大数据的形式以快速和多样化的方式继续发展。大数据分析可以处理大量的原始数据,并提取有用的、较小的信息,这些信息可以被不同的方用来做出可靠的决策。在本文中,我们对大数据分析在数据通信网络设计中的作用进行了调查。将采用大数据分析的最新进展与网络控制/流量层相结合,可能是构建具有精细性能和智能功能的强大数据通信网络的最佳方法。首先,调查从介绍大数据的基本概念、框架和特征开始。其次,我们说明了采用大数据分析的主要网络设计周期。这一周期代表了统一调查主题的总括概念。第三,详细回顾了当前学术界和工业界使用大数据分析进行网络设计的努力。第四,我们确定了在网络设计中利用大数据分析所面临的挑战。最后,我们强调了几个未来的研究方向。据我们所知,这是第一次针对使用大数据分析技术设计各种网络的调查。
2018-01-19 cs.NI stat.ML
Towards Big data processing in IoT: network management for online edge data processing
Tsinghua University(清华大学);Hong Kong University of Science and Technology(香港科技大学)
数据负载大、覆盖范围广一直是物联网面临的关键问题。然而,在移动边缘计算(MEC)网络中,庞大的数据可以在边缘进行部分处理。本文讨论了一种基于MEC的大数据分析网络。分布式网络终端生成的原始数据由边缘服务器收集和处理。边缘服务器分离出大量冗余数据,并将提取的信息传输到中心云进行进一步分析。然而,考虑到边缘计算能力有限,庞大数据源中的部分原始数据可能会直接传输到云端。为了在线管理有限的资源,我们提出了一种基于李亚普诺夫优化的算法,以联合优化边缘处理器频率,发射功率和带宽分配的政策。该算法的目标是在不知道数据源概率分布的情况下,稳定数据处理延迟和节省能量。所提出的网络管理算法可能有助于未来物联网中的大数据处理。
2019-05-05 cs.AI cs.DC cs.IT
Cloud Template, a Big Data Solution
如今,云计算已成为通过互联网托管和交付大数据解决方案的不同服务的新概念。云计算对小型和企业的不同业务所有者都具有吸引力,因为它消除了用户提前计划供应的要求,并允许企业从小开始,只有在服务需求增加时才增加资源。尽管事实上云计算为IT行业提供了巨大的机会,但云计算技术的发展目前存在几个问题。本研究提出了一个想法,引入云模板,将用于分析,设计,开发和实施云计算系统。我们将提出一个基于模板的设计云计算系统,突出其关键概念,架构原理和最先进的实现,以及研究的挑战和未来的工作要求。这一想法的目的是更好地理解云计算的设计挑战,并确定在这个日益重要的大数据领域的重要研究方向。我们将描述一系列的研究,我们和其他研究人员已经评估了这些技术在实际情况下的有效性。最后,在这项研究中,我们将展示如何在工业中以实用和有用的方式实现这一想法。
2013-08-05 cs.DC cs.NI cs.SE
Implementation of Self-Organizing Network (SON) on Cellular Technology base on Big Data Analytic
蜂窝技术的发展将与各方面日益增长的需求成正比,如数据传输速度(velocity)、数据变化(variety)和数据存储介质(volume)。各方面的增长将对全球互联网用户的增长产生直接影响。与此相关,对增加的容量和覆盖的需求变得必要,因为用户通过利用资源共享机制使用相同的资源来接入网络。自组织网络(SON)是使系统更高效并保证实验质量(QoE)的解决方案之一。SON可以创建具有自优化、自配置和自愈机制的自动化网络。网络分析中利用大数据作为网络自动化过程中决策活动的参考。本文将5G网络上使用大数据分析的SON与4G网络上的SON作为先前的网络技术进行了比较。在5G网络上,大数据将SON检测范式从被动变为主动。检测问题从数据汇集和分析可能的网络问题开始。通过及早预测网络问题,可以更快地解决网络问题。此外,通过使用多跳中继,用户设备(EU)和基站(BS)之间的距离将更短。因此,可以达到增加容量和覆盖的目的。
2020-05-23 cs.NI
Privacy-Enhancing Technologies in Federated Learning for the Internet of Healthcare Things: A Survey
物联网技术中可穿戴医疗设备的进步正在塑造现代医疗保健系统。随着医疗物联网(IoHT)的出现,我们正在见证如何为患者提供高效的医疗服务,以及医疗保健专业人员如何有效地使用基于AI的模型来分析从IoHT设备收集的数据,以治疗各种疾病。为了避免隐私泄露,这些数据的处理和分析必须符合法律规则和法规,如HIPAA和GDPR。联邦学习是一种基于机器学习的方法,允许多个实体在不共享数据的情况下协作训练ML模型。这在医疗保健领域特别有用,因为数据隐私和安全性是一个大问题。尽管FL解决了一些隐私问题,但仍然没有正式的证据证明IoHT数据的隐私保证。隐私增强技术(PET)是一组旨在增强在线通信和数据共享的隐私和安全性的工具和技术。PET提供了一系列功能,有助于保护用户的个人信息和敏感数据免受未经授权的访问和跟踪。本文详细全面地回顾了在IoHT环境中与FL相关的PET,并确定了未来研究的几个关键挑战。
2023-03-25 cs.NI