Designing Optimal Personalized Incentive for Traffic Routing using BIG Hype algorithm
ETH Zürich(苏黎世联邦理工学院)
本文将城市中电动汽车与燃油车的个性化折扣激励设计建模为带容量和预算约束的大规模双层博弈,并基于 BIG Hype 提出可收敛的去中心化算法,在 Anaheim 网络上验证了其缓堵效果与大规模求解效率。
2023-04-24 cs.GT cs.LG math.OC
A Survey on Traffic Signal Control Methods
Penn State University(宾夕法尼亚州立大学)
交通信号控制是一个重要且具有挑战性的现实问题,其目标是通过协调车辆在交叉口的运动来最小化车辆的行程时间。目前使用的交通信号控制系统仍然严重依赖过于简单的信息和基于规则的方法,尽管我们现在有更丰富的数据,更强大的计算能力和先进的方法来推动智能交通的发展。随着人们对使用机器学习方法(如强化学习)的智能交通越来越感兴趣,本调查涵盖了广泛认可的交通方法和关于交通信号控制强化的最新文献的全面列表。我们希望这项调查能够促进对这一重要主题的跨学科研究。
2020-01-16 cs.AI cs.LG stat.ML
Graph Neural Network for Traffic Forecasting: A Survey
Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
交通预测是智能交通系统成功的关键。深度学习模型,包括卷积神经网络和递归神经网络,已被广泛应用于交通预测问题中,以对空间和时间依赖性进行建模。近年来,为了对交通系统中的图结构以及上下文信息进行建模,已经引入了图神经网络,并且在一系列交通预测问题中取得了最先进的性能。在本调查中,我们回顾了使用不同图神经网络(例如图卷积和图注意力网络)在各种交通预测问题(例如道路交通流量和速度预测、城市轨道交通系统中的客流预测以及乘车平台中的需求预测)中快速增长的研究主体。我们还为每个问题提供了一个全面的开放数据和源资源列表,并确定了未来的研究方向。据我们所知,本文是第一个全面的调查,探讨应用图神经网络的交通预测问题。我们还创建了一个公共GitHub存储库,其中将更新最新的论文,开放数据和源资源。
2022-02-22 cs.AI cs.LG
Adversarial Attacks on Traffic Sign Recognition: A Survey
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文综述针对交通标志检测与分类模型的数字及真实世界对抗攻击研究,梳理最新进展并指出未来需深入探索的方向。
2023-07-17 cs.CR cs.CV cs.LG
Deep Learning Approaches for Network Traffic Classification in the Internet of Things (IoT): A Survey
Mehran University of Engineering and Technology(梅赫兰工程与技术大学)
本综述系统梳理了面向物联网环境的深度学习网络流量分类方法,分析了各类模型的优劣与挑战,并指出了未来研究方向。
2024-02-01 cs.CR cs.LG cs.NI
A Modern Approach to Real-Time Air Traffic Management System
Pandit Deendayal Energy University(潘迪特·迪恩达亚尔能源大学)
本项目利用Apache Spark、HDFS和Spark Streaming等大数据框架,设计了一种实时空中交通管理系统架构,通过Kafka和Elasticsearch实现数据采集与可视化,展示了实时分析在提升航空管理效率方面的潜力。
2025-03-01 cs.DC cs.LG
How to Build a Graph-Based Deep Learning Architecture in Traffic Domain: A Survey
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Macau(澳门大学)
近年来,已经提出了各种深度学习架构来解决交通领域的复杂挑战(例如空间依赖性,时间依赖性),并取得了令人满意的性能。这些架构由多种深度学习技术组成,以应对交通任务中的各种挑战。传统上,卷积神经网络(CNN)被用来通过将交通网络分解为网格来建模空间依赖性。然而,许多交通网络本质上是图结构的。为了充分利用这些空间信息,将交通网络用数学图形表示更为合适。最近,已经开发了各种新颖的深度学习技术来处理图形数据,称为图形神经网络(GNN)。越来越多的工作将GNN与其他深度学习技术相结合,构建了一个处理复杂交通任务中各种挑战的架构,其中GNN负责提取交通网络中的空间相关性。这些基于图的架构已经实现了最先进的性能。为了全面清晰地了解这一新兴趋势,本调查仔细研究了许多交通应用中各种基于图的深度学习架构。我们首先给出了基于图的交通问题的指导方针,并从各种交通数据集构造图。然后,我们分解这些基于图的架构,讨论它们共享的深度学习技术,阐明每种技术在流量任务中的应用。更重要的是,我们总结了一些常见的流量挑战以及针对每个挑战的相应的基于图的深度学习解决方案。最后,我们提供了基准数据集,开源代码和未来的研究方向在这个快速增长的领域。
2020-10-11 cs.LG eess.SP
Applications of deep learning in traffic congestion detection, prediction and alleviation: A survey
ETH Zurich(苏黎世联邦理工学院);Future Resilient Systems(未来韧性系统);Singapore-ETH Centre(新加坡-ETH中心)
检测、预测和缓解交通拥堵的目的是提高交通网络的服务水平。随着越来越多地访问更高分辨率的更大数据集,深度学习对此类任务的相关性正在增加。近年来的一些综合调查论文总结了深度学习在交通领域的应用。然而,交通网络的系统动态在非拥塞状态和拥塞状态之间变化很大,因此需要清楚地了解拥塞预测所面临的挑战。在本调查中,我们介绍了深度学习在与拥塞检测、预测和缓解相关的任务中的应用现状。重复和非重复拥塞将分别讨论。我们的调查使我们发现了当前研究状态中的固有挑战和差距。最后,我们提出了一些建议,为未来的研究方向,以应对所确定的挑战。
2021-11-02 cs.LG stat.ML
The Learning and Prediction of Application-level Traffic Data in Cellular Networks
Zhejiang University(浙江大学);PLA University of Science and Technology(解放军理工大学);China Telecom Technology Innovation Center(中国电信技术创新中心)
流量学习和预测是电信网络性能评估的核心,在有线宽带网络中引起了广泛的关注。现在,受益于蜂窝网络中的大数据,可以使分析进一步进入应用层面。在本文中,我们首先从蜂窝网络运营商收集了大量的应用级流量数据。然后,借助流量“大数据”,对蜂窝网络流量建模和预测框架进行了全面的研究。我们的研究结果表明,普遍存在的一些交通统计建模特性,包括在时域上的ALPHA稳定的建模特性和在空间域的稀疏性。同时,研究结果也表明了不同服务类型的应用程序的独特性所产生的差异。在此基础上,提出了一种新的流量预测框架,并提出了一种基于字典学习的交替方向方法来解决该问题,通过大量的仿真实验验证了该框架的预测精度和鲁棒性。
2017-03-28 cs.LG cs.NI
Traffic4cast 2020 -- Graph Ensemble Net and the Importance of Feature And Loss Function Design for Traffic Prediction
本文详细介绍了我们的解决方案,以mixic 4cast 2020。类似于2019年的Ammic 4cast,Ammic 4cast 2020挑战其参赛者开发可以预测大城市未来交通状态的算法。我们的团队在两个方面应对了这一挑战。我们研究了特征和损失函数设计的重要性,并从去年开始对性能最佳的U-Net解决方案进行了重大改进。我们还探索了图神经网络的使用,并引入了一种新的集成GNN架构,该架构优于去年的GNN解决方案。虽然我们的GNN有所改善,但仍无法与U-Net的表现相媲美,并讨论了这种不足的潜在原因。我们的最终解决方案,即我们的U-Net和GNN的集成,在2020年的EQUIPIC 4CAST中获得了第四名。
2020-12-03 cs.LG
A Comprehensive Survey on Network Traffic Synthesis: From Statistical Models to Deep Learning
University of Sydney(悉尼大学);University of Peradeniya(珀德尼亚大学);Curtin University(Curtin 大学);CSIRO(澳大利亚联邦科学与工业研究组织);Colorado State University(科罗拉多州立大学)
本文综述了网络流量合成方法,涵盖数据类型和生成模型,重点讨论深度学习技术及统计方法,提供比较分析工具,指出开放挑战和未来研究方向。
2026-04-08 cs.LG cs.NI
A Survey of Classification Techniques in the Area of Big Data
Maharashtra Institute of Technology(马哈拉施特拉理工学院)
大数据涉及大量、不断增长的数据集,这些数据集非常复杂,并且具有多个自主来源。早期的技术无法处理大量数据的存储和处理,因此大数据概念应运而生。这对于非结构化数据的用户来说是一项繁琐的工作。因此,应该有某种机制将非结构化数据分类为有组织的形式,以帮助用户轻松访问所需的数据。大事务数据库上的分类技术以更简单的方式从大数据集中向用户提供所需的数据。有两种主要的分类技术,监督和非监督。本文重点研究了不同的监督分类技术。进一步说明了本文的优点和局限性。
2015-03-25 cs.LG
Short-term Traffic Prediction with Deep Neural Networks: A Survey
Seoul National University(首尔大学);KAIST(韩国科学技术院)
在现代交通系统中,每天都会产生大量的交通数据。这导致了短期交通预测(STTP)的快速发展,其中最近应用了深度学习方法。在具有复杂时空关系的交通网络中,深度神经网络(DNN)通常表现良好,因为它们能够自动提取最重要的特征和模式。在这项研究中,我们从四个角度调查了最近应用深度网络的STTP研究。1)我们总结了输入数据表示方法,根据所涉及的空间和时间依赖的数量和类型。2)我们简要解释了从最早的网络(包括受限玻尔兹曼机)到最近的网络(包括基于图的网络和元学习网络)的各种DNN技术。3)我们总结了以前的STTP研究DNN技术的类型,应用领域,数据集和代码的可用性,以及所代表的时空依赖关系的类型。4)我们编译了流行的公共交通数据集,可以用作标准基准。最后,我们提出了挑战性的问题和可能的未来研究方向STTP。
2020-08-28 cs.AI cs.LG eess.SP
Safety in Traffic Management Systems: A Comprehensive Survey
Ying Wu College of Computing, New Jersey Institute of Technology(新泽西理工学院吴瑛计算机学院)
本文全面综述了交通管理系统中的安全性问题,梳理了先进技术带来的安全挑战、现有研究现状与保障技术方法,并指出研究局限和未来方向。
2023-08-11 cs.AI cs.LG cs.SY
STG4Traffic: A Survey and Benchmark of Spatial-Temporal Graph Neural Networks for Traffic Prediction
Soochow University(苏州大学);UNC Greensboro(北卡罗来纳大学格林斯伯勒分校);The Hong Kong Polytechnic University(香港理工大学)
本文针对交通预测领域时空图神经网络缺乏系统综述与公平基准的问题,梳理了相关算法与模型优缺点,构建了STG4Traffic标准化基准并指明未来研究方向。
2024-06-18 cs.AI cs.LG
A Survey and Benchmarking of Spatial-Temporal Traffic Data Imputation Models
Key Laboratory of Big Data and Artificial Intelligence in Transportation, Ministry of Education, and School of Computer Science and Technology, Beijing Jiaotong University(大数据与人工智能交通运输关键实验室、教育部,计算机科学与技术学院,北京交通大学);Department of Computer Science, Aalborg University(计算机科学系,奥尔堡大学);Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence, School of Computer Science and Technology, Beijing Jiaotong University(北京交通大数据挖掘与具身智能关键实验室,计算机科学与技术学院,北京交通大学)
本文针对交通数据插补模型缺乏分类、统一基准和多维比较的问题,提出缺失模式与模型分类体系,并构建统一流程评估11个代表性模型。
2025-10-17 cs.LG
Local Gaussian Processes for Efficient Fine-Grained Traffic Speed Prediction
School of Information Systems, Singapore Management University(新加坡管理大学信息系统学院);Smeal College of Business, Pennsylvania State University(宾夕法尼亚州立大学斯米尔商学院)
交通速度是衡量城市交通系统效率的重要指标。因此,时空变化的交通速度的准确建模在城市规划和发展中起着至关重要的作用。本文研究了利用静态传感器获取的大流量数据进行高效率的细粒度交通速度预测的问题。高斯过程(GP)以前已经被用来模拟各种交通现象,包括流量和速度。然而,GPS由于其立方时间复杂度而不能与大流量数据一起扩展。在这项工作中,我们通过提出本地GP来学习和预测相关的数据子集来解决其效率问题。其主要思想是快速分组速度变量在空间和时间维度到一个有限数量的集群,以便未来和未观察到的交通速度查询可以被映射到这样的集群之一。然后,可以在运行中训练与该集群相对应的本地GP,以实时进行预测。我们称这种方法为本地化。我们使用非负矩阵分解的本地化,并提出简单的聚类映射算法。我们还利用GP内核函数的表现力来建模道路网络拓扑结构,并将边信息。使用在美国匹兹堡和华盛顿特区这两个城市收集的真实交通数据进行了广泛的实验,表明,我们提出的本地GP显着提高运行时性能和预测精度相比,基线的全球和本地的GP。
2017-08-27 cs.AI cs.LG
Physics-Informed Deep Learning For Traffic State Estimation: A Survey and the Outlook
Columbia University(哥伦比亚大学);Data Science Institute, Columbia University(哥伦比亚大学数据科学研究所)
本文综述了物理信息深度学习(PIDL)计算图在交通状态估计(TSE)中的多种架构设计,并在相同真实数据集上比较了不同变体的性能。
2023-07-01 cs.LG
Neural Architecture Search for Traffic Prediction: A Survey of Methods, Challenges, and Future Directions
该综述梳理用于交通预测的NAS方法,分析其搜索策略、挑战与未来方向,为解决交通预测模型人工设计泛化差等问题提供系统性方案。
2026-07-30 cs.LG cs.NE
A survey on Big Data and Machine Learning for Chemistry
University of São Paulo(圣保罗大学);Dublin City University(都柏林城市大学)
在这里,我们回顾了利用大数据和机器学习(ML)的化学前沿研究和创新方面,这两个计算机科学领域结合起来产生机器智能。ML可以加速复杂化学问题的解决,甚至可以解决原本不容易解决的问题。但机器学习的潜在好处是以大数据生产为代价的;也就是说,为了学习,算法需要大量不同性质和不同来源的数据,从材料属性到传感器数据。在调查中,我们提出了未来发展的路线图,重点是材料发现和化学传感,以及物联网(IoT)的背景下,这两个领域都是大数据背景下ML的突出研究领域。除了概述最新进展外,我们还详细阐述了大数据和ML应用于化学的概念和实际局限性,概述了过程,讨论了陷阱,并回顾了成功和失败的案例。
2019-04-23 cs.LG physics.chem-ph
Extending Isolation Forest for Anomaly Detection in Big Data via K-Means
York University(约克大学);iSecurity Consulting Inc(iSecurity咨询公司);Dapasoft Inc(Dapasoft公司)
工业信息技术(IT)基础设施往往容易受到网络攻击。为了确保工业环境中计算机系统的安全性,需要建立有效的入侵检测系统来监视网络物理系统(例如,计算机网络)进行恶意活动。本文旨在建立这样的入侵检测系统,以保护计算机网络免受网络攻击。更具体地说,我们提出了一种新的无监督机器学习方法,结合K-Means算法和隔离森林,用于工业大数据场景中的异常检测。由于我们的目标是为工业领域的大数据场景构建入侵检测系统,因此我们利用Apache Spark框架来实现我们提出的模型,该模型在Elasticsearch中存储的大型网络流量数据(约1.23亿网络流量实例)中进行了训练。此外,我们评估我们提出的模型上的实时流媒体数据,发现我们提出的系统可以用于实时异常检测在工业设置。此外,我们还解决了在大型数据集上训练模型时面临的不同挑战,并明确描述了如何解决这些问题。基于我们在现实世界网络流量数据中异常检测的不同用例中的经验评估,我们观察到我们提出的系统可以有效地检测大数据场景中的异常。最后,我们在几个学术数据集上评估了我们提出的模型,并与其他模型进行了比较,发现它提供了与其他最先进方法相当的性能。
2021-04-27 cs.AI cs.CR cs.LG
DL-Traff: Survey and Benchmark of Deep Learning Models for Urban Traffic Prediction
The University of Tokyo(东京大学);Southern University of Science and Technology(南方科技大学);University of Technology Sydney(悉尼科技大学)
如今,随着物联网(IoT)和网络物理系统(CPS)技术的快速发展,移动电话、汽车导航系统和交通传感器正在产生大量时空数据。通过利用最先进的深度学习技术对这些数据进行处理,城市交通预测已经引起了人工智能和智能交通系统社区的广泛关注。该问题可以用3D张量(T,N,C)统一建模,其中T表示总时间步长,N表示空间域的大小(即,网格或图形节点),并且C表示信息通道。根据具体的建模策略,最新的深度学习模型可以分为三类:基于网格的,基于图的和多变量时间序列模型。在这项研究中,我们首先综合回顾了深度流量模型以及广泛使用的数据集,然后建立了一个标准的基准,以综合评估它们在相同设置和指标下的性能。我们的研究名为DL-Traff,使用两个最流行的深度学习框架实现,即,TensorFlow和PyTorch已经作为两个GitHub存储库https://github.com/deepkashiwa20/DL-Traff-Grid和https://github.com/deepkashiwa20/DL-Traff-Graph公开提供。通过DL-Traff,我们希望为对时空数据分析感兴趣的研究人员提供有用的资源。
2021-08-20 cs.LG
A Survey of Big Data Machine Learning Applications Optimization in Cloud Data Centers and Networks
这篇调查文章回顾了与在云数据中心和网络中部署和优化大数据应用程序以及机器学习算法相关的挑战。MapReduce编程模型及其广泛使用的开源平台Hadoop正在开发大量基于云的服务和大数据应用程序。因此,MapReduce和Hadoop引入了创新、高效和加速的密集型计算和分析。这些服务通常利用地理分布的数据中心内的商品集群,并提供具有成本效益和弹性的解决方案。然而,迁移、存储和处理大数据的数据中心之间和内部的流量不断增加,这正在成为一个瓶颈,需要能够减少拥塞和功耗的增强型基础设施。此外,具有请求各种大数据服务的多个租户的企业面临的挑战是,需要以降低的运行成本和功耗来优化其资源的租赁,同时避免利用不足或过度利用。在本调查中,我们总结了各种大数据编程模型和应用程序的特点,并对云计算基础设施以及虚拟化和软件定义网络等相关技术进行了审查,这些技术越来越多地支持大数据系统。此外,我们还简要回顾了数据中心的拓扑结构、路由协议和流量特征,并强调了大数据对云数据中心及其支持网络的影响。在各种应用程序性能指标和/或基础设施能效方面,我们致力于优化处理大数据的系统。最后,提出了一些启示和未来的研究方向。
2019-10-01 cs.DC cs.LG cs.NI
Leveraging Machine Learning and Big Data for Smart Buildings: A Comprehensive Survey
Western Michigan University(西密歇根大学);Information Technology University(信息技术大学)
未来的建筑将为居民提供新的便利、舒适和效率。随着技术的深入,信息处理充分融入人们的日常生活活动和对象,人们的生活方式将发生变化。智能建筑的未来期望包括使居民的体验尽可能简单和舒适。智能建筑设备和设备生成和捕获的大量流数据包含有价值的信息,需要挖掘这些信息以促进及时采取行动和更好地决策。机器学习和大数据分析无疑将在实现此类智能服务的交付方面发挥关键作用。在本文中,我们调查了智能建筑领域,特别关注机器学习和大数据分析技术的作用。该调查还回顾了智能建筑服务发展的当前趋势和面临的挑战。
2019-05-19 cs.CY cs.LG stat.ML
Analyzing Consumer IoT Traffic from Security and Privacy Perspectives: a Comprehensive Survey
Key Laboratory of Data and Intelligent System Security, Ministry of Education, China (DISSec)(数据与智能系统安全重点实验室,教育部,中国(DISSec));Tianjin Key Laboratory of Network and Data Security Technology (NDST)(天津网络与数据安全技术重点实验室(NDST));College of Cryptology and Cyber Science, Nankai University(密码与网络安全科学学院,南开大学);DISSec;NDST;College of Computer Science, Nankai University(计算机科学学院,南开大学);School of Computer Science and Technology, Hangzhou Dianzi University(计算机科学与技术学院,杭州电子科技大学)
本文综述2018年1月至2024年6月的310篇文献,梳理CIoT流量分析流程,按设备指纹、活动推断、恶意流量检测和测量四类归纳研究,并指出未来安全隐私方向。
2025-05-14 cs.AI cs.CR cs.LG
Big Data Meet Cyber-Physical Systems: A Panoramic Survey
Texas A&M University at Qatar(德克萨斯农工大学卡塔尔分校);Virginia Tech(弗吉尼亚理工大学);Universidad de Chile(智利大学);Nanjing University of Science & Technology(南京理工大学);InterDigital Communications, LLC.(InterDigital通信有限责任公司)
网络物理系统(CPS)正在以前所未有的速度发展,通过在环境监测、移动医疗系统、智能交通系统等领域提供新的服务和应用,预计将彻底改变我们的世界。信息和通信技术(ICT)领域的数据流量正在显著增长,智能手机、平板电脑和视频流的广泛使用以及预计在不久的将来传感器部署的显著增长推动了这一趋势。{It}预计将显著提高原始感测数据的增长率。在本文中,我们提出了CPS分类法{via}提供了一个广泛的概述数据汇集,存储,访问,处理和分析。与其他调查论文相比,这是第一份关于CPS大数据的全景调查,我们的目标是提供CPS不同方面的全景总结。此外,CPS {需要}网络安全来保护{它们}免受恶意攻击和未经授权的入侵,这{成为}网络中不断生成的大量数据的挑战。{Thus,我们还提供了针对CPS大数据存储、访问和分析提出的不同安全解决方案的概述。我们还讨论了大数据在CPS背景下应对绿色挑战。
2018-10-29 cs.LG stat.ML
Big Networks: A Survey
Dalian University of Technology(大连理工大学);University of Miami(迈阿密大学);Federation University Australia(澳大利亚联邦大学)
网络是用顶点和链接来表示复杂系统的典型表达形式,其中网络组件之间的交互模式是错综复杂的。网络可以是不随时间变化的静态网络,也可以是随时间演变的动态网络。在网络规模爆炸式增长的新形势下,网络分析的复杂性也随之发生了变化。本文介绍了一个新的网络科学概念--大网络。大网络一般规模较大,内部结构复杂,层次较高。本文提出了一个指导性框架,从大网络的角度深入了解网络科学领域的主要主题。本文首先从微观、中观和宏观三个层次介绍了大网络的结构特征。然后,我们讨论大型网络分析的一些最先进的高级主题。系统地介绍了大网络模型及其相关方法,包括排序方法、划分方法和网络嵌入算法。然后回顾了大网络中的一些典型应用,如社区发现、链接预测、推荐等,并指出了一些需要进一步研究的关键问题。
2020-08-09 cs.LG cs.SI physics.data-an
Traffic Prediction with Transfer Learning: A Mutual Information-based Approach
在现代交通管理中,最基本也是最具挑战性的任务之一是准确、及时地预测交通量。已经充分研究和检验了基于深度学习的时空模型在利用交通数据中的时空关系时具有优势。通常,数据驱动模型需要大量数据,但由于设备部署和维护成本等限制,在小城市收集数据可能很困难。为了解决这个问题,我们提出了一种跨城市交通预测方法,它使用来自其他城市的大数据来帮助数据稀缺的城市进行交通预测。利用基于相似性的转移范式,它识别数据相似性,并减少由来自遥远城市的两个数据分布之间的差异引起的负转移。此外,建议的方法采用图形重建技术,以纠正缺陷的数据从小数据城市。通过对三个真实世界数据集的综合案例研究,对ApricTL进行了评估,其性能优于最先进的基线约8%至25%。
2023-03-13 cs.AI cs.LG
A Survey of Machine Learning for Big Code and Naturalness
Microsoft Research(微软研究院);University College London(伦敦大学学院);University of California, Davis(加州大学戴维斯分校);University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所)
在机器学习、程序设计语言和软件工程的交叉点上的研究最近在提出利用代码丰富模式的源代码的可学习概率模型方面迈出了重要的一步。在这篇文章中,我们调查这项工作。我们对比程序设计语言和自然语言,并讨论这些相似性和差异如何驱动概率模型的设计。我们提出了一个分类的基础上,每个模型的基本设计原则,并使用它来浏览文献。然后,我们回顾了研究人员如何将这些模型应用于应用领域,并讨论了跨领域和特定应用的挑战和机遇。
2018-05-05 cs.LG cs.PL cs.SE
Call Detail Records Driven Anomaly Detection and Traffic Prediction in Mobile Cellular Networks
University of Science and Technology Beijing(北京科技大学);COMSATS University Islamabad(COMSATS伊斯兰堡大学)
移动网络拥有关于用户以及网络的信息。这些信息对于使网络端到端可见和智能化非常有用。大数据分析可以有效地分析用户和网络信息,在机器学习工具的帮助下挖掘有意义的见解。利用大数据分析和机器学习,这项工作在三个方面做出了贡献。首先,我们利用呼叫详细记录(CDR)数据来检测网络中的异常。对于异常的认证和验证,我们使用k-means聚类,一种无监督的机器学习算法。通过对异常的有效检测,我们可以进行适当的资源分配设计以及故障检测和避免。其次,我们通过去除异常活动来准备无异常数据,并训练神经网络模型。通过将异常数据和无异常数据通过该模型,我们观察了异常活动对模型训练的影响,并观察了异常数据和无异常数据的均方误差。最后,我们使用自回归综合移动平均(ARIMA)模型来预测未来的流量为用户。通过简单的可视化,我们表明,无异常数据更好地概括了学习模型,并在预测任务上表现得更好。
2018-07-30 cs.AI cs.LG stat.ML
A Survey on Data Collection for Machine Learning: a Big Data -- AI Integration Perspective
KAIST(韩国科学技术院)
数据汇集是机器学习中的一个主要瓶颈,也是多个社区中的一个活跃研究课题。数据汇集最近成为一个关键问题,主要有两个原因。首先,随着机器学习的使用越来越广泛,我们看到新的应用程序不一定有足够的标记数据。其次,与传统的机器学习不同,深度学习技术自动生成特征,这节省了特征工程成本,但反过来可能需要更大量的标记数据。有趣的是,最近的数据汇集研究不仅来自机器学习、自然语言和计算机视觉社区,而且由于处理大量数据的重要性,也来自数据管理社区。在本调查中,我们从数据管理的角度对数据汇集进行了全面的研究。数据汇集主要包括数据采集、数据标记和现有数据或模型的改进。我们提供了这些操作的研究环境,提供了何时使用哪种技术的指导方针,并确定了有趣的研究挑战。机器学习和数据管理的集成用于数据汇集是大数据和人工智能(AI)集成的更大趋势的一部分,并为新的研究开辟了许多机会。
2019-08-12 cs.LG stat.ML
Understanding Dynamic Spatio-Temporal Contexts in Long Short-Term Memory for Road Traffic Speed Prediction
Yonsei University(延世大学)
本研究提出一种动态局部化长短期记忆模型,结合空间与时间依赖及动态权重矩阵,提升道路交通速度预测性能,优于两种基线方法。
2023-06-17 cs.AI cs.LG
AUC Maximization in the Era of Big Data and AI: A Survey
Texas A&M University(得克萨斯农工大学);University at Albany, SUNY(纽约州立大学奥尔巴尼分校)
ROC曲线下面积,也称为AUC是用于评估分类器对不平衡数据的性能的选择度量。AUC最大化是指通过直接最大化其AUC得分来学习预测模型的学习范式。它已经被研究了二十多年,可以追溯到90年代后期,从那时起,大量的工作一直致力于AUC最大化。最近,大数据的随机AUC最大化和深度学习的深度AUC最大化受到越来越多的关注,并对解决现实世界的问题产生了巨大的影响。然而,据我们所知,没有全面调查的相关工作AUC最大化。本文旨在通过回顾过去二十年的文献来弥补这一差距。我们不仅给出了一个整体的文献,但也提出了详细的解释和比较不同的文件,从配方算法和理论保证。我们还确定和讨论了深度AUC最大化的剩余和新出现的问题,并为未来的工作提供了建议。
2022-08-03 cs.AI cs.LG math.OC
Generative AI and Federated Learning for Intrusion Detection Systems: A Survey
Department of Computer Science, New Mexico State University(新墨西哥州立大学计算机科学系);University of Hartford(哈特福德大学);DEVCOM Analysis Center(DEVCOM分析中心)
本文综述了生成式AI和联邦学习在入侵检测中的应用,涵盖模型分类、任务目标及集成方法,并讨论了数据质量、对抗风险等挑战。
2026-07-03 cs.AI cs.CR cs.LG
A Comprehensive Survey on Enterprise Financial Risk Analysis from Big Data and LLMs Perspective
Southwestern University of Finance and Economics(西南财经大学);Chengdu University(成都大学);Universität Hamburg(汉堡大学);The University of Hong Kong(香港大学);Hunan University of Technology and Business(湖南工业大学);Xiangjiang Laboratory(湘江实验室);Emory University(埃默里大学)
本文从大数据和大语言模型视角综述企业财务风险分析,系统梳理现有方法,总结研究方法与关键发现,指出当前局限并提出未来研究方向。
2026-03-25 cs.AI cs.LG q-fin.RM
Deep Reinforcement Learning for Intelligent Transportation Systems: A Survey
最新的技术改进提高了运输质量。新的数据驱动方法为所有基于控制的系统带来了新的研究方向,例如,在交通、机器人、物联网和电力系统中。将数据驱动的应用程序与交通系统相结合在最近的交通应用中起着关键作用。在本文中,最新的深度强化学习(RL)为基础的交通控制应用进行了调查。具体而言,交通信号控制(TSC)的应用程序的基础上(深)RL,这已被广泛研究的文献中,详细讨论。不同的问题配方,RL参数,和仿真环境的TSC进行了全面讨论。在文献中,也有一些使用深度RL模型研究的自动驾驶应用。我们的调查广泛总结了现有的作品在这一领域进行分类,它们与应用类型,控制模型和研究算法。最后,我们讨论了基于深度RL的交通应用的挑战和开放性问题。
2020-05-02 cs.LG cs.MA cs.SY