Network slicing for vehicular communications: a multi-agent deep reinforcement learning approach
研究了基于非正交多址接入和网络切片的车载网络多智能体资源分配问题。为了确保不同车辆的异构服务需求,我们提出了一个网络切片架构。我们专注于一个非蜂窝网络的情况下,车辆通信的广播方法,通过直接的设备到设备接口。在这样的车辆网络中,车辆之间的资源分配非常困难,这主要是由于(i)高度移动的车辆之间的无线信道的快速变化以及(ii)缺乏中央协调点。因此,排除了获取瞬时信道状态信息以执行集中式资源分配的可能性。因此,所考虑的资源分配问题非常复杂。它不仅包括通常的频谱和功率分配,还包括覆盖范围选择(向哪些目标车辆广播)和分组选择(使用哪个网络切片)。这个问题必须联合解决,因为选择的数据包可以使用NOMA覆盖,因此频谱和功率必须仔细分配,以实现更好的车辆覆盖。为此,我们提供了一个优化方法,并研究了NP-困难的问题。然后,我们使用多智能体马尔可夫决策过程模型的问题。最后,我们使用深度强化学习(DRL)方法来解决这个问题。建议的DRL算法是实用的,因为它可以实现在一个在线和分布式的方式。我们表明,我们的方法是强大的和有效的,当面对不同的变化的网络参数和集中的基准相比。
2022-01-27 cs.NI
Optimizing Vehicular Networks with Variational Quantum Circuits-based Reinforcement Learning
York University(约克大学)
本文提出基于变分量子电路的多目标强化学习框架,用于车载网络中的网络选择与自动驾驶决策,相比传统深度Q网络在收敛速度和奖励上均有显著提升。
2024-05-29 cs.AI cs.LG cs.NI
Continual Meta-Reinforcement Learning for UAV-Aided Vehicular Wireless Networks
University of Bologna(博洛尼亚大学);King’s College London(伦敦国王学院)
无人空中基站(UABS)可以部署在车载无线网络中,以支持诸如通过车联网(V2X)服务的扩展感测等应用。在这样的系统中的一个关键问题是设计算法,可以有效地优化轨迹的UABS,以最大限度地提高覆盖率。在现有的解决方案中,通常通过传统的强化学习(RL),对于任何新的业务配置从头开始执行这种优化。在本文中,我们建议使用连续元RL作为一种手段,将信息从以前经历的交通配置转移到新的条件下,目标是减少优化UABS的政策所需的时间。采用连续Meta策略搜索(CoMPS)策略,我们证明了显着的效率提高相比,传统的RL,以及天真的迁移学习方法。
2022-10-05 cs.LG cs.NI
Deep Reinforcement Learning-based Content Migration for Edge Content Delivery Networks with Vehicular Nodes
针对含车载节点的边缘CDN缓存容量受限问题,提出利用相邻边缘缓存替代删除的内容迁移策略,并采用深度强化学习选择迁移内容与目标缓存,使访问时延成本最高降低70%。
2023-07-18 cs.NI
A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach for UAV-Assisted Vehicular Networks with Delayed CSI Feedback
针对延迟CSI下无人机辅助车载网络的资源、功率与高度联合优化问题,提出Lyapunov引导的D3PG扩散强化学习算法,在能量约束下提升和速率。
2025-07-28 cs.NI
Quality-Cost Trade-off on Constructing Logical Views for Vehicular Cyber-Physical Systems: A Deep Reinforcement Learning Approach
本文针对车联网信息物理系统逻辑视图构建中的质量与成本平衡问题,提出基于分布式深度确定性策略梯度的优化方法,通过联合决策感知与上传参数实现视图质量最大化与成本最小化。
2023-09-19 cs.NI
Deadline-Aware Multi-Agent Reinforcement Learning for TSN-Based Vehicular Edge Networks
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);University of Ottawa(渥太华大学);University of Antwerp - imec(安特卫普大学-imec)
本文提出基于MAPPO的多智能体强化学习框架,用于TSN车载边缘网络的队列级调度,联合优化服务顺序与时隙,显著降低延迟并提高可靠性。
2026-10-08 cs.AI cs.NI
VeSoNet: Traffic-Aware Content Caching for Vehicular Social Networks based on Path Planning and Deep Reinforcement Learning
针对车载社交网络严格时延下的内容交付难题,提出融合图剪枝路径规划、vehicle2vec社交内容推荐与DRL缓存分布优化的车载边缘计算架构。
2021-11-10 cs.CY cs.NI cs.SI
Multi-Agent Deep Reinforcement Learning in Vehicular OCC
University of Essex(埃塞克斯大学)
光学相机通信(OCC)已成为未来自动驾驶汽车无缝运行的关键技术。本文介绍了一种车载OCC中的频谱效率优化方法。具体而言,我们的目标是在尊重比特出错率和延迟约束的同时最佳地适应调制阶数和相对速度。由于优化问题是NP难问题,我们将优化问题建模为马尔可夫决策过程(MDP),以便使用可以在线应用的解决方案。然后,我们采用拉格朗日松弛方法放松约束问题,然后通过多智能体深度强化学习(DRL)解决它。我们通过大量的模拟验证了我们提出的方案的性能,并将其与我们的方法和随机方法的各种变体进行比较。评估结果表明,我们的系统实现了显着更高的总和频谱效率相比,比较方案。
2022-05-05 cs.IT cs.LG cs.MA
Scheduling Out-of-Coverage Vehicular Communications Using Reinforcement Learning
Huawei Technologies Duesseldorf GmbH(华为技术杜塞尔多夫有限公司);Technische Universität Berlin(柏林工业大学)
车对车(V2V)通信的性能在很大程度上取决于所采用的调度方法。虽然集中式网络路由器提供高V2V通信可靠性,但它们的操作通常限于具有全蜂窝网络覆盖的区域。相反,在蜂窝覆盖区域外,使用相对低效的分布式无线电资源管理。为了利用集中式方法的优势来增强缺乏蜂窝网络覆盖的道路上V2V通信的可靠性,我们提出了VRLS(车辆强化学习),这是一种集中式调度器,可以主动为覆盖范围外的V2V通信\textit{before}车辆离开蜂窝网络覆盖范围分配资源。通过在模拟车辆环境中进行训练,VRLS可以学习鲁棒且适应环境变化的调度策略,从而无需在复杂的现实环境中进行有针对性的(重新)训练。我们评估VRLS在不同的移动性,网络负载,无线信道和资源配置下的性能。VRLS通过在高负载条件下将分组出错率降低一半并在低负载情况下实现接近最大的可靠性,在没有蜂窝网络覆盖的区域中优于最先进的分布式调度算法。
2022-07-13 cs.AI cs.NI eess.SP
Reinforcement Learning-based Dynamic Service Placement in Vehicular Networks
National University of Singapore(新加坡国立大学)
随着5G和移动边缘计算等技术的出现,车辆网络中的车辆可以获得不同资源和服务需求的不同类型服务,而不同类型服务请求中的交通移动模式和动态变化的复杂性日益增加,使得服务部署成为一项具有挑战性的任务。典型的静态放置解决方案并不有效,因为它没有考虑流量移动性和服务动态性。在本文中,我们提出了一个基于强化学习的动态(RL-Dynamic)服务放置框架,以找到最佳的服务放置在边缘服务器,同时考虑车辆的移动性和动态的请求不同类型的服务。我们使用SUMO和MATLAB进行仿真实验。在我们的学习框架中,对于决策模块,我们考虑了两个备选目标函数-最小化延迟和最小化边缘服务器利用率。我们开发了一个ILP为基础的问题制定的两个目标函数。实验结果表明:1)与静态服务放置相比,基于RL的动态服务放置实现了边缘服务器资源的公平利用和较低的服务延迟; 2)与延迟优化放置相比,服务器利用率优化放置更有效地利用了资源,在边缘服务器利用率较低的情况下实现了较高的公平性。
2021-06-01 cs.LG cs.NI
Decentralized Power Allocation for MIMO-NOMA Vehicular Edge Computing Based on Deep Reinforcement Learning
车载边缘计算(VEC)被认为是处理车载用户(VU)爆炸性计算任务的一种很有前途的方法。在VEC系统中,每个VU通过卸载来分配功率以处理部分任务,并且通过本地执行来处理剩余的任务。在卸载过程中,每个VU采用多入多出非正交多址(MIMO-NOMA)信道,以提高信道频谱效率和容量。然而,由于MIMO-NOMA信道引起的VU之间的信道干扰和每个VU的移动性引起的时变路径损耗,信道条件是不确定的。此外,在现实世界中,每个VU的任务到达是随机的。任务到达的随机性和信道条件的不确定性对每个VU的功耗和延迟有很大影响。在MIMO-NOMA VEC中,考虑随机任务到达和信道变化,设计最优的功率分配方案,以优化包括功耗和延迟在内的长期回报是至关重要的。与传统的集中式深度强化学习(DRL)方案不同,本文构建了一个分散式深度强化学习框架,将局部观测值作为状态来表达功率分配优化问题。采用深度确定性策略梯度(DDPG)算法学习基于分散式DRL框架的最优功率分配方案。仿真结果表明,我们提出的功率分配方案优于现有的计划。
2021-12-29 cs.NI eess.SP
Vehicle Speed Aware Computing Task Offloading and Resource Allocation Based on Multi-Agent Reinforcement Learning in a Vehicular Edge Computing Network
对于车载应用,具有不同速度的车辆具有不同的延迟要求。然而,车辆速度尚未被广泛探索,这可能导致车辆速度与其分配的计算和无线资源之间的不匹配。在本文中,我们提出了一种车辆速度感知的任务卸载和资源分配策略,以减少执行任务的能量消耗,而不超过延迟约束。首先,我们建立了基于不同速度和任务类型的车辆速度感知延迟约束模型。然后,计算了VEC服务器和本地终端执行任务的延迟和能量消耗。接下来,我们制定了一个联合优化的任务卸载和资源分配,以最大限度地减少车辆的能源成本受延误的约束。采用MADDPG方法得到了卸载和资源分配策略。仿真结果表明,该算法在能量消耗和任务完成延迟方面具有较好的性能。
2020-08-19 cs.NI eess.SP
DDPG-based Resource Management for MEC/UAV-Assisted Vehicular Networks
在本文中,我们研究联合车辆关联和多维资源管理的车辆网络辅助多访问边缘计算(MEC)和无人机(UAV)。为了有效地管理MEC安装的基站和UAV的可用频谱、计算和缓存资源,在中央控制器处制定并执行资源优化问题。考虑到规划问题求解时间过长和车辆应用对延迟的敏感要求,本文采用强化学习对优化问题进行转化,设计了基于深度确定性策略梯度(DDPG)的解决方案。通过离线训练基于DDPG的资源管理模型,可以快速获得最优的车辆关联和资源分配决策。仿真结果表明,基于DDPG的资源管理方案可以收敛在200集内,并实现更高的延迟/服务质量的满意度比比随机方案。
2020-08-19 cs.NI
Eco-Vehicular Edge Networks for Connected Transportation: A Distributed Multi-Agent Reinforcement Learning Approach
本文介绍了一种节能、软件定义的车辆边缘网络,用于日益增长的智能互联交通系统。联合以用户为中心的虚拟小区的形成和资源分配问题进行了研究,使生态解决方案的边缘。这个联合问题的目的是在保持可靠性和数据速率的同时对抗高功耗的边缘节点。更具体地说,通过优先考虑动态生态路由的下行链路通信,高度移动的自动驾驶车辆同时使用多个低功率接入点(AP)进行服务,以实现无处不在的连接和网络的可靠性保证。由于其复杂的组合结构,制定的优化是非常麻烦的多项式时间内解决。因此,提出了一种分布式多智能体强化学习(D-MARL)算法的生态车辆边缘,其中多个智能体合作学习,以获得最佳的回报。首先,该算法将集中式动作空间分割成多个较小的组。基于无模型的分布式Q学习器,每个边缘代理从各自的组中采取行动。此外,在每个学习状态下,软件定义的控制器从分布式代理的各个最佳动作中选择全局最佳动作。数值结果验证了我们的学习解决方案在少量的训练集内实现了接近最优的性能,与现有的基线相比。
2020-06-17 cs.NI cs.SY eess.SY
Digital Twin-Enabled Mobility-Aware Cooperative Caching in Vehicular Edge Computing
Guangxi Normal University(广西师范大学);Key Laboratory of Education Blockchain and Intelligent Technology, Ministry of Education(教育部教育区块链与智能技术重点实验室);Guangxi Key Laboratory of Brain-inspired Computing and Intelligent Chips(广西脑启发计算与智能芯片重点实验室);Guangxi Key Laboratory of Multi-Source Information Mining and Security(广西多源信息挖掘与安全重点实验室);University Engineering Research Center of Educational Intelligent Technology(教育智能技术大学工程研究中心);School of Computer Science and Engineering(计算机科学与工程学院);PCA Lab(PCA实验室);Key Lab of Intelligent Perception and Systems for High-Dimensional Information of Ministry of Education(教育部高维信息智能感知与系统重点实验室)
本文提出DAPR框架,通过数字孪生和深度强化学习优化车联网边缘缓存,提升缓存命中率和减少传输延迟。
2026-02-28 cs.NI
Optimal Beam Association for High Mobility mmWave Vehicular Networks: Lightweight Parallel Reinforcement Learning Approach
University of Technology Sydney(悉尼科技大学)
在智能交通系统(ITS)中,期望车辆具有要求超高数据率和低延迟通信的高级应用和服务。为此,毫米波(mmWave)通信已经成为非常有前途的解决方案。然而,由于车辆的高机动性和毫米波波束对动态阻塞的固有敏感性,将毫米波纳入ITS特别具有挑战性。本文通过为高移动性下的毫米波车载网络开发最佳波束关联框架来解决这些问题。具体来说,我们使用半马尔可夫决策过程来捕捉环境的动态性和不确定性。Q-学习算法通常用于寻找最优策略。然而,Q学习因其收敛速度慢而臭名昭著。我们没有采用深度强化学习结构(如文献中的大多数作品),而是利用道路上通常有多辆车的事实来加速学习过程。为此,我们开发了一个轻量级的,但非常有效的并行Q-学习算法,快速获得最佳的政策,同时学习各种车辆。大量的模拟表明,我们提出的解决方案可以提高数据率的47%,减少断开概率的29%,相比其他解决方案。
2021-06-07 cs.LG cs.NI eess.SP
Deep Reinforcement Learning for Adaptive Network Slicing in 5G for Intelligent Vehicular Systems and Smart Cities
University of South Florida(南佛罗里达大学);Electrical Engineering Department, University of South Florida(南佛罗里达大学电气工程系);University of South Florida, Tampa, FL 33620, USA(南佛罗里达大学,美国佛罗里达州坦帕市,邮编33620)
智能车辆系统和智慧城市应用是增长最快的物联网(IoT)应用,复合年增长率为30%。鉴于物联网设备的最新进展和人工智能(AI)驱动的新兴物联网应用,最近已为第五代(5G)无线通信引入雾无线电接入网络(F-RAN),以克服云RAN(C-RAN)的延迟限制。我们认为网络切片问题分配有限的资源在网络边缘(雾节点)的车辆和智能城市用户异构的延迟和计算需求在动态环境中。我们开发了一种基于与边缘控制器(EC)协调的雾节点(FN)集群的网络切片模型,以有效地利用网络边缘的有限资源。对于集群中的每个服务请求,EC决定哪个FN执行任务,即,在边缘本地服务请求,或者拒绝任务并将其提交给云。我们将问题表示为无限时域马尔可夫决策过程(MDP),并提出了一种深度强化学习(DRL)解决方案来自适应地学习最优切片策略。建议的DRL为基础的切片方法的性能进行评估,通过比较它与其他切片方法在动态环境中,并为不同的情况下的设计目标。综合仿真结果证实,提出的基于DRL的EC通过与环境的交互快速学习最优策略,从而实现自适应和自动化的网络切片,以在动态车辆和智能城市环境中实现高效的资源分配。
2020-10-19 cs.AI cs.LG cs.NI
FlexEdge: Digital Twin-Enabled Task Offloading for UAV-Aided Vehicular Edge Computing
针对无人机辅助车载边缘计算的资源管理问题,提出基于数字孪生的FlexEdge方案,通过深度强化学习的近端策略优化算法联合优化轨迹与资源,有效降低系统能耗。
2023-04-16 cs.NI
Energy-Efficient Routing Protocol in Vehicular Opportunistic Networks: A Dynamic Cluster-based Routing Using Deep Reinforcement Learning
University of Wollongong(伍伦贡大学)
本文提出一种基于深度强化学习的动态簇路由协议,通过实时最优中继选择和动态簇重叠调整,提升车载机会网络的路由效率与节点寿命。
2026-02-17 cs.NI stat.ME
Deep Reinforcement Learning Based Vehicle Selection for Asynchronous Federated Learning Enabled Vehicular Edge Computing
Jiangnan University(江南大学);Xidian University(西安电子科技大学);Tsinghua University(清华大学);Qualcomm(高通公司)
针对车载边缘计算中异步联邦学习受车辆异构性和坏节点影响全局聚合质量的问题,提出基于深度强化学习的车辆选择方案,通过构建状态、动作和奖励模型有效剔除坏节点并提升全局模型聚合精度。
2023-04-06 cs.LG cs.NI
A Reinforcement Learning Approach to Jointly Adapt Vehicular Communications and Planning for Optimized Driving
IIIT-Delhi(印度德里印度理工学院)
本文提出一种强化学习方法,用于联合优化自动驾驶车辆的通信与运动规划,通过模拟验证了该方法在提升驾驶效益方面的有效性。
2018-07-10 cs.NI cs.RO cs.SY
Energy Efficient Orchestration in Multiple-Access Vehicular Aerial-Terrestrial 6G Networks
Oulu University(奥卢大学);Ruhr University Bochum (RUB)(鲁尔大学波鸿分校);ICTFICIAL Oy(ICTFICIAL公司);Universitat Politècnica de València(瓦伦西亚理工大学)
本文提出一种新型框架,整合无人机轨迹规划、多接入控制和服务放置,以实现高效能服务覆盖和超低延迟通信,解决动态车载环境中的干扰、资源稀缺和移动性挑战。
2026-03-29 cs.NI
A Q-Learning Approach for Dynamic Resource Management in Three-Tier Vehicular Fog Computing
Razi University(拉齐大学);Kermanshah University of Technology(克尔曼沙赫理工大学)
本文提出基于Q学习的动态资源管理方法,用于优化车载雾计算环境中的资源分配,通过强化学习提升系统性能和任务处理效率。
2026-02-16 cs.NI
Acting Selfish for the Good of All: Contextual Bandits for Resource-Efficient Transmission of Vehicular Sensor Data
作为一种新的基于客户端的方法,用于延迟容忍车辆传感器数据的资源有效的机会传输。BS-CB采用一种混合方法,将所有主要的机器学习学科-监督、无监督和强化学习-结合在一起,以便根据预期的资源效率自主调度车辆传感器数据传输。在三个移动网络运营商(MNO)的公共蜂窝网络中的综合真实世界性能评估中,发现1)平均上行数据率提高了125%-195% 2)数据率优化的明显自私目标减少了占用小区资源量的84%-89% 3)平均传输相关功耗可以减少53%-4)代价是由于机会主义介质访问策略而导致的额外缓冲延迟。
2020-07-20 cs.NI eess.SP
Client-Based Intelligence for Resource Efficient Vehicular Big Data Transfer in Future 6G Network
汽车大数据有望成为汽车行业的“新石油”,推动新型众测服务的发展。然而,传输的大量车辆传感器数据代表了蜂窝网络的巨大挑战。实现缓解的一种有前途的方法是利用端边缘云设备上的智能,这种方法允许以更有效的方式利用现有的网络资源。通过基于机器学习的对高资源效率的数据传输机会的识别和利用,客户端设备能够参与整个网络资源优化过程。在这项工作中,我们提出了一种新的基于客户端的机会数据传输方法的延迟容忍的应用程序,这是基于混合机器学习方法:监督学习是用来预测当前可实现的数据率作为度量的强化学习为基础的数据传输调度过程。此外,应用无监督学习来揭示预测模型中的地理空间相关的不确定性。在一个全面的真实世界的评估,在公共蜂窝网络的三个德国移动网络运营商(MNO),我们表明,平均数据率可以提高高达223%,同时减少占用的网络资源量高达89%。由于更倾向于在更稳健的网络条件下进行数据传输,因此与传输相关的功耗降低了73%。付出的代价是传感器数据的信息时代(AoI)的增加。
2021-02-17 cs.NI
Generalized Multi-Objective Reinforcement Learning with Envelope Updates in URLLC-enabled Vehicular Networks
Department of Electrical Engineering and Computer Science, York University(电气工程与计算机科学系,约克大学)
针对支持URLLC的多频段车载网络,提出带凸包络更新的广义MORL框架,联合优化网络选择与驾驶策略,可适配任意目标偏好,实现安全驾驶与通信性能的协同提升。
2025-06-14 cs.AI cs.LG cs.NI
Fuzzy Q-Learning-Based Opportunistic Communication for MEC-Enhanced Vehicular Crowdsensing
本文针对MEC增强车联网众包系统,提出一种结合Q-learning与模糊逻辑的机会通信卸载策略,在保证99%数据包时延达标的同时降低30-40%的4G通信成本。
2024-05-02 cs.NI
Meeting Deadlines in Motion: Deep RL for Real-Time Task Offloading in Vehicular Edge Networks
University of Ottawa(渥太华大学)
本文提出利用深度强化学习优化车载边缘网络中的实时任务卸载,通过实验验证DQN模型在减少任务执行时间和延迟方面的有效性。
2025-07-12 cs.NI
V2N Service Scaling with Deep Reinforcement Learning
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学院);Departamento de Ingeniería Telemática, Universidad Carlos III de Madrid(马德里卡洛斯三世大学电信系)
针对5G边缘计算中V2N通信的服务扩展问题,提出基于DDPG并引入离散化方法的深度强化学习垂直扩展机制,利用真实车辆轨迹数据集验证,显著减少活动CPU数量并提升长期奖励。
2023-02-01 cs.AI cs.LG cs.NI
Semantic-Aware Resource Allocation Based on Deep Reinforcement Learning for 5G-V2X HetNets
针对5G-V2X异构网络,提出基于深度强化学习的语义感知资源分配框架,联合优化灵活占空比共存与资源分配,最大化语义频谱效率,实验优于传统方法。
2025-06-19 cs.NI eess.SP
Optimizing Age of Information in Vehicular Edge Computing with Federated Graph Neural Network Multi-Agent Reinforcement Learning
School of Internet of Things Engineering, Jiangnan University(江南大学物联网工程学院);Tsinghua University(清华大学);Xidian University(西安电子科技大学);Shanghai Jiao Tong University(上海交通大学);University of Kent(肯特大学);Hong Kong University of Science and Technology(香港科技大学)
针对VEC中通信资源受限的任务卸载与AoI优化问题,提出FGNN-MADRL框架,以图结构建模道路并结合联邦学习与新型MADRL算法,在保护隐私的同时降低决策复杂度并提升性能。
2024-07-01 cs.DC cs.LG cs.MA
Enhancement of High-definition Map Update Service Through Coverage-aware and Reinforcement Learning
本文提出Q学习覆盖时间感知算法,通过优化车载网络服务质量与高精地图更新,在动态车辆场景中显著降低高精地图数据传输时延。
2024-02-08 cs.AI cs.LG cs.NI
Digital Twin Vehicular Edge Computing Network: Task Offloading and Resource Allocation
School of Internet of Things Engineering(物联网工程学院);Jiangnan University(江南大学);Department of Electronic Engineering(电子工程系);Tsinghua University(清华大学)
针对车联网多任务实时计算需求,本文构建数字孪生VEC网络,提出多智能体强化学习方法优化任务卸载与资源分配,实验验证其有效性。
2025-06-18 cs.LG cs.NI
Towards Decentralized Predictive Quality of Service in Next-Generation Vehicular Networks
University of Padova(帕多瓦大学);Delart Technology Services LLC(德拉特技术服务有限责任公司);University of Bologna(博洛尼亚大学)
为了确保远程驾驶场景的安全性,车辆和远程驾驶员之间的通信必须满足严格的延迟和可靠性要求。在这种情况下,预测性服务质量(PQoS)被研究为预测服务质量(QoS)意外降级的工具,并允许网络做出相应的反应。在这项工作中,我们设计了一个强化学习(RL)代理实现PQoS的车载网络。为此,基于在无线电接入网络(RAN)和/或终端车辆收集的数据以及QoS预测,我们的框架能够确定在低延迟和可靠性约束下发送汽车数据的最佳压缩级别。我们考虑了不同的学习方案,包括集中式,完全分布式和联邦学习。我们通过ns-3模拟证明,虽然集中式学习通常优于任何其他解决方案,但分散式学习,特别是联邦学习,在收敛时间和可靠性之间提供了良好的权衡,在隐私和复杂性方面具有积极的影响。
2023-02-22 cs.AI cs.NI
Meta Learning Based Adaptive Cooperative Perception in Nonstationary Vehicular Networks
针对非平稳车载网络中自适应协同感知问题,提出基于 meta RL 的方法,通过学习各 LVN 的通用特征实现快速模型适配,并验证其在不降低奖励的前提下提升收敛速度。
2024-10-01 cs.NI eess.SP
Dynamic Unicast-Multicast Scheduling for Age-Optimal Information Dissemination in Vehicular Networks
York University(约克大学);Thompson Rivers University(汤普森河大学)
本文研究了车辆网络中的信息年龄(AoI)和传输功率消耗最小化的问题,其中路边单元(RSU)向车辆提供关于一组物理过程的及时更新。每个车辆都对保持其关于一个或多个物理过程的信息状态的新鲜度感兴趣。提出了一种框架来优化单播、多播、广播或不向车辆发送更新的决策以及功率分配,以最小化AoI和RSU在时间范围内的功耗。所述问题是混合整数非线性规划问题(MINLP),因此难以获得全局最优解。在这种情况下,我们首先开发了一个蚁群优化(ACO)的解决方案,提供了接近最佳的性能,从而作为一个有效的基准。然后,为了实时实现,我们开发了一个深度强化学习(DRL)框架,该框架在状态空间中捕获车辆的需求和信道条件,并通过动态单播-组播调度动作将进程分配给车辆。提出的算法的复杂性分析。仿真结果描绘了有趣的权衡AoI和功耗作为网络参数的函数。
2022-09-19 cs.LG cs.NI
Artificial Intelligence in Vehicular Wireless Networks: A Case Study Using ns-3
University of Padova(帕多瓦大学);Huawei Technologies Munich Research Center(华为技术慕尼黑研究中心)
人工智能(AI)技术已经成为使无线网络更高效和适应性更强的有力方法。在本文中,我们提出了一个NS-3仿真框架,能够实现AI算法的无线网络的优化。我们的管道包括:(i)一种新的基于几何结构的V2X移动性相关信道模型;(ii)基于ns 3-mmwave模块的5G-NR兼容协议栈的所有层;(iii)一种模拟V2X数据传输的新应用程序;(iv)一种通过AI控制网络的新智能实体。由于其灵活和模块化设计,研究人员可以使用这个工具来实现,训练,并在一个现实的和可控的环境中评估自己的算法。我们在预测服务质量(PQoS)场景中测试了我们的框架的行为,其中AI功能使用强化学习(RL)实现,并证明与不实现AI的基线解决方案相比,它可以促进更好的网络优化。
2022-03-10 cs.AI cs.NI
Generative AI-enabled Vehicular Networks: Fundamentals, Framework, and Case Study
本文研究生成式AI与车载网络融合的应用与挑战,提出多模态语义感知框架,并以V2V为案例给出基于DRL的资源分配方法。
2023-04-21 cs.IT cs.NI math.IT
Dynamic Power Allocation and Virtual Cell Formation for Throughput-Optimal Vehicular Edge Networks in Highway Transportation
本文从用户的角度研究了高速公路交通中的高移动车辆网络。特别地,引入了集中式软件定义架构,其中可以使用边缘服务器的锚节点(AN)来分配、编程和控制集中式资源。与传统网络不同,在传统网络中,典型的用户仅从一个接入点(AP)获得服务,在所提出的系统模型中,车辆用户同时从多个AP获得服务。虽然这增加了被辅助用户的可靠性和频谱效率,但也需要在所有传输时隙中进行精确的功率分配。因此,一个联合的用户关联和功率分配问题,制定实现增强的可靠性和加权用户和速率。然而,制定的问题是一个复杂的组合问题,非常难以解决。因此,细粒度的机器学习算法被用于有效地优化高度移动的车辆网络中的AP的联合用户关联和功率分配。此外,一个分布式的单智能体强化学习算法,即SARL-MARL,提出了获得几乎相同的基因辅助的最佳解决方案内的名义数量的训练集比基线的解决方案。仿真结果表明,该方案优于现有方案,可以达到基因辅助的最优性能。
2020-03-13 cs.NI cs.SY eess.SP
Multi-Objective Offloading Optimization in MEC and Vehicular-Fog Systems: A Distributed-TD3 Approach
针对MEC与车载雾系统中的多目标卸载优化,提出分布式TD3方法,通过强化学习环境实现近乎最优卸载决策,以最小化延迟和能耗,仿真验证了其高效性。
2024-04-19 cs.NI eess.SP
DRL-Based RAT Selection in a Hybrid Vehicular Communication Network
LaBRI CNRS UMR5800, Univ. Bordeaux(波尔多大学 LaBRI 计算机科学实验室(法国国家科学研究中心 UMR5800));Bordeaux INP(波尔多国立高等电子、计算机、电信、数学与机械学院(波尔多 INP))
本文针对单一V2X技术无法满足高可靠低时延需求的问题,提出混合车载通信架构及基于深度强化学习的RAT选择算法,在编队行驶场景中将数据包接收率提升最高30%,并降低20%冗余资源消耗。
2024-04-03 cs.AI cs.NI
Connectivity Management in Satellite-Aided Vehicular Networks with Multi-Head Attention-Based State Estimation
Interdisciplinary Research Center for Intelligent Secure Systems, KFUPM, Saudi Arabia(智能安全系统跨学科研究中心,KFUPM,沙特阿拉伯);Department of Computer Science and Information Engineering, National Taiwan University, Taipei 106319, Taiwan(计算机科学与信息工程系,国立台湾大学,台北106319,台湾);Department of Communication Engineering, National Central University, Taoyuan 320317, Taiwan(通信工程系,国立中央大学,桃园320317,台湾)
本文提出了一种基于多头注意力机制的多智能体强化学习框架,用于卫星辅助车联网中的连接管理,通过自模仿学习和指纹识别提升学习效率和实时决策能力,仿真结果表明其在传输效用方面优于现有基线方法。
2025-08-01 cs.AI cs.NI
GNN-based Multi-Agent Control of Traffic Shockwaves in Sparse Vehicular Ad-hoc Networks
Microsoft(微软公司);GITAM University(吉塔姆大学);National Institute of Technology, Rourkela(鲁尔克拉国家理工学院)
研究稀疏车载自组织网络中交通激波问题,提出集成图神经网络的去中心化多智能体强化学习框架,车辆利用本地信息和邻车交互学习协同控制策略,能有效减少交通激波传播,即使低比例车辆联网时也能减少80%。
2026-08-03 cs.LG cs.NA cs.NI
VoI-Driven Joint Optimization of Control and Communication in Vehicular Digital Twin Network
School of Engineering, University of Guelph(圭尔夫大学工程学院);College of Electrical Engineering and Computer Sciences, Ningbo University(宁波大学电气与计算机科学学院);Department of Electrical and Computer Engineering, University of Waterloo(滑铁卢大学电气与计算机工程系)
面向6G车载数字孪生网络,提出以控制性能定义的VoI连接控制与通信,并通过双DRL模块迭代求解多时间尺度联合优化策略。
2025-05-12 cs.LG cs.NI cs.SY