混合车载通信网络中基于深度强化学习的无线接入技术选择

弥合网络碎片化：一种语义增强的深度强化学习框架用于无人机辅助的VANETs

Bridging Network Fragmentation: A Semantic-Augmented DRL Framework for UAV-aided VANETs

Department of Automation, University of Science & Technology of China（中国科学技术大学自动化系）

本文提出语义增强深度强化学习框架，通过语义推理优化无人机在VANETs中的部署，提升网络连通性与效率。

2026-08-17cs.AIcs.NI

基于多Agent深度强化学习的车载云网络计算资源分配

Multi-Agent Deep Reinforcement Learning enabled Computation Resource Allocation in a Vehicular Cloud Network

在本文中，我们研究了计算资源分配问题，在一个分布式的Ad-Hoc车辆网络没有集中的基础设施的支持。为了支持这种车辆网络中不断增长的计算需求，形成了分布式虚拟云网络（VCN），在此基础上，提出了通过在附近车辆之间卸载的计算资源共享方案。针对虚拟通信网络中计算资源时变的特点，详细分析了计算资源的统计分布特性。在此基础上，提出了一种资源感知的组合优化目标机制。为了缓解VCN中典型的多Agent环境所造成的非平稳环境，我们采用了集中训练和分散执行的框架。此外，针对目标优化问题，我们将其建模为马尔可夫博弈，并提出了基于DRL的多智能体深度确定性强化学习（MADDPG）算法来解决。有趣的是，为了克服VCN中缺乏真正的中央控制单元的困境，分配实际上是以分布式方式在车辆上完成的。仿真结果证明了该方案的有效性。

2020-08-17cs.AIcs.MA

机器联觉（SoM）增强的双动态车载网络ISAC预编码

Synesthesia of Machines (SoM)-Enhanced ISAC Precoding for Vehicular Networks with Double Dynamics

Peking University（北京大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）

针对车载网络双动态场景下ISAC预编码面临的时变信道、目标快速移动及传统方法缺陷问题，提出机器联觉（SoM）增强的预编码范式，结合DRL框架与参数共享演员-评论家架构，实验证明其性能优于现有方法。

2024-12-04cs.AIeess.SP

时间关键型车载应用的带宽预留：多运营商环境下的研究

Bandwidth Reservation for Time-Critical Vehicular Applications: A Multi-Operator Environment

Professorship for Communications Engineering, Technical University Chemnitz（德国开姆尼茨工业大学通信工程教授席位）

针对多MNO环境下车载安全关键应用的带宽预留成本问题，提出结合按区域方法、自适应MDP合成与TFT的Dueling Deep Q-Learning DRL方案，经多阶段训练验证可实现最高40%的成本削减。

2025-03-22cs.AIcs.CRcs.LG

6G-云车辆孪生网络中的轻量级认证任务卸载

Lightweight Authenticated Task Offloading in 6G-Cloud Vehicular Twin Networks

The Ohio State University（俄亥俄州立大学）；BTS Group（BTS集团）；Istanbul Technical University（伊斯坦布尔理工大学）；Memorial University of Newfoundland（纽芬兰纪念大学）；Edinburgh Napier University（爱丁堡龙比亚大学）

本文提出在6G车辆孪生网络中集成轻量级IBC认证与PPO深度强化学习的任务卸载框架，以降低时延并优化资源分配，并量化了认证开销对卸载效率的影响及数据速率提升的补偿效果。

2025-02-05cs.AIcs.CR

针对车联网中深度强化学习框架的对抗攻击

Adversarial Attacks Against Deep Reinforcement Learning Framework in Internet of Vehicles

Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）

机器学习（ML）在广泛的车辆应用中产生了令人难以置信的影响和变革。随着机器学习在车联网（IoV）中的应用不断发展，对抗性威胁及其影响已成为值得探索的重要研究课题。在本文中，我们专注于基于Sybil的对抗性威胁，针对深度强化学习（DRL）辅助的车联网框架，更具体地说，车联网中基于DRL的动态服务放置。我们进行了实验研究，与真实的车辆轨迹，分析不同的攻击场景下的服务延迟和资源拥塞的影响，基于DRL的动态服务放置应用。我们进一步研究了网络中受Sybil攻击的车辆比例的影响。结果表明，性能显着影响Sybil为基础的数据投毒攻击相比，无对手的健康网络的情况下。

2021-09-16cs.AIcs.CRcs.LG

面向车雾计算中延迟优化任务卸载的深度强化学习

Deep Reinforcement Learning for Delay-Optimized Task Offloading in Vehicular Fog Computing

针对车雾计算中任务卸载的延迟优化问题，本文构建含新型车辆移动模型的仿真环境，提出基于深度强化学习的卸载算法，在最小化全局任务延迟与缓解队列拥塞上均优于传统方法，具备自扩展能力。

2024-10-08cs.NI

基于深度强化学习的V2N服务扩展

V2N Service Scaling with Deep Reinforcement Learning

Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学院）；Departamento de Ingeniería Telemática, Universidad Carlos III de Madrid（马德里卡洛斯三世大学电信系）

针对5G边缘计算中V2N通信的服务扩展问题，提出基于DDPG并引入离散化方法的深度强化学习垂直扩展机制，利用真实车辆轨迹数据集验证，显著减少活动CPU数量并提升长期奖励。

2023-02-01cs.AIcs.LGcs.NI

基于深度强化学习的高速公路复发性瓶颈微分变限速控制

Differential Variable Speed Limits Control for Freeway Recurrent Bottlenecks via Deep Reinforcement learning

Beijing Institute of Technology（北京理工大学）；Southeast University（东南大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）

可变车速限制（VSL）控制是一种灵活的方式来改善交通状况，提高安全性和减少排放。利用强化学习技术进行VSL控制是一个新兴的趋势，最近的研究已经显示出有希望的结果。目前，深度学习正在使强化学习能够为以前难以解决的问题开发自主控制代理。提出了一种更有效的深度强化学习（DRL）模型用于差分可变限速（DVSL）控制，该模型可以在车道之间施加动态和不同的限速。建议的DRL模型使用一种新的行动者-评论家架构，可以学习大量的离散速度限制在一个连续的动作空间。采用不同的奖励信号，如总行程时间、瓶颈速度、紧急制动和车辆排放等对DVSL控制器进行训练，并对这些奖励信号进行比较。我们测试建议DRL基于DVSL控制器上模拟高速公路经常性瓶颈。结果表明，该方法可以有效地改善柴油机的效率、安全性和排放。我们还显示了一些有趣的发现，通过可视化的DRL模型产生的控制策略。

2018-10-25cs.AIcs.LGstat.ML

基于NOMA的车辆边缘计算中的联合任务卸载和资源优化：一种博弈论DRL方法

Joint Task Offloading and Resource Optimization in NOMA-based Vehicular Edge Computing: A Game-Theoretic DRL Approach

车辆边缘计算（VEC）成为新兴智能交通系统发展的一个有前途的范例。然而，有限的资源和大量的传输需求给实现具有严格期限要求的车辆应用带来了巨大的挑战。提出了一种基于非正交多址接入（NOMA）的VEC体系结构，异构边缘节点协作进行实时任务处理。本文建立了车辆到基础设施（V2I）传输模型，同时考虑了边缘内和边缘间干扰，并以服务率最大化为目标，通过联合优化任务卸载和资源分配，建立了协作资源优化（CRO）问题。进一步地，我们将CRO分解成两个子问题，即任务卸载和资源分配。特别地，任务卸载子问题被建模为一个精确势博弈（EPG），并提出了一个多智能体分布式深度确定性策略梯度（MAD4PG），以实现纳什均衡。将资源分配子问题分解为两个独立的凸优化问题，利用基于梯度的迭代法和KKT条件，得到了最优解.最后，基于真实车辆轨迹建立仿真模型，并进行全面的性能评估，验证了所提方案的优越性。

2022-10-24cs.NI

DRL-M4MR：一种在SDN中基于DQN深度强化学习的智能组播路由方法

DRL-M4MR: An Intelligent Multicast Routing Approach Based on DQN Deep Reinforcement Learning in SDN

Guilin University of Electronic Technology（桂林电子科技大学）；Fujian University of Technology（福建工程学院）；Peng Cheng Lab.（鹏城实验室）

传统的组播路由方法在构建组播树时存在对网络状态信息获取受限、对网络动态复杂变化的适应性差、数据转发不灵活等问题。针对这些缺陷，将软件定义网络（SDN）中的最优组播路由问题裁剪为多目标优化问题，设计了一种基于深度Q网络（DQN）深度强化学习（DRL）方法的智能组播路由算法DRL-M4 MR，用于构建SDN中的组播树。首先，结合SDN的全局视图和全局控制，设计了DRL代理的状态空间：组播树状态矩阵、链路带宽矩阵、链路时延矩阵和链路丢包率矩阵。第二，代理的动作空间是网络中的所有链路，并在四种情况下设计了将链路添加到当前组播树的动作选择策略。第三，设计了单步和最终的奖励函数形式来指导智能决策以构造最优的组播树。实验结果表明，与现有算法相比，DRL-M4 MR构造的组播树在训练后能获得更好的带宽、时延和丢包率性能，并能在动态网络环境下做出更智能的组播路由决策。

2022-07-31cs.AIcs.NI

基于轨迹预测的AIoT赋能车载元宇宙中动态Avatar迁移的多智能体深度强化学习

Multi-Agent Deep Reinforcement Learning for Dynamic Avatar Migration in AIoT-enabled Vehicular Metaverses with Trajectory Prediction

Guangdong University of Technology（广东工业大学）；Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Sun Yat-sen University（中山大学）；University of Sydney（悉尼大学）

本文针对车载元宇宙中Avatar任务迁移面临的车辆高移动性等挑战，提出基于轨迹预测与多智能体深度强化学习的动态迁移框架，将问题转化为POMDP并去中心化求解，有效降低任务执行延迟并提升用户沉浸体验。

2023-06-26cs.AIcs.LGeess.SP

基于变分量子电路强化学习的车载网络优化

Optimizing Vehicular Networks with Variational Quantum Circuits-based Reinforcement Learning

York University（约克大学）

本文提出基于变分量子电路的多目标强化学习框架，用于车载网络中的网络选择与自动驾驶决策，相比传统深度Q网络在收敛速度和奖励上均有显著提升。

2024-05-29cs.AIcs.LGcs.NI

降低学习难度：一步两批判深度强化学习在逆变器电压无功控制中的应用

Reducing Learning Difficulties: One-Step Two-Critic Deep Reinforcement Learning for Inverter-based Volt-Var Control

Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学清华-伯克利深圳学院）；Shanghai University of Electric Power（上海电力大学）；Tsinghua University（清华大学）；Beihang University（北京航空航天大学）；Digital Grid Research Institute, China Southern Power Grid（中国南方电网数字电网研究院）

提出了一种用于有源配电网逆变器电压无功控制的一步两点深度强化学习（OSTC-DRL）方法。首先，考虑到IB-VVC可以用单周期优化问题表示，我们将IB-VVC表示为一步马尔可夫决策过程而不是标准的马尔可夫决策过程，这简化了DRL学习任务。在此基础上，我们设计了一步行动者-评论者DRL方案，该方案是现有DRL算法的简化版本，成功地避免了Q值高估的问题。此外，考虑到VVC的两个目标：最小化功率损耗和消除电压违规，我们使用两个批评近似的两个目标的回报分别。该方法简化了每个评价者的近似任务，避免了评价者学习过程中两个目标之间的交互作用。OSTC-DRL方法集成了一步行动者-评论者DRL方案和两个评论者技术。在OSTC-DRL算法的基础上，设计了两种集中式DRL算法。进一步，我们将OSTC-DRL扩展为多代理OSTC-DRL，并设计了两个多代理DRL算法。仿真结果表明，所提出的OSTC-DRL具有更快的收敛速度和更好的控制性能，多智能体OSTC-DRL能够很好地解决分散IB-VVC问题.

2022-07-01cs.AI

Don 't Watch Me：A Spatio-Temporal Trojan Attack on Deep-强化学习-Augment自动驾驶

Don't Watch Me: A Spatio-Temporal Trojan Attack on Deep-Reinforcement-Learning-Augment Autonomous Driving

Northwestern Polytechnical University（西北工业大学）

深度强化学习（Deep Reinforcement Learning，DRL）是实现自动驾驶（autonomous driving，AD）系统的最常用算法之一。DRL的关键成功因素是它包含了深度神经网络的感知能力，但已被证明易受特洛伊木马攻击。特洛伊木马攻击已经在监督学习（SL）任务（例如，图像分类），但很少在顺序决策任务解决的DRL。因此，在本文中，我们探讨木马攻击DRL AD任务。首先，我们提出了一种基于递归神经网络和注意力机制的时空DRL算法，证明了时空交通特征的捕获是DRL增强AD系统有效性和安全性的关键因素。然后，我们设计了一个时空特洛伊木马攻击DRL政策，触发器隐藏在一系列的空间和时间的流量特征，而不是一个单一的即时状态，在现有的特洛伊木马SL和DRL任务。使用我们的特洛伊木马，对手充当周围的正常车辆，可以通过特定的时空驾驶行为触发攻击，而不是物理或无线访问。通过大量的实验，我们发现，虽然捕获时空流量特征可以提高DRL针对不同AD任务的性能，但由于我们设计的特洛伊木马具有高度的隐蔽性（各种时空触发模式）、有效性（性能变化率小于3.1%，攻击成功率超过98.5%），并且可持续到现有的高级防御，因此它们会遭受特洛伊木马攻击。

2022-11-22cs.AIcs.CRcs.LG

车载网络中使用深度强化学习的频谱共享

Spectrum Sharing using Deep Reinforcement Learning in Vehicular Networks

School of Computing；Engineering University of Huddersfield Huddersfield, United Kingdom

针对车载网络动态环境中频谱分配困难的问题，提出DQN模型利用深度强化学习实现高效频谱共享，实验证明SARL和MARL模型能提升V2V通信率并使累积奖励最大化。

2024-10-16cs.AIeess.SP

车载机会网络中的节能路由协议：一种基于深度强化学习的动态簇路由

Energy-Efficient Routing Protocol in Vehicular Opportunistic Networks: A Dynamic Cluster-based Routing Using Deep Reinforcement Learning

University of Wollongong（伍伦贡大学）

本文提出一种基于深度强化学习的动态簇路由协议，通过实时最优中继选择和动态簇重叠调整，提升车载机会网络的路由效率与节点寿命。

2026-02-17cs.NIstat.ME

基于深度强化学习的道路交通交叉口驾驶自我安全意识研究

Self-Awareness Safety of Deep Reinforcement Learning in Road Traffic Junction Driving

University of South Australia（南澳大利亚大学）；University of Tasmania（塔斯马尼亚大学）；University of Technology Sydney（悉尼科技大学）

自动驾驶一直处于公众利益的最前沿，而广泛关注的一个关键辩论是交通系统的安全性。深度强化学习（DRL）已被应用于自动驾驶，为避障提供解决方案。然而，在道路交通路口场景中，车辆通常从运输环境接收部分观测，而DRL需要依靠长期奖励来通过最大化累积奖励来训练可靠的模型，这可能在探索新动作并在碰撞的情况下返回正奖励或惩罚时承担风险。虽然在设计奖励函数时通常会考虑安全问题，但它们并没有完全被视为直接评估DRL算法在自动驾驶中有效性的关键指标。在这项研究中，我们评估了三个基线DRL模型（DQN，A2 C和PPO）的安全性能，并提出了一个自我意识模块，从注意力机制的DRL，以改善在复杂的道路交通路口环境中的异常车辆的安全评估，如交叉口和环形交叉口的情况下，基于四个指标：碰撞率，成功率，冻结率和总奖励。我们在训练和测试阶段的两个实验结果显示，基线日间行车线的安全性能较差，而我们提出的自我意识注意力-DQN可以显着提高交叉口和环形交叉口场景的安全性能。

2022-01-20cs.AIcs.LG

基于理性准则评估交互式自动驾驶中基于场景的决策：一项综述

Evaluating Scenario-based Decision-making for Interactive Autonomous Driving Using Rational Criteria: A Survey

James Watt School of Engineering, University of Glasgow（格拉斯哥大学詹姆斯·瓦特工程学院）

本文综述了深度强化学习在高速公路、匝道合流、环岛和无信号交叉口等典型场景中的自动驾驶决策应用，并提出DDTUI五项理性准则对现有算法进行系统评估，指出未来研究方向。

2025-01-03cs.AIcs.ROcs.SY

车辆通信网络切片：一种多智能体深度强化学习方法

Network slicing for vehicular communications: a multi-agent deep reinforcement learning approach

研究了基于非正交多址接入和网络切片的车载网络多智能体资源分配问题。为了确保不同车辆的异构服务需求，我们提出了一个网络切片架构。我们专注于一个非蜂窝网络的情况下，车辆通信的广播方法，通过直接的设备到设备接口。在这样的车辆网络中，车辆之间的资源分配非常困难，这主要是由于（i）高度移动的车辆之间的无线信道的快速变化以及（ii）缺乏中央协调点。因此，排除了获取瞬时信道状态信息以执行集中式资源分配的可能性。因此，所考虑的资源分配问题非常复杂。它不仅包括通常的频谱和功率分配，还包括覆盖范围选择（向哪些目标车辆广播）和分组选择（使用哪个网络切片）。这个问题必须联合解决，因为选择的数据包可以使用NOMA覆盖，因此频谱和功率必须仔细分配，以实现更好的车辆覆盖。为此，我们提供了一个优化方法，并研究了NP-困难的问题。然后，我们使用多智能体马尔可夫决策过程模型的问题。最后，我们使用深度强化学习（DRL）方法来解决这个问题。建议的DRL算法是实用的，因为它可以实现在一个在线和分布式的方式。我们表明，我们的方法是强大的和有效的，当面对不同的变化的网络参数和集中的基准相比。

2022-01-27cs.NI

减少动作空间：基于逆变器的电压无功控制的参考模型辅助深度强化学习

Reducing Action Space: Reference-Model-Assisted Deep Reinforcement Learning for Inverter-based Volt-Var Control

Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学清华-伯克利深圳学院）；Shanghai University of Electric Power（上海电力大学）；Tsinghua University（清华大学）；Beihang University（北京航空航天大学）

提出了一种基于参考模型辅助的深度强化学习方法用于有源配电网逆变器电压无功控制。我们研究了大的动作空间增加了DRL的学习难度，降低了数据生成和神经网络训练过程中的优化性能。为了减小DRL的动作空间，我们设计了一种参考模型辅助的DRL方法。我们介绍的参考模型，基于参考模型的优化，和参考行动的定义。参考模型辅助的DRL学习参考动作和最优动作之间的剩余动作，而不是直接学习最优动作。由于剩余动作远小于参考模型的最优动作，因此可以为参考模型辅助DRL设计更小的动作空间。它降低了DRL的学习难度，并优化了参考模型辅助DRL方法的性能。值得注意的是，参考模型辅助的DRL方法是兼容的任何政策梯度DRL算法的连续行动问题。本文以软行动者-批评者算法为例，设计了一种参考模型辅助的软行动者-批评者算法。仿真结果表明：1）较大的动作空间会降低DRL在整个训练阶段的性能; 2）参考模型辅助的DRL需要较少的迭代次数，并返回更好的优化性能。

2022-10-10cs.AIcs.LGcs.SY

面向基于DRL导航系统的进化课程训练

Evolutionary Curriculum Training for DRL-Based Navigation Systems

Institute for Robotics and Intelligent Machines（机器人与智能机器研究所）；Georgia Institute of Technology（佐治亚理工学院）

本文提出进化课程训练方法，通过评估DRL碰撞避免模型在结构化环境中的能力并生成针对性课程来提升其导航与避障性能，在五个环境中验证了更高成功率和更低碰撞次数。

2023-06-15cs.AIcs.LGcs.MA

基于深度强化学习的异步联邦学习车载边缘计算车辆选择

Deep Reinforcement Learning Based Vehicle Selection for Asynchronous Federated Learning Enabled Vehicular Edge Computing

Jiangnan University（江南大学）；Xidian University（西安电子科技大学）；Tsinghua University（清华大学）；Qualcomm（高通公司）

针对车载边缘计算中异步联邦学习受车辆异构性和坏节点影响全局聚合质量的问题，提出基于深度强化学习的车辆选择方案，通过构建状态、动作和奖励模型有效剔除坏节点并提升全局模型聚合精度。

2023-04-06cs.LGcs.NI

利用深度强化学习实现实时的路由优化：开放的挑战

Towards Real-Time Routing Optimization with Deep Reinforcement Learning: Open Challenges

数字化转型正在推动现有网络技术走向新的视野，实现新的应用（例如，车载网络）。因此，网络社区对新兴网络应用程序的需求明显增加。一个主要的开放式挑战是需要适应控制系统高度动态的网络场景。目前，现有的网络优化技术不能满足实时的有效运行的需求。其中一些基于手工制作的算法，性能和适应性有限，而一些技术使用的优化器通常太耗时。深度强化学习（DRL）的最新进展表明，决策和自动控制问题有了显着的改善。因此，DRL代表了一种有前途的技术，以有效地解决各种相关的网络优化问题，如在线路由。在本文中，我们探讨了使用最先进的DRL技术进行实时的布线优化，并概述了一些相关的开放性挑战，以实现生产就绪的DRL为基础的解决方案。

2021-08-31cs.NI

DRL驱动的RAN切片管理：多业务场景下面向V2X的方法

DRL-driven RAN Slicing Management: A V2X-oriented Approach In Multi-service Scenarios

University of Málaga（马拉加大学）；Ericsson（爱立信）

本文提出一种基于深度强化学习的RAN切片管理框架，用于在V2X与eMBB共存的5G网络中动态优化资源分配，实验证明其能平衡SLA合规与资源利用率，优于静态和比例分配策略。

2026-10-02cs.NI

基于深度强化学习的蜂窝V2X通信模式选择和资源分配

Deep Reinforcement Learning Based Mode Selection and Resource Allocation for Cellular V2X Communications

蜂窝车联网（V2X）通信对于支持未来各种车辆应用至关重要。然而，对于安全关键型应用，不稳定的车辆到车辆（V2V）链路和集中式资源分配方法的高信令开销成为瓶颈。本文研究了蜂窝V2X通信中传输模式选择和资源分配的联合优化问题。特别是，该问题被公式化为马尔可夫决策过程，并提出了一种基于深度强化学习（DRL）的分散算法，以最大限度地提高车辆到基础设施用户的总容量，同时满足V2V对的延迟和可靠性要求。此外，考虑到局部DRL模型的训练局限性，提出了一种两时标的联邦DRL算法，以帮助获得鲁棒的模型。其中，基于图论的车辆聚类算法在大时间尺度上执行，而联邦学习算法在小时间尺度上进行。仿真结果表明，该算法的性能优于其他分散基线算法，验证了双时标联邦DRL算法在新激活V2V对中的优越性。

2020-02-13cs.NIeess.SP

车载网络中基于智能反射面的低空移动边缘计算分层在线优化方法

Hierarchical Online Optimization Approach for IRS-enabled Low-altitude MEC in Vehicular Networks

Jilin University（吉林大学）；Nanyang Technological University（南洋理工大学）；Beihang University（北京航空航天大学）；Auburn University（奥本大学）

研究车载网络中基于IRS的低空MEC架构，提出分层在线优化方法HOOA，通过将多目标优化问题重构为Stackelberg博弈，结合多对一匹配机制和GDMTD3算法，有效降低任务完成延迟和能耗，提升收敛稳定性、鲁棒性和可扩展性。

2026-07-22cs.NI

进化策略加速数字孪生网络优化的深度强化学习

Accelerating Deep Reinforcement Learning for Digital Twin Network Optimization with Evolutionary Strategies

Barcelona Neural Networking Center, Universitat Politècnica de Catalunya（巴塞罗那神经网络中心，加泰罗尼亚理工大学）；Huawei Technologies Co.,Ltd.（华为技术有限公司）

新兴网络应用的最近增长（例如，卫星网络、车辆网络）正在增加管理现代通信网络的复杂性。因此，社区提出了数字孪生网络（DTN）作为有效网络管理的关键使能器。网络运营商可以利用DTN来执行不同的优化任务（例如，交通工程、网络规划）。深度强化学习（DRL）在解决网络优化问题时表现出了很高的性能。在DTN的环境中，DRL可以用来解决优化问题，而不会直接影响现实世界的网络行为。然而，DRL的规模与问题的大小和复杂性差。在本文中，我们探讨了使用进化策略（ES）训练DRL代理解决路由优化问题。实验结果表明，ES实现了128和6的训练时间分别为NSFNET和GEANT2拓扑结构的加速。

2022-02-01cs.LGcs.NI

具身人工智能增强的车联网：一种集成大语言模型与强化学习的方法

Embodied AI-Enhanced Vehicular Networks: An Integrated Large Language Models and Reinforcement Learning Method

本文提出一种融合LLAVA语义提取与GAE-PPO深度强化学习的车联网自适应传输方法，在降低90%以上数据量的同时显著提升QoE并加速收敛。

2025-01-02cs.NI

车载网络中基于多播优化的动态单-多播调度

Dynamic Unicast-Multicast Scheduling for Age-Optimal Information Dissemination in Vehicular Networks

York University（约克大学）；Thompson Rivers University（汤普森河大学）

本文研究了车辆网络中的信息年龄（AoI）和传输功率消耗最小化的问题，其中路边单元（RSU）向车辆提供关于一组物理过程的及时更新。每个车辆都对保持其关于一个或多个物理过程的信息状态的新鲜度感兴趣。提出了一种框架来优化单播、多播、广播或不向车辆发送更新的决策以及功率分配，以最小化AoI和RSU在时间范围内的功耗。所述问题是混合整数非线性规划问题（MINLP），因此难以获得全局最优解。在这种情况下，我们首先开发了一个蚁群优化（ACO）的解决方案，提供了接近最佳的性能，从而作为一个有效的基准。然后，为了实时实现，我们开发了一个深度强化学习（DRL）框架，该框架在状态空间中捕获车辆的需求和信道条件，并通过动态单播-组播调度动作将进程分配给车辆。提出的算法的复杂性分析。仿真结果描绘了有趣的权衡AoI和功耗作为网络参数的函数。

2022-09-19cs.LGcs.NI

VeSoNet：基于路径规划与深度强化学习的车载社交网络流量感知内容缓存

VeSoNet: Traffic-Aware Content Caching for Vehicular Social Networks based on Path Planning and Deep Reinforcement Learning

针对车载社交网络严格时延下的内容交付难题，提出融合图剪枝路径规划、vehicle2vec社交内容推荐与DRL缓存分布优化的车载边缘计算架构。

2021-11-10cs.CYcs.NIcs.SI

车辆移动边缘计算中的截止期限问题：深度强化学习在车载边缘网络中的实时任务卸载

Meeting Deadlines in Motion: Deep RL for Real-Time Task Offloading in Vehicular Edge Networks

University of Ottawa（渥太华大学）

本文提出利用深度强化学习优化车载边缘网络中的实时任务卸载，通过实验验证DQN模型在减少任务执行时间和延迟方面的有效性。

2025-07-12cs.NI

生成式AI赋能的车载网络：基础、框架与案例研究

Generative AI-enabled Vehicular Networks: Fundamentals, Framework, and Case Study

本文研究生成式AI与车载网络融合的应用与挑战，提出多模态语义感知框架，并以V2V为案例给出基于DRL的资源分配方法。

2023-04-21cs.ITcs.NImath.IT

DOSM：面向车载边缘计算网络的基于需求预测的在线服务管理

DOSM: Demand-Prediction based Online Service Management for Vehicular Edge Computing Networks

本文提出DOSM框架，结合GRU需求预测与深度强化学习，在线决策车载边缘计算网络中的服务横向扩展、迁移和缩减，以优化延迟和网络性能。

2023-04-12cs.NI

深度强化学习用于部分可观测V2X数据下的异常行为检测

Deep Reinforcement Learning for Misbehavior Detection Under Partially Observable V2X Data

Centre Tecnològic de Telecomunicacions de Catalunya (CTTC/CERCA)（加泰罗尼亚电信技术中心）

本文针对部分可观测V2X数据下的异常行为检测，提出基于深度强化学习的自适应检测框架，在VeReMi数据集上优于XGBoost基线，但易受利用数据缺失的逃避攻击影响。

2026-09-28cs.NI

5G协作小蜂窝网络的车载通信

Vehicular Communications for 5G Cooperative Small Cell Networks

协作传输是提高第五代（5G）小小区网络无线传输容量和可靠性的有效途径。基于车辆与协作小小区基站之间的距离，推导了小小区基站（BS）服从泊松点过程分布的5G协作小小区网络的协作概率和覆盖概率。此外，车辆切换率和车辆开销比已被提出来评估车辆移动性性能在5G协作小小区网络。为了平衡车辆通信容量和车辆切换率，可以通过调整5G协作小小区网络的协作阈值来实现最优车辆开销比。

2016-04-10cs.NI

车载数字孪生网络中由信息价值（VoI）驱动的控制与通信联合优化

VoI-Driven Joint Optimization of Control and Communication in Vehicular Digital Twin Network

School of Engineering, University of Guelph（圭尔夫大学工程学院）；College of Electrical Engineering and Computer Sciences, Ningbo University（宁波大学电气与计算机科学学院）；Department of Electrical and Computer Engineering, University of Waterloo（滑铁卢大学电气与计算机工程系）

面向6G车载数字孪生网络，提出以控制性能定义的VoI连接控制与通信，并通过双DRL模块迭代求解多时间尺度联合优化策略。

2025-05-12cs.LGcs.NIcs.SY

以用户为中心和支持缓存的车辆边缘网络中具有截止期限约束的异构需求的高效内容交付

Efficient Content Delivery in User-Centric and Cache-Enabled Vehicular Edge Networks with Deadline-Constrained Heterogeneous Demands

现代互联车辆（CV）经常需要各种类型的内容来进行关键任务决策和车载用户娱乐。这些内容需要在现有无线电接入技术（RAT）解决方案可能无法确保的严格期限内完全递送给请求者CV。出于上述考虑，本文利用内容缓存在车辆边缘网络（VENs）与软件定义的用户为中心的虚拟小区（VC）为基础的RAT解决方案，从邻近边缘服务器提供所请求的内容。此外，为了捕捉的CV的异构需求，我们引入了一个偏好流行的权衡在他们的内容请求模型。为此，我们制定了一个联合优化问题的内容放置，CV调度，VC配置，VC-CV关联和无线电资源分配，以尽量减少长期的内容交付延迟。然而，联合问题是高度复杂的，并且不能在多项式时间内有效地解决。因此，我们分解成一个缓存放置问题和内容交付延迟最小化问题的缓存放置策略的原始问题。我们使用深度强化学习（DRL）作为第一个子问题的学习解决方案。此外，我们将延迟最小化问题转化为基于优先级的加权和速率（WSR）最大化问题，利用最大二分匹配（MWBM）和一个简单的线性搜索算法来解决。我们广泛的模拟结果表明，所提出的方法相比，现有的基线缓存命中率（KIDS），最后期限违规和内容交付延迟的有效性。

2023-03-30cs.NIcs.SYeess.SY

在密集区域中，车辆网络的双胞胎化是否能提升其性能？

Does Twinning Vehicular Networks Enhance Their Performance in Dense Areas?

Istanbul Technical University（伊斯坦布尔技术大学）；BTS Group（BTS集团）；Edinburgh Napier University（爱丁堡龙比亚大学）

本文研究Digital Twins在密集城市车辆网络中的性能提升，通过AI聚类识别关键位置并评估边缘、云和混合三种部署场景，发现双胞胎化显著降低网络延迟并提升计算速度，为拥挤区域的车辆通信提供了部署决策依据。

2024-02-16cs.AIcs.NI

多应用场景下的车联网功率和速率控制

Power and Packet Rate Control for Vehicular Networks in Multi-Application Scenarios

车载网络要求车辆定期发送1跳广播数据包，以便检测其本地邻域中的其他车辆。许多车辆应用依赖于在公共控制信道上发送的这些分组的正确接收。实际上，车辆将被要求同时执行多个应用程序。因此，广播分组的传输应当被配置为在控制信道负载的同时满足所有应用的要求。当车辆同时运行多个应用程序时，这可能具有挑战性，并且每个应用程序具有随车辆环境而变化的不同要求（例如速度和密度）。在这种情况下，本文提出并评估了不同的技术，以动态地适应每辆车的1跳广播数据包的速率和功率在多个应用场景。所提出的技术旨在满足多个同时应用的要求，并减少信道负载。评估结果表明，所提出的技术显着降低了信道负载，并能更好地满足多个应用程序的要求相比，现有的方法，特别是在SAE J2735 DSRC消息集字典中规定的消息转发。

2019-10-04cs.NI

多链路多RAT车载网络中的异构V2V通信

Heterogeneous V2V Communications in Multi-Link and Multi-RAT Vehicular Networks

由于车辆之间以及车辆和基础设施节点之间的动态信息交换，互联和自动化车辆将实现先进的交通安全和效率应用。互联车辆可以利用IEEE 802.11p进行车辆到车辆（V2V）和车辆到基础设施（V2I）通信。然而，联网车辆的广泛部署和联网自动驾驶应用的引入将显著增加车辆网络的带宽和可扩展性要求。本文提出通过在多链路和多RAT车载网络中采用异构V2V通信来解决这些挑战。特别是，本文提出了第一个分布式（和分散式）上下文感知异构V2V通信算法，该算法是技术和应用不可知的，并允许每个车辆自主和动态地选择其通信技术，同时考虑到其应用要求和通信上下文条件。这项研究证明了异构V2V通信的潜力，以及所提出的算法的能力，以满足车辆的应用需求，同时接近估计的上限网络容量。

2019-09-09cs.NI

面向车联网拥塞控制的分布式公平信标速率自适应

Distributed and Fair Beaconing Rate Adaptation for Congestion Control in Vehicular Networks

车辆间的合作应用依赖于车辆之间的广播单跳状态消息的交换，称为信标。由于周期性信标而在无线信道上聚集的负载可以阻止其他类型的消息的传输，这被称为由于信标活动而导致的信道拥塞。在本文中，我们接近的问题，控制每辆车的信标率建模为一个网络效用最大化（NUM）的问题。这使我们能够正式应用车载网络中信标速率分配的公平性概念，并控制效率和公平性之间的权衡。NUM方法提供了一个严格的框架来设计一个广泛的简单和分散的算法，证明收敛保证公平的分配解决方案。在这种情况下，我们专注于信标速率控制，并提出了公平的自适应信标速率车间通信（FABRIC）算法，它使用一个特定的缩放梯度投影算法来解决的NUM问题的对偶。分配中期望的公平性概念可以用算法参数来建立。仿真结果验证了我们的方法，并表明FABRIC收敛到公平的速率分配在多跳和动态的场景。

2016-02-15cs.NI

可重构智能表面辅助的车载边缘计算：联合相移优化与多用户功率分配

Reconfigurable Intelligent Surface Aided Vehicular Edge Computing: Joint Phase-shift Optimization and Multi-User Power Allocation

School of Internet of Things Engineering, Jiangnan University（江南大学物联网工程学院）；Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学电子工程系，北京信息科学与技术国家研究中心）；State Key Lab. of ISN and School of Telecommunications Engineering, Xidian University（西安电子科技大学信息与通信工程学院）；Department of Electrical and Computer Engineering, Hong Kong University of Science and Technology (HKUST)（香港科学与技术大学电气与计算机工程系）

针对车载边缘计算中障碍物导致通信链路恶化的问题，提出利用可重构智能表面辅助通信，并设计结合DDPG与MADDPG的深度强化学习框架，联合优化相移与功率分配，仿真验证其性能优于传统方案。

2025-06-18cs.DCcs.LGcs.NI

一种基于ODAM的车载自组网广播优化算法

An Optimal ODAM-Based Broadcast Algorithm for Vehicular Ad-Hoc Networks

广播路由是近年来车载自组织网络的一个重要研究领域。然而，在现有的VANET广播路由协议中，分组递送速率通常较低。因此，根据车载自组网的特点设计合适的广播协议成为车载自组网发展的关键。本文分析了现有的VAN广播路由协议的不足，提出了一种基于ODAM（Optimized Dissemination of Alarm Messages）协议的改进算法（ODAM-C）。ODAM-C算法根据ODAM的转发特性，通过两种机制提高了数据包的投递率。第一种基于距离的机制通过考虑源节点、转发节点和接收节点之间的角度来降低分组丢失的可能性。第二种机制通过增加转发节点的冗余度来保证数据包的成功投递率。通过分析和仿真，我们表明，与两种广泛使用的现有协议相比，所提出的算法可以提高车载网络的分组传输速率。

2013-12-24cs.NI

Infocast：一种使用无比率编码的从路边单元到车载网络的协作内容分发新范式

Infocast: A New Paradigm for Collaborative Content Distribution from Roadside Units to Vehicular Networks Using Rateless Codes

在本文中，我们解决了大量的散装数据分布到稀疏的车辆网络从路边infostations的问题，使用高效的车辆到车辆的协作。由于底层车辆网络拓扑结构的高度动态性，我们从需要集中协调，可靠的MAC调度或全局网络状态知识的架构出发，而是采用具有简单协议的分布式范式。换句话说，我们调查的问题，从多个来源的可靠传播时，网络中的每个节点共享有限的资源与他人合作。通过使用\emph{rateless}编码在路边单元（RSU）和使用车辆作为数据载体，我们描述了一种有效的方法来实现可靠的传播到所有节点（即使是断开连接的集群在网络中）。简而言之，我们探索车辆作为移动存储设备。然后，我们开发了一种方法，以保持密度的无比率码数据包的距离的函数，从RSU在所需的水平设置为目标解码距离。我们调查各种权衡涉及缓冲区的大小，最大容量，和车辆的流动性参数。

2010-01-20cs.NI

基于DRL的C-V2X车联网中AoI与能耗优化

DRL-Based Optimization for AoI and Energy Consumption in C-V2X Enabled IoV

School of Internet of Things Engineering, Jiangnan University（江南大学物联网工程学院）；Department of Electronic Engineering, State Key laboratory of Space Network and Communications, Tsinghua University（清华大学电子工程系、空间网络与通信国家重点实验室）；Department of Electronic Engineering, Shanghai JiaoTong University（上海交通大学电子工程系）

针对C-V2X车联网中通信碰撞与能耗问题，本文提出基于深度强化学习的优化方法，联合优化信息年龄与能耗，仿真验证了其先进性。

2025-06-18cs.LGcs.NI

混合车载网络中基于QoS的无线接入技术（RAT）选择

QoS-Aware Radio Access Technology (RAT) Selection in Hybrid Vehicular Networks

针对混合车载网络中多RAT选择难题，提出一种QoS感知的RAT选择算法，通过负载和QoS要求切换IEEE 802.11p与LTE，减少垂直切换并提升分组投递率、时延和吞吐量。

2025-01-21cs.NI

车载通信中动态多径传播的宽带测量分析

Measurement-Based Wideband Analysis of Dynamic Multipath Propagation in Vehicular Communication Scenarios

真实的传播建模需要对无线电信道特性的详细理解和表征。本文是基于信道测深仪测量与1 GHz的带宽在5.7 GHz的载波频率和特定的跟踪方法。我们提出了统计模型的数量，出生率，寿命，超额延迟和相对多普勒频率的个别多径分量（MPC）。我们的研究结果得出结论，从72个测量运行在8个相关的车辆通信场景，并揭示了广泛的见解车辆通信场景中的动态传播过程。

2016-10-24cs.NI

基于网络结构的协作车载网络的实现

Throughput of Infrastructure-based Cooperative Vehicular Networks

在本文中，我们提供了一个合作的通信策略下，有限的交通密度的基础设施为基础的车辆网络的可实现的吞吐量进行了详细的分析，探讨了车辆到基础设施（V2I）通信，车辆到车辆（V2V）通信，车辆的移动性和车辆和基础设施之间的合作，以促进数据传输的组合使用。得到了可达吞吐量的封闭表达式，揭示了可达吞吐量与影响性能的主要参数之间的关系，这些参数包括相邻基础设施点之间的距离、基础设施和车辆的无线电范围、V2I和V2V通信的传输速率以及车辆密度。数值和仿真结果表明，所提出的合作通信策略显着增加了车辆网络的吞吐量，相比其非合作的对手，即使在交通密度低。我们的研究结果揭示了车辆网络基础设施的最佳部署和车辆网络中的协作通信策略的最佳设计，以最大限度地提高吞吐量。

2017-01-15cs.NI

一种基于符号估计的车辆间通信性能优化方法

A Symbol-Based Estimation Technique for Inter-vehicular Communication Performance Optimization

本文旨在提高专用车载通信传输V2X网络中正交频分复用OFDM估计的质量。车辆环境中的无线接入WAVE（也称为IEEE 802.11p）代表了这些网络的标准。开发可靠的车辆间V2X通信必须专注于优化其实际性能。在这项工作中，我们研究了一个事实，即WAVE传输使用的信道特性设计的室内和固定的通信终端在IEEE 802.11a。在本文中，我们提出了一种方法来克服这种移动性问题的终端通信。所考虑的解决方案包括使用导频估计技术来降低高比特出错率。首先，我们强调的影响，重新安排的导频符号的位置上的传输质量的QoT。其次，我们尝试通过添加两个新的导频符号来克服PHY层估计约束之一。在发送端考虑导频符号辅助信道估计的情况下，在接收端重点研究了最小二乘LS和最小均方误差MMSE信道估计。根据比特出错率BER和信噪比SNR之间的比率进行一系列仿真。我们证明，重新安排的导频模式可以提供更好的结果比标准化的。此外，我们证明，增加导频符号可以提供最佳的性能。

2014-06-21cs.NI

基于深度强化学习的5G-V2X异构网络语义感知资源分配

Semantic-Aware Resource Allocation Based on Deep Reinforcement Learning for 5G-V2X HetNets

针对5G-V2X异构网络，提出基于深度强化学习的语义感知资源分配框架，联合优化灵活占空比共存与资源分配，最大化语义频谱效率，实验优于传统方法。

2025-06-19cs.NIeess.SP

拥塞感知的喷射等待协议：一种车辆延迟容忍网络的拥塞控制机制

Congestion Aware Spray And Wait Protocol: A Congestion Control Mechanism For The Vehicular Delay Tolerant Network

在过去的几年里，车载自组织网络（VANET）已经成为一个重要的研究领域。为提高车辆网络排放系统的性能进行了大量研究。对VANET进行的进一步研究的一个结果是车辆延迟容忍网络（VDTN）。它是移动DTN的一种应用，其中节点使用存储-携带-转发方法在网络中中继消息。由于它的高移动性，它遭受频繁的断开连接，也在节点处，这导致消息丢弃的拥塞。为了最大限度地减少消息的下降率，从而优化消息传递的概率，使司机越来越多地了解道路的情况，我们提出了一种拥塞控制机制：拥塞感知喷射和等待（CASaW）协议在这项工作中，以优化消息传递到其目的地的速率，从而提高司机在车辆环境中的意识，从而提高道路安全。结果表明，我们的命题表现优于其他经典的VDTN协议的消息传递概率和丢包率的性能指标。我们使用虚拟网络环境（ONE）模拟器实现了经典的VDTN协议：PROPHET协议，Epidemic协议，MaxProp协议和Spray and Wait协议。仿真结果表明，我们提出的拥塞控制机制具有更好的性能，因为它保持了良好的消息传递率，以及最小化数据包丢失率，从而优化了消息到达目的地的机会，从而提高道路安全。

2016-01-07cs.NI

多媒体车辆传感平台中的高效数据汇集

Efficient Data Collection in Multimedia Vehicular Sensing Platforms

车辆为城市传感应用提供了一个理想的平台，因为它们可以配备各种传感设备，可以连续监测行驶车辆周围的环境。在这项工作中，我们特别关注的是使用车辆作为积木的多媒体移动传感器系统能够捕捉摄像头快照的街道，以支持交通监控和城市监控任务。然而，相机是高数据速率传感器，而用于车辆通信的无线基础设施可能面临性能限制。因此，数据冗余缓解在这样的系统中是至关重要的。为了解决这个问题，在本文中，我们利用子模块优化技术设计高效和强大的数据汇集计划的多媒体车载传感器网络。我们还探索了另一种方法，用于数据汇集，在更长的时间尺度上运行，只依赖于本地化的决策，而不是集中计算。我们使用具有真实车辆移动模式的网络模拟来验证我们提出的方案与忽略数据冗余的基线解决方案相比的性能提升。仿真结果表明，我们的数据汇集技术可以确保更准确的道路网络的覆盖，同时显着减少传输的数据量。

2013-11-23cs.NI

基于车载接入点的5G车联网无蜂窝通信

Cell-less Communications in 5G Vehicular Networks Based on Vehicle-Installed Access Points

智能交通系统的发展对现有的车载网络提出了更高的要求。例如，为了确保车辆之间的安全通信，车辆网络需要低延迟、高连接性和高数据率。为了满足这些要求，用于车辆网络的5G通信系统应该相应地改进。本文提出了一种5G车载网络的通信方案，在该方案中，移动接入点部署在车辆上，以方便车辆用户的访问。此外，相邻的车载移动接入点可以通过联合发送和接收与车辆用户协作通信。以这种方式，车辆用户以无小区方式与一个或多个未指定的协作接入点通信，而不是与单个接入点相关联。为了管理这种无小区网络，采用本地移动软件定义的云来执行传输和调度管理。仿真结果表明，该方案在显著降低时延的同时，提高了车联网的连通性，可作为5G车联网解决方案的一个研究方向。

2018-01-28cs.NI