Keep your Eyes on the Lane: Real-time Attention-guided Lane Detection
Universidade Federal do Espírito Santo (UFES)(圣埃斯皮里图联邦大学);Instituto Federal do Espírito Santo (IFES)(圣埃斯皮里图联邦学院)
现代车道检测方法在复杂的现实世界场景中取得了显著的性能,但许多都存在保持实时的【形】效率的问题,这对自动驾驶车辆很重要。在这项工作中,我们提出了LaneATT:一个基于锚点的深巷检测模型,它类似于其他通用的深度对象检测器,使用锚点进行特征池化步骤。由于车道遵循规则模式并且高度相关,因此我们假设在某些情况下,全局信息对于推断它们的位置可能至关重要,特别是在诸如闭塞、缺失车道标记等条件下。因此,这项工作提出了一种新的基于锚点的注意力机制,聚合全局信息。该模型在文献中使用最广泛的三个数据集上进行了广泛的评估。结果表明,我们的方法优于目前最先进的方法,表现出更高的功效和效率。此外,消融研究进行了讨论,在实践中是有用的效率权衡选项。
2020-11-18 cs.CV
Row-wise LiDAR Lane Detection Network with Lane Correlation Refinement
Korea Advanced Institute of Science and Technology(韩国科学技术院)
车道线检测是自动驾驶的重要功能之一。近年来,基于深度学习的RGB摄像头图像车道检测网络表现出了良好的性能。然而,基于相机的方法固有地易受不利照明条件(例如,不良或耀眼的照明)的影响。与相机不同,LiDAR传感器对照明条件具有鲁棒性。在这项工作中,我们提出了一种新的两阶段激光雷达车道检测网络与逐行检测方法。第一阶段网络通过全局特征相关器主干和行式检测头产生车道建议。同时,第二阶段网络通过基于注意力的机制在车道建议周围的局部特征之间细化第一阶段网络的特征图,并输出一组新的车道建议。在K-Lane数据集上的实验结果表明,该网络在F1分数方面取得了最新进展,GFLOPs减少了30%。此外,第二阶段的网络被发现是特别强大的车道阻塞,从而证明了所提出的网络在拥挤的环境中驾驶的鲁棒性。
2022-10-17 cs.CV
SafeDrive: Enhancing Lane Appearance for Autonomous and Assisted Driving Under Limited Visibility
University of Minnesota Twin Cities(明尼苏达大学双城分校)
车道标记的自主检测提高了道路安全性,并且纯视觉跟踪对于广泛的车辆兼容性和减少传感器侵入、成本和能量消耗是期望的。然而,由于许多因素,视觉方法通常是无效的;例如,闭塞、恶劣的天气条件和油漆磨损。我们提出了一种方法,以提高辅助和自动驾驶,特别是在能见度差的车道标志外观。我们的方法,名为SafeDrive,试图改善视觉车道检测方法在严重退化的视觉条件。SafeDrive在车辆所在位置的道路替代图像中找到车道标记,并重建周围环境的稀疏3D模型。通过估计该3D模型和当前视图之间的几何关系,车道标记被投影到视觉场景上;随后可以使用任何车道检测算法来检测结果图像中的车道。SafeDrive不需要额外的传感器,除了视觉和位置数据。我们证明了我们的方法的有效性,从城市环境中记录的实际驾驶数据获得的一些测试案例。
2018-07-24 cs.CV
Deep Multi-Sensor Lane Detection
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学)
可靠而准确的车道检测一直是自动驾驶领域的一个长期问题。近年来,已经开发了许多使用图像(或视频)作为图像空间中的输入和推理的方法。在本文中,我们认为,准确的图像估计不转化为精确的三维车道边界,这是现代运动规划算法所需的输入。为了解决这个问题,我们提出了一种新型的深度神经网络,它利用了LiDAR和相机传感器,并直接在3D空间中产生非常准确的估计。我们展示了我们的方法在高速公路和城市中的性能,并在复杂的场景中显示了非常准确的估计,如交通繁忙(产生闭塞),分叉,合并和交叉口。
2019-05-04 cs.CV
Robust Lane Detection with Wavelet-Enhanced Context Modeling and Adaptive Sampling
Faculty of Information Engineering;Automation Kunming University of Science
针对恶劣条件下车道线检测难题,提出融合小波非局部模块、自适应预处理与注意力采样的WE-FPN方法,在CULane、TuSimple数据集上实现更优鲁棒性与精度。
2025-03-24 cs.CV
RESA: Recurrent Feature-Shift Aggregator for Lane Detection
Zhejiang University(浙江大学);Fabu Inc.(法布公司)
车道检测是自动驾驶中最重要的任务之一。由于各种复杂的情况(例如,严重闭塞、模糊车道等)以及车道标注中固有的稀疏监控信号,车道检测任务仍然具有挑战性。因此,普通的卷积神经网络(CNN)很难在一般场景下进行训练,从而从原始图像中捕捉到细微的车道特征。在本文中,我们提出了一个新的模块命名为REcurrent的特征转移聚合器(RESA),以丰富车道特征后,初步特征提取与普通的CNN。RESA利用通道的强形状先验,并捕获跨行和列的像素的空间关系。它在垂直和水平方向上循环移动切片特征图,并使每个像素能够收集全局信息。RESA通过聚集切片特征图,在具有弱外观线索的挑战性场景中准确推测车道。此外,我们提出了一个双边上采样解码器,结合粗粒度和精细的细节特征在上采样阶段。它可以将低分辨率的特征图精确地恢复为逐像素的预测。我们的方法在两个流行的车道检测基准(CULANE和Tusimple)上取得了最先进的结果。代码已在https://github.com/ZJULearning/resa上提供。
2021-03-25 cs.CV
LDTR: Transformer-based Lane Detection with Anchor-chain Representation
Didi Chuxing(滴滴出行)
针对车道视觉线索缺失及现有表示需复杂后处理的问题,提出基于Transformer的LDTR模型,采用锚链表示与多参考可变形注意力模块,结合线IoU与高斯热图辅助分支,在知名数据集上达到SOTA性能。
2024-03-21 cs.CV
Robust Lane Detection from Continuous Driving Scenes Using Deep Neural Networks
Wuhan University(武汉大学);Sun Yat-Sen University(中山大学)
驾驶场景中的车道检测是自动驾驶汽车和高级驾驶辅助系统的重要模块。近年来,已经提出了许多复杂的车道线检测方法。然而,大多数的车道线检测方法都是从一幅图像中提取车道线,在处理阴影严重、标记退化严重、车辆遮挡严重等极端恶劣的情况时往往效果不佳。因此,在一个当前帧中不能准确检测到的车道可能通过合并先前帧的信息而被推断出。为此,我们通过使用连续驾驶场景的多帧来研究车道检测,并通过结合卷积神经网络(CNN)和递归神经网络(RNN)提出了一种混合深度架构。具体地说,每个帧的信息被一个CNN块抽象出来,多个连续帧的CNN特征,保持时间序列的属性,然后被送入RNN块进行特征学习和车道预测。在两个大规模数据集上的实验表明,该方法在车道线检测中,特别是在处理困难的情况下,优于竞争的方法。
2020-04-29 cs.CV
Robust Lane Detection via Expanded Self Attention
Yonsei University(延世大学)
基于图像的车道线检测算法是自主车辆的关键技术之一。现代深度学习方法在车道检测方面实现了高性能,但在拥堵道路和极端光照条件等具有挑战性的情况下仍难以准确检测车道。为了在这些具有挑战性的情况下保持稳健,重要的是即使从有限的视觉线索中提取全局上下文信息。在本文中,我们提出了一个简单但功能强大的自我注意力机制优化车道检测称为扩展自我注意力(ESA)模块。受车道线简单几何结构的启发,该方法预测了图像中车道线沿垂直和水平方向的置信度。置信度的预测使得能够通过提取全局上下文信息来估计遮挡位置。ESA模块可以很容易地实现,并适用于任何基于编码器-解码器的模型,而不会增加推理时间。我们的方法的性能进行了评估三个流行的车道检测基准(TuSimple,CULANE和BDD 100 K)。我们在CULane和BDD 100 K中实现了最先进的性能,并在TuSimple数据集上取得了显着改进。实验结果表明,我们的方法是强大的遮挡和极端光照条件。
2021-10-26 cs.CV
SAMIRO: Spatial Attention Mutual Information Regularization with a Pre-trained Model as Oracle for Lane Detection
Kookmin University(韩国成 Buk 大学);Incheon National University(Incheon国立大学)
针对真实场景下车道检测易受环境干扰、数据驱动方法标注成本高的问题,提出即插即用的SAMIRO正则化方法,通过预训练模型知识迁移提升性能,在多个主流基准上验证了其跨模型跨数据集的稳定增益。
2025-11-13 cs.CV
Lane Detection Model Based on Spatio-Temporal Network With Double Convolutional Gated Recurrent Units
Southwest Jiaotong University(西南交通大学)
车道检测是自动驾驶环境感知不可或缺的关键要素之一。已经提出了许多车道检测模型,解决了具有挑战性的条件下的车道检测,包括交叉口合并和分裂,曲线,边界,遮挡和场景类型的组合。然而,车道检测在未来一段时间内仍将是一个悬而未决的问题。能否很好地应对这些具有挑战性的场景极大地影响了车道检测在高级驾驶员辅助系统(ADAS)中的应用。本文提出了一种具有双卷积门控递归单元(ConvGRUs)的时空网络来解决具有挑战性场景中的车道检测问题。这两个ConvGRU具有相同的结构,但在我们的网络中具有不同的位置和功能。一种是用于提取最可能的低层次特征的车道线的信息。提取的特征在与一些块的输出连接后输入到端到端网络的下一层。另一种是以连续帧为输入,对时空驱动信息进行处理。在大规模TuSimple车道标记挑战数据集和无监督LLAMAS数据集上的实验表明,该模型能够有效地检测具有挑战性的驾驶场景中的车道。我们的模型可以优于最先进的车道检测模型。
2021-02-27 cs.CV
Ultra Fast Structure-aware Deep Lane Detection
College of Computer Science & Technology, Zhejiang University(浙江大学计算机科学与技术学院)
现代的车道线检测方法主要将车道线检测问题视为逐像素分割的问题,难以解决具有挑战性的场景和速度问题。受人类感知的启发,严重遮挡和极端光照条件下的车道识别主要基于上下文和全局信息。出于这种观察,我们提出了一种新颖,简单,但有效的配方,旨在极快的速度和具有挑战性的情况。具体来说,我们把车道线检测的过程作为一个基于行的选择问题,使用全局功能。在基于行的选择的帮助下,我们的公式可以显着降低计算成本。使用全局特征上的大接收域,我们也可以处理具有挑战性的场景。此外,基于该公式,我们还提出了一个结构损失明确的车道结构模型。在双车道检测基准数据集上的大量实验表明,该方法在速度和准确性方面都达到了最先进的性能。轻量级版本甚至可以在相同的分辨率下实现每秒300多帧,这比以前最先进的方法快至少4倍。我们的代码将公开提供。
2020-08-05 cs.CV
Lane Graph Extraction from Aerial Imagery via Lane Segmentation Refinement with Diffusion Models
Riemann Lab , Huawei(里曼实验室,华为);Center for Cognitive Interaction Technology (CITEC), Faculty of Technology, Bielefeld University(认知交互技术中心(CITEC),技术学院,比勒菲尔德大学)
针对现有方法从航空影像提取车道图时掩码质量差的问题,提出用扩散模型优化CNN输出的车道掩码,实验证明该方法在车道图提取指标上显著优于现有方法。
2025-11-16 cs.CV
Repainting and Imitating Learning for Lane Detection
Baidu Inc.(百度公司);Fudan University(复旦大学)
目前的车道线检测方法都在努力解决阴影严重、路标退化严重、车辆遮挡严重等问题。因此,尽管由于野外车道固有的不可见性而进行了精心设计,但网络几乎无法学习到有区别的车道特征。在本文中,我们的目标是找到一个增强的特征空间,车道功能是独特的,同时保持在野外车道的分布相似。为了实现这一目标,我们提出了一种新的重绘和模仿学习(RIL)框架,其中包含一对教师和学生,没有任何额外的数据或额外的费力的标签。具体地,在重绘步骤中,内置的增强的理想虚拟车道数据集仅重绘车道区域,而非车道区域保持不变,从而保持车道在野外的相似分布。教师模型基于虚拟数据学习增强的区分表示,并作为学生模型模仿的指导。在模仿学习步骤中,通过尺度融合蒸馏模块,鼓励学生网络生成在相同尺度和跨尺度上模仿教师模型的特征。此外,耦合对抗模块不仅搭建了教师模型和学生模型之间的桥梁,而且还搭建了虚拟数据和真实数据之间的桥梁,动态调整模拟学习过程。请注意,我们的方法在推理过程中不会引入额外的时间成本,并且可以在各种尖端的车道检测网络中即插即用。实验结果证明了RIL框架在CULANE和TuSimple上对四种现代车道线检测方法的有效性。代码和模型将很快提供。
2022-10-11 cs.CV
Agnostic Lane Detection
车道检测是自动驾驶中一项重要而又具有挑战性的任务,它受到许多因素的影响,例如,光线条件、其他车辆造成的遮挡、道路上不相关的标记以及车道固有的细长特性。传统方法通常将车道检测视为语义分割任务,其将类别标签分配给图像的每个像素。该公式在很大程度上依赖于这样的假设,即车道的数量是预定义的和固定的,并且不发生车道变换,这并不总是成立的。为了使车道检测模型适用于任意数量的车道和车道变换场景,我们采用了一种实例分割方法,首先区分车道和背景,然后将每个车道像素分类到每个车道实例。此外,一个多任务的学习范式被用来更好地利用结构信息和特征金字塔架构被用来检测极细的车道。三个流行的车道检测基准,即,TuSimple、CULANE和BDD 100K的实验结果验证了算法的有效性。
2019-05-02 cs.AI cs.CV
DuMapNet: An End-to-End Vectorization System for City-Scale Lane-Level Map Generation
Tsinghua University(清华大学);Baidu Inc.(百度公司)
针对城市级车道级地图生成中环境复杂、车道组织研究不足导致成本高的问题,本文提出端到端矢量化系统DuMapNet,结合GLP系统与CPE模块,经实验验证有效,已在百度地图部署并大幅降本。
2024-06-20 cs.CV
ContinuityLearner: Geometric Continuity Feature Learning for Lane Segmentation
NYU Tandon School of Engineering(纽约大学坦登工程学院);New York University Abu Dhabi(纽约大学阿布扎比分校)
车道线分割是自动驾驶系统设计中的一个具有挑战性的问题,因为车道线在交通图像中由于遮挡或极端光照而表现出较弱的纹理一致性,但具有较强的几何连续性,常规卷积神经网络(CNN)无法从中学习语义对象。为了使传统的CNN能够学习车道的几何线索,我们提出了一个名为ContinuityLearner的深度网络,以更好地学习车道内的几何先验。具体来说,我们提出的基于CNN的范例涉及一种新的上下文编码图像特征学习网络,以生成类相关的图像特征映射和一个新的编码层,通过将车道的空间和视觉信息融合在一起,利用几何连续性特征表示。连续性学习器,执行车道的几何连续性特征,训练直接预测车道的交通场景与集成和连续的实例语义。在CULANE数据集和Tusimple基准测试上的实验结果表明,我们的ContinuityLearner在车道分割方面具有优于其他最先进技术的性能。
2021-08-07 cs.CV cs.RO
Temporal-Anchor3DLane: Enhanced 3D Lane Detection with Multi-Task Losses and LSTM Fusion
Department of Computer Science and Engineering(计算机科学与工程系);National Institute of Technology Karnataka (NITK)(卡纳塔克国家理工学院)
Temporal-Anchor3DLane通过多任务损失和LSTM融合提升3D车道检测的鲁棒性
2025-12-05 cs.CV
Learning Lightweight Lane Detection CNNs by Self Attention Distillation
The Chinese University of Hong Kong(香港中文大学);SenseTime Group Limited(商汤集团有限公司);Nanyang Technological University(南洋理工大学)
由于车道注释中固有的非常微妙和稀疏的监督信号,训练用于车道检测的深度模型具有挑战性。如果没有从更丰富的背景中学习,这些模型通常会在具有挑战性的场景中失败,例如,严重的闭塞,模糊的车道,和照明条件差。在本文中,我们提出了一种新的知识蒸馏方法,即,自注意蒸馏(SAD),允许模型从自身学习,并在没有任何额外监督或标签的情况下获得实质性改进。具体来说,我们观察到,从训练到合理水平的模型中提取的注意力地图将编码丰富的上下文信息。有价值的上下文信息可以作为一种“自由”监督的形式,通过在网络本身内执行自上而下和逐层的注意力蒸馏来进行进一步的表示学习。SAD可以很容易地结合到任何前馈卷积神经网络(CNN)中,并且不会增加推理时间。我们使用ENet,ResNet-18和ResNet-34等轻量级模型在三个流行的车道检测基准(TuSimple,CULane和BDD 100 K)上验证SAD。最轻的模型,ENet-SAD,执行比较,甚至超过现有的算法。值得注意的是,与最先进的SCNN相比,ENet-SAD的参数少了20倍,运行速度快了10倍,同时在所有基准测试中仍然实现了令人信服的性能。我们的代码可在https://github.com/cardwing/Codes-for-Lane-Detection上获得。
2019-08-02 cs.CV
Contrastive Learning for Lane Detection via cross-similarity
Mälardalen University(梅拉达伦大学);University of Leicester(莱斯特大学);Zenseact AB(Zenseact公司);Tallinn University of Technology(塔林理工大学)
本文提出基于交叉相似性的车道检测对比学习方法,通过局部与全局特征对比增强模型在遮挡和阴影等不利条件下的车道检测鲁棒性,并在TuSimple和CuLane基准上超越现有对比学习法。
2024-08-20 cs.CV
Vision-Based Robust Lane Detection and Tracking under Different Challenging Environmental Conditions
Melbourne Institute of Technology(墨尔本理工学院);Rajshahi University of Engineering and Technology(拉杰沙希工程技术大学);Charles Sturt University(查尔斯特大学);University of Rajshahi(拉杰沙希大学)
针对复杂环境下的车道线检测难题,提出结合CITR、两步几何约束验证和RHLP跟踪的鲁棒方法,实现97.55%检测率与22.33毫秒/帧处理速度,优于现有技术。
2023-06-15 cs.CV
K-Lane: Lidar Lane Dataset and Benchmark for Urban Roads and Highways
Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对现有激光雷达车道检测研究受限于大型公开数据集不足的问题,本文提出全球最大的城市与高速激光雷达车道数据集K-Lane,并设计基于全局特征相关器的基线网络LLDN-GFC,在多场景下实现了SOTA检测性能,同时开源全套开发工具。
2023-11-07 cs.AI cs.CV cs.RO
SafeDrive: A Robust Lane Tracking System for Autonomous and Assisted Driving Under Limited Visibility
University of Minnesota(明尼苏达大学)
我们提出了一个强大的辅助和自动驾驶车道跟踪的方法,特别是在能见度低的情况下。车道标记的自主检测提高了道路安全性,并且纯视觉跟踪对于广泛的车辆兼容性和减少传感器侵入、成本和能量消耗是期望的。然而,由于许多因素,包括但不限于遮挡、恶劣的天气条件和油漆磨损,视觉方法通常无效。我们的方法,名为SafeDrive,试图改善视觉车道检测方法在严重退化的视觉条件下,而不依赖于额外的主动传感器。在视觉车道检测算法无法检测车道标记的情况下,所提出的方法使用车辆的位置信息来定位和访问道路的替代图像,并尝试在此辅助图像上进行检测。随后,通过使用基于特征和基于像素的对准的组合,在当前场景中找到车道标记的估计位置。我们证明了我们的系统的有效性,从实际驾驶数据在美国的位置与谷歌街景作为替代图像的来源。
2017-01-29 cs.CV cs.RO
MapATM: Enhancing HD Map Construction through Actor Trajectory Modeling
Syracuse University(雪城大学);General Motors(通用汽车)
本文提出MapATM,利用历史车辆轨迹信息提升车道检测精度,在NuScenes数据集上使车道分隔线AP提升4.6,mAP提升2.6,较基线方法提升10.1%和6.1%。
2026-04-13 cs.CV
Dynamic Approach for Lane Detection using Google Street View and CNN
National Institute of Technology Surathkal(苏尔塔卡尔国家技术学院);Insight Centre for Data Analytics, Dublin City University(都柏林城市大学数据分析洞察中心)
车道检测算法是实现全辅助自主导航系统的关键技术。本文提出了一种基于SegNet编解码器架构的卷积神经网络(CNN)模型的车道线检测新方法。编码器块呈现输入的低分辨率特征图,解码器块根据特征图提供逐像素分类。所提出的模型已经训练了2000多个图像数据集,并针对数据集中提供的相应地面实况进行了测试。为了实现实时导航,我们扩展了模型的预测,将其与现有的Google API接口,评估模型的指标,调整超参数。这种方法的新颖之处在于将现有的segNet架构与Google API集成在一起。这个接口使它方便辅助机器人系统。实验结果表明,该方法在复杂的遮挡条件下具有较强的鲁棒性,与现有方法相比,该方法具有更好的性能。
2019-09-02 cs.CV cs.LG
Efficient Sequential Neural Network with Spatial-Temporal Attention and Linear LSTM for Robust Lane Detection Using Multi-Frame Images
Capgemini Nederland B.V.(凯捷荷兰有限公司);Delft University of Technology(代尔夫特理工大学)
本文提出一种结合空间-时间注意力与线性LSTM的高效序列神经网络,用于多帧图像中鲁棒车道检测,提升在复杂交通环境下的性能。
2026-02-03 cs.AI cs.CV cs.LG
MSight: An Edge-Cloud Infrastructure-based Perception System for Connected Automated Vehicles
University of Michigan(密歇根大学);Beihang University(北京航空航天大学);University of Science and Technology of China(中国科学技术大学);Mcity
针对网联自动驾驶车辆的感知需求,研究提出基于边云基础设施的路侧感知系统MSight,可实现实时车辆检测、定位、跟踪与短期轨迹预测,具备低延迟车道级精度,已在实际场景全天候运行。
2023-10-08 cs.CV cs.RO eess.IV
SatMap: Revisiting Satellite Maps as Prior for Online HD Map Construction
Munich University of Applied Sciences(慕尼黑应用科学大学);Intelligent Vehicles Lab (IVL) Munich(慕尼黑智能车辆实验室)
SatMap通过整合卫星地图与多视角摄像头观测,提升在线高精度地图构建的性能和鲁棒性。
2026-01-20 cs.AI cs.CV cs.LG
Video-based Traffic Light Recognition by Rockchip RV1126 for Autonomous Driving
NavInfo Co. Ltd.(高德信息有限公司);Autohome Inc.(汽车之家);Baidu Inc.(百度);Xidian University(西安电子科技大学)
提出基于视频的端到端神经网络 ViTLR,利用卷积自注意力架构在 Rockchip RV1126 嵌入式平台上实现鲁棒且实时的交通信号灯检测与状态分类,克服了单帧方法在复杂场景下的局限。
2025-03-31 cs.CV cs.RO