Improved Pothole Detection Using YOLOv7 and ESRGAN
本文提出结合SRGAN超分辨率与YOLOv7的坑洞检测方法，验证低质量图像经超分放大后检测速度与精度均优于基准。
2023-11-10 cs.CV
Real-time pothole detection with onboard sensors and camera on vehicles
School of Electronics Engineering, Vellore Institute of Technology（韦洛尔理工大学电子工程学院）
针对道路坑洼检测需求，提出借助车载传感器结合SVM分类器实现实时检测，基于2公里含26个坑洼的本地道路数据达到98.1%准确率，代码开源便于大规模坑洼管理分析。
2025-11-10 cs.CV
Multi-Scale Feature Fusion: Learning Better Semantic Segmentation for Road Pothole Detection
Beijing Institute of Technology（北京理工大学）；University of Bristol（布里斯托大学）；Arm（安谋科技）；ATG Robotics（ATG机器人公司）；Ryazan State Radio Engineering University（梁赞国立无线电工程大学）；Tongji University（同济大学）
提出了一种基于单模态语义分割的路面坑槽检测方法。它首先使用卷积神经网络从输入图像中提取视觉特征。然后，通道注意模块重新加权通道特征以增强不同特征图的一致性。随后，我们采用了一个atrous空间金字塔池化模块（由串联的atrous卷积组成，具有渐进的膨胀率）来整合空间上下文信息。这有助于更好地区分坑洞和未受损的道路区域。最后，使用我们提出的多尺度特征融合模块融合相邻层的特征图。这进一步减少了不同特征通道层之间的语义差距。在Pothole-600数据集上进行了大量的实验，以证明我们所提出的方法的有效性。定量比较表明，我们的方法在RGB图像和变换后的视差图像上都达到了最先进的（SoTA）性能，优于三个SoTA单模态语义分割网络。
2021-12-24 cs.AI cs.CV cs.LG
Graph Attention Layer Evolves Semantic Segmentation for Road Pothole Detection: A Benchmark and Algorithms
Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）；the Hong Kong University of Science and Technology（香港科技大学）；SmartMore（思谋科技）；University of Thessaloniki（塞萨洛尼基大学）
现有的道路坑洞检测方法可以分为基于计算机视觉的方法和基于机器学习的方法。前一种方法通常采用2-D图像分析/理解或3-D点云建模和分割算法来从视觉传感器数据检测道路坑洞。后一种方法通常以端到端的方式使用卷积神经网络（CNN）来解决道路坑洞检测。然而，道路坑洼不一定普遍存在，并且为CNN训练准备大型注释良好的数据集是具有挑战性的。在这方面，虽然基于计算机视觉的方法是过去十年的主流研究趋势，但仅讨论了基于机器学习的方法。最近，我们发布了第一个基于立体视觉的道路坑洞检测数据集和一种新的视差变换算法，从而可以高度区分损坏和未损坏的道路区域。然而，目前还没有基准可用于使用视差图像或变换的视差图像训练的最先进的（SoTA）CNN。因此，在本文中，我们首先讨论了设计用于语义分割的SoTA CNN，并通过广泛的实验评估其用于道路坑洞检测的性能。此外，受图神经网络（GNN）的启发，我们提出了一种新的CNN层，称为图注意力层（GAL），它可以很容易地部署在任何现有的CNN优化图像特征表示语义分割。我们的实验比较了GAL-DeepLabv 3+，我们性能最好的实现，与九个SoTA CNN在三种模式的训练数据：RGB图像，视差图像和变换的视差图像。实验结果表明，我们提出的GAL-DeepLabv 3+在所有训练数据模态上实现了最佳的整体坑洞检测精度。
2021-09-06 cs.AI cs.CV cs.LG
RoadScan: A Novel and Robust Transfer Learning Framework for Autonomous Pothole Detection in Roads
Sardar Patel Institute of Technology（萨达尔·帕特尔理工学院）
RoadScan利用VGG16和孪生网络进行道路坑洞检测，以96.12%准确率、3.89%EER和0.988 AUROC实现高效稳健的自主检测。
2023-10-14 cs.CV
Computer Vision for Road Imaging and Pothole Detection: A State-of-the-Art Review of Systems and Algorithms
Tongji University（同济大学）；McGill University（麦吉尔大学）；the Hong Kong University of Science and Technology（香港科技大学）；ClearMotion Inc.（ClearMotion公司）；Nanyang Technological University（南洋理工大学）
二十多年来，计算机视觉算法已被广泛用于三维道路成像和坑洞检测。尽管如此，仍然缺乏关于最先进的（SoTA）计算机视觉技术的系统调查文章，特别是为解决这些问题而开发的深度学习模型。本文首先介绍了用于2-D和3-D道路数据采集的传感系统，包括摄像机、激光扫描仪和Microsoft Kinect。随后，它深入全面地回顾了SoTA计算机视觉算法，包括（1）经典的2-D图像处理，（2）3-D点云建模和分割，以及（3）机器/深度学习，用于道路坑洞检测。探讨了基于计算机视觉的路面坑槽检测方法存在的问题和未来的发展趋势：经典的基于二维图像处理和三维点云建模与分割的方法已经成为历史;和卷积神经网络（CNN）已经证明了令人信服的道路坑洞检测结果，并有望打破瓶颈与未来的进展，自我/非-多模态语义分割的监督学习。我们相信，这项调查可以作为开发下一代道路状况评估系统的实际指导。
2022-04-28 cs.AI cs.CV cs.LG
Rethinking Road Surface 3D Reconstruction and Pothole Detection: From Perspective Transformation to Disparity Map Segmentation
UC San Diego（加州大学圣地亚哥分校）；Cyprus International University（塞浦路斯国际大学）；the Hong Kong University of Science and Technology（香港科技大学）；University of Thessaloniki（塞萨洛尼基大学）
路面坑槽是最常见的道路损坏形式之一，它会严重影响驾驶舒适性、道路安全性和车辆状况。坑洞检测通常由结构工程师或认证检查员执行。然而，这项任务不仅对工作人员有危险，而且极其耗时。提出了一种基于视差图估计和分割的路面坑槽检测算法。我们首先概括的透视变换，将立体钻机滚动角。然后使用半全局匹配来估计道路差异。然后执行视差图变换算法以更好地区分损坏的道路区域。最后，我们利用简单的线性迭代聚类，将变换后的视差分组为超像素的集合。然后通过找到超像素来检测坑洞，超像素的值低于自适应确定的阈值。该算法在NVIDIA RTX 2080 Ti GPU上实现。实验结果表明，我们提出的道路坑洞检测算法的准确性和效率，其中的准确率为99.6%，F-得分为89.4%。
2020-12-31 cs.CV cs.RO
Pothole Detection Based on Disparity Transformation and Road Surface Modeling
Hong Kong University of Science and Technology（香港科技大学）；Near East University（近东大学）；National Oceanography Centre（国家海洋学中心）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
坑槽检测是道路养护的重要任务之一。计算机视觉方法通常基于2D道路图像分析或3D道路表面建模。然而，这两个类别总是独立使用。此外，坑洞检测精度仍然远远不能令人满意。因此，在本文中，我们提出了一个强大的坑洞检测算法，是准确和计算效率。首先对密集视差图进行转换，以更好地区分受损和未受损的道路区域。为了提高视差变换的效率，利用黄金分割搜索和动态规划估计变换参数。大津的阈值方法，然后从变换后的视差图中提取潜在的未损坏的道路区域。在提取的区域的差异是由一个二次曲面使用最小二乘拟合建模。为了提高视差图建模的鲁棒性，表面法线也被集成到表面建模过程中。此外，随机样本共识被用来减少离群值所造成的影响。通过比较实际视差图和模型视差图之间的差异，可以准确地检测到坑洞。最后，从重建的三维路面中提取检测到的坑洞的点云。实验结果表明，该系统的成功检测准确率约为98.7%，整体像素级准确率约为99.6%。
2022-05-22 cs.CV eess.IV
Depth-Aware Pothole Detection Using YOLO and RT-DETR at the Edge
本文针对现有坑洞检测无法测深的问题，提出感知深度的坑洞检测框架，对比五种模型，在PothRGBD数据集上验证，发现边界框模型存在结构性深度高估偏差，YOLOv8nSeg检测精度最优、YOLOv8n推理最快、RTDETRX置信度最高。
2026-08-31 cs.AI cs.CV cs.LG
Enhancing Pothole Detection and Characterization: Integrated Segmentation and Depth Estimation in Road Anomaly Systems
Interdisciplinary Research Center for Intelligent Secure Systems（智能安全系统跨学科研究中心）；KFUPM（法赫德国王石油和矿产大学）
针对道路坑洼检测缺乏完整表征的问题，本文采用预训练YOLOv8-seg模型结合自建图像与深度图数据集，通过检测分割与深度融合实现坑洼全面表征，提升自动驾驶导航与道路维护效率。
2025-04-18 cs.CV cs.SY eess.SY
An Enhanced YOLOv8 Model for Real-Time and Accurate Pothole Detection and Measurement
Kırıkkale University（克勒卡莱大学）；Selçuk University（塞尔丘克大学）
针对现有坑洞检测方法仅靠2D图像无法分析物理特征的问题，本文构建PothRGBD数据集，提出融合DSConv、SimAM与GELU的改进YOLOv8n-seg模型，提升检测分割精度且支持坑洞周长深度测量，适用于实时智能交通场景。
2025-05-16 cs.AI cs.CV
We Learn Better Road Pothole Detection: from Attention Aggregation to Adversarial Domain Adaptation
UC San Diego（加州大学圣迭戈分校）；HKUST Robotics Institute（香港科技大学机器人研究所）；University of Bristol（布里斯托大学）
由认证检查员进行的人工目视检查仍然是道路坑洞检测的主要形式。然而，这一过程不仅繁琐、费时和费钱，而且对视察员来说也很危险。此外，路面坑槽检测结果往往是主观的，因为它们完全依赖于个人的经验。我们最近推出的视差（或逆深度）变换算法可以更好地区分损坏和未损坏的道路区域，它可以很容易地部署到任何语义分割网络，以获得更好的道路坑洞检测结果。为了提高性能，我们提出了一种新的注意力聚合（AA）框架，它采取了不同类型的注意力模块的优点。此外，我们开发了一种有效的训练集增强技术的基础上对抗领域自适应，其中合成道路RGB图像和转换后的道路视差（或逆深度）图像生成，以加强语义分割网络的训练。实验结果表明，首先，变换后的视差（或逆深度）图像变得更有信息量;其次，我们的最佳性能实现AA-UNet和AA-RTFNet分别优于所有其他最先进的单模态和数据融合网络，用于道路坑洞检测;最后，基于对抗性领域自适应的训练集增强技术不仅提高了状态估计的准确性，艺术语义分割网络，而且还加速了它们的融合。
2020-12-11 cs.CV cs.RO
Automated Management of Pothole related Disasters Using Image Processing and Geotagging
坑洞虽然看似无关紧要，但可能会导致事故，导致人员死亡。在本文中，我们提出了一个自动化系统，有效地管理在病房的坑洞，通过部署地理标记和图像处理技术，克服了与现有的面向调查的系统的缺点。图像处理用于使用边缘检测和形态学图像处理操作来识别2D图像中的目标坑洞区域。开发了一种方法，从图像中准确估计坑洞的尺寸，分析其面积和深度，估计所需的填充材料的数量，从而使坑洞护理优先。这将进一步使政府官员能够拥有一个完全自动化的系统，用于有效地管理与坑洞相关的灾害。
2016-01-08 cs.CV
YOLOv8-Based Visual Detection of Road Hazards: Potholes, Sewer Covers, and Manholes
COEP Technological University（COEP科技大学）
本文评估了YOLOv8在坑洞、下水道盖和井盖等道路隐患检测中的性能，并与YOLOv5、YOLOv7对比，通过图像预处理和超参数调优提升检测精度，以mAP验证其鲁棒性和泛化能力。
2023-10-31 cs.CV
Pothole Detection and Recognition based on Transfer Learning
本研究基于迁移学习构建ResNet50-EfficientNet-RegNet模型，用于道路坑洞检测与识别，通过对比实验验证了其在准确率和速度上优于传统机器学习模型，分类准确率达98.89%。
2025-09-08 cs.CV
SHREC 2022: pothole and crack detection in the road pavement using images and RGB-D data
Istituto di Matematica Applicata e Tecnologie Informatiche ‘E. Magenes’ - CNR（意大利国家研究委员会“E. 马涅斯”应用数学与信息技术研究所）；University of Chile（智利大学）；University of Science, Ho Chi Minh City（胡志明市科学大学）；Viet Nam National University, Ho Chi Minh City（胡志明市越南国家大学）；John von Neumann Institute（约翰·冯·诺依曼研究所）
本文介绍了提交给SHREC 2022轨道评价路面坑槽和裂缝检测的方法。共7个不同的运行的道路表面的语义分割进行了比较，6个从参与者加上基线方法。所有方法都利用了深度学习技术，并且使用相同的环境（即：一个单字节笔记本）。由3836个语义分割图像/掩码对和797个用最新深度相机收集的RGB-D视频剪辑组成的训练集可供参与者使用。然后在验证集中的496个图像/掩模对上、在测试集中的504个图像/掩模对上以及最后在8个视频剪辑上对该方法进行评估。结果的分析是基于图像分割的定量指标和视频剪辑的定性分析。参与情况和结果表明，该方案非常有趣，在这种情况下使用RGB-D数据仍然具有挑战性。
2022-07-12 cs.CV cs.GR
A Joint 3D-2D based Method for Free Space Detection on Roads
IIT Delhi（德里印度理工学院）；IIIT Delhi（德里印度信息技术学院）
在本文中，我们解决的问题，道路分割和自由空间检测的背景下，自动驾驶。传统方法使用三维（3D）线索，诸如从LIDAR、RADAR或立体相机获得的点云，或者使用二维（2D）线索，诸如车道标记、道路边界和目标检测。典型的3D点云没有足够的分辨率来检测道路和人行道之间的高度差异。基于图像的2D提示在遇到不平坦的道路纹理时会失败，例如由于阴影，坑洞，车道标记或道路恢复。我们提出了一种新的自由道路空间检测技术相结合的2D和3D线索。特别是，我们使用CNN为基础的道路分割从二维图像和平面/盒拟合稀疏的深度数据从SLAM作为先验公式的能量最小化使用条件随机场（CRF），道路像素分类。虽然CNN学习道路纹理并且不受深度边界的影响，但是3D信息有助于克服基于纹理的分类失败。最后，我们使用所获得的道路分割与3D深度数据从单目SLAM检测自由空间的导航目的。我们在KITTI里程数据集，Camvid数据集以及我们捕获的视频上的实验验证了所提出的方法优于现有技术。
2018-01-15 cs.CV
SBP-YOLO:A Lightweight Real-Time Model for Detecting Speed Bumps and Potholes toward Intelligent Vehicle Suspension Systems
Key Laboratory for Optoelectronic Technology and Systems, Ministry of Education, College of Optoelectronic Engineering, Chongqing University（光电技术及系统重点实验室、教育部长春电子工程学院、重庆大学）
本文提出SBP-YOLO，一种基于YOLOv11n的轻量级实时检测框架，通过GhostConv、VoVGSCSPC、P2分支和LEDH头实现减速带与坑洼的高效检测，在Jetson AGX Xavier上达到87.0% mAP和139.5 FPS，适用于智能悬架系统。
2025-10-07 cs.AI cs.CV
Vehicle Driving Assistant
International Institute of Information Technology, Bangalore（班加罗尔国际信息技术学院）
自动驾驶汽车一直是我们日常生活中的一个常用术语，特斯拉等汽车制造商的汽车都是SAE 3级。虽然这些车辆包括停车辅助和巡航控制等一系列功能，但它们大多是针对外国道路量身定制的。坑坑洼洼，以及它们的丰富性，是我们印度道路所特有的。我们相信，从视觉图像中成功检测坑洞可以应用于各种场景。此外，坑洼的颜色、形状和大小的绝对多样性使得该问题成为使用现代机器学习和图像处理技术来解决的适当候选者。
2020-02-10 cs.CV
An Improved Deep Convolutional Neural Network-Based Autonomous Road Inspection Scheme Using Unmanned Aerial Vehicles
Kumoh National Institute of Technology（国立金乌工科大学）
人工智能（AI）的进步为开发自主设备提供了很好的机会。这项工作的贡献是一个改进的卷积神经网络（CNN）模型及其实现的道路裂缝，坑洼，和黄色车道的道路检测。黄色车道检测与跟踪的目的是通过跟随黄色车道，实现无人机的自主导航，同时通过WIFI或5G介质检测并向服务器报告道路裂缝和坑洼。建立自己的数据集是一项繁忙而耗时的任务。使用默认和改进的模型创建、标记和训练数据集。这两种模型的性能是基准方面的准确性，平均平均精度（mAP）和检测时间。在测试阶段，据观察，改进后的模型的性能更好的精度和mAP方面。改进后的模型在无人机上实现，使用机器人操作系统，通过无人机前置摄像头视觉实时自主检测道路中的坑洼和裂缝。
2020-08-14 cs.CV cs.LG cs.RO
Intelligent Road Anomaly Detection with Real-time Notification System for Enhanced Road Safety
King Fahd University of Petroleum & Minerals（法赫德国王石油与矿业大学）
本研究针对道路损坏异常易引发事故的问题，开发了集异常检测分类、云端上报、车辆预警、实时统计于一体的智能道路异常检测系统，经仿真验证可主动提升道路安全、减少相关事故。
2025-05-13 cs.CV cs.SY eess.IV
Deep learning for 3D Object Detection and Tracking in Autonomous Driving: A Brief Survey
Southern University of Science and Technology（南方科技大学）
本文简要综述了深度学习在自动驾驶三维目标检测与跟踪中的最新进展，强调了点云数据的独特挑战及现有方法的研究现状。
2023-11-10 cs.AI cs.CV
A Computer Vision-assisted Approach to Automated Real-Time Road Infrastructure Management
道路路面损坏的精确自动检测对于及时识别和修复潜在的事故诱发道路危险（例如坑洞和其他表面水平的沥青裂缝）至关重要。在缺乏政府基础设施维护资金的低资源环境中，由于对道路系统的道路危险进行不充分和不经常的人工检查，通常会增加潜在致命交通事故的风险，部署这种系统将更加有利。为解决此问题，电气及电子工程师学会（“IEEE”）于二零二零年五月举办的一项研究计划（作为其二零二零年全球道路损坏检测（“GRDC”）挑战赛的一部分）发布了一个新颖的21，041个各种道路损坏的注释图像数据集，呼吁学术界及其他研究人员就这些道路危险检测问题提交基于深度学习的创新解决方案。利用该数据集，我们提出了一种监督目标检测方法，该方法利用You Only Look Once（“YOLO”）和Faster R-CNN框架，通过安装在汽车仪表盘上的智能手机摄像头实时的【形】检测和分类道路故障，产生了0. 68 F1得分的实验结果，在截至2021年12月的121支参赛队伍中排名前5。
2022-02-27 cs.CV cs.LG
InfraGPT Smart Infrastructure: An End-to-End VLM-Based Framework for Detecting and Managing Urban Defects
Independent Researchers（独立研究者）
针对城市基础设施缺陷巡检依赖人工且现有系统输出零散的问题，提出结合YOLO检测分割与VLM的端到端框架，可识别多类缺陷并生成JSON结构化维修行动计划。
2025-10-15 cs.AI cs.CL cs.CV
Intelligent road crack detection and analysis based on improved YOLOv8
Sun Yat-sen University（中山大学）；DigiPen Institute of Technology（迪吉彭理工学院）；Hebei Normal University（河北师范大学）；University of Glasgow（格拉斯哥大学）
本文提出基于增强YOLOv8的智能道路裂缝检测与分析系统，通过训练4029张图像实现裂缝区域的高效分割与宽度位置计算，并引入ECA和CBAM注意力机制显著提升检测准确率与效率。
2025-04-16 cs.AI cs.CV cs.LG
Enhancing Pavement Crack Classification with Bidirectional Cascaded Neural Networks
Al-Ahliyya Amman University（阿曼阿赫利耶大学）；Ministry of Public Work of Kuwait（科威特公共工程部）；Queensland University of Technology（昆士兰科技大学）；Arab American University（阿拉伯美国大学）
本研究提出双向级联神经网络（BCNN），利用前向和后向信息流及级联结构，在599张增强图像上实现87%准确率的路面裂缝分类，显著提升维护效率。
2025-03-27 cs.CV
RDD2022: A multi-national image dataset for automatic Road Damage Detection
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；The University of Tokyo（东京大学）；UrbanX Technologies, Inc.（UrbanX科技公司）
这篇数据文章描述了道路损坏数据集RDD 2022，其中包括来自日本，印度，捷克共和国，挪威，美国和中国六个国家的47，420张道路图像。这些图像标注了55 000多个道路损坏实例。四种类型的道路损坏，即纵向裂缝，横向裂缝，鳄鱼裂纹和坑洞，被捕获在数据集中。注释数据集被设想用于开发基于深度学习的方法来自动检测和分类道路损坏。该数据集已作为基于人群感知的道路损坏检测挑战赛（CRDDC2022）的一部分发布。CRDDC2022邀请来自全球各地的研究人员为多个国家的自动道路损坏检测提出解决方案。市政当局和道路机构可以利用RDD 2022数据集，以及使用RDD 2022训练的模型，用于道路状况的低成本自动监测。此外，计算机视觉和机器学习研究人员可以使用该数据集来对相同类型的其他基于图像的应用（分类、目标检测等）的不同算法的性能进行基准测试。
2022-09-18 cs.AI cs.CV cs.LG
ETLNet: An Efficient TCN-BiLSTM Network for Road Anomaly Detection Using Smartphone Sensors
IIIT Allahabad（阿拉哈巴德印度信息技术学院）；University at Buffalo（布法罗大学）
针对视觉道路异常检测受光照和标识影响的问题，本文提出融合TCN与BiLSTM的ETLNet，利用智能手机加速度计和陀螺仪数据检测道路异常，减速带检测F1分数达99.3%。
2024-12-06 cs.AI cs.CV
Cooperative Saliency-based Obstacle Detection and AR Rendering for Increased Situational Awareness
University of Patras（帕特雷大学）
预计未来几年，自动驾驶汽车将在现实道路条件下安全运行。然而，意外事件，如道路范围内存在意外物体，可能会危及安全。传感和通信技术以及物联网的进步可以促进在合作驾驶方案中识别危险情况和信息交换，为增加合作态势感知提供新的机会。如今，可以通过采用挡风玻璃形式的新颖的增强现实（AR）接口来实现所获得的信息的安全且不显眼的可视化。受这些技术机会的激励，我们在这项工作中提出了一种基于显着性的分布式协作障碍物检测和渲染方案，通过（i）自动障碍物检测，（ii）AR可视化和（iii）与其他联网车辆或道路基础设施共享信息（即将到来的潜在危险）来提高驾驶员的态势感知能力。使用各种真实数据集进行坑洞检测的广泛评估研究表明，与其他最近的相关方法相比，所提出的方法提供了有利的结果和功能。
2023-02-02 cs.CV eess.IV
Road Rutting Detection using Deep Learning on Images
The University of Tokyo（东京大学）；Urban-X Technologies, Inc.（Urban-X科技公司）
道路车辙是一种严重的道路病害，它会导致道路过早失效，从而产生早期和昂贵的维护成本。在过去几年中，正在积极进行使用图像处理技术和深度学习的道路损伤检测研究。然而，这些研究主要集中在检测裂缝，坑洞，以及它们的变种。很少有研究已经做了检测道路车辙。本文提出了一种新的道路车辙数据集，包括949图像，并提供对象级和像素级注释。采用目标检测模型和语义分割模型对该数据集进行车辙检测，并对模型预测结果进行定量和定性分析，以评价模型性能，明确该方法在车辙检测中面临的挑战。目标检测模型YOLOX-s实现了61.6%的mAP@IoU=0.5，语义分割模型PSPNet（Resnet-50）实现了54.69的IoU和72.67的准确率，从而为未来的类似工作提供了基准准确率。拟议的道路车辙数据集和我们的研究结果将有助于加速使用深度学习检测道路车辙的研究。
2022-09-28 cs.CV
Advancing Pavement Distress Detection in Developing Countries: A Novel Deep Learning Approach with Locally-Collected Datasets
North Dakota State University（北达科他州立大学）；Kwame Nkrumah University of Science and Technology（夸梅·恩克鲁玛科技大学）
针对发展中国家路面病害检测的需求，提出结合YOLO模型与CBAM的深度学习方法，可检测四类路面病害，还开发了网页检测应用，提供定制化解决方案。
2024-08-10 cs.CV
TD-RD: A Top-Down Benchmark with Real-Time Framework for Road Damage Detection
University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Alipurduar Government Engineering and Management College（阿里布尔杜阿尔政府工程与管理学院）；MBZUAI（Mohamed bin Zayed 人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出自上而下道路损伤检测数据集TDRD（含7,088张图像、12,882个实例）及实时检测框架TDYOLOV10，通过比较实验验证了其竞争力，旨在推动道路损伤检测研究。
2025-01-24 cs.CV
Optimizing YOLO Architectures for Optimal Road Damage Detection and Classification: A Comparative Study from YOLOv7 to YOLOv10
Sam Houston State University（萨姆休斯顿州立大学）；Academy of Finance（金融学院）；FPT University（FPT大学）
维护道路基础设施对于确保安全、高效和可持续的交通系统至关重要。然而，用于检测道路损坏的手动数据汇集是耗时的、劳动密集型的，并且带来安全风险。人工智能的最新进展，特别是深度学习，为使用道路图像自动化这一过程提供了一个有前途的解决方案。本文提出了一种使用深度学习模型进行道路损坏检测的综合工作流程，重点关注在保持检测准确性的同时优化推理速度。具体而言，为了适应硬件限制，裁剪大图像，并利用轻量级模型。此外，外部坑洞数据集被纳入，以提高这种代表性不足的损害类的检测。所提出的方法采用多个模型架构，包括具有协调注意力层的自定义YOLOv 7模型和Tiny YOLOv 7模型，这些模型经过训练和组合以最大限度地提高检测性能。模型被进一步重新参数化以优化推理效率。实验结果表明，自定义YOLOv 7模型与三个坐标注意力层和默认的Tiny YOLOv 7模型的集成实现了F1得分为0.7027，推理速度为0.0547秒/图像。完整的管道，包括数据预处理，模型训练和推理脚本，在该项目的GitHub存储库中公开提供，从而实现可重复性并促进进一步的研究。
2024-10-10 cs.CV
An Iteratively Optimized Patch Label Inference Network for Automatic Pavement Distress Detection
Chongqing University（重庆大学）；Chongqing Jiaotong University（重庆交通大学）；San Diego State University（圣地亚哥州立大学）
我们提出了一种新的深度学习框架，名为迭代优化补丁标签推理网络（IOPLIN），用于自动检测各种路面病害，这些路面病害不仅限于特定的路面病害，如裂缝和坑洞。IOPLIN可以通过期望最大化启发的补丁标签蒸馏（EMIPLD）策略仅使用图像标签进行迭代训练，并通过从路面图像中推断补丁的标签来很好地完成此任务。IOPLIN在最先进的单分支CNN模型（如GoogLeNet和EfficientNet）上具有许多理想的属性。它能够处理不同分辨率的图像，并充分利用图像信息，特别是高分辨率的图像，因为IOPLIN从未经修改的图像块中提取视觉特征，而不是调整大小的整个图像。此外，它可以粗略地定位路面破损，而无需使用任何先验定位信息在训练阶段。为了更好地评估我们的方法在实践中的有效性，我们构建了一个名为CQU-BPDD的大规模沥青路面病害检测数据集，该数据集由60，059张高分辨率路面图像组成，这些图像是在不同时间从不同地区采集的。该数据集上的广泛结果证明了IOPLIN在自动路面破损检测中优于最先进的图像分类方法。IOPLIN的源代码在\url{https://github.com/DearCaat/ioplin}上发布，CQU-BPDD数据集可在\url{https://dearcaat.github.io/CQU-BPDD/}上访问。
2022-09-08 cs.CV
YOLO-ROC: A High-Precision and Ultra-Lightweight Model for Real-Time Road Damage Detection
Shandong Jianzhu University（山东建筑大学）
针对现有道路损伤检测模型小目标漏检率高、参数量大的问题，本文提出轻量模型YOLO-ROC，通过BMS-SPPF模块和通道压缩策略提升精度并降低计算量，在相关数据集上表现优于基线且泛化性好。
2025-07-31 cs.CV
RMR-P: Road Metadata-Aware Restoration for Pavement Inspection
针对车载道路图像退化导致缺陷检测失效的问题，提出RMR-Net恢复前端，在IVCNZ和PCM数据集上的8种退化条件中7种获最高mAP50，有界细节路径是核心贡献项。
2026-08-18 cs.CV
Cycle-YOLO: A Efficient and Robust Framework for Pavement Damage Detection
University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Rovision Intelligent Technology Co（四川睿 vision 智能科技有限公司）
提出Cycle-YOLO框架，结合CycleGAN数据增强和改进YOLOv5，通过注意力机制与EIoU损失优化，实现高精度实时路面损伤检测，性能优于YOLOv7。
2024-05-28 cs.AI cs.CV cs.CY
Deep Structured Prediction for Facial Landmark Detection
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
现有的基于深度学习的人脸特征点检测方法已经取得了优异的性能。然而，这些方法没有明确地嵌入界标点之间的结构依赖性。因此，它们不能保持界标点之间的几何关系，也不能很好地推广到具有挑战性的条件或看不见的数据。提出了一种基于深度卷积网络和条件随机场相结合的深度结构化人脸特征点检测方法。我们证明了其优越的性能，现有的国家的最先进的技术在面部标志检测，特别是更好的泛化能力，具有挑战性的数据集，包括大的姿态和遮挡。
2020-10-18 cs.CV cs.LG
WildDeepfake: A Challenging Real-World Dataset for Deepfake Detection
Fudan University（复旦大学）；Deakin University（迪肯大学）
本文提出真实世界深度伪造数据集WildDeepfake（含707个视频、7,314个人脸序列），并设计2D/3D注意力检测网络ADDNets，实验证明其更具挑战性且ADDNets有效。
2024-07-17 cs.CV cs.LG
When Handcrafted Features and Deep Features Meet Mismatched Training and Test Sets for Deepfake Detection
Norwegian University of Science and Technology（挪威科技大学）
合成视觉媒体生成和操纵的加速增长现在已经达到了引起重大关注并对社会造成巨大威胁的程度。迫切需要针对虚假数字内容的自动检测网络，并避免危险的人工信息的传播，以应对这种威胁。在本文中，我们利用并比较了两种手工特征（SIFT和HoG）和两种深度特征（Xception和CNN+RNN）用于深度伪造检测任务。当训练集和测试集之间存在不匹配时，我们还检查这些特征的性能。评估是在著名的FaceForensics++数据集上进行的，该数据集包含四个子数据集，Deepfakes，Face2Face，FaceSwap和NeuralTextures。最好的结果来自Xception，当训练集和测试集都来自同一个子数据集时，准确率可以超过99%。相比之下，当训练集与测试集不匹配时，结果会急剧下降。这一现象揭示了创建通用Deepfake检测系统的挑战。
2022-09-27 cs.CV cs.LG
Unsupervised Abnormality Detection through Mixed Structure Regularization (MSR) in Deep Sparse Autoencoders
Philips Medical Systems Technologies Ltd.（飞利浦医疗系统科技有限公司）
除了显式稀疏正则化项和具有高斯噪声的输入数据的随机损坏之外，具有混合结构正则化（MSR）的深度稀疏自动编码器具有改进无监督异常检测的潜力。基于使用深度稀疏自动编码器识别离群值的无监督异常检测对于医学计算机辅助检测系统来说是非常有吸引力的方法，因为它只需要健康的数据进行训练，而不是专家注释的异常。在冠状动脉计算机断层扫描血管造影（CCTA）检测冠状动脉疾病的任务中，我们的研究结果表明，与深度稀疏和去噪自动编码器相比，MSR有可能将整体性能提高20-30%。
2019-02-28 cs.CV cs.LG
DeepApple: Deep Learning-based Apple Detection using a Suppression Mask R-CNN
由于劳动力短缺和劳动力成本上升，机器人苹果收获在过去几年中受到了广泛的研究关注。实现自动化收获的一个关键技术是准确和强大的苹果检测，由于复杂的果园环境，包括不同的照明条件和树叶/树枝遮挡，这带来了巨大的挑战。这封信报告了一个新的基于深度学习的苹果检测框架DeepApple的开发。具体来说，我们首先收集了一个全面的苹果园数据集'Gala'和'Blondee'苹果，使用彩色相机，在不同的照明条件下（阳光与阴天和正面照明与背面照明）。然后，我们开发了一种用于苹果检测的新型抑制Mask R-CNN，其中将抑制分支添加到标准Mask R-CNN中，以抑制原始网络生成的非苹果特征。进行了全面的评估，结果表明，开发的抑制掩码R-CNN网络优于最先进的模型，在标准台式计算机上具有更高的F1分数0.905和每帧0.25秒的检测时间。
2020-10-19 cs.CV cs.LG
Improved Face Detection and Alignment using Cascade Deep Convolutional Network
China Mobile Research Institute（中国移动研究院）
真实世界的人脸检测和对齐需要一个先进的判别模型来解决姿态，光照和表情的挑战。在深度学习算法的启发下，提出了一些基于卷积神经网络的人脸检测和对齐方法。最近的研究利用了人脸检测和对齐之间的关系来提高模型的计算效率，但是他们忽略了每个级联CNN之间的联系。在本文中，我们提出了一种结构，提出了更高质量的训练数据的端到端的级联网络训练，这给计算机更多的空间来自动调整权值参数和加速收敛。实验表明，现有的检测和对齐模型有相当大的改进。
2017-07-28 cs.CV cs.LG
SpectraNet: FFT-assisted Deep Learning Classifier for Deepfake Face Detection
Department of Electronic and Telecommunications Engineering, University of Moratuwa（电子与电信工程系，穆拉图瓦大学）；School of Electrical and Data Engineering, University of Technology Sydney（电气与数据工程学院，技术悉尼大学）
SpectraNet基于EfficientNet-B6设计轻量级二分类模型，通过转换技术解决类别不平衡问题，提升深度伪造图像检测的准确性和可推广性。
2025-11-24 cs.CV cs.LG
Real-Time Roadway Obstacle Detection for Electric Scooters Using Deep Learning and Multi-Sensor Fusion
University of Virginia（弗吉尼亚大学）；Mississippi State University（密西西比州立大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本研究提出一种基于深度学习和多传感器融合的电动滑板车地面障碍物检测系统，利用YOLO模型和Intel RealSense D435i摄像头，在7小时自然骑行数据集上实现0.827的mAP，有效提升了实时道路危险检测能力。
2025-04-04 cs.AI cs.CV cs.RO
Cut-and-Paste with Precision: a Content and Perspective-aware Data Augmentation for Road Damage Detection
KTH（瑞典皇家理工学院）；Intelligent Maintenance and Operations Systems, EPFL（洛桑联邦理工学院智能维护与运行系统）
针对标准剪切粘贴数据增强在道路损伤检测中效果有限的问题，提出一种兼具内容感知与视角感知的改进方法，以生成更真实的增强图像、提升数据多样性。
2024-07-10 cs.CV eess.IV
Deepfake Detection for Facial Images with Facemasks
超现实人脸图像的生成和处理已经引起了许多不道德的社会问题，例如，侵犯隐私、安全威胁和恶意政治操纵，这导致了近年来随着深度伪造取证需求的不断增长，深度伪造检测方法的发展。到目前为止，提出的deepfake检测方法已经显示出显着的检测性能和鲁棒性。然而，在新冠肺炎爆发后的大流行危机期间，没有一种建议的deepfake检测方法评估了戴口罩的deepfake的性能。在本文中，我们彻底评估了最先进的deepfake检测模型在带面罩的deepfake上的性能。此外，我们提出了两种方法来增强掩蔽的deepfakes检测：面部补丁和面部裁剪。通过各种deepfake数据集上的基线deepfake检测模型来评估这两种方法的实验评估。我们广泛的实验表明，在这两种方法中，面部裁剪的性能优于面部补丁，可以作为深度伪造检测模型的训练方法，以检测真实世界中带面罩的虚假人脸。
2022-02-23 cs.AI cs.CV cs.LG
Understanding the Security of Deepfake Detection
Duke University（杜克大学）
Deepfakes对互联网上信息的信任构成了越来越大的挑战。因此，检测deepfake引起了学术界和工业界越来越多的关注。现有技术的深度伪造检测方法包括两个关键部分，即，人脸提取器和人脸分类器，分别提取图像中的人脸区域并将其分类为真/假。现有的研究主要集中在提高非对抗性环境中的检测性能，而对抗性环境中deepfake检测的安全性在很大程度上尚未得到探索。在这项工作中，我们的目标是弥合差距。特别是，我们进行了系统的测量研究，以了解最先进的deepfake检测方法在对抗环境中的安全性。我们使用两个大规模的公共deepfakes数据源，包括FaceForensics ++和Facebook Deepfake Detection Challenge，其中deepfakes是虚假的人脸图像;我们训练最先进的deepfake检测方法。这些检测方法可以在这些数据集上的非对抗性设置中达到0.94 - 0.99的准确度。然而，我们的测量结果揭示了deepfake检测方法在对抗环境中的多个安全限制。首先，我们发现攻击者可以避开面部提取器，即，面部提取器无法通过向其deepfake图像添加小的高斯噪声来提取正确的面部区域。其次，我们发现使用一种方法生成的deepfakes训练的人脸分类器无法检测到另一种方法生成的deepfakes，即，攻击者可以通过使用新方法生成deepfake来逃避检测。第三，我们发…
2021-10-06 cs.CR cs.CV cs.LG
Recent Advances in Deep Learning for Object Detection
Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究院）
目标检测是计算机视觉中的一个基本的视觉识别问题，在过去的几十年里得到了广泛的研究。视觉目标检测的目的是在给定的图像中找到具有精确定位的特定目标类别的对象，并为每个对象实例分配相应的类别标签。由于基于深度学习的图像分类的巨大成功，近年来已经积极地研究了使用深度学习的目标检测技术。在本文中，我们全面综述了深度学习在视觉目标检测方面的最新进展。通过回顾大量最近的相关文献，我们系统地分析了现有的目标检测框架，并将调查分为三个主要部分：（i）检测组件，（ii）学习策略，（iii）应用程序和基准。在调查中，我们详细介绍了影响检测性能的各种因素，如检测器架构，特征学习，建议生成，采样策略等。最后，我们讨论了几个未来的方向，以促进和刺激未来的研究与深度学习的视觉目标检测。关键词：目标检测，深度学习，深度卷积神经网络
2019-08-10 cs.CV cs.LG cs.MM
On the Usefulness of Deep Ensemble Diversity for Out-of-Distribution Detection
Imperial College London（帝国理工学院）
检测分发外（OOD）数据的能力在深度学习的安全关键型应用中非常重要。目的是使用从深度神经网络提取的不确定性度量将从训练分布中提取的分布内（ID）数据与OOD数据分离。深度集成是一种完善的方法，可以提高深度神经网络产生的不确定性估计的质量，并且已被证明与单一模型相比具有更好的OOD检测性能。文献中现有的直觉是，深度包围预测的多样性指示分布移位，因此多样性的度量（诸如互信息（MI））应当用于OOD检测。我们通过实验证明，这种直觉在ImageNet规模的OOD检测中是无效的-与某些OOD数据集上的单模型熵相比，使用MI会导致%FPR@95差30-40%。我们对Deep Ensembles更好的OOD检测性能提出了另一种解释- OOD检测是二进制分类，我们正在集成不同的分类器。因此，我们表明，实际上，通过对特定于任务的检测分数（如能量）进行平均，可以为深度集成实现更好的OOD检测性能。
2022-09-20 cs.AI cs.CV cs.LG
DeepLung: 3D Deep Convolutional Nets for Automated Pulmonary Nodule Detection and Classification
University of California, Irvine（加州大学尔湾分校）；Baidu Research（百度研究院）
在这项工作中，我们提出了一个完全自动化的肺癌CT诊断系统，DeepLung。DeepLung包含两个部分，结节检测和分类。考虑到肺部CT数据的三维特性，设计了两个三维网络分别用于结节检测和分类。具体来说，3D Faster R-CNN被设计用于结节检测，具有类似U网的编码器-解码器结构，以有效地学习结节特征。对于结节分类，提出了具有3D双路径网络（DPN）特征的梯度提升机（GBM）。结节分类子网络在LIDC-IDRI的公共数据集上进行了验证，其性能优于最先进的方法，并超过了四位经验丰富的医生的平均性能。对于DeepLung系统，首先通过结节检测子网络检测候选结节，并通过分类子网络进行结节诊断。大量的实验结果表明，DeepLung在LIDC-IDRI数据集上的结节级别和患者级别诊断方面与经验丰富的医生相当。
2017-09-16 cs.CV cs.LG cs.NE
Deep Learning for Anomaly Detection: A Review
University of Adelaide（阿德莱德大学）；University of Technology Sydney（悉尼科技大学）
异常点探测，也就是。异常值检测或新颖性检测几十年来一直是各种研究团体中持续而活跃的研究领域。仍然有一些独特的问题、复杂性和挑战需要先进的方法。近年来，深度学习实现了异常检测，即，深部异常探测已经成为一个重要的方向。本文对深部异常检测的研究进行了全面的分类，涵盖了3个高级别类别和11个细粒度类别的方法的进展。我们回顾他们的关键直觉，目标函数，基本假设，优点和缺点，并讨论他们如何解决上述挑战。我们进一步讨论了一系列可能的未来机遇和应对挑战的新视角。
2020-12-05 cs.CV cs.LG stat.ML
Improving Fairness in Deepfake Detection
University at Buffalo, State University of New York（纽约州立大学布法罗分校）；Carnegie Mellon University（卡内基梅隆大学）；Indiana University–Purdue University Indianapolis（印第安纳大学与普渡大学印第安纳波利斯联合分校）
针对深度伪造检测器因训练数据偏差导致不同种族性别检测准确率不均的问题，提出适用于有无人口统计信息两种场景的新型损失函数，可改造现有检测器以提升公平性，实验验证了其有效性与灵活性。
2023-11-08 cs.CV cs.CY cs.LG
FaceGuard: Proactive Deepfake Detection
Fudan University（复旦大学）；Chinese Academy of Sciences（中国科学院）；Duke University（杜克大学）
现有的深度伪造检测方法集中于被动检测，即，他们通过利用在deepfake操作期间产生的伪像来检测虚假面部图像。被动检测的一个关键限制是，它无法检测到由新的deepfake生成方法生成的虚假人脸。在这项工作中，我们提出了FaceGuard，一个主动的深度伪造检测框架。FaceGuard在真实人脸图像发布到社交媒体之前将水印嵌入其中。给定声称是个人的面部图像（例如，Nicolas Cage），FaceGuard从中提取水印，如果提取的水印与个人的地面真实值不匹配，则预测面部图像是假的。FaceGuard的一个关键组件是一种新的基于深度学习的水印方法，该方法1）对JPEG压缩，高斯模糊，裁剪和缩放等正常图像后处理具有鲁棒性，但2）对deepfake操作很脆弱。我们对多个数据集的评估表明，FaceGuard可以准确地检测deepfake，并且优于现有方法。
2021-09-13 cs.CR cs.CV cs.LG
