BEVerse: Unified Perception and Prediction in Birds-Eye-View for Vision-Centric Autonomous Driving
Tsinghua University（清华大学）；PhiGent Robotics（鉴智机器人）
在本文中，我们提出了BEVerse，一个基于多摄像头系统的3D感知和预测的统一框架。与专注于改进单任务方法的现有研究不同，BEVerse的特点是从多摄像头视频中生成时空鸟瞰图（BEV）表示，并联合推理以视觉为中心的自动驾驶的多个任务。具体而言，BEVerse首先执行共享特征提取和提升，以从多时间戳和多视图图像生成4D BEV表示。在自我运动对准之后，时空编码器用于BEV中的进一步特征提取。最后，附加多个任务解码器，用于联合推理和预测。在解码器中，我们提出了网格采样器来生成不同任务的不同范围和粒度的BEV特征。此外，我们还设计了一种迭代流的方法来进行内存有效的未来预测。我们表明，时间信息提高了三维目标检测和语义地图的建设，而多任务学习可以隐含地有利于运动预测。通过在nuScenes数据集上的大量实验，我们表明多任务BEVerse在3D目标检测、语义地图构建和运动预测方面优于现有的单任务方法。与序贯范式相比，BEVerse也有利于显著提高效率。代码和训练模型将在https://github.com/zhangyp15/BEVerse上发布。
2022-05-19 cs.CV
Multi-Scale Spectral Attention Module-based Hyperspectral Segmentation in Autonomous Driving Scenarios
School of Engineering, University of Galway, Ireland（Galway大学工程学院，爱尔兰）；Ryan Institute, University of Galway, Ireland（Galway大学Ryan研究所，爱尔兰）；Valeo Vision Systems, Tuam, Ireland（爱尔兰Tuam市Valeo Vision Systems公司）
本文提出多尺度注意力机制提升高光谱图像分割性能，通过不同核尺寸的1D卷积和自适应特征聚合，在多个城市驾驶场景数据集中提升mIoU和mF1指标，证明了最优核组合的dataset特异性。
2026-11-03 cs.AI cs.CV
Driver Assistance System Based on Multimodal Data Hazard Detection
本文提出一种融合道路视频、驾驶员面部视频和音频的多模态驾驶辅助检测系统，采用基于注意力的中间融合策略实现端到端学习，并构建三模态数据集，以提升罕见驾驶异常的识别准确性、减少误判并增强驾驶安全。
2025-02-05 cs.CV cs.LG
Hierarchical Road Topology Learning for Urban Map-less Driving
Mercedes-Benz R&D NA（梅赛德斯-奔驰北美研发中心）
目前自动驾驶的大多数方法都依赖于高清（HD）地图，这些地图详细描述了道路几何形状和周围区域。然而，由于这种现有地图的可扩展性差，这种依赖是大规模部署自动驾驶车辆的障碍之一。在本文中，我们解决了在线道路地图提取的问题，通过利用车辆本身的感官系统。为此，我们设计了一个结构化模型，其中道路网络的图形表示在完全卷积网络中以分层方式生成。该方法能够处理复杂的道路拓扑结构，并且不需要用户在回路中。
2021-03-31 cs.CV cs.LG cs.RO
Optimization of Autonomous Driving Image Detection Based on RFAConv and Triplet Attention
University of Sydney（悉尼大学）；University of Pittsburgh（匹兹堡大学）；Santa Clara University（圣克拉拉大学）；Trine University（特里恩大学）
针对自动驾驶场景下的目标检测需求，本文通过引入C2f_RFAConv模块和Triplet Attention机制改进YOLOv8模型，提升了特征提取效率与特征聚焦能力，实现了MAP值升高、PR曲线表现改善的检测性能提升。
2024-06-25 cs.AI cs.CV cs.RO
Uncovering variability in human driving behavior through automatic extraction of similar traffic scenes from large naturalistic datasets
Delft University of Technology（代尔夫特理工大学）
最近，已经公布了人类驾驶轨迹的多个自然主义交通数据集（例如，highD、NGSim和pNEUMA）。这些数据集已被用于研究人类驾驶行为的可变性，例如用于自动驾驶车辆（AV）行为的基于ESTA的验证，建模驾驶员行为或验证驾驶员模型。到目前为止，这些研究集中在操作层面上的可变性（例如，车道变换期间的速度分布），而不是在战术水平上（即，换车道或不换车道）。研究这两个层面上的可变性对于开发包括多种战术行为的驾驶员模型和AV是必要的。为了揭示多层次的可变性，可以研究人类对同一交通场景的反应。然而，不存在从数据集中自动提取相似场景的方法。在这里，我们提出了一个四步提取方法，使用Hausdorff距离，一个数学距离度量集。我们对highD数据集进行了案例研究，结果表明该方法具有实际适用性。人类对所选场景的反应暴露了战术和操作层面的可变性。通过这种新方法，可以研究操作和战术人类行为的变化，而不需要昂贵和耗时的驾驶模拟器实验。
2023-03-15 cs.CV
Innovative Texture Database Collecting Approach and Feature Extraction Method based on Combination of Gray Tone Difference Matrixes, Local Binary Patterns,and K-means Clustering
Shiraz University（设拉子大学）
纹理分析与分类是80年代后期以来图像处理科学家们十分关注的问题之一。如果纹理分析的准确性得到保证，它可以应用于目标跟踪、视觉模式识别、人脸识别等领域，目前已经有很多方法可以解决这一问题。针对他们的技术差异，所有人都使用相同的流行数据库来评估他们的性能，如Brodatz或Outex，这可能使他们的性能偏向于这些数据库。本文提出了一种方法来收集更有效的纹理图像数据库。所提出的方法包括两个阶段。第一种是基于灰度差矩阵和局部二值模式特征的特征表示方法，第二种是基于K-均值聚类的特征提取算法。为了评估所提出的方法的性能，纹理数据库的收集和费舍尔率计算收集的一个和众所周知的数据库。此外，纹理分类评价的基础上提供的特征提取和准确性进行了比较，一些国家的最先进的纹理分类方法。
2018-03-12 cs.CV
Noise Reduction and Driving Event Extraction Method for Performance Improvement on Driving Noise-based Surface Anomaly Detection
SK Planet Co., Ltd.（SK电讯旗下SK Planet有限公司）
路面上的异物，如雨水或黑冰，会降低轮胎与路面之间的摩擦力。上述情况将降低制动性能并且使得难以控制车身姿态。在这种情况下，至少有可能造成财产损失。在最坏的情况下，会造成人身伤害。为了避免这一问题，提出了一种基于车辆行驶噪声的道路异常检测模型。然而，现有的建议没有考虑与驾驶噪声混合的额外噪声，并且跳过了没有车辆驾驶的时刻的计算。在本文中，我们提出了一个简单的驾驶事件提取方法和降噪方法，以提高计算效率和异常检测性能。
2021-12-14 cs.CV cs.SD eess.AS
Sequential Clustering based Facial Feature Extraction Method for Automatic Creation of Facial Models from Orthogonal Views
多视点三维人脸建模技术近年来受到越来越多的关注，并已成为未来视频系统的潜在途径之一。我们的目标是使更可靠和强大的自动特征提取和自然的三维特征建设从一对正面和侧面视图人脸图像上检测到的二维特征。我们提出了几种启发式算法，以尽量减少可能的错误引入普遍的非完美正交条件和非相干亮度。在我们的方法中，我们首先提取在两个视图中对两个相机可见的2D特征。然后，我们估计的基础上，在两个正交视图中提取的可见特征的隐藏的轮廓视图中的特征的坐标。最后，基于提取的特征的坐标，我们变形的3D通用模型执行所需的3D克隆建模。目前的研究证明了范围的实际应用，如人脸识别和面部动画的面部模型。
2009-12-03 cs.CV
Structured Data Extraction from Real Estate Documents using Clustering, Classification, and Large Language Models
Robert Gordon University（罗伯特·戈登大学）
研究如何从房地产问卷文档中提取结构化数据，提出端到端管道，先分类文档，再用大语言模型提取属性，应用于3965份文档，成功处理2781份，得到2766条记录，验证了数据质量，证明该提取方法可行可靠。
2026-07-08 cs.CV
A Rapid Pattern-Recognition Method for Driving Types Using Clustering-Based Support Vector Machines
Beijing Institute of Technology（北京理工大学）；UC Berkeley（加州大学伯克利分校）
提出了一种快速模式识别方法来表征驾驶员曲线通过行为。为了缩短识别时间，提高驾驶风格的识别率，提出了一种基于k均值聚类的支持向量机（kMC-SVM）方法，并将其用于驾驶员的驾驶风格分类。首先将车速和节气门开度作为反映驾驶风格的特征参数。其次，为了区分驾驶员曲线通过行为，减少支持向量的数量，采用k-均值聚类方法对两类驾驶数据进行提取和聚类，缩短识别时间。然后，基于聚类结果，利用支持向量机方法生成超平面，用于判断和预测人类驾驶员属于哪种类型。最后，为了验证kMC-SVM方法的有效性，设计并进行了交叉验证实验。研究结果表明，与SVM方法相比，$ k $ MC-SVM方法是一种有效的驾驶风格分类方法，分类时间短。
2016-05-22 cs.CV cs.LG stat.ML
Driver Behavior Extraction from Videos in Naturalistic Driving Datasets with 3D ConvNets
University of Michigan（密歇根大学）
自然驾驶数据（NDD）是了解碰撞原因和人为因素以及进一步制定防撞对策的重要信息来源。在驾驶时记录的视频通常包括在这样的数据集中。虽然NDD中通常有大量的视频数据，但只有一小部分可以由人类编码人员注释并用于研究，这使得所有视频数据都没有得到充分利用。本文探索了一种计算机视觉方法来自动提取视频中的信息。更具体地说，我们开发了一种3D ConvNet算法，可以从视频中自动提取与手机相关的行为。实验表明，我们的方法可以从视频中提取块，其中大部分（约79%）包含自动标记的手机行为。结合对提取的块的人工审查，这种方法可以比简单地查看视频更有效地找到与手机相关的驾驶员行为。
2020-11-30 cs.AI cs.CV
Behavior-Centric Extraction of Scenarios from Highway Traffic Data and their Domain-Knowledge-Guided Clustering using CVQ-VAE
Technische Hochschule Ingolstadt（因斯布鲁克技术大学）；AUDI AG（奥迪公司）；Technische Universität München（慕尼黑技术大学）
本文提出基于场景-规范概念的标准场景提取方法和领域知识引导的聚类方法，通过highd数据集实验验证了其在高速公路数据中可靠提取场景并整合领域知识的能力。
2026-05-11 cs.CV cs.LG
Efficient Information Theoretic Clustering on Discrete Lattices
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
我们考虑的问题，居住在离散的，低维格的聚类数据。在图像分割和关键点提取中可以找到这种设置的典型示例。我们的解决方案是基于最近的信息理论聚类方法，聚类结果从一个迭代过程，最大限度地减少了分歧的措施。我们用卷积代替了原始算法中昂贵的处理步骤。这些允许高效的实现，从而显著减少运行时间。因此，本文弥合了机器学习和信号处理之间的差距。
2013-10-26 cs.CV
Extraction of V2V Encountering Scenarios from Naturalistic Driving Database
Tsinghua University（清华大学）；University of Michigan（密歇根大学）
在互联车辆（CV）算法发布和部署之前，有必要对其有效性和安全性进行全面评估。目前的评价方法主要依赖于仿真平台和单车行驶模型。它的主要缺点是缺乏网络现实主义。为了克服这个问题，我们从数据库中提取自然的V2 V遭遇数据，然后通过聚类分离出主要的车辆遭遇类别。提出了一种快速挖掘算法，可应用于并行查询，以进一步加快进程。从美国密歇根州安阿伯的安全试点模型计划中收集的275 GB数据库中挖掘出4，500次遭遇。K-means和动态时间规整（DTW）用于聚类。实验结果表明，该方法能够快速地从大型数据库中挖掘和聚类主要驾驶场景。我们的研究结果分离的跟车，交叉口和旁路，这是车辆遇到的主要类别。我们期望本文的工作可以成为一种通用的方法，有效地提取车辆遇到任何现有的数据库，包含车辆GPS信息。更重要的是，不同车辆遭遇的自然数据可以应用于互联车辆评估。
2018-05-23 cs.CV cs.LG
Fuzzy Logic Approach For Visual Analysis Of Websites With K-means Clustering-based Color Extraction
Kazakh-British Technical University（哈萨克-英国技术大学）
本文提出一种基于模糊逻辑的网站美学测量方法，结合颜色和谐度与字体流行度，并利用K-means聚类从近200个网站截图中提取主色，以研究美学与可用性的关系。
2024-07-16 cs.CV cs.HC
Neural Clustering based Visual Representation Learning
Zhejiang University（浙江大学）；ETH Zürich（苏黎世联邦理工学院）
提出神经聚类框架FEC，将特征提取视为从数据中选择代表的过程，通过迭代分组像素并更新深度特征自动捕获数据分布，在多种视觉识别任务中验证了其有效性与即席可解释性。
2024-03-26 cs.CV
Universal Guideline-Driven Image Clustering via a Hybrid LLM Agent
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Amazon（亚马逊）
提出首个通用图像聚类框架，通过文本指南弥合任务差异，利用生成式概念代理建模和基于最小生成树的LLM遍历，在多种聚类场景中超越专用方法。
2026-06-24 cs.CV
Data extraction and processing methods to aid the study of driving behaviors at intersections in naturalistic driving
Schepens Eye Research Institute of Mass Eye & Ear（麻省眼耳医院谢泼恩斯眼科研究所）；Harvard Medical School Department of Ophthalmology（哈佛医学院眼科学系）；Colby College（科尔比学院）
本文提出了一套从自然驾驶多模态数据中自动提取交叉口驾驶员头部扫描行为的方法，结合头部姿态AI模型、YOLO目标检测和规则算法，在190个交叉口上实现了高精度的标志、操作和边界识别。
2025-04-29 cs.CV cs.RO
Clustering Using Isoperimetric Number of Trees
Sharif University of Technology（谢里夫理工大学）；Isfahan University of Technology（伊斯法罕理工大学）
在本文中，我们提出了一个基于图的数据聚类算法，它是基于最小生成树的最小等周标准的精确聚类。我们表明，我们的基本聚类算法运行在$O(n \log n)$和后处理在$O(n^2)$（最坏情况）的时间，其中$n$是数据集的大小。我们还表明，我们的广义图模型，它也允许使用潜在的顶点可以用来提取一个更详细的信息包的{ \it离群值配置文件}的数据集。在这个方向上，我们表明，我们的方法可以用来定义一个离群集的概念，在一个精确的方式，我们提出了近似算法，找到这样的集合。我们还提供了我们的算法与其他相关的比较性能分析，我们表明，新的聚类算法（没有离群值提取过程）的行为相当有效，即使在硬基准和手工制作的例子。
2012-03-19 cs.CV
Hyperspectral Image Segmentation based on Graph Processing over Multilayer Networks
University of California, Davis（加州大学戴维斯分校）
高光谱成像是一种重要的传感技术，在环境科学、气象和地球/空间探索等领域具有广泛的应用和影响。高光谱图像处理的一个重要任务是光谱-空间特征的提取。本文利用最近发展起来的多层网络上的图形信号处理（M-GSP），提出了几种基于M-GSP特征提取的HSI分割方法。为了获取联合频谱空间信息，我们首先定制了一个基于张量的多层网络（MLN）模型HSI，并定义了一个MLN奇异空间的特征提取。然后，我们开发了一个无监督的HSI分割方法，利用MLN谱聚类。通过基于MLN的聚类对HSI像素进行重新分组，我们进一步提出了一种基于超像素多分辨率融合的半监督HSI分类。我们的实验结果证明了M-GSP在HSI处理和频谱-空间信息抽取方面的优势。
2021-11-29 cs.CV eess.SP
Identifying safe intersection design through unsupervised feature extraction from satellite imagery
世界卫生组织已将设计更安全的十字路口列为减少全球道路创伤的关键干预措施。本文首次基于航拍图像和深度学习，系统分析了一个大国所有交叉口的设计。为澳大利亚所有交叉路口下载了大约90万张卫星图像，定制的计算机视觉技术强调了道路基础设施。深度自动编码器提取高级特征，包括交叉口的类型、大小、形状、车道标记和复杂性，这些特征用于聚类类似的设计。澳大利亚的远程信息处理数据集将基础设施设计与6600万公里驾驶过程中捕获的驾驶行为联系起来。这表明在四向交叉口比三向交叉口更频繁的硬加速事件（每辆车），在T形交叉口相对较低的硬减速频率，以及在环形交叉口持续较低的平均速度。总的来说，特定领域的特征提取能够识别基础设施的改进，这可能导致更安全的驾驶行为，从而可能减少道路创伤。
2020-10-29 cs.CV cs.LG cs.MM
Unsupervised Anomalous Trajectory Detection for Crowded Scenes
Indian Institute of Engineering Science and Technology, Shibpur（印度希布尔工程科学技术学院）；Indian Institute of Space Science and Technology（印度空间科学技术学院）
提出了一种改进的基于聚类的无监督异常轨迹检测算法。所提出的工作是基于四个主要步骤，即，从拥挤的场景视频中提取的轨迹，从这些轨迹中提取的几个功能，独立的均值漂移聚类和异常检测。首先，使用多特征视频对象跟踪器提取人群中所有运动对象的轨迹。然后将这些轨迹转换为一组特征空间。均值漂移聚类应用于这些特征矩阵，以获得不同的集群，而基于香农熵的异常检测器识别相应的异常。在最后一步中，投票机制识别出表现出异常特征的轨迹。该算法是测试人群场景视频数据集。视频代表了各种可能的人群场景，具有不同的运动模式，该方法可以很好地从场景中检测出预期的异常轨迹。
2019-07-03 cs.CV eess.IV
Combining pretrained CNN feature extractors to enhance clustering of complex natural images
Universidade Federal do Rio Grande do Norte（北里奥格兰德联邦大学）；École nationale des Arts et Métiers ParisTech（巴黎国立高等工程技术学院）；University of Washington（华盛顿大学）
最近，解决复杂的无监督图像分类任务的一个共同出发点是使用通用特征，这些特征是通过在大型通用数据集（ImageNet）上预训练的深度卷积神经网络（CNN）提取的。然而，在大多数研究中，用于特征提取的CNN架构是任意选择的，没有理由。本文旨在提供有关使用预训练的CNN特征进行图像聚类（IC）的见解。首先，进行了大量的实验，并表明，对于给定的数据集，特征提取的CNN架构的选择对最终的聚类有巨大的影响。这些实验还表明，对于给定的IC任务，适当的提取器选择是困难的。为了解决这个问题，我们建议将IC问题重新表述为多视图聚类（MVC）问题，该问题将从不同架构中提取的特征视为相同数据的不同“视图”。这种方法基于这样的假设：即使在相同的数据上进行预训练，不同的CNN中包含的信息也可能是互补的。然后，我们提出了一个多输入神经网络架构，训练端到端，有效地解决MVC问题。这种方法在九个自然图像数据集上进行了测试，并为IC产生了最先进的结果。
2021-01-07 cs.CV cs.LG
Safety Metrics for Semantic Segmentation in Autonomous Driving
DENSO AUTOMOTIVE Deutschland GmbH（电装汽车德国有限公司）；TU Munich（慕尼黑工业大学）
在自动驾驶的背景下，深度神经网络的安全相关度量已被广泛研究用于图像分类和目标检测。在本文中，我们进一步考虑专门用于语义分割的安全感知的正确性和鲁棒性度量。我们的建议的新颖性是超越像素级指标：给定两个图像，每个图像有N个像素被类翻转，设计的指标应该，取决于被类翻转的像素的聚类或发生的位置，反映不同级别的安全关键性。在自动驾驶数据集上评估的结果证明了我们提出的方法的有效性和实用性。
2021-09-25 cs.CV cs.LG
Fast Deep Predictive Coding Networks for Videos Feature Extraction without Labels
University of Florida（佛罗里达大学）
本文提出一种快速推理的无监督深度预测编码网络，结合自适应动态规划与优化最小化框架，在多个数据集上提升稀疏性、学习率和特征聚类精度。
2024-09-08 cs.CV eess.SP
Extracting Overlapping Microservices from Monolithic Code via Deep Semantic Embeddings and Graph Neural Network-Based Soft Clustering
提出Mo2oM框架，将微服务提取建模为软聚类问题，结合深度语义嵌入与方法调用图的结构依赖，利用图神经网络生成重叠微服务，在多个基准上显著提升模块化、降低通信开销并平衡服务规模。
2025-08-10 cs.AI cs.CV cs.SE
Feature Selection and Feature Extraction in Pattern Analysis: A Literature Review
University of Waterloo（滑铁卢大学）
模式分析通常需要一个预处理阶段来提取或选择特征，以帮助分类，预测或聚类阶段以更好的方式区分或表示数据。这一要求的原因是，原始数据是复杂的，如果不事先提取或选择适当的特征，很难处理。本文综述了各种常用的特征选择和特征提取方法的原理和动机，并介绍了它们的一些应用。一些数值实现这些方法也示出。最后，对特征选择和特征提取的方法进行了比较。
2019-05-07 cs.AI cs.CV cs.LG
$\texttt{InfoHier}$: Hierarchical Information Extraction via Encoding and Embedding
Uppsala University（乌普萨拉大学）；Science for Life Laboratory（生命科学实验室）
针对自监督学习表征缺乏层级性、层次聚类依赖刚性度量的问题，提出结合二者的InfoHier框架，联合学习鲁棒潜在表征与分层结构，提升聚类和表征学习效果。
2025-01-15 cs.CV cs.IR cs.LG
Vehicle-Human Interactive Behaviors in Emergency: Data Extraction from Traffic Accident Videos
University at Buffalo（布法罗大学）；The University of Arizona（亚利桑那大学）
目前，研究紧急情况下的车人交互行为需要大量的实际紧急情况下的数据集，而这些数据集几乎是不可用的。现有的自动驾驶汽车（AV）公共数据主要集中在正常驾驶场景或没有人类参与的紧急情况下。为了填补这一空白，促进相关研究，本文提供了一种新的但方便的方法来提取交互行为数据（即，车辆和人的轨迹）从由监控摄像机和行车记录仪捕获的实际事故视频中提取。从实时事故视频中提取数据的主要挑战在于记录摄像机未校准并且监视角度未知。本文提出的方法采用图像处理，以获得一个新的角度，这是不同于原始视频的角度。同时，我们手动检测和标记目标特征点，在每帧图像。为了获得参考比率梯度，在参考像素值分析中实现几何模型，然后根据比率梯度将特征点缩放到对象轨迹。生成的轨迹不仅完全恢复了对象的运动，而且还反映了车辆的速度和旋转的特征点分布的基础上的变化。
2020-08-12 cs.CV cs.SY eess.IV
