Vision-language Models for Driver Monitoring Systems: A Driver Activity Description Dataset
Fraunhofer IOSB（弗劳恩霍夫智能系统研究所）；Technische Hochschule Ingolstadt（图林根工业大学）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本文通过创建Drive&Act数据集的详细自然语言版本，评估并微调视觉语言模型，以提升对驾驶员细微动作的识别能力，微调后的模型在跨数据集评估中表现更优。
2026-06-01 cs.CV
The Multimodal Driver Monitoring Database: A Naturalistic Corpus to Study Driver Attention
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出多模态驾驶员监控（MDM）数据集，包含59名受试者的自然驾驶数据，用于训练头部姿态和注意力预测算法，以提升车载安全系统的监控能力。
2020-12-23 cs.CV
Combining Deep and Depth: Deep Learning and Face Depth Maps for Driver Attention Monitoring
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
最近，深度学习方法在计算机视觉的各个领域取得了令人鼓舞的成果。在本文中，我们研究了基于深度学习的方法和深度图作为输入图像的组合，以解决驾驶员注意力监测的问题。此外，我们假设注意力的概念作为头部姿态估计和面部标志检测任务。与文献中的其他提议不同，所提出的系统能够直接工作并且仅基于原始深度数据。所有提出的方法都在两个新的公共数据集上进行了训练和测试，即Pandora和MotorMark，实现了最先进的结果，并具有实时的性能。
2018-12-14 cs.CV
Cross-View Cross-Modal Unsupervised Domain Adaptation for Driver Monitoring System
School of Social Sciences and Technology（社会科学与技术学院）
针对驾驶员监控系统部署中跨视角差异、跨模态域偏移的问题，提出两阶段跨视角跨模态无监督域适应框架，实验证明其可显著提升驾驶员行为识别准确率。
2025-11-15 cs.CV cs.HC
Real-time Driver Monitoring Systems on Edge AI Device
Ignitarium Technology Solutions Private Limited（Ignitarium科技解决方案私人有限公司）
本文提出一种运行于TI-TDA4VM边缘设备上的实时驾驶员监控系统，通过红外摄像头采集数据并采用模型手术优化深度学习模型以充分利用硬件加速器，最终实现63 FPS的高性能。
2023-04-04 cs.AI cs.AR cs.CV
Multi-modality action recognition based on dual feature shift in vehicle cabin monitoring
Continental-NTU Corporate Lab, Nanyang Technological University（大陆集团-南洋理工大学企业实验室）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）；Continental Automotive Singapore Pte. Ltd.（大陆汽车新加坡私人有限公司）
针对车内DAR任务多模态融合研究不足的问题，提出基于双特征偏移的高效多模态方法DFS，通过跨模态交互与单模态时域传播结合共享特征提取，在Drive&Act数据集上实现良好性能与效率提升。
2024-01-26 cs.CV
Real-Time Driver State Monitoring Using a CNN Based Spatio-Temporal Approach
Intel Deutschland GmbH（英特尔德国有限公司）；Technical University of Munich（慕尼黑工业大学）
许多交通事故是由于司机分心造成的。如今，即使是最新的自动驾驶汽车，驾驶员监控也是必不可少的，它可以提醒分心的驾驶员，以便在紧急情况下接管车辆的控制权。在本文中，一个时空的方法来分类驾驶员的分心水平和运动决策，使用卷积神经网络（CNN）。我们将这个问题作为动作识别来处理，以便除了空间信息之外还受益于时间信息。我们的方法依赖于使用预先训练的BN-Inception网络从稀疏选择的动作帧中提取的特征。实验表明，我们的方法优于最先进的结果分心司机数据集（96.31%），与99.10%的准确率为10类分类，同时提供实时的【形】性能。我们还分析了融合的影响，使用RGB和光流模态与最近的数据级融合策略。分心驾驶员和Brain 4Cars数据集的结果表明，这些模式的融合进一步提高了准确性。
2019-07-18 cs.CV cs.LG eess.IV
Graph-based Online Monitoring of Train Driver States via Facial and Skeletal Features
Istituto Italiano di Tecnologia（意大利理工学院）；Università di Genova（热那亚大学）
针对列车驾驶员疲劳与病理风险，提出基于定制DGNN并融合面部与骨骼特征的在线行为监测方法，在三分类中达80.88%、二分类中超过99%，并发布含模拟病理状况的新数据集。
2025-05-09 cs.AI cs.CV
Robust Seatbelt Detection and Usage Recognition for Driver Monitoring Systems
NVIDIA（英伟达）
驾驶时适当地系好安全带可以减少大约一半的严重碰撞相关伤害或死亡。然而，当前的安全带提醒系统具有多个缺点，诸如可以容易地被“安全带警告停止器”欺骗，并且不能识别不正确的使用，例如坐在带扣的安全带前面或在手臂下佩戴安全带。一般的安全带使用识别具有许多挑战，仅举几例，红外（IR）相机中缺乏颜色信息，宽视场鱼眼镜头造成的强烈失真、腰带与其背景之间的低对比度、手或头发造成的遮挡以及成像模糊。在本文中，我们介绍了一种新的通用安全带检测和使用识别框架，以解决上述挑战。我们的方法由三个部分组成：一个本地预测器，一个全球汇编程序，和一个形状建模过程。我们的方法可以应用于驾驶员监控系统（DMS）中的驾驶员或乘员监控系统（OMS）中的一般乘客，用于各种摄像机模式。DMS和OMS上的实验结果证明了该方法的准确性和鲁棒性。
2022-03-02 cs.CV
Methods and Tools for Monitoring Driver's Behavior
Florida Atlantic University（佛罗里达大西洋大学）；College of Engg and Computer Science（工程与计算机科学学院）；Charles E. Schmidt College of Science（查尔斯·E·施密特理学院）；Christine E. Lynn College of Nursing（克里斯汀·E·林恩护理学院）
车载传感技术因其能够支持联网汽车和自动驾驶汽车等重大技术发展而受到极大关注。车载传感数据是交通管理系统的宝贵和重要的数据源。在本文中，我们提出了一个创新的架构，不引人注目的车载传感器和目前的方法和工具，用于测量驾驶员的行为。建议的架构，包括方法和工具，用于我们的NIH项目，以监测和识别老年司机与早期痴呆症
2023-03-27 cs.CV cs.CY
Survey and synthesis of state of the art in driver monitoring
本文综述并综合了驾驶员监控的最新技术，基于困倦、心理负荷等五个维度提出多分类视角，阐明其在SAE各级别驾驶自动化中的角色，为高级系统实现与未来研究提供结构化参考。
2021-10-01 cs.CV cs.HC eess.IV
Exploration of VLMs for Driver Monitoring Systems Applications
Fundación Vicomtech（维科姆科技基金会）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
针对视觉语言模型在驾驶员监测系统中研究不足的问题，本文基于 Driver Monitoring Dataset 评估 VLM 的零样本应用潜力，并分析其真实部署的优势与挑战。
2025-03-15 cs.CV cs.LG
Robust Multiview Multimodal Driver Monitoring System Using Masked Multi-Head Self-Attention
University of Warwick（华威大学）；Ford Motor Company（福特汽车公司）；University of Glasgow（格拉斯哥大学）
提出基于多头自注意力特征级融合的多视角多模态驾驶员监控系统，通过对比实验和掩码训练提升鲁棒性，在DAD数据集上达到97.0%的AUC-ROC。
2023-04-13 cs.CV
Driver Intention Anticipation Based on In-Cabin and Driving Scene Monitoring
University of Tübingen（图宾根大学）
许多车祸都是由于驾驶不当造成的。然而，如果事先检测到这种驾驶操纵并相应地辅助驾驶员，则可以避免严重的伤害。事实上，最近的各种研究都集中在基于主要从驾驶员视频中提取的手工特征的驾驶操纵的自动预测上。由于从交通场景的外部视图也可能包含驾驶操纵预测的信息功能，我们提出了一个框架，用于检测驾驶员的意图的基础上在机舱和交通场景视频。更具体地说，我们（1）提出了一个基于卷积LSTM（ConvLSTM）的自动编码器，以从舱外交通中提取运动特征，（2）训练一个分类器，该分类器将舱内和舱外的运动联合考虑，以进行机动意图预测，（3）实验证明，舱内和舱外图像特征具有互补信息。我们基于公开数据集Brain4cars的评估表明，我们的框架实现了83.98%的准确率和84.3%的F1分数的预测。
2020-06-20 cs.CV
A Vision Based System for Monitoring the Loss of Attention in Automotive Drivers
Indian Institute of Technology（印度理工学院）
汽车驾驶员的警觉性水平的车载监测一直是交通安全和管理中具有挑战性的研究。在本文中，我们提出了一个强大的实时的嵌入式平台，以监控驾驶员在白天和夜间驾驶条件下的注意力丧失。眼睛闭合的百分比（PERCLOS）已被用作警觉水平的指标。在该方法中，使用Haar类特征检测人脸，并使用卡尔曼滤波器跟踪人脸。在白天使用主成分分析（PCA）和在夜间使用块局部二进制模式（LBP）特征来检测眼睛。最后使用支持向量机（SVM）将眼睛状态分类为睁开或闭合。分别采用仿射变换和透视变换对驾驶员面部的面内和面外旋转进行了补偿。使用Bi直方图均衡化（BHE）进行照明变化的补偿。该算法已经使用脑信号交叉验证，并最终在具有Intel Atom处理器、1 GB RAM、1.66 GHz时钟、x86架构、Windows Embedded XP操作系统的单板的计算机（SBC）上实现。该系统被认为是强大的实际驾驶条件下。
2015-05-13 cs.CV
From Review to Design: Ethical Multimodal Driver Monitoring Systems for Risk Mitigation, Incident Response, and Accountability in Automated Vehicles
C3I Imaging Lab, School of Engineering, University of Galway（Galway大学工程学院C3I成像实验室）；Royal College of Surgeons in Ireland（爱尔兰皇家外科医师学院）
本文提出针对自动驾驶车辆中多模态驾驶员监控系统的设计框架，解决伦理和法律挑战，强调透明、可信和以人为本的设计方法。
2026-05-07 cs.CV cs.CY cs.ET
DAOS: A Multimodal In-cabin Behavior Monitoring with Driver Action-Object Synergy Dataset
School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（南洋理工大学电子与电气工程学院）；College of Computer Science and Technology, Harbin Engineering University（哈尔滨工程大学计算机科学与技术学院）；Singapore University of Technology and Design (SUTD), Singapore（新加坡科技设计大学）；Continental Automotive Singapore Pte. Ltd.
DAOS数据集通过多模态数据和动作-物体关系网络提升驾驶员行为识别的准确性与鲁棒性。
2026-10-27 cs.CV
DMD: A Large-Scale Multi-Modal Driver Monitoring Dataset for Attention and Alertness Analysis
Vicomtech Foundation, Basque Research and Technology Alliance (BRTA)（维科姆技术基金会，巴斯克研究与技术联盟）；ETS Ingenieros de Telecomunicación, Universidad Politécnica de Madrid（马德里理工大学电信工程学院）；Dependability Research Lab, Intel Labs Europe, Intel Deutschland GmbH（英特尔德国有限公司欧洲英特尔实验室可靠性研究实验室）
视觉是驾驶员监控系统（DMS）中最丰富、最具成本效益的技术，尤其是在最近深度学习（DL）方法取得成功之后。缺乏足够大和全面的数据集是目前DMS开发进展的瓶颈，对于自动驾驶从SAE 2级过渡到SAE 3级至关重要。在本文中，我们介绍了驾驶员监控数据集（DMD），这是一个广泛的数据集，包括真实和模拟的驾驶场景：分心，凝视分配，困倦，方向盘交互和上下文数据，在41小时的RGB，深度和IR视频从3个摄像头捕捉37名司机的脸，身体和手。与现有的类似数据集的比较，这表明DMD是更广泛，多样性和多用途。DMD的使用通过提取它的一个子集来说明，dBehaviourMD数据集，包含13个分心活动，准备用于DL训练过程。此外，我们提出了一个强大的和实时的驾驶员行为识别系统，针对现实世界的应用程序，可以运行在成本效益的CPU的平台上，基于dBehaviourMD。它的性能进行评估与不同类型的融合策略，所有达到增强的精度仍然提供实时响应。
2020-08-27 cs.CV cs.LG eess.IV
T-MASK: Temporal Masking for Probing Foundation Models across Camera Views in Driver Monitoring
Institute of Artificial Intelligence（人工智能研究所）；University of Stuttgart（斯图加特大学）；Institute for Anthropomatics（人机学研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄技术大学）
针对驾驶员监控中摄像头视角变化导致基础模型鲁棒性不足的问题，提出T-MASK时间掩码方法，通过单视角训练适配基础模型，在跨视角评估中提升准确率，为低数据跨视角场景提供轻量级鲁棒探测方案。
2025-08-25 cs.CV
Electroencephalography signal processing based on textural features for monitoring the driver's state by a Brain-Computer Interface
University of Cagliari（卡利亚里大学）
在本研究中，我们探讨了一种纹理处理方法的脑电（EEG）信号作为一个指标，以估计驾驶员的警觉性在一个假设的脑机接口（BCI）系统。提出的解决方案的新颖性依赖于采用一维局部二进制模式（1D-LBP）算法的特征提取从预处理的EEG数据。从所得到的特征向量，分类是根据三个警惕类：清醒，疲倦和困倦。该方法通过描述脑电信号中微模式发生的变化来检测类别转换。1D-LBP能够通过检测信号的相互变化来描述它们，该信号暂时“接近”为短比特码。我们的分析可以得出结论，1D-LBP的采用导致了显着的性能改善。此外，从EEG信号中捕获类别转换是有效的，尽管整体性能还不足以开发用于评估驾驶员在真实环境中的警惕性的BCI。
2020-10-17 cs.CV
Quality-based Pulse Estimation from NIR Face Video with Application to Driver Monitoring
Universidad Autonoma de Madrid（马德里自治大学）；OMRON Corporation（欧姆龙公司）
在本文中，我们开发了一个强大的心率（HR）估计方法，使用具有挑战性的场景，如头部运动，照明变化，振动，模糊等，我们的方法采用了一个质量指标Q提取一个远程体积描记（rPPG）信号尽可能干净，从一个特定的面部视频片段。我们的主要动机是开发强大的驾驶员监控技术。因此，在我们的实验中，我们使用了一个自我收集的数据集，其中包括近红外（NIR）视频，这些视频是用安装在真实移动汽车仪表板上的摄像头采集的。我们比较了经典rPPG算法的性能和相同方法的性能，但是使用Q来选择哪些视频片段呈现较低的可变性。我们的研究结果表明，在现实的驾驶设置中使用具有最高质量的视频片段提高了HR估计，相对准确度提高了20%以上。
2019-05-20 cs.CV eess.IV eess.SP
MS-rPPG: Multi-spectral State Space Model for Remote Photoplethysmography in Driver Monitoring Systems
Division of Electronics and Information Engineering, Jeonbuk National University（全北国立大学电子与信息工程系）
提出MS-rPPG框架，结合RGB与近红外视频，通过跨光谱线性调制和MS-Mamba状态空间模型，提升驾驶环境下心率估计的鲁棒性和准确性。
2026-06-23 cs.AI cs.CV eess.IV
PhysDrive: A Multimodal Remote Physiological Measurement Dataset for In-vehicle Driver Monitoring
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；Sichuan Agricultural University（四川农业大学）
本文提出 PhysDrive 大规模多模态数据集，整合 RGB、近红外与毫米波雷达及六类生理真值，覆盖多种真实驾驶条件，并建立基准以推动非接触式驾驶员监测研究。
2025-07-25 cs.AI cs.CV
IC3M: In-Car Multimodal Multi-object Monitoring for Abnormal Status of Both Driver and Passengers
City University of Hong Kong（香港城市大学）；The University of Hong Kong（香港大学）
本文提出IC3M车内多模态监测框架，通过自适应阈值伪标签策略和缺失模态重建，同时监测驾驶员与乘客异常状态，在有限标注和模态缺失下优于现有方法。
2024-11-21 cs.AI cs.CV cs.LG
CM2-Net: Continual Cross-Modal Mapping Network for Driver Action Recognition
School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）；Continental-NTU Corporate Lab, Nanyang Technological University（大陆集团-南洋理工大学联合企业实验室）；College of Computer Science and Technology, Harbin Engineering University（哈尔滨工程大学计算机科学与技术学院）
针对非RGB模态数据稀缺及域差距问题，提出CM2-Net，通过ACMP将旧模态判别特征持续映射为新模态提示，在Drive&Act上提升单模态与多模态驾驶员动作识别性能。
2024-08-03 cs.CV cs.LG
Face recognition for monitoring operator shift in railways
General Electric（通用电气）
训练驾驶员是一个非常乏味和紧张的工作。飞行员必须时刻保持警惕，他们很容易忘记换班的时间。在美国等国家，法律规定飞行员必须遵守8小时轮班制。如果他们超过8小时的轮班，铁路公司可能会因司机过度劳累而受到处罚。当8小时的轮班可能在旅程中途结束时，问题就发生了。在这种情况下，新司机必须被移动到机车正在运行的位置进行换班。因此，在轮班期间准确监控司机并确保班次正确安排对铁路非常重要。在这里，我们提出了一个自动摄像系统，使用安装在机车驾驶室内的摄像头连续记录视频馈送。这些反馈被实时的分析以检测驾驶员的面部并使用最先进的深度学习技术识别驾驶员。其结果是增加了训练飞行员的安全性。摄像机从驾驶室内部连续捕获视频，该视频存储在车载数据采集设备上。使用先进的计算机视觉和深度学习技术，定期分析视频，以检测飞行员的存在并识别飞行员。使用基于时间的分析，确定该偏移已经活跃了多长时间。如果此时间超过分配的轮班时间，系统会向派单发送警报，以调整轮班时间。
2018-05-21 cs.CV
Real-time monitoring of driver drowsiness on mobile platforms using 3D neural networks
司机困倦增加了撞车风险，每年都会导致大量的道路创伤。困倦检测方法已经受到了相当大的关注，但很少有研究调查的检测方法在移动电话上的实施。电话应用程序减少了对专用硬件的需求，因此，能够在驾驶人群中经济高效地推广该技术。虽然已经表明三维（3D）操作更适合于时空特征学习，但是用于困倦检测的当前方法通常使用基于帧的多步骤方法。然而，在动作识别基准（例如，3D卷积、光流提取）上实现优异结果的计算上昂贵的技术为移动设备上的实时的【形】安全关键应用造成瓶颈。在这里，我们展示了深度可分离的3D卷积，结合空间和时间信息的早期融合，可以实现高预测精度和实时的【形】推理要求之间的平衡。特别地，当评估需要运动信息时，例如，当太阳镜遮住眼睛时，实现了增加的准确性。此外，基于TensorFlow的定制智能手机应用程序显示了各种方法对推理时间的真实影响，并展示了基于样本外数据的实时的【形】监控的有效性，以提醒昏昏欲睡的驾驶员。我们的模型在ImageNet和Kinetics上进行了预训练，并在公开可用的Driver Drowsiness Detection数据集上进行了微调。对大型自然驾驶数据集进行微调可以进一步提高准确性，以获得强大的车载性能。总的来说，我们的研究是迈向实际深度学习应用的一步，可能会防止微睡眠并减少道路创伤。
2019-10-15 cs.CV stat.ML
Driver Drowsiness Classification Based on Eye Blink and Head Movement Features Using the k-NN Algorithm
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；University of Tübingen（图宾根大学）
现代先进的驾驶辅助系统分析驾驶性能，以收集有关驾驶员状态的信息。这样的系统能够例如通过评估转向或车道保持行为来检测困倦的迹象，并且当困倦状态达到临界水平时警告驾驶员。然而，这些类型的系统无法获得关于驾驶员状态的直接线索。因此，这项工作的目的是延长驾驶员困倦检测车辆使用的信号的驾驶员监控摄像头。为此，在驾驶模拟器实验中提取了与驾驶员眨眼行为和头部运动相关的35个特征。基于该大数据集，我们开发并评估了一种基于k-最近邻算法的驾驶员状态分类的特征选择方法。最佳性能的功能集的结论性分析产生有价值的见解的影响，驾驶员的眨眼行为和头部运动的困倦。这些发现将有助于未来开发强大可靠的驾驶员困倦监测系统，以防止疲劳引发的事故。
2020-09-28 cs.CV
VigilEye -- Artificial Intelligence-based Real-time Driver Drowsiness Detection
School of Technologies, Cardiff Metropolitan University（卡迪夫城市大学技术学院）；Vel Tech Rangarajan Dr. Sagunthala R&D Institute of Science and Technology（维尔科技兰加拉詹博士萨贡塔拉科学与技术研发学院）
本研究提出结合深度学习与OpenCV的VigilEye驾驶员疲劳实时检测系统，以面部关键点为输入的卷积神经网络识别疲劳模式，实验验证其检测性能优异，可提升道路安全，为相关领域研究开辟新方向。
2024-06-21 cs.CV
Spatiotemporal Facial Action Unit Detection using Twin Cycle Autoencoders for Driver Monitoring
研究针对驾驶场景中面部动作单元检测难题，提出双循环自动编码器TCA，由空间和时间循环自动编码器分支组成，通过特定损失耦合与融合，在多数据集上评估效果优于基线，能维持实时吞吐量，可用于生产级ADAS。
2026-07-23 cs.AI cs.CV
GeoBalance: Geometry-Aware Monitoring and Reconstruction with Asymmetric Optimization for Balanced Multimodal Learning
Beihang University（北京航空航天大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Amap, Alibaba Group（阿里巴巴集团高德）；Kuaishou Technology（快手科技）；Beijing Jiaotong University（北京交通大学）；Renmin University of China（中国人民大学）
针对多模态学习中模态主导导致弱模态表示坍缩（MMC）的问题，提出几何感知框架GeoBalance，通过监测几何退化并触发重构，结合非对称梯度投影，在六个基准上显著提升均衡性能。
2026-09-22 cs.CV cs.MM
Spiking-DD: Neuromorphic Event Camera based Driver Distraction Detection with Spiking Neural Network
University of Galway（戈尔韦大学）；FotoNation Ltd.（FotoNation有限公司）
本文首次将事件相机数据与脉冲神经网络结合，提出Spiking-DD网络用于驾驶员分心检测，在参数更少的同时实现了领先的准确率。
2024-09-30 cs.CV
Dual-Modality IoT Framework for Integrated Access Control and Environmental Safety Monitoring with Real-Time Cloud Analytics
University of Frontier Technology, Bangladesh（前沿技术大学）；Robo Tech Valley, Dhaka, Bangladesh（Robo Tech Valley）；Southeast University, Bangladesh（东南大学）；Bangalore University, Bangalore, India（班加罗尔大学）
本文提出一种双模物联网框架，整合RFID访问控制与多传感器环境安全监测，通过统一云架构实现高效实时分析，成本降低82%，性能达专业级。
2026-01-28 cs.CV
Using image-extracted features to determine heart rate and blink duration for driver sleepiness detection
University of Tehran（德黑兰大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）；Henry Ford Health System（亨利福特医疗系统）
心率和眨眼持续时间是两个重要的生理信号，它们提供了有关心脏活动和意识的信息。监测这两个信号对于驾驶员困倦检测等各种应用至关重要。由于用于连续、长期监测的常规系统存在若干问题，因此可以使用远程眨眼和ECG监测系统作为替代方案。为了估计眨眼持续时间，使用两种策略。在第一种方法中，睁开和闭上眼睛的图片被送入人工神经网络（ANN），以决定眼睛是睁开还是闭上。在第二种方法中，它们使用线性判别分析（LDA）进行分类和标记。然后使用标记的图像来确定眨眼持续时间。对于心率变异性，使用两种策略来评估通过的血容量：独立分量分析（ICA）和基于色度的方法。眼睛识别产生78-92%的准确率分类开/闭的眼睛与人工神经网络和71-91%的准确率与LDA。ICA策略的心率评估平均损失约为16次/分钟（BPM），基于色度的技术平均损失约为13次/分钟。
2019-12-08 cs.CV
Driver Assistance System Based on Multimodal Data Hazard Detection
本文提出一种融合道路视频、驾驶员面部视频和音频的多模态驾驶辅助检测系统，采用基于注意力的中间融合策略实现端到端学习，并构建三模态数据集，以提升罕见驾驶异常的识别准确性、减少误判并增强驾驶安全。
2025-02-05 cs.CV cs.LG
Vision-Based Driver Drowsiness Monitoring: Comparative Analysis of YOLOv5-v11 Models
Electrical and Information Engineering, Computer Engineering, University of Ruhuna（电子与信息工程、计算机工程、鲁胡纳大学）
本文比较了七种YOLO变体在驾驶员嗜睡检测中的性能，发现YOLOv9c准确率最高，YOLOv11n最适合嵌入式部署，并评估了EAR方法的局限性，为实际应用提供了选择指南。
2025-09-22 cs.CV eess.IV
Integrated In-vehicle Monitoring System Using 3D Human Pose Estimation and Seat Belt Segmentation
Sogang University（西江大学）；Hyundai Mobis（现代摩比斯）
最近，随着人们对自动驾驶汽车的兴趣，汽车内驾驶员和乘客的监控系统的重要性也在增加。本文提出了一种新的车载监测系统，结合三维姿态估计，安全带分割，安全带状态分类网络。我们的系统通过准确地考虑车载环境的数据特性来输出监控所需的各种信息。具体而言，所提出的3D姿态估计直接估计驾驶员和乘客的关键点的绝对坐标，并且所提出的安全带分割通过应用基于特征金字塔的结构来实现。此外，我们提出了一个分类任务，以区分正常和异常状态的佩戴安全带使用的结果，结合3D姿态估计与安全带分割。这些任务可以同时学习并实时操作。我们的方法在我们新创建并注释的私有数据集上进行了评估。实验结果表明，我们的方法具有显着的高性能，可以直接应用到真正的车载监控系统。
2023-03-02 cs.CV
Federated Learning for Drowsiness Detection in Connected Vehicles
DENSO Automotive Deutschland GmbH（电装德国汽车有限公司）；Technical University of Munich（慕尼黑工业大学）
本文提出一种基于联邦学习的车载网络疲劳驾驶检测框架，利用YawDD数据集在保护隐私的同时实现99.2%的准确率，并验证了模型在不同联邦客户端数量下的可扩展性。
2024-05-06 cs.CV cs.LG
Improving Driver Drowsiness Detection via Personalized EAR/MAR Thresholds and CNN-Based Classification
MEF University Electrical and Electronics Engineering Department（MEF大学电子与电气工程系）
本文提出基于个性化EAR/MAR阈值和CNN分类的驾驶员困倦检测系统，通过实时监测眼睑运动、头部位置和打哈欠行为，提高疲劳检测准确性，实验表明个性化阈值和CNN分类分别提升了2-3%和99.1%的检测精度。
2026-04-24 cs.CV eess.IV
Real-Time Face & Eye Tracking and Blink Detection using Event Cameras
Xperi Corporation（Xperi公司）；National University of Ireland Galway（爱尔兰国立高威大学）；Prophesee（Prophesee公司）
事件摄像机包含新兴的神经形态视觉传感器，可以捕捉每个像素的局部光强度变化，生成一系列异步事件。这种获取视觉信息的方式与传统的基于帧的相机不同，并提供了几个显著的优点：低能耗、高时间分辨率、高动态范围和低延迟。驾驶员监控系统（DMS）是驾驶舱内安全系统，旨在感知和理解驾驶员的身体和认知状态。活动摄像机因其固有的优势而特别适合DMS。提出了一种新的方法，同时检测和跟踪人脸和眼睛的驾驶员监控。提出了一种独特的全卷积递归神经网络架构。为了训练该网络，使用精确的限界框注释模拟合成的基于事件的数据集，称为Neuromorphic HELEN。此外，提出了一种检测和分析驾驶员眨眼的方法，利用事件相机的高时间分辨率。眨眼的行为提供了对驾驶员疲劳或困倦程度的更深入的了解。我们表明，眨眼有一个独特的时间签名，可以更好地捕捉事件相机。
2020-10-16 cs.CV cs.LG
Real-Time In-Cabin Driver Behavior Recognition on Low-Cost Edge Hardware
Department of Electrical Engineering, Sharif University of Technology（电气工程系，谢里夫理工大学）
本文提出了一种基于低成本边缘硬件的实时车内驾驶员行为识别系统，通过紧凑模型、混淆标签体系和时间决策头实现高效准确的行为检测与警报生成。
2026-01-07 cs.CV cs.HC cs.LG
Real-time Driver Drowsiness Detection for Android Application Using Deep Neural Networks Techniques
Qatar Transportation and Traffic Safety Center, Qatar University（卡塔尔大学卡塔尔交通运输与交通安全中心）；Rutgers, The State University of New Jersey（罗格斯大学（新泽西州立大学））
道路撞车和相关形式的事故是造成人类伤亡的常见原因。根据世界卫生组织2015年的数据，道路交通伤害导致全球约125万人死亡，即大约每25秒就有一个人经历致命的撞车事故。虽然欧洲的交通事故的成本估计为约1600亿欧元，但如美国国家公路交通安全管理局（NHTSA）所报告的，仅在美国，驾驶员困倦就占每年约100，000起事故。提出了一种新的实时的【形】睡意检测方法。这种方法基于一种深度学习方法，可以在Android应用程序上实现，具有很高的准确性。本文的主要贡献是将重基线模型压缩为轻量级模型。此外，设计了基于人脸特征点检测的最小网络结构，用于识别驾驶员是否困倦。该模型能够达到80%以上的精度。关键词：驾驶员监控系统;困倦检测;深度学习;实时的【形】深度神经网络; Android.
2018-11-05 cs.CV cs.HC
Reasoning Dynamics and the Limits of Monitoring Modality Reliance in Vision-Language Models
University of Copenhagen, Department of Computer Science（哥本哈根大学计算机科学系）；University of Sheffield, School of Computer Science（谢菲尔德大学计算机科学学院）
研究分析18种VLM的推理动态，发现模型易受早期预测影响，推理训练模型在模态条件下表现出更强的纠正行为，但其效果依赖于模态条件，且CoT的可检测性因模型而异。
2026-08-06 cs.AI cs.CL cs.CV
Efficient Mixture-of-Expert for Video-based Driver State and Physiological Multi-task Estimation in Conditional Autonomous Driving
the Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Hong Kong（香港大学）
本文提出VDMoE模型，通过RGB视频和远程PPG数据监测驾驶员状态，优化多专家框架以提升多模态输入下的检测效率与准确性，通过新数据集验证其在条件自动驾驶中的有效性。
2026-03-29 cs.AI cs.CV
Driver Activity Classification Using Generalizable Representations from Vision-Language Models
University of California San Diego（加利福尼亚大学圣迭戈分校）；Aalborg University（奥尔堡大学）
本文提出利用视觉语言模型的可泛化表示进行驾驶员活动分类，采用SRLF-Net融合多视角视频帧嵌入生成预测，在Naturalistic Driving Action Recognition Dataset上展现高准确率，兼具准确性与可解释性。
2024-04-23 cs.AI cs.CV cs.LG
A Comparative Analysis of Decision-Level Fusion for Multimodal Driver Behaviour Understanding
Institute for Anthropomatics and Robotics（拟人学与机器人学研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
车辆驾驶舱内的视觉识别可实现更安全的驾驶和更直观的人车交互，但此类系统面临着巨大的障碍，因为它们需要捕获驾驶员行为的不同粒度，同时处理高度有限的车身可见性和不断变化的照明。多模态识别缓解了许多这样的问题：由于不同的模态特定的优点和缺点，不同传感器的预测结果相互补充。虽然在以前发布的框架中已经考虑了几种后期融合方法，但它们始终具有不同的架构骨干和构建块，使得很难隔离所选后期融合策略本身的作用。本文提出了一种基于视频的驾驶员观察决策级后期融合的不同范例的实证评估。我们比较了七种不同的机制，加入单模态分类器的结果，这两个流行的，（例如得分平均）和尚未考虑（例如排名级融合）的背景下，驾驶员观察评估他们基于不同的标准和基准设置。这是第一个系统的研究策略，融合的结果多模态预测器内的车辆，进行的目标是为融合方案的选择提供指导。
2022-04-10 cs.AI cs.CV
Development of Low-Cost Real-Time Driver Drowsiness Detection System using Eye Centre Tracking and Dynamic Thresholding
National Institute of Technology Karnataka（卡纳塔克邦国立理工学院）
本研究开发了一种基于眼睛中心跟踪和动态阈值的低成本实时疲劳检测系统，通过摄像头监测眼睛状态并触发警报，以减少因疲劳驾驶导致的事故。
2026-09-15 cs.CV
Decisive Data using Multi-Modality Optical Sensors for Advanced Vehicular Systems
University of Galway（戈尔韦大学）；University of Central Florida（中佛罗里达大学）
本文探讨多模态光学传感器（如热成像、近红外、事件相机等）在先进车辆舱外前视与舱内监控系统中的应用，结合机器学习增强视觉，并讨论实时环境下的潜在应用。
2023-07-25 cs.CV cs.NE
Beyond aggregate scores: Deployment-aware and non-compensatory benchmarking of vision-based eye-state recognition models for driver monitoring
Universidad Nacional de San Agustin de Arequipa (UNSA)（圣奥古斯丁国立大学（UNSA））
针对驾驶员监控模型仅用分类精度评估的不足，提出以人为中心的基准测试框架（HCBF），从精度、可解释性、效率和鲁棒性四维评估，发现模型在帕累托前沿上各占优势，但聚合排名会掩盖关键缺陷。
2026-08-17 cs.AI cs.CV
AIDE: A Vision-Driven Multi-View, Multi-Modal, Multi-Tasking Dataset for Assistive Driving Perception
Fudan University（复旦大学）；Institute of Meta-Medical（元医学研究所）；Engineering Research Center of AI and Robotics, Ministry of Education（教育部人工智能与机器人工程研究中心）；AI and Unmanned Systems Engineering Research Center of Jilin Province（吉林省人工智能与无人系统工程研究中心）；Boli Technology Co., Ltd.（博力科技有限公司）
提出辅助驾驶感知数据集AIDE，融合多视角与多模态标注，设计四项实用任务，提供基准实验与融合策略，系统验证关键组件，推动驾驶员监控与道路安全研究。
2023-08-01 cs.CV
A Real-Time Driver Drowsiness Detection System Using MediaPipe and Eye Aspect Ratio
Vishwakarma Institute of Technology（维什瓦卡玛理工学院）
针对驾驶员疲劳引发交通事故的问题，本文提出基于MediaPipe Face Mesh与EAR的实时困倦检测系统，依托普通摄像头和OpenCV实现低成本高准确率的监测与警报，可集成至ADAS。
2025-11-17 cs.CV
Learning to Find Missing Video Frames with Synthetic Data Augmentation: A General Framework and Application in Generating Thermal Images Using RGB Cameras
Laboratory for Intelligent & Safe Automobiles (LISA)（智能与安全汽车实验室（LISA））；University of California San Diego（加利福尼亚大学圣迭戈分校）；Visual Analysis and Perception Lab（视觉分析与感知实验室）；Aalborg Universitet（奥尔堡大学）
针对多传感器帧率不匹配造成的视频帧缺失，本文提出基于 cGAN 的合成热图像生成框架，比较 pix2pix 与 CycleGAN，并验证多视图输入和个性化训练的作用。
2024-02-29 cs.AI cs.CV cs.LG
Ensemble Learning for Fusion of Multiview Vision with Occlusion and Missing Information: Framework and Evaluations with Real-World Data and Applications in Driver Hand Activity Recognition
University of California San Diego（加州大学圣地亚哥分校）
针对多视角视觉中遮挡、噪声和传感器失效造成的信息缺失，本文提出含插补方案的多摄像头后期融合学习框架，并在驾驶员手部活动识别中验证其优于单摄像头及其他集成方法。
2023-09-29 cs.AI cs.CV cs.LG
Driver Behavior Recognition via Interwoven Deep Convolutional Neural Nets with Multi-stream Inputs
Samsumg AI Cambridge Center（三星人工智能剑桥中心）
了解驾驶员的活动对于车载系统至关重要，车载系统旨在减少源于认知分散的车祸发生率。然而，考虑到驾驶员周围的多种情况、个人的独特特征以及车载嵌入式平台施加的计算约束，在确保高准确性的动作分类的同时自动化实时行为识别是具有挑战性的。先前的工作未能共同满足这些运行时间/精度要求，并且主要依赖于单个感测模态，这反过来可能是单点故障。在本文中，我们利用深度学习的特殊特征提取能力，并提出了一种专用的交织深度卷积神经网络（InterCNN）架构，以解决实时准确分类驾驶员行为的问题。所提出的解决方案利用来自多流输入的信息，即，具有不同视场的车载摄像机和基于记录的图像计算的光流，并通过多个融合层合并其提取的抽象特征。这构建了一个紧密的集成系统，显著提高了模型的鲁棒性。此外，我们还引入了一种基于历史推理实例的时态投票机制，以提高分类精度。使用我们在模拟汽车环境中收集的数据集进行的实验表明，所提出的具有MobileNet卷积块的InterCNN可以以73.97%的准确率对9种不同的行为进行分类，并以81.66%的准确率对5种“聚合”行为进行分类。我们进一步表明，我们的架构是高度计算效率，因为它在15毫秒内执行推理，这满足了智能汽车的实时约束。尽管如此，我们的InterCNN对有损输入是鲁棒的，因为当两个输入流被遮挡时，分类仍然是准确的。
2021-02-21 cs.CV
