Real-Time Monitoring and Driver Feedback to Promote Fuel Efficient Driving
University of Moratuwa（莫拉图瓦大学）
提高车辆的燃油效率对于降低成本和保护环境至关重要。虽然高效的发动机和车辆设计以及智能路线规划是提高燃油效率的众所周知的解决方案，但研究还表明，采用燃油效率驾驶行为可以进一步节省成本。在这项工作中，我们提出了一个新的框架，以促进燃料效率的驾驶行为，通过实时的【形】自动监测和驾驶员的反馈。在这个框架中，一个基于随机森林的分类模型，使用历史数据来识别燃油效率低的驾驶行为。分类器考虑驾驶员相关参数，如速度和加速/减速模式，以及环境参数，如交通，道路地形和天气，以评估一分钟驾驶事件的燃油效率。当检测到低效率的驾驶行为时，使用模糊逻辑推理系统来确定驾驶员应该做什么来保持燃料效率的驾驶行为。然后，通过智能手机以非侵入式方式将决定的动作传达给驾驶员。使用一个数据集，从长途巴士，我们证明了所提出的分类模型产生的准确率为85.2%，同时提高燃油效率高达16.4%。
2020-07-03 cs.AI cs.HC
Cross-View Cross-Modal Unsupervised Domain Adaptation for Driver Monitoring System
School of Social Sciences and Technology（社会科学与技术学院）
针对驾驶员监控系统部署中跨视角差异、跨模态域偏移的问题，提出两阶段跨视角跨模态无监督域适应框架，实验证明其可显著提升驾驶员行为识别准确率。
2025-11-15 cs.CV cs.HC
Multisensor Measurement of Train Driver Mental Fatigue: From Simulation to Reality
German Aerospace Center（德国航空航天中心）；ISB Ingenieurgesellschaft für Sicherungstechnik und Bau mbh（ISB安全技术与建筑工程有限责任公司）；Chemnitz University of Technology（开姆尼茨工业大学）
本研究在模拟器与真实铁路环境中，首次部署完整多传感器组测量列车驾驶员精神疲劳，发现HRV和呼吸频率是可靠的运营疲劳监测指标，神经生理指标需进一步验证。
2026-08-25 cs.HC
You Shall Not Pass: Warning Drivers of Unsafe Overtaking Maneuvers on Country Roads by Predicting Safe Sight Distance
本研究提出一种利用车载传感器预测安全视距的辅助系统，以警告乡村道路上的不安全超车。通过VR模拟器用户研究比较两种界面，均提升驾驶安全，并识别出改进预测的关键参数。
2025-02-25 cs.HC
Attention Monitoring and Hazard Assessment with Bio-Sensing and Vision: Empirical Analysis Utilizing CNNs on the KITTI Dataset
评估驾驶员的注意力并检测驾驶过程中的各种危险和非危险事件对于驾驶员的安全至关重要。驾驶场景中的注意力监测主要是通过跟踪驾驶员的凝视和面部表情使用视觉（基于相机的）模态来进行的。直到最近，诸如脑电图（EEG）的生物感测模态才被探索。但是，在这一范式中还有另一个尚未充分探讨的问题。这是在驾驶过程中检测影响驾驶员精神和生理状态的特定事件，危险和非危险。在评估多模态感觉应用中的另一个挑战是由于在现实世界中使用EEG的各种限制而缺乏非常大规模的EEG数据。在本文中，我们使用上述两种传感器模式，并将它们与评估驾驶员的注意力和检测危险与非危险驾驶事件这两项任务进行比较。我们收集了12个主题的用户数据，并展示了在没有非常大规模的数据集的情况下，我们仍然可以使用预先训练的深度学习卷积网络从上述两种模式中提取有意义的特征。我们使用公开的KITTI数据集来评估我们的平台，并将其与以前的研究进行比较。最后，我们表明，本文中提出的结果超过了以前的基准设置在上述驱动程序意识相关的应用程序。
2019-05-03 cs.HC eess.SP
LDGCN: An Edge-End Lightweight Dual GCN Based on Single-Channel EEG for Driver Drowsiness Monitoring
College of Computer and Big Data, Fuzhou University（福州大学计算机与大数据学院）；Polytechnic University of Catalonia（加泰罗尼亚理工大学）；New Engineering Industry College, Putian University（莆田大学新工程产业学院）；School of Computer and Artificial Intelligence, Zhengzhou University（郑州大学计算机与人工智能学院）；College of Computer and Control Engineering, Minjiang University（闽江学院计算机与控制工程学院）；Sichuan Conservatory of Music（四川音乐学院）；Fuzhou Technology Innovation Center of Intelligent Manufacturing information System, Minjiang University（闽江学院福州智能制造信息系统技术创新中心）；Fujian Polytechnic Normal University（福建技术师范学院）
针对单通道EEG邻接图构建缺乏可解释性的问题，提出边缘端轻量级双GCN（LDGCN），结合神经生理知识构建BDSAG、引入AGM增强特征表达，并通过APO优化实现边缘部署，在困倦监测性能与资源利用间取得最优平衡。
2024-07-08 cs.HC cs.LG eess.SP
Survey and synthesis of state of the art in driver monitoring
本文综述并综合了驾驶员监控的最新技术，基于困倦、心理负荷等五个维度提出多分类视角，阐明其在SAE各级别驾驶自动化中的角色，为高级系统实现与未来研究提供结构化参考。
2021-10-01 cs.CV cs.HC eess.IV
Explicit behaviors affected by driver's trust in a driving automation system
由于各种驾驶自动化系统（DAS）通常用于车辆中，对DAS的过度信任可能使驾驶员处于风险中。为了防止驾驶员在驾驶过程中的过度信任，需要对驾驶员的信任状态进行识别。然而，信任状态的描述变量是不明确的。本文假设驾驶员的外在表现可以表征其自身的信任状态。驾驶DAS时的外显行为被视为这些外在表达。在实验中，驾驶模拟器与驾驶员监控系统被用来模拟车辆与自适应巡航控制（ACC）和观察的运动信息的驾驶员。结果表明，如果驾驶员完全信任ACC，则1）参与者可能会将脚远离踏板; 2）驾驶员在危险情况下的操作干预会延迟。未来将尝试机器学习模型，利用驾驶员的运动信息来预测信任状态。
2019-06-10 cs.HC
How Do Drivers Self-Regulate their Secondary Task Engagements? The Effect of Driving Automation on Touchscreen Interactions and Glance Behavior
随着不断改进的驾驶员辅助系统和大型触摸屏成为主要的车载界面，驾驶员比以往任何时候都更倾向于从事分散注意力的非驾驶相关任务。然而，关于驾驶自动化如何影响驾驶员在与中控台触摸屏交互时的自我调节的研究很少。为了研究这一点，我们在由10，139个序列组成的真实驾驶数据集上采用了多级模型。我们的研究结果表明，驾驶员的互动和扫视行为的显着差异，以应对不同程度的驾驶自动化，车速和道路曲率。在部分自动驾驶过程中，驾驶员不仅更有可能参与辅助触摸屏任务，而且与手动驾驶相比，他们对触摸屏的平均扫视时间也增加了12%（1级）和20%（2级）。我们进一步表明，驾驶自动化对驾驶员的自我调节的影响大于车速和道路曲率。所获得的知识可以促进信息娱乐系统的安全评估和上下文感知的驾驶员监控系统的开发。
2022-07-12 cs.HC
A Fair and Ethical Healthcare Artificial Intelligence System for Monitoring Driver Behavior and Preventing Road Accidents
American University of the Middle East（美国中东大学）；University of Toronto（多伦多大学）
本文提出了一种新的方法，以防止交通事故和监测驾驶员的行为，使用医疗保健人工智能系统，结合公平和道德。危险的医疗案件和驾驶员的异常行为被检测到。公平算法是为了改善决策和解决道德问题，如隐私问题，并考虑在医疗保健和驾驶人工智能领域出现的挑战。医疗保健专业人员将被警告任何不寻常的活动，并在必要时提供驾驶员的位置，以便使医疗保健专业人员能够立即帮助不稳定的驾驶员。因此，使用医疗保健AI系统可以预测并因此预防事故，并且可以基于与ER系统交互的车辆内的内置AI系统来挽救生命。
2021-11-08 cs.AI cs.CY cs.HC
Real-Time Driver Monitoring Systems through Modality and View Analysis
University of Warwick（华威大学）；Ford Motor Company（福特汽车公司）；University of Glasgow（格拉斯哥大学）
众所周知，驾驶员分心是交通事故的主要原因。虽然监控系统可以检测与驾驶无关的活动，并有助于降低风险，但它们必须准确和有效才能适用。不幸的是，最先进的方法优先考虑准确性而忽略延迟，因为它们利用了连续帧高度相似的跨视图和多模式视频。因此，在本文中，我们追求的时间有效的检测模型，忽略视频帧之间的时间关系，并调查的重要性，每一个感测模态在检测驱动器的活动。实验结果表明：1）我们提出的算法是实时的【形】，与基于视频的模型相比，可以达到相似的性能（97.5\ % AUC-PR），但计算量明显减少; 2）具有红外通道的顶视图比任何其他单一模态都更有信息量。此外，我们通过手动注释其测试集来增强DAD数据集，以实现多分类。我们还深入分析了视觉传感器类型及其放置位置对每个类别预测的影响。代码和新标签将被发布。
2022-10-17 cs.CV cs.HC cs.RO
Human Centered Non Intrusive Driver State Modeling Using Personalized Physiological Signals in Real World Automated Driving
UNED（西班牙国立远程教育大学）；UC3M（马德里卡洛斯三世大学）
研究探讨了利用非侵入式生理信号进行个性化驾驶员状态建模的可行性，通过实验展示个性化模型在驾驶员意识识别中的高准确率，揭示了通用模型在跨用户泛化中的局限性。
2026-04-13 cs.HC cs.LG cs.RO
Real-time Trust Prediction in Conditionally Automated Driving Using Physiological Measures
在驾驶员和自动驾驶汽车（AV）之间的交互过程中，信任校准是一个主要挑战。为了校准信任，实时的测量驾驶员的信任是重要的。一种可能的方法是通过使用机器学习模型和生理测量对其动态变化进行建模。本文提出了一种基于机器学习模型的技术，利用实时的生理测量来预测驾驶员对条件自动驾驶汽车的动态信任。我们在驾驶模拟器中进行了这项研究，参与者被要求在三种情况下从自动驾驶中接管控制权，包括控制条件，错误警报条件，错过条件以及不同场景中的八个接管请求（TORs）。在实验过程中记录了驾驶员的生理指标，包括皮肤电反应（GSR）、心率（HR）指数和眼动跟踪指标。使用五种机器学习模型，我们发现极限梯度提升（XGBoost）表现最好，能够实时的预测驾驶员的信任度，f1得分为89.1%。我们的研究结果提供了很好的启示，如何设计一个车载信任监测系统，以校准驾驶员的信任，以促进驾驶员和AV之间的实时的。
2022-12-01 cs.HC
Psychophysiological responses to takeover requests in conditionally automated driving
在SAE 3级自动驾驶中，从自动驾驶中接管控制会引起严重的安全问题，因为脱离车辆控制回路的驾驶员很难协商接管过渡。现有的研究接管过渡集中在驾驶员的行为反应接管请求（TORs）。作为补充，本探索性研究的目的是检查驾驶员的心理生理反应的TORS作为不同的非驾驶相关的任务（NDRT），交通密度和TOR的前置时间的结果。共招募了102名驾驶员，他们每个人都经历了8个接管事件在高保真固定基地驾驶模拟器。在两个阶段中记录并分析驾驶员的注视行为、心率（HR）活动、皮肤电反应（GSR）和面部表情。首先，在自动驾驶阶段，我们发现驾驶员的心率变异性较低，水平凝视分散度较窄，当他们相对于低水平的认知负荷具有高水平的认知负荷时，眼睛在路上的时间较短。第二，在接管过渡阶段，4s的前置时间导致抑制眨眼数和更大的最大和平均GSR相位激活相比，7s的前置时间，而高交通密度导致增加HR加速模式比轻交通密度。我们的研究结果表明，心理生理措施可以指示特定的内部状态的驱动程序，包括他们的工作量，情绪，注意力，并在一个连续的，非侵入性的和实时的方式情况意识。这些发现为在自动驾驶中使用心理生理测量的价值以及未来在驾驶员监控系统和自适应警报系统中的应用提供了额外的支持。
2020-10-06 cs.HC
A Physiological Sensor-Based Android Application Synchronized with a Driving Simulator for Driver Monitoring
University of Valladolid（巴利亚多利德大学）
提出一款与驾驶模拟器同步的Android应用，监控Shimmer平台生理传感器（ECG/EMG/GSR等），分析驾驶员状态与驾驶表现关系，25人测试发现陀螺仪特征与交通违章显著相关，可扩展至病患或运动员。
2024-02-04 cs.HC cs.LG eess.SP
Multitasking while Driving: How Drivers Self-Regulate their Interaction with In-Vehicle Touchscreens in Automated Driving
基于31,378个真实驾驶序列，研究驾驶自动化水平对驾驶员与中控台触摸屏交互及视线行为的影响，发现L2级自动驾驶使平均注视时长增加36%、每序列交互次数增加17%，且其影响大于车速和道路曲率。
2023-05-25 cs.HC
When Context Dominates: Multimodal Signatures of Takeover Readiness Under Varying Hazard and Cognitive Load Conditions
Villanova University（维拉诺瓦大学）
研究在驾驶模拟器实验中探究危险类型、次要任务等因素对驾驶员接管行为的影响，采用多模态传感框架评估，发现危险情境是主要决定因素，为半自动车辆人机协作策略奠定基础。
2026-07-14 cs.HC
DeepTake: Prediction of Driver Takeover Behavior using Multimodal Data
University of Virginia（弗吉尼亚大学）；Bar-Ilan University（巴伊兰大学）
自动驾驶汽车的未来，驾驶员可以从事非驾驶任务没有手在方向盘上很长一段时间。然而，由于技术限制和法律要求，自动驾驶汽车可能仍然需要偶尔将控制权交还给驾驶员。虽然一些系统确定需要驾驶员接管使用驾驶员上下文和道路条件发起接管请求，研究表明，驾驶员可能不会作出反应。我们提出了DeepTake，一种新的基于深度神经网络的框架，预测接管行为的多个方面，以确保驾驶员能够安全地接管控制时，从事非驾驶任务。DeepTake利用车辆数据、驾驶员生物识别和主观测量的特征，预测驾驶员的意图、时间和接管质量。我们使用多个评估指标来评估DeepTake性能。结果表明，DeepTake可靠地预测了接管意图、时间和质量，准确率分别为96%、93%和83%。结果还表明，DeepTake在预测驱动程序接管时间和质量方面优于以前的最先进方法。我们的研究结果对驾驶员监控和状态检测的算法开发具有影响。
2021-01-15 cs.HC cs.LG
Normalized Surveillance in the Datafied Car: How Autonomous Vehicle Users Rationalize Privacy Trade-offs
Rutgers University（罗格斯大学）
研究探讨自动驾驶车辆用户如何通过比较现有数字平台来合理化隐私权衡，并提出治理措施以规范数据提取。
2026-02-11 cs.HC
mmDrive: mmWave Sensing for Live Monitoring and On-Device Inference of Dangerous Driving
本文提出mmDrive系统，仅用毫米波雷达感知距离-多普勒模式，结合Fused-CNN模型实现9种危险驾驶动作的实时检测与分类，平均准确率超过95%。
2023-09-21 cs.HC
Using Automated Vehicle Data as a Fitness Tracker for Sustainability
本研究提出利用汽车CAN总线车载数据生成行程摘要，构建可持续性评估指标，帮助驾驶员理解驾驶习惯对可持续性的影响，并为未来控制器迭代奠定数据基础。
2024-04-05 cs.HC
DFKI Cabin Simulator: A Test Platform for Visual In-Cabin Monitoring Functions
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
我们提出了一个测试平台的视觉舱内景物分析和乘员监测功能。该测试平台基于DFKI开发的驾驶模拟器，由逼真的舱内模型和广角投影系统组成，可提供逼真的驾驶体验。该平台配备了广角2D/3D摄像系统，可监控模拟器车辆模型的整个内部。它还配备了地面实况参考传感器系统，可以跟踪和记录乘客的身体运动，并与摄像机的2D和3D视频流同步。因此，由此产生的测试平台将作为验证众多舱内监控功能的基础，这些功能对于实现新型人车界面、高级驾驶员辅助系统和自动驾驶非常重要。其中考虑的功能是乘员存在检测，大小和3D姿态估计和驾驶员意图识别。此外，我们的平台将成为创建大规模舱内基准数据集的基础。
2020-02-11 cs.CV cs.HC cs.LG
Regaining Trust: Impact of Transparent User Interface Design on Acceptance of Camera-Based In-Car Health Monitoring Systems
本研究通过在线实验（42名参与者）发现，透明引导设计能显著提升用户对基于摄像头的车内健康监测系统的信任与体验，且不增加引导时间，为隐私友好型系统设计提供指导。
2024-08-27 cs.HC
Revisiting Interactions of Multiple Driver States in Heterogenous Population and Cognitive Tasks
本文将双重机器学习方法引入驾驶状态分析，通过模拟器实验解耦多种困倦与认知负荷的复杂因果关系，识别关键生理与眼动指标，为驾驶状态监测提供理论基础。
2024-12-19 cs.HC stat.AP
Real-Time In-Cabin Driver Behavior Recognition on Low-Cost Edge Hardware
Department of Electrical Engineering, Sharif University of Technology（电气工程系，谢里夫理工大学）
本文提出了一种基于低成本边缘硬件的实时车内驾驶员行为识别系统，通过紧凑模型、混淆标签体系和时间决策头实现高效准确的行为检测与警报生成。
2026-01-07 cs.CV cs.HC cs.LG
Hybrid Human-Machine Perception via Adaptive LiDAR for Advanced Driver Assistance Systems
Delft University of Technology（代尔夫特理工大学）
本文提出一种结合驾驶员注视数据的自适应激光雷达系统，在CARLA中验证，通过增强视野外感知提升ADAS检测性能，尤其在雾天条件下。
2025-02-24 cs.HC cs.RO
EEG-Based Driver Drowsiness Estimation Using Feature Weighted Episodic Training
Huazhong University of Science and Technology（华中科技大学）
疲劳驾驶是普遍存在的，也是交通事故的主要原因。通过监测脑电图（EEG）信号来估计驾驶员的困倦水平并相应地采取预防措施可以提高驾驶安全性。然而，不同驾驶员之间的个体差异使得这项任务非常具有挑战性。通常需要校准会话来收集一些特定于对象的数据并在将其应用于新对象之前调整模型参数，这是非常不方便且不用户友好的。为了减少标定工作量，提出了一种新的标定方法--特征加权情景训练（FWET）。它集成了两种技术：特征加权来学习不同特征的重要性，以及用于领域泛化的情景训练。基于脑电信号的驾驶员睡意估计实验表明，特征加权和情景训练都是有效的，两者的结合可以进一步提高泛化性能。FWET不需要来自新对象的任何标记或未标记的校准数据，因此在即插即用脑机接口中可能非常有用。
2019-09-25 cs.AI cs.HC cs.LG
Effects of Augmented-Reality-Based Assisting Interfaces on Drivers' Object-wise Situational Awareness in Highly Autonomous Vehicles
University of California, Los Angeles（加州大学洛杉矶分校）；Honda Research Institute USA（美国本田研究所）；Zoox（Zoox公司）
本文通过20人参与的驾驶模拟器实验，研究基于增强现实的高亮提示在不同交通密度、物体位置和类型下对部分自动驾驶车辆驾驶员逐物体态势感知的影响，为优化AR辅助界面设计提供依据。
2022-06-06 cs.AI cs.HC cs.RO
In-vehicle Sensing and Data Analysis for Older Drivers with Mild Cognitive Impairment
Florida Atlantic University（佛罗里达大西洋大学）
本文设计低成本车载感知硬件获取高精度数据，结合机器学习分析老年MCI驾驶者的日常驾驶，发现其驾驶更平稳安全，并识别出夜间出行次数等关键认知衰退指标。
2023-11-15 cs.AI cs.HC
Predicting Driver Takeover Time in Conditionally Automated Driving
The University of Michigan（密歇根大学）；University of Pittsburgh（匹兹堡大学）；University of Michigan（密歇根大学）
在条件自动驾驶中确保安全的接管过渡是非常重要的。量化安全接管过渡的关键因素之一是接管时间。以往的研究确定了许多因素对接管时间的影响，如接管前置时间，非驾驶任务，接管请求（TORs）的方式，和场景的紧迫性。然而，目前还缺乏同时考虑这些因素来预测收购时间的研究。为此，我们使用了极限梯度提升（XGBoost）来预测接管时间，使用的数据集来自荟萃分析研究[1]。此外，我们使用SHAP（SHapley Additive exPlanation）来分析和解释预测因子对收购时间的影响。我们确定了七个最关键的预测因子，这些因子导致了最佳的预测性能。研究了它们对接管时间的主效应和交互效应。实验结果表明，该方法具有良好的性能和可解释性。我们的研究结果对车载监控和警报系统的设计有影响，以促进驾驶员和自动驾驶汽车之间的互动。
2021-07-20 cs.HC cs.LG cs.RO
OpenDriver: An Open-Road Driver State Detection Dataset
针对开放道路驾驶员生理数据集稀缺且质量不足的问题，本文构建大规模多模态数据集OpenDriver，含3278次行程、4600小时ECG与方向盘IMU数据，还为信号质量评估等三个任务提供基准，推动驾驶员状态检测研究。
2024-12-04 cs.AI cs.CV cs.HC
Building Trust Profiles in Conditionally Automated Driving
The University of Michigan, Dearborn（密歇根大学迪尔伯恩分校）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
本研究通过驾驶模拟器实验，使用K-means聚类模型识别出三种驾驶员信任档案，并基于SHAP和多项逻辑回归模型进行验证，为设计个性化车内信任监控与校准系统以提升自动驾驶安全性和体验提供了重要依据。
2023-06-28 cs.HC cs.RO
MIT Advanced Vehicle Technology Study: Large-Scale Naturalistic Driving Study of Driver Behavior and Interaction with Automation
Massachusetts Institute of Technology (MIT)（麻省理工学院（MIT））；Touchstone Evaluations, Inc.（托奇斯通评估公司）
在未来，人类很可能仍然是驾驶任务的一个组成部分，在人工智能系统执行驾驶任务的0%以上到100%以下的任何地方监控它。麻省理工学院自动驾驶汽车技术（MIT-AVT）研究的管理目标是（1）进行大规模的真实驾驶数据汇集，包括高清视频，以推动基于深度学习的内部和外部感知系统的开发，（2）通过整合视频数据与车辆状态数据，驾驶员特征，心理模型和自我报告的技术经验，以及（3）确定如何以拯救生命的方式改进与自动化采用和使用相关的技术和其他因素。为了实现这些目标，我们对23辆特斯拉Model S和Model X汽车、2辆沃尔沃S90汽车、2辆路虎揽胜极光和2辆凯迪拉克CT6汽车进行了长期（每个驾驶员超过一年）和中期（每个驾驶员一个月）自然驾驶数据汇集。此外，我们正在不断开发新的方法来分析从仪表车队收集的大规模数据集。记录的数据流包括IMU、GPS、CAN消息以及驾驶员面部、驾驶室、前方道路和仪表组（在选定车辆上）的高清视频流。这项研究正在进行中，而且越来越多。到目前为止，我们有122名参与者，15，610天的参与，511，638英里和71亿视频帧。本文介绍了研究的设计，数据汇集硬件，数据的处理，以及目前用于从数据中提取可操作知识的计算机视觉算法。
2019-08-14 cs.CV cs.CY cs.HC
Smartphone-based Vehicle Telematics - A Ten-Year Anniversary
就像它已经无可避免地重塑了社会生活一样，智能手机拥有量的快速增长现在开始彻底改变驾驶体验，并改变我们对汽车保险，车辆安全系统和交通研究的看法。本文总结了基于智能手机的车辆远程信息处理的前十年的研究，重点是用户友好的实现和智能手机的移动性所带来的挑战。值得注意的学术和工业项目进行审查，并与传感器，能源消耗，云计算，车载自组织网络，和人机界面系统方面进行了检查。此外，我们强调了传统的和基于智能手机的汽车导航之间的差异，并调查了最先进的基于智能手机的交通方式分类，驾驶员分类和道路状况监测。未来的进步预计将由传感器技术的改进、当前实施的社会效益的证据以及传感器融合和驾驶员评估的行业标准的建立所驱动
2016-11-11 cs.CY cs.HC
