Heart rate is one of the most vital health metrics which can be utilized to investigate and gain intuitions into various human physiological and psychological information. Estimating heart rate without the constraints of contact-based sensors thus presents itself as a very attractive field of research as it enables well-being monitoring in a wider variety of scenarios. Consequently, various techniques for camera-based heart rate estimation have been developed ranging from classical image processing to convoluted deep learning models and architectures. At the heart of such research efforts lies health and visual data acquisition, cleaning, transformation, and annotation. In this paper, we discuss how to prepare data for the task of developing or testing an algorithm or machine learning model for heart rate estimation from images of facial regions. The data prepared is to include camera frames as well as sensor readings from an electrocardiograph sensor. The proposed pipeline is divided into four main steps, namely removal of faulty data, frame and electrocardiograph timestamp de-jittering, signal denoising and filtering, and frame annotation creation. Our main contributions are a novel technique of eliminating jitter from health sensor and camera timestamps and a method to accurately time align both visual frame and electrocardiogram sensor data which is also applicable to other sensor types.
See Your Heart: Psychological states Interpretation through Visual Creations
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences, School of Artificial Intelligence（中国科学院大学人工智能学院）
在精神分析学中，通过视觉创作对人的心理状态产生解释是一个重要的需求。现有计算机视觉领域的两大研究任务--情感分类和情感字幕，难以满足心理学口译的需要。为了满足心理分析的需要，我们引入了一个具有挑战性的任务，\textbf{V}视觉\textbf{E}运动\textbf{I}解释\textbf{T}询问（VEIT）。VEIT要求AI通过视觉创作对创作者的心理状态产生合理的解释。为了支持这项任务，我们提出了一个多模态数据集称为SpyIn（\textbf{S}和\textbf{p} la \textbf{y} \textbf{In}解释数据集），这是心理学理论支持和专业注释。数据集分析表明，SpyIn不仅能够支持VEIT，而且与其他字幕数据集相比更具挑战性。在SpyIn的基础上，我们对几种图像描述方法进行了实验，提出了一种视觉-语义结合的模型，并在SpyIn上得到了SOTA结果。结果表明，VEIT是一个更具挑战性的任务，需要场景图形信息和心理知识。我们的工作也展示了人工智能通过视觉创作来分析和解释人类内心世界的希望。
Machine learning models and facial regions videos for estimating heart rate: a review on Patents, Datasets and Literature
SENAI CIMATEC University Center（SENAI CIMATEC大学中心）
估计心率对于在各种情况下监测用户是重要的。基于面部视频的估计越来越多地被研究，因为它可以以非侵入性的方式监测心脏信息，并且因为设备更简单，只需要捕获用户面部的相机。从这些用户面部的视频中，机器学习能够估计心率。本研究通过专利、数据集和文章综述，调查了使用机器学习模型从面部视频中估计心率的好处和挑战。我们检索了Derwent Innovation、IEEE Xplore、Scopus和Web of Science知识库，发现了7项专利申请、11个数据集和20篇关于心率、光电容积描记术或心电图数据的文章。在专利方面，我们注意到与心率估计相关的发明的优点，如作者所述。在数据集方面，我们发现其中大多数是用于学术目的，并且具有不同的标志和注释，允许覆盖心跳估计以外的主题。在文章方面，我们发现了一些技术，例如提取心率读数的感兴趣区域，使用视频放大进行小运动提取，以及EVM-CNN和VGG-16等模型，这些模型可以提取观察到的个人心率，信号提取的最佳感兴趣区域以及处理它们的方法。
Gaze into the Heart: A Multi-View Video Dataset for rPPG and Health Biomarkers Estimation
Sber AI Lab（Sber AI实验室）；Samara State Medical University（萨马拉州医学大学）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息与通信技术研究所可信人工智能研究中心）
ClearLines - Camera Calibration from Straight Lines
Johannes Kepler University Linz（约翰·开普勒大学林茨）；Department Intelligent Transport Systems（智能交通运输系统部门）；Intelligent Systems Functions Department（智能系统功能部门）；IAV GmbH（IAV公司）
Efficient Real-Time Camera Based Estimation of Heart Rate and Its Variability
Vicarious Perception Technologies（Vicarious Perception Technologies公司）；Eindhoven University of Technology（埃因霍温理工大学）；Delft University of Technology（代尔夫特理工大学）
M3PD Dataset: Dual-view Photoplethysmography (PPG) Using Front-and-rear Cameras of Smartphones in Lab and Clinical Settings
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Beijing Anzhen Hospital, Capital Medical University（首都医科大学北京安贞医院）；Agency for Science, Technology and Research（科技研究局）
Real-Time Monitoring of User Stress, Heart Rate and Heart Rate Variability on Mobile Devices
Beam AI；University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）
压力被认为是21世纪的流行病。然而，移动应用程序无法直接评估其内容和服务对用户压力的影响。我们引入Beam AI SDK来解决这个问题。使用我们的SDK，应用程序可以通过自拍相机实时的【形】监控用户的压力。我们的技术通过分析用户面部皮肤区域的细微颜色变化来提取用户的脉搏波。然后使用用户的脉搏波来确定压力（根据Baevsky压力指数），心率和心率变异性。我们在UBFC数据集、MMSE-HR数据集和Beam AI的内部数据上评估了我们的技术。我们的技术在每个基准上分别实现了99.2%、97.8%和98.5%的心率估计准确率，出错率比竞争方法低近两倍。我们进一步证明了在确定压力和心率变异性方面的平均Pearson相关性为0.801，从而产生商业上有用的读数，以获得应用程序中的内容决策。我们的SDK可在www.beamhealth.ai上使用。
Contactless Cardiac Pulse Monitoring Using Event Cameras
C3I Imaging Lab, School of Engineering, University of Galway（Galway大学工程学院C3I成像实验室）；Autosense Team, FotoNation-Tobii（FotoNation-Tobii公司Autosense团队）；School of Computer Science, University of Galway（Galway大学计算机科学学院）
Camera-Based HRV Prediction for Remote Learning Environments
Central China Normal University（华中师范大学）；National Key Laboratory of Human Factors Engineering（人因工程国家重点实验室）；Tsinghua University（清华大学）；East China Normal University（华东师范大学）
Video-based Heart Rate Estimation with Angle-guided ROI Optimization and Graph Signal Denoising
Shanghai Key Laboratory of Multidimensional Information Processing, East China Normal University（华东师范大学上海市多维度信息处理重点实验室）；Shanghai Changzheng Hospital, Naval Military Medical University（海军军医大学上海长征医院）；Chongqing Key Laboratory of Precision Optics, Chongqing Institute of East China Normal University（华东师范大学重庆研究院重庆市精密光学重点实验室）
Real-time Cardiovascular MR with Spatio-temporal Artifact Suppression using Deep Learning - Proof of Concept in Congenital Heart Disease
University College London（伦敦大学学院）；Centrum Wiskunde & Informatica (CWI)（数学和计算机科学中心（CWI））；UCL Centre for Cardiovascular Imaging（伦敦大学学院心血管影像中心）；Institute of Cardiovascular Science（心血管科学研究所）
SurfelGAN: Synthesizing Realistic Sensor Data for Autonomous Driving
UT Austin（德克萨斯大学奥斯汀分校）；Waymo（Waymo公司）；Google Brain（谷歌大脑）
自动驾驶系统的开发关键取决于在模拟中回放复杂多样的交通场景的能力。在这种情况下，准确模拟车辆传感器（如摄像头、激光雷达或雷达）的能力至关重要。然而，当前的传感器模拟器利用Unreal或Unity等游戏引擎，需要手动创建环境，对象和材料属性。这种方法具有有限的可扩展性，并且在没有显著的额外工作的情况下无法产生相机、激光雷达和雷达数据的真实近似。在本文中，我们提出了一种简单而有效的方法来生成逼真的场景传感器数据，仅基于自动驾驶汽车收集的有限数量的激光雷达和摄像头数据。我们的方法使用纹理映射的surfels从初始车辆通行证或一组通行证中有效地重建场景，保留有关对象3D几何形状和外观以及场景条件的丰富信息。然后，我们利用SurfelGAN网络来重建真实的摄像机图像，以获得场景中自动驾驶车辆和移动物体的新位置和方向。我们在Waymo Open Dataset上展示了我们的方法，并表明它可以为模拟场景合成逼真的相机数据。我们还创建了一个新的数据集，其中包含两辆自动驾驶汽车同时观察同一场景的情况。我们使用这个数据集来提供额外的评估，并证明我们的SurfelGAN模型的有用性。
Automatic Scale Estimation of Structure from Motion based 3D Models using Laser Scalers
University of Girona（赫罗纳大学）；Coronis Computing, S.L.（科罗尼斯计算有限公司）；IFREMER（法国海洋开发研究院）；Université de Paris（巴黎大学）；Institut de Physique du Globe de Paris（巴黎地球物理研究所）；CNRS（法国国家科学研究中心）
