Emotion Recognition Through Observer's Physiological Signals
基于生理信号的情感识别是一个热门话题,在安全驾驶、医疗保健和创建安全社会等方面有着广泛的应用。本文介绍了一个生理数据集PAFEW,这是使用电影剪辑从野生动物面部表情(AFEW)数据集作为刺激。为了建立基线,我们使用该数据集中的皮肤电活动(EDA)信号,并从对应于每个电影片段的每个信号序列中提取6个特征来识别7种情绪,即,愤怒,厌恶,恐惧,快乐,惊讶,悲伤和中性。总体而言,24名观察员参与了我们收集的培训集,其中19名观察员仅参加了一次会议,观看了来自7个班级的80个视频,5名观察员多次参加并观看了所有视频。所有的视频都以一种平衡的方式呈现。在这个分类任务中使用了留一筛选器。我们报告了我们的基线(一个三层网络)在这个初始训练集上的分类准确性,同时使用来自所有参与者、单个参与者和多个参与者的信号进行训练。我们还研究了按唤醒度和效价对数据集进行分组的识别准确率,分别达到68.66%和72.72%。最后,我们提供了一个两步网络。第一步是通过网络将特征分类为高/低唤醒或正/负效价。然后将第一步的唤醒/效价中间输出与作为第二步情感识别的输入的特征集连接。我们发现,增加唤醒或效价信息可以帮助提高分类精度。此外,正/负价信息在此数据集上提高了分类准确率。
2020-02-19 cs.HC
Affect Recognition in Ads with Application to Computational Advertising
广告通常包含强烈的情感内容,以便给观众留下持久的印象。这项工作(i)编制了一个情感广告数据集,能够唤起用户之间的连贯情感,根据5位专家和14位注释者的情感意见确定;(ii)探索卷积神经网络(CNN)特征编码情感的有效性,并观察到CNN特征在广泛的实验中优于低级别的视听情感描述符;以及(iii)基于涉及17个用户的研究,展示了增强的情感预测如何促进计算广告,并在观看嵌入有广告的在线视频流时带来更好的观看体验。我们基于主观的人的意见以及客观的多模态特征来建模广告情感,并展示了如何有效地建模广告情感可以对现实生活中的应用产生积极的影响。
2017-09-06 cs.HC
Haptic Empathy: Investigating Individual Differences in Affective Haptic Communications
本研究针对远程互动下情感触觉设计受个体触觉差异限制的问题,通过双通道触觉显示器实验探究个体差异,发现触觉解码能力与情绪特质相关,并总结出三种触觉信息创建策略。
2025-03-19 cs.HC
Evaluating Content-centric vs User-centric Ad Affect Recognition
尽管事实上,广告(广告)往往包括强烈的情感内容,很少的工作一直致力于影响识别(AR)的广告。这项工作明确比较了以内容为中心和以用户为中心的广告AR方法,并通过用户研究评估了增强AR对计算广告的影响。具体来说,我们(1)编制了一个能够唤起用户连贯情绪的情感广告数据集;(2)探索以内容为中心的卷积神经网络(CNN)特征编码情感的有效性,并表明CNN特征优于低级别情感描述符;(3)通过分析从11个观看者获取的脑电图(EEG)响应来检查以用户为中心的广告AR,并发现EEG信号比内容描述符更好地编码情感信息;(4)基于涉及12个用户的研究,调查在观看嵌入广告的在线视频流时客观AR和主观观看者体验之间的关系。据我们所知,这是第一项工作:(a)明确比较用户与以内容为中心的广告AR,以及(b)研究广告情感建模及其对现实生活中广告应用的影响之间的关系。
2017-09-06 cs.HC
A Survey on Mobile Affective Computing
本调查介绍了最近的进展,情感计算(AC)使用移动设备。AC是几十年来最活跃的研究课题之一。传统AC研究的主要局限性是指不可渗透的情感。这种批评是突出的情绪时,调查社会背景之外。这是有问题的,因为有些情绪是针对其他人的,是在与他们的互动中产生的。智能移动可穿戴设备的发展(例如,Apple Watch,Google Glass,iPhone,Fitbit)使AC在计算机科学方面的研究更加自然和狂野。本次调查强调了使用智能可穿戴设备的AC研究和系统。各种模型,方法和系统进行了讨论,以检查最先进的。最后,我们讨论了剩余的挑战和未来的工作。
2019-06-19 cs.HC
Edge Based Grid Super-Imposition for Crowd Emotion Recognition
Louisiana State University(路易斯安那州立大学)
许多自动连续情感检测系统的研究主要研究了包含个人表达情感的视频和图像的使用。本研究探讨了在一个群体和人群设置的自发情绪的检测。边缘检测与网格线叠加提取特征。根据从参考点的移动的特征移动被用于跟踪来自颜色通道的图像序列。此外,视频数据捕获是在观看来自一组参与者的体育赛事所引起的自发情绪上进行的。该方法是视图和遮挡独立的,并且结果不受多个人混乱地表达各种情绪的影响。0.2的边缘阈值和20的网格阈值显示了最佳的准确性结果。群体情绪分类器的总体准确率为70.9%。
2016-08-07 cs.CV cs.HC
The BIRAFFE2 Experiment. Study in Bio-Reactions and Faces for Emotion-based Personalization for AI Systems
Jagiellonian University(雅盖隆大学);AGH University of Science and Technology(AGH科技大学)
本文描述了BIRAFFE2数据集,这是2019年至2020年期间进行的情感计算实验的结果,旨在开发用于情感分类和识别的计算机模型。这项工作对于开发自然的人机交互的新方法非常重要。由于我们认为情感模型应该通过设计进行个性化,因此我们提出了一个统一的范式,可以捕捉不同人的情感反应,同时考虑到个体的个性差异。我们结合了经典的心理学范式的情绪反应收集与新的方法,根据观察的计算机游戏玩家。通过捕捉一个人的心理生理反应(ECG,EDA信号记录),模仿表情(面部情绪识别),主观效价唤醒平衡评级(小部件评级)和游戏进程(加速度计和截屏记录),我们提供了一个框架,可以很容易地使用和开发的目的机器学习方法。
2020-11-09 cs.AI cs.HC cs.LG
Towards Affective Drone Swarms: A Preliminary Crowd-Sourced Study
Fordham University(福特汉姆大学)
无人机群是一组自主无人驾驶飞行器,作为一个集体实体。我们对无人机群的人性化感兴趣,让它们具备通过非语言动作对人类用户产生情感影响的能力。受最近观察者如何通过观看舞蹈动作而情感感动的研究结果的启发,我们调查了协调的无人机群运动是否以及如何对普通观众产生情感影响的问题。我们对Amazon Mechanical Turk的初步研究得出了一些有趣的发现,包括有希望的结果和挑战。
2018-05-31 cs.HC cs.RO
AMIGOS: A Dataset for Affect, Personality and Mood Research on Individuals and Groups
我们提出了AMIGOS-一个数据集的多模态研究的影响,人格特质和情绪的个人和团体。与其他数据库不同的是,我们在两种社会背景下使用短视频和长视频来引发影响,一种是个人观众,另一种是群体观众。该数据库允许情感反应的多模态研究,通过个人的神经生理信号与他们的个性和情绪,并相对于社会背景和视频的持续时间。数据收集在两个实验设置。在第一个实验中,40名参与者观看了16个简短的情感视频。在第二个实验中,参与者观看了4个长视频,其中一些是单独观看的,其余的是分组观看的。参与者的信号,即脑电图(EEG),心电图(ECG)和皮肤电反应(GSR),使用可穿戴传感器记录。参与者的正面高清视频以及RGB和深度全身视频也被记录下来。参与者的情绪已被注释与情感水平的自我评估(效价,唤醒,控制,熟悉,喜欢和基本的情绪),以及在视频中感受到的效价和唤醒水平的外部评估。我们提出了一个详细的相关性分析的不同维度,以及基线方法和结果的效价和唤醒,人格特质,情绪和社会背景的单次试验分类。该数据库向公众开放。
2017-04-13 cs.HC q-bio.NC
Emotion Recognition With Temporarily Localized 'Emotional Events' in Naturalistic Context
Indian Institute of Information Technology Allahabad(印度阿拉哈巴德信息技术学院)
基于脑电信号的情感识别是一个新兴的研究领域,因为它在脑机接口中具有广泛的适用性。在实验室里很难激发情感。情绪不会持续很长时间,但它们需要足够的背景来感知和感受。然而,大多数EEG相关的情感数据库要么遭受情感无关的细节(由于长时间的刺激)或有最小的上下文怀疑使用刺激的任何情感的感觉。我们试图通过设计一个实验来减少这种权衡的影响,在这个实验中,参与者可以自由地报告他们的情绪感受,同时观看情绪刺激。在我们的自然主义刺激情绪数据集(DENS)中,我们将这些报告的情绪感受称为“情绪事件”。我们使用EEG信号对情绪事件进行分类,并将结果与DEAP和SEED的基准数据集进行比较。STFT用于特征提取,并用于由CNN-LSTM混合层组成的分类模型中。与DEEP和SEED数据相比,我们的数据实现了更高的准确性。我们的结论是,有精确的信息,情绪的感觉,提高了分类的准确性相比,长时间的脑电信号,这可能是污染的走神。
2022-10-25 cs.AI cs.HC cs.LG
"Are you okay, honey?": Recognizing Emotions among Couples Managing Diabetes in Daily Life using Multimodal Real-World Smartwatch Data
ETH Zürich(苏黎世联邦理工学院);TU Münich(慕尼黑工业大学);University of St. Gallen(圣加仑大学);University of Zürich(苏黎世大学);University of Zurich(苏黎世大学)
夫妻通常一起管理慢性病,这种管理会对患者和他们的浪漫伴侣造成情感上的损失。因此,认识到每个合作伙伴在日常生活中的情绪可以提供他们在慢性病管理中的情绪健康的见解。目前,评估每个伴侣情绪的过程是手动的,耗时且昂贵。尽管有关于夫妻情感识别的研究,但这些研究都没有使用从夫妻日常生活中的互动中收集的数据。在这项工作中,我们收集了85个小时(1,021个5分钟样本)的真实世界多模态智能手表传感器数据(语音,心率,加速度计和陀螺仪)和自我报告的情绪数据(n=612),来自26名在日常生活中管理2型糖尿病的伴侣(13对夫妇)。我们提取了生理、运动、声学和语言特征,并训练了机器学习模型(支持向量机和随机森林)来识别每个伴侣的自我报告情绪(效价和唤醒)。我们从最好的模型中得到的结果(唤醒和效价的平衡准确率分别为63.8%和78.1%)优于偶然性和我们之前的工作,这些工作也使用了来自讲德语的瑞士夫妇的数据,尽管是在实验室中。这项工作有助于建立自动情绪识别系统,最终使合作伙伴能够监控他们在日常生活中的情绪,并能够提供干预措施,以改善他们的情绪健康。
2022-08-22 cs.CL cs.CY cs.HC
The Mediating Effects of Emotions on Trust through Risk Perception and System Performance in Automated Driving
University of Michigan-Dearborn(密歇根大学迪尔伯恩分校);University of Michigan-Ann Arbor(密歇根大学安娜堡分校)
本研究通过70名参与者的实验与中介分析,揭示自动驾驶中风险感知和系统性能通过信心、敌意、焦虑等情绪间接影响信任,且实时车辆行为比先前风险感知对信任影响更大。
2025-04-06 cs.HC cs.RO
Consumer Grade Brain Sensing for Emotion Recognition
几十年来,脑电图(EEG)一直是通过监测独特的大脑活动来识别情绪状态的最常用工具之一。一系列的数据集已经产生了使用不同的情绪引发的刺激和由此产生的脑波反应,传统上捕获的高端EEG设备。然而,这些设备的适用性在一定程度上受到实际约束的限制,并且可能难以部署在日常事件中无处不在的高度移动环境中。在这项研究中,我们评估了OpenBCI弥合这一差距的潜力,首先将其性能与研究级EEG系统进行比较,采用与基准数据集相同的算法。此外,对于情绪分类的目的,我们提出了一种新的方法,以方便选择的视听刺激的高/低价和唤醒。我们招募了200名不同年龄段的健康志愿者,通过标准化的自我评估、类型标签和无监督机器学习,从总共120个候选人中识别出前60个情感视频片段。另外43名参与者被招募观看预先选择的片段,在此期间收集情绪EEG脑电波和外周生理信号。这些记录被分析并提取特征输入分类模型,以预测所引发的信号是否与高或低水平的效价和唤醒相关。事实证明,我们的预测准确性与以前使用更昂贵的EEG放大器进行数据采集的研究结果完全相当。
2019-08-09 cs.HC eess.SP
Situated Haptic Interaction: Exploring the Role of Context in Affective Perception of Robotic Touch
AIRO-IDLab, Department of Electronics and Information Systems, Ghent University - imec(AIRO-ID实验室,电子与信息系统系,根特大学 - imec)
本研究通过实验探究情境线索如何影响机器人触觉情感感知,发现视觉情境主导效价判断,触觉调节唤醒度,为情感人机交互提供具身化设计启示。
2025-06-23 cs.HC cs.RO
Objective Prediction of Tomorrow's Affect Using Multi-Modal Physiological Data and Personal Chronicles: A Study of Monitoring College Student Well-being in 2020
University of California Irvine(加州大学尔湾分校);University of California, Irvine(加州大学尔湾分校)
监测和理解情感状态是健康运作和治疗情绪障碍的重要方面。无处不在的可穿戴技术的最新进展已经增加了这种工具在检测和准确估计精神状态(例如,情绪、压力等),随着时间的推移提供对个人的全面和连续的监测。先前对个体精神状态建模的尝试限于主观方法或仅包括少数模态(即,电话、手表)。因此,我们研究的目标是通过使用多种商业设备的全自动和客观方法来研究更准确预测影响的能力。纵向生理数据和日常情绪评估是从使用智能可穿戴设备和手机一年多的大学生样本中收集的。结果表明,我们的模型能够预测第二天的影响,其准确性与最先进的方法相当。
2022-01-26 cs.HC cs.LG