Affective Movement Generation using Laban Effort and Shape and Hidden Markov Models
University of Waterloo（滑铁卢大学）
身体动作是一种重要的沟通媒介，通过它可以识别情感状态。传达情感的动作也可以赋予机器类似生命的属性，并有助于创建更具吸引力的人机交互。本文提出了一种自动情感运动生成的方法，利用两个运动抽象：1）拉班运动分析（LMA），2）隐马尔可夫模型。LMA提供了一个系统的工具，抽象表示运动的运动学和表现力的特点。给定一个期望的运动路径上的目标情感是要覆盖，所提出的方法搜索一个标记的数据集在LMA努力和形状空间类似的运动传递目标情感的期望的运动路径。获得所识别的运动的HMM抽象，并将其与期望的运动路径一起使用以生成新颖的运动，该新颖的运动是传达目标情感的期望的运动路径的调制版本。调制的程度可以变化，在生成的运动中的运动学和情感约束之间进行权衡。使用全身运动数据集测试所提出的方法。所提出的方法在生成可识别的目标情绪的运动的功效进行评估，使用一个验证的自动识别模型和用户研究。使用识别模型，从生成的动作中以72%的比率正确识别目标情绪。此外，用户研究中的参与者能够从生成的动作样本中正确感知目标情绪，尽管也观察到一些混淆的情况。
2020-06-10 cs.GR cs.HC cs.LG
CMCRD: Cross-Modal Contrastive Representation Distillation for Emotion Recognition
Key Laboratory of Image Processing and Intelligent Control, Ministry of Education, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（图像处理与智能控制重点实验室、教育部、自动化学院、华中科技大学）；Wuhan Institute of Digital Engineering（武汉数字工程研究所）；Shanghai Jiao Tong University（上海交通大学）
CMCRD通过跨模态对比表示蒸馏提升情绪识别准确性，减少多模态数据需求，实验表明在EEG和眼动数据间相互辅助训练可提高分类准确率约6.2%。
2025-04-12 cs.HC cs.LG
Systèmes interactifs sensibles aux émotions : architecture logicielle
我们提出了一个软件架构的交互式系统，它允许整合用户的情感。情感可以在几个层面上参与互动。在我们的应用案例-芭蕾舞-情感是明确的互动系统产生的情感明智的输出操纵。我们的架构模型，以开发情感明智的应用程序是基于PAC-Amodeus模型。我们在这个模型中增加了一个分支，分为三个部分：数据捕获，分析和线索提取，最后是对这些线索的解释。我们显示了不同的数据流之间的架构的组件依赖于系统内的情感分支的入口点。然后，我们通过描述我们的应用案例来说明我们的模型：捕捉芭蕾舞演员的动作来提取他所表达的情感，并使用这些情感来生成在舞台上显示的图形内容。
2007-10-03 cs.HC
Optimizing Emotion Recognition with Wearable Sensor Data: Unveiling Patterns in Body Movements and Heart Rate through Random Forest Hyperparameter Tuning
Telkom University（电信大学）
本研究利用智能手表与心率传感器数据，通过随机森林超参数调优优化情绪识别，在多场景实验中实现了86.63%的二分类与76.33%的三分类平均准确率。
2024-08-13 cs.HC cs.LG
Understanding Emotional Body Expressions via Large Language Models
提出EAI-LLM模型，通过多粒度骨架分词器将3D身体运动数据作为输入标记，在保持高识别准确率的同时生成情感文本解释，并利用LLM背景知识解决异构数据集联合训练挑战。
2024-12-20 cs.HC
A Multimodal Emotion Recognition System: Integrating Facial Expressions, Body Movement, Speech, and Spoken Language
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
本研究提出一种整合面部表情、身体动作、语音和口语的多模态情感识别系统，为心理评估提供客观、数据驱动的工具，降低误诊风险并提升诊断准确性。
2026-10-16 cs.CL cs.CV cs.HC
Speech-Driven Expressive Talking Lips with Conditional Sequential Generative Adversarial Networks
本文提出条件序列生成对抗网络（CSG），利用语音信号直接提取的发音和情感特征生成逼真说话嘴唇运动，无需文本转录，在客观和主观评估中优于三个基线，并针对已知情感提出情感依赖模型改进效果。
2018-06-01 cs.HC
Multimodal Observation and Interpretation of Subjects Engaged in Problem Solving
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）
在本文中，我们提出了第一个试点实验的结果，在捕获和解释多模态信号的人类专家从事解决具有挑战性的国际象棋问题。我们的目标是调查在何种程度上的眼睛注视，姿势，情绪和其他生理信号的观察可以用来模拟受试者的认知状态，并探讨多传感器模态的整合，以提高可靠性的检测人类显示的意识和情绪。我们观察了国际象棋选手在记录他们的行为时参与难度增加的问题。这种记录可以用来估计参与者对当前情况的意识，并预测有效应对挑战性情况的能力。结果表明，多模态方法比单峰方法更准确。通过结合身体姿势，视觉注意力和情绪，多模态方法可以达到高达93%的准确性时，确定球员的国际象棋专业知识，而单峰方法达到86%。最后，这个实验验证了使用我们的设备作为一个通用的和可重复的工具，参与者从事基于屏幕的互动和/或解决问题的研究。
2017-10-12 cs.CV cs.HC stat.ML
Considering Gut Biofeedback for Emotion Regulation
最近对肠神经系统（有时被称为第二大脑）的研究揭示了消化系统在预测情绪方面的潜力。尽管人们经常经历胃肠道（GI）的变化，每天多次影响他们的情绪和行为，但针对这种现象的可靠测量和可穿戴设备还没有完全开发出来。然而，自主神经系统的其他表现，如皮肤电活动，心率和面部肌肉运动已被广泛用作情绪的测量或生物反馈应用，而忽略了肠道。我们暴露胃电图（EGG），即，记录胃肠道的肌电活动，作为推断人类情绪的可能措施。在本文中，我们还希望揭示一些基本的问题，情绪，这往往是理所当然的，在人机交互领域，但仍然是一个很大的辩论，在认知神经科学和心理学领域。
2018-09-13 cs.HC
The Body-Algorithm-Emotion Loop: Making Emotion AI Misrecognition Visible through Artistic Practice
London College of Communication（伦敦传播学院）；University of the Arts London（伦敦艺术大学）
该研究通过艺术互动装置，以具身化方式揭示商业情感AI对身体的识别错误，为情感AI的可解释性提供了批判视角，记录了相关原型的开发过程。
2026-10-14 cs.HC
AI-Based Emotion Recognition: Promise, Peril, and Prescriptions for Prosocial Path
自动情绪识别（AER）技术可以使用面部表情、语音属性、文本、身体动作和神经信号实时检测人类的情绪状态，并在许多领域具有广泛的应用。它可以帮助企业更深入地了解客户，监控医疗保健、教育或汽车行业中的个人情绪，并在取证中识别暴力和威胁。然而，AER技术也存在使用人工智能（AI）来解释人类敏感情绪的风险。它可以被用于经济和政治权力，也可以被用于侵犯个人权利。人类的情感是高度个人化的，用户对隐私侵犯、情感操纵和偏见的担忧是合理的。在本文中，我们提出了AER应用的承诺和风险。我们讨论了数据和AER系统相关的伦理挑战，并强调了未来AER应用的亲社会观点的处方。我们希望这项工作能够帮助AI研究人员和开发人员设计亲社会的AER应用程序。
2022-11-14 cs.HC
CyanKitten: AI-Driven Markerless Motion Capture for Improved Elderly Well-Being
本研究推出专为老年人设计的CyanKitten虚拟伴侣系统，通过三层架构、双摄与老年运动训练的CNN实现姿态与手势识别，结合多模态交互提升老年生活质量。
2025-03-25 cs.HC
ELEGNT: Expressive and Functional Movement Design for Non-anthropomorphic Robot
Apple（苹果公司）
本文提出ELEGNT框架，通过台灯式机器人探索运动设计中的表现性与功能性平衡，用户研究表明表现性驱动运动显著提升参与度和感知品质，尤其在社会任务中。
2025-01-21 cs.HC cs.RO
Control Interface for Hands-free Navigation of Standing Mobility Vehicles based on Upper-Body Natural Movements
University of Tsukuba（筑波大学）；University of Tsukuba Hospital（筑波大学医院）；Ecole Polytechnique Federale de Lausanne（洛桑联邦理工学院）
在本文中，我们提出并评估了一种新的人机界面（HMI）控制站立的移动车辆或人载体机器人，旨在通过上半身的自然姿势，而步行的凝视跟踪免提控制。我们的目标用户与下半身障碍与其余上半身运动能力。开发的HMI基于用于捕获身体姿势的传感阵列;用于将身体运动连续映射到机器人控制空间的意图识别算法;以及用于多种身体尺寸和形状的个性化系统。我们进行了两项用户研究：第一，分析所提出的控制导航所需的身体肌肉;第二，通过在窄电路任务中的定量和定性指标，评估HMI与标准操纵杆的比较。我们的结论是，主要的用户控制贡献来自腹直肌和竖脊肌群在不同的水平。最后，比较研究表明，操纵杆仍然优于建议的HMI在可用性的看法和可控性指标，但是，用户控制的流畅性是类似的急动和流畅性。此外，用户的看法表明，免提控制使其更加拟人化，动画，甚至更安全。
2020-08-03 cs.HC cs.RO cs.SY
An Automatic Control System with Human-in-the-Loop for Training Skydiving Maneuvers: Proof-of-Concept Experiment
Technion - Israel Institute of Technology（以色列理工学院）
提出了一种实时跳伞运动训练系统。空中机动是通过改变身体姿势，从而偏转周围的气流来完成的。自然的学习过程是非常缓慢的，由于不熟悉的自由落体动力学，压力引起的动觉反馈的阻塞，以及所需动作的复杂性。其关键思想是用一个自动控制系统来增强学习者，如果它作为执行器直接存取学习者的身体，它就能够执行训练过的活动。辅助系统将提供以下视觉提示给学习者：1。当前身体姿势的反馈; 2.身体姿势，将使身体执行所需的机动; 3。如果物体保持其当前姿态，则预测未来的惯性位置和方向。该系统将使新手能够在自由落体中保持稳定，并感知不熟悉的环境动态，从而加速技能获取的初始阶段。本文介绍了一个概念验证实验的结果，即人类控制的虚拟跳伞自由落体在计算机模拟，通过他们的身体。这个任务是不可能的，没有辅助系统，使所有参与者能够在第一次尝试完成任务。
2022-01-20 cs.HC cs.RO cs.SY
Real-time Automatic Emotion Recognition from Body Gestures
University of Genova（热那亚大学）
虽然心理学研究表明，身体表情传达重要的情感信息，但迄今为止，情感识别的研究主要集中在面部表情或语音分析上。在本文中，我们提出了一种方法，实时自动识别情感的身体动作。从序列3D骨架中提取一组姿势，运动学和几何特征，并将其馈送到多类SVM分类器。所提出的方法已通过两个不同的系统：一个professionalgrade光学运动捕捉系统，和微软Kinect的数据进行了评估。该系统已被评估的“六种情绪”的识别问题，并使用leave-one-subject-out交叉验证策略，达到了61.3%的整体识别率，这是非常接近人类观察者获得的识别率61.9%。为了进一步测试该系统，开发了两个游戏，其中一个或两个用户必须进行交互，以理解和表达他们的身体的情绪。
2014-02-20 cs.CV cs.HC
Establishing Human-Robot Trust through Music-Driven Robotic Emotion Prosody and Gesture
Georgia Tech Center for Music Technology（佐治亚理工学院音乐技术中心）
随着人机协作机会的不断扩大，信任对于机器人的充分参与和利用变得越来越重要。建立在情感关系和人际关系基础上的情感信任尤其重要，因为它对错误更有弹性，并增加了合作的意愿。在本文中，我们提出了一种新的模型，建立在音乐驱动的情感韵律和手势，鼓励感知的机器人身份，旨在避免恐怖谷。人类音乐家生成了具有象征意义的乐句，并标记了情感信息。这些短语控制着一个合成引擎，播放通过音素和电子乐器插值生成的预渲染音频样本。手势也是由象征性的短语驱动的，从音乐短语到低自由度的动作都编码了情感。通过用户研究，我们表明我们的系统能够准确地向用户描绘一系列情绪。我们还展示了一个显著的结果，即我们的非语言音频生成比使用最先进的文本到语音系统的平均信任度高出8%。
2020-01-11 cs.HC cs.RO
Deep state-space modeling for explainable representation, analysis, and generation of professional human poses
Centre for Robotics, Mines Paris, Université PSL（巴黎高等矿业学院机器人中心，巴黎文理研究大学）
本文提出三种新方法，将人体运动表述为遵循GOM结构的深度状态空间模型，以解决随机性和可解释性挑战，用于专业人员全身灵巧性分析和人工专业运动生成。
2023-05-24 cs.AI cs.CV cs.HC
Respect Your Emotion: Human-Multi-Robot Teaming based on Regret Decision Model
Clemson University（克莱姆森大学）
通常，当在人机协作的背景下对人类决策行为进行建模时，人类的情感方面被忽略了。然而，在某些情况下，情绪的影响不仅是不可否认的，而且是有益的。研究了遗憾情绪在一人多机器人协作中的类人特性，以应用于领域搜索。在这种应用中，任务管理负载被外包给机器人，以减少人类的工作量，从而使人类能够做更重要的工作。后悔决策模型首先用于每个机器人决定是否请求人类服务，然后扩展到最优排队的请求从多个机器人。针对机器人在搜索域中的运动，设计了一种基于动态规划的机器人路径规划算法。仿真结果表明，类人的特性，即风险寻求和规避，确实带来了一些吸引人的效果，平衡的工作量和性能的人多机器人团队。
2019-09-18 cs.AI cs.HC cs.SY
A conversational gesture synthesis system based on emotions and semantics
Department of Information Technology, VNUHCM -- University of Science（越南科学大学信息科技系）
本文提出DeepGesture，一种基于扩散的 gesture 合成系统，通过多模态信号生成具有情感和语义条件的手势，提升数字人类的自然表达能力。
2026-01-29 cs.CL cs.HC cs.LG
