Fostering Emotional Perspective-Taking: An Exploration of Affective Face-Tracking Interactions in the VR Narrative Rekindle
Northeastern University（东北大学）
提出利用VR头显内置面部追踪识别玩家情绪，促进玩家与故事角色之间的情感视角转换，从而加深情感联系和叙事参与。
2026-06-01 cs.HC cs.MM
Assessing the Impact of Personality on Affective States from Video Game Communication
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文通过分析11名替代现实游戏玩家两周的聊天日志，研究人格五因素与情感表达的关系，发现多项人格变量可预测困惑、烦恼和愤怒等情感状态。
2023-09-22 cs.AI cs.HC cs.LG
Modeling Player Personality Factors from In-Game Behavior and Affective Expression
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本研究探索从游戏内行为与情感对话决策预测玩家人格指标，用随机森林回归基于62名玩家的《辐射：新维加斯》游玩数据验证了部分人格的可预测性，为后续大规模数据与更复杂模型研究奠定基础。
2023-08-27 cs.AI cs.HC cs.LG
Emoception: Selective Affective Layer Fine-Tuning of Video Vision Transformers for Player Arousal Change Recognition From Gameplay Footage
Ritsumeikan University（立命馆大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出SALFT，一种基于层参数L2范数变化选择情感层微调视频视觉Transformer的方法，用于从游戏画面识别玩家唤醒度变化，仅更新约8%参数即达到与全量微调相当的性能，并引入注意力追踪可解释性方法。
2026-10-07 cs.AI cs.CV cs.HC
Beyond the Winding Path of Learning: Exploring Affective, Cognitive, and Action-Oriented Prompts for Communication Skills
本研究在自主学习情境下比较情感型、认知型和行动导向型三种GenAI生成消息风格对沟通技能学习感知的影响，通过主题分析提炼设计启示以提升参与度和学习成果。
2025-04-09 cs.HC
Towards Learning How to Properly Play UNO with the iCub Robot
University of Hamburg（汉堡大学）；Istituto Italiano di Tecnologia（意大利技术研究院）
在与另一个人互动时，我们的反应和行为在很大程度上受到互动时间背景下的情绪变化的影响。我们内在的情感评价包括感知、自我评价和具有类似社会经历的情感记忆，这些情感评价将在互动中驱动特定的反应，在大多数情况下，这些反应被视为适当的反应。本文提出了多模态研究的发展路线图，其目的是使机器人能够在人机交互（HRI）场景中提供适当的社会响应。
2019-08-02 cs.AI cs.HC cs.RO
Theory of Robot Communication: II. Befriending a Robot over Time
在计算机介导通信（CMC），人机交互和媒体心理学（即情感纽带理论）的理论基础上，本文提出了一种解释，随着时间的推移，人们如何体验与社交机器人交互的中介或模拟方面。在两个同时运行的循环中，一个更具反思性的过程与一个更具情感性的过程相平衡。如果在机器后面检测到人类干扰，则机器人介导的通信开始，这基本上遵循CMC假设;如果人类干扰未被检测到，则人机通信开始发挥作用，使机器人成为自主的社会行为者。机器人用户的情绪越激动，他们就越有可能与实际上是机器的东西建立情感关系。本文的主要贡献是整合计算机介导的通信，人机通信和媒体心理学，概述了一个成熟的理论，机器人通信连接到友谊的形成，占通信功能，处理模式，以及心理生理学。
2023-03-16 cs.HC
Closing the Affective Loop via Experience-Driven Reinforcement Learning Designers
Institute of Digital Games, University of Malta（马耳他大学数字游戏研究所）；Faculty of Exact Sciences and Engineering, University of Madeira（马德拉大学精确科学与工程学院）
本研究提出经验驱动强化学习（EDRL）框架，以唤醒度轨迹语料库构建奖励函数，可根据目标情感模式生成定制化赛车赛道，性能优于搜索式方法，可推广至各类情感适配内容生成场景。
2024-07-23 cs.AI cs.HC
Personality, Culture, and System Factors - Impact on Affective Response to Multimedia
虽然各种形式和类型的多媒体内容的情感反应已经得到了很好的研究，珍贵的几个研究调查的综合影响，多媒体系统参数和人为因素的影响。因此，在本文中，我们探讨的作用，人的因素的两个基本方面-个性和文化-与系统因素-帧速率，分辨率和比特率-对用户的影响和享受的多媒体演示文稿。为此，进行了一项两个地点的跨文化研究，其结果产生了三个预测模型。人格和文化特质的统计显示，代表5.6%的积极影响，13.6%的消极影响和9.3%的享受的方差。情感和享受之间的相关性是显著的。与仅基于系统因素训练的模型相比，结合人为因素的预测模型在预测积极影响、消极影响和享受方面分别提高了约8%、7%和9%。结果和分析表明，人为因素在影响用户观看多媒体时的情感体验方面发挥了重要作用。
2016-07-18 cs.HC cs.MM
Ensembling Large Language Models to Characterize Affective Dynamics in Student-AI Tutor Dialogues
Harvard Graduate School of Education（哈佛教育研究生院）；Harvard University（哈佛大学）；Personal Robots Group, Media Lab（个人机器人小组、媒体实验室）；Massachusetts Institute of Technology（麻省理工学院）
本研究首次提出集成LLM框架，分析学生与AI导师对话中的情感动态，发现学习伴随轻度积极情感，困惑和好奇心常见，消极情感快速消解，中性时刻是干预的关键转折点。
2025-10-13 cs.AI cs.CL cs.HC
Vistrust: a Multidimensional Framework and Empirical Study of Trust in Data Visualizations
本文提出Vistrust多维信任框架，区分认知/情感及可视化/数据前因，并通过大规模众包实验验证视觉复杂性、情感与个体差异对科学可视化信任的影响。
2023-09-29 cs.HC
Play with Emotion: Affect-Driven Reinforcement Learning
Institute of Digital Games, University of Malta（马耳他大学数字游戏研究所）
本文介绍了一种范式转变，将情感建模的任务视为一个强化学习（RL）过程。根据所提出的范例，RL代理通过尝试最大化一组奖励（即行为和情感模式）来学习策略（即情感交互），通过他们对环境（即上下文）的经验。我们的假设是，强化学习是一个有效的范式交织的影响启发和表现与行为和情感的示范。重要的是，我们的第二个假设--建立在达马西奥的躯体标记假设之上--是情绪可以成为决策的促进者。我们通过训练Go-Blend代理来模拟人类的觉醒和行为演示，在赛车游戏中测试我们的假设; Go-Blend是Go-Explore算法的修改版本，该算法最近在硬探索任务中表现出了最高的性能。我们首先改变唤醒为基础的奖励功能，并观察代理，可以有效地显示调色板的影响和行为模式，根据指定的奖励。然后，我们使用唤醒为基础的状态选择机制，以偏置的策略，去混合探索。我们的研究结果表明，Go-Blend不仅是一种有效的情感建模范式，更重要的是，情感驱动的RL提高了探索并产生了更高性能的代理，验证了Damasio在游戏领域的假设。
2022-08-26 cs.AI cs.HC cs.LG
"How Did They Come Across?" Lessons Learned from Continuous Affective Ratings
Cornell University（康奈尔大学）；Honda Research Institute USA, Inc.（本田美国研究所）
本文通过CORAE开源工具收集12组二人互动的情感评分，结合话语分析揭示评分事件与复杂互动现象的映射关系，为人机互动中动态情感理解提供依据。
2023-07-07 cs.HC cs.RO
Play with One's Feelings: A Study on Emotion Awareness for Player Experience
视频游戏玩家之间的情感互动可以引发丰富而多样的情感模式。在公共空间进行的多人游戏中（如体育和棋类游戏），玩家一般都知道他们的队友或对手的情绪，因为他们可以直接观察他们的行为模式，面部表情，头部姿势，身体姿势等。然而，在线视频游戏的玩家，由于他们之间的直接互动渠道有限（例如，通过表情符号或聊天框），他们通常不会意识到其他玩家的情绪。事实也证明，在在线数字游戏领域，实时情绪感知对游戏的影响仍然是未被探索的。出于这种缺乏经验知识的影响他人的游戏表现的作用，在本文中，我们调查的程度，表现出的情绪的对手的表达可以影响玩家的情绪，因此他的游戏行为。在这项初步研究中，我们在两人对抗赛车游戏中测试了我们的假设。我们进行了一项全面的用户研究，以评估情绪，行为和态度的球员在情绪意识与情绪不可知的游戏版本。我们的研究结果表明，通过表情符号实时表达对手的情绪状态会影响玩家的情绪状态和行为，从而影响他们的游戏体验。
2020-06-18 cs.HC
Go-Blend behavior and affect
Institute of Digital Games University of Malta（马耳他大学数字游戏研究所）
本文提出了一种范式转换的情感计算，通过查看情感建模任务作为一个强化学习过程。根据我们提出的框架的背景（环境）和代理的行动定义的共同表示，交织的行为和影响。为了实现这一框架，我们建立在强化学习的最新进展基础上，并使用了Go-Explore算法的修改版本，该算法在硬探索任务中表现出了最高的性能。在这个初步的研究中，我们测试我们的框架在街机游戏中训练去探索代理既发挥最佳，并试图模仿人类的觉醒示威。我们改变了最佳游戏和唤醒模仿之间的重要性程度，并创造了能够有效显示情感和行为模式的代理。我们的Go-Explore实现不仅为情感建模引入了一种新的范式;它通过提供可以混合和表达多种行为和情感模式的代理来实现可信的基于AI的游戏测试。
2021-09-24 cs.AI cs.HC cs.LG
From Pixels to Affect: A Study on Games and Player Experience
Institute of Digital Games（数字游戏研究所）；University of Malta（马耳他大学）
通过视频观察用户的行为交互，是否有可能预测用户的影响？例如，我们怎么能仅仅通过在游戏过程中看屏幕来预测用户在游戏中的唤醒呢？在本文中，我们通过采用三种不同的深度卷积神经网络架构来解决这些问题，试图学习游戏视频流与玩家唤醒之间的潜在映射。我们在生存射击游戏的50个游戏视频的注释数据集中测试了这些算法，并评估了深度学习模型对高唤醒水平和低唤醒水平进行分类的能力。我们的主要研究结果与要求苛刻的留一视频验证方法显示，平均准确率超过78%，最高可达98%。虽然这项研究的重点是游戏和玩家体验作为一个测试域，研究结果和方法是直接相关的任何情感计算领域，介绍了一个通用的和用户不可知的方法建模的影响。
2019-10-15 cs.HC cs.LG
AI in (and for) Games
Panteion University of Social and Political Sciences（潘迪昂社会与政治科学大学）；National Technical University of Athens（雅典国立技术大学）
本章概述了人工智能（AI）/机器学习（ML）算法和数字游戏之间的关系。这种关系是双重的：一方面，人工智能/机器学习研究人员可以生成人类情感活动、玩家行为、（即游戏世界内的动作）、商业行为、与图形用户界面元素的交互或与其他玩家的消息传递，而游戏可以利用智能算法来自动测试游戏等级，生成内容，开发智能和反应灵敏的非玩家角色（NPC），或预测和响应各种玩家文化中的玩家行为。在这项工作中，我们讨论了AI/ML在游戏中的一些最常见和最广泛接受的用途，以及智能系统如何从中受益，详细介绍了基于表现力和性能来估计玩家体验，以及为语言学习游戏生成适当和有趣的内容。
2021-05-07 cs.AI cs.HC
I Feel I Feel You: A Theory of Mind Experiment in Games
University of Malta（马耳他大学）；Institute of Digital Games, University of Malta（马耳他大学数字游戏研究所）
在这项研究中，玩家的情绪理论的心理游戏代理，我们调查如何代理的行为和玩家自己的表现和情绪形状的识别一个沮丧的行为。挫折感是人机交互中普遍存在的一种情感体验，本文重点研究挫折感。为此，我们提出了一个测试平台的游戏量身定制，在其中一个球员对代理的理论基础上的挫折模型的竞争。我们收集游戏数据，一个注释的地面真理的球员的评价代理的挫折，并应用人脸识别来估计球员的情绪状态。我们通过相关性分析和预测机器学习模型来检查收集的数据，发现玩家的可观察情绪与代理的感知挫折并不高度相关。这表明我们的主体的心理理论是一个基于游戏情境的认知过程。我们的预测模型-使用排名支持向量机-证实了这些结果，产生了球员心理理论的适度准确预测。
2020-01-23 cs.AI cs.HC cs.LG
Automatic Sensor-free Affect Detection: A Systematic Literature Review
UNISINOS（南里奥格兰德河谷大学）；IFSul（南里奥格兰德联邦教育、科学与技术学院）；UFPR（巴拉那联邦大学）；UFPEL（佩洛塔斯联邦大学）
本文系统综述了无传感器情感检测的研究，探讨了情感状态、技术方法、数据样本及研究趋势，并指出未来需提升模型性能、完善开发实践并实现实时检测与干预。
2023-10-11 cs.HC cs.LG
Designing Game Feel. A Survey
游戏感觉设计是对与游戏的即时交互的情感影响的有意设计。在本文中，我们调查的学术研究和出版物的从业者给出一个完整的概述的研究状态，这方面的游戏设计，包括从相关领域的背景。我们分析了200多个来源，并根据设计目的对其内容进行了分类。这导致了三个不同领域的预期玩家体验：物理，放大和支持。在这些领域中，决定游戏感觉的抛光行为分别采取调整，榨汁和流线型的形式。调整游戏对象的物理性可以创建内聚性、可预测性，并且由此产生的运动会影响许多其他设计方面。榨汁是抛光放大的行为，它导致授权，并通过传达游戏事件的重要性提供清晰的反馈。流线型允许游戏按照玩家的意图行动，支持游戏中动作的执行。这三种设计意图是设计师控制交互性细节并告知玩家反应的主要手段。这个框架及其细致入微的词汇可以导致对游戏感觉的理解，这是从业者和研究人员之间共享的，正如在最后的未来研究部分所强调的那样。
2020-11-18 cs.GR cs.HC
The Impact of Humanoid Affect Expression on Human Behavior in a Game-Theoretic Setting
Carnegie Mellon University（卡内基梅隆大学）
随着机器人等智能体和自主智能体的迅速发展，机器人表达的情绪如何影响人的决策成为人机交互中的一个关键问题。在这项初步研究中，我们调查（1）机器人可以表达某种情绪，以影响人类的决策行为模型;（2）如何以及在何种程度上，人类将在博弈论设置的影响。更具体地说，我们创建了一个NLP模型来生成符合特定情感表达特征的句子。我们用这些句子来描述一个人形机器人，因为它和一个人类玩斯塔克伯格安全游戏。我们研究了人类玩家的行为模型。
2018-06-10 cs.AI cs.HC cs.RO
Bridging the behavior-neural gap: A multimodal AI reveals the brain's geometry of emotion more accurately than human self-reports
State Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Institute of Automation, Chinese Academy of Sciences（脑认知与脑启发智能技术重点实验室，自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学）；School of Future Technology, University of Chinese Academy of Sciences（未来技术学院，中国科学院大学）；State Key Laboratory of Cognitive Neuroscience and Learning, Beijing Normal University（认知神经科学与学习国家重点实验室，北京师范大学）
该研究利用MLLM和LLM对2,180段情绪视频进行数百万次三元组相似性判断，发现MLLM涌现的30维情感表征预测人脑情绪网络活动优于人类评分。
2025-09-29 cs.AI cs.CL cs.CY
