LookAtChat: Visualizing Gaze Awareness for Remote Small-Group Conversations
视频会议在我们的日常生活中起着至关重要的作用。然而,许多非语言线索缺失,包括凝视和空间信息。我们介绍LookAtChat,一个基于Web的视频会议系统,它使远程用户能够在小组对话中识别凝视意识和空间关系。利用普通网络摄像头提供的实时眼球跟踪技术,LookAtChat跟踪每个用户的视线方向,识别谁在看谁,并提供相应的空间线索。通过对5名经常使用视频会议软件的参与者进行形成性访谈,我们探索了2D和3D布局中凝视可视化的设计空间。我们进一步进行了一项探索性用户研究(N=20),以评估LookAtChat在三种情况下的表现:基线布局,2D方向布局和3D透视布局。我们的研究结果展示了LookAtChat如何让参与者参与小组对话,凝视和空间信息如何提高对话质量,以及将凝视感知可视化纳入现有视频会议系统的潜在好处和挑战。
2021-08-05 cs.HC
Listening and Mirroring: The Effects of Verbal Attunement and Behavioral Mimicry on Social and Empathic Perceptions of Embodied AI Agents in VR
Drexel University(德雷塞尔大学)
本研究通过VR中的具身AI咨询师实验,发现言语调谐是提升共情感知的关键,而行为模仿仅边缘影响类人性,表明多模态同步需谨慎设计。
2026-09-24 cs.AI cs.HC
A Virtual Conversational Agent for Teens with Autism: Experimental Results and Design Lessons
我们提出了一个在线的社交技能开发接口的设计与自闭症谱系障碍(ASD)的青少年。该界面旨在使用网络浏览器随时随地实现私人对话练习。用户与虚拟代理进行非正式交谈,实时接收非语言提示的反馈和摘要反馈。该原型是在咨询了一位专家UX设计师、两位心理学家和一位儿科医生后开发的。使用来自47个人的数据,反馈和对话生成使用隐马尔可夫模型和能够处理多主题对话的模式驱动的对话管理器进行自动化。我们对9名高功能ASD青少年进行了一项研究。通过对实验后访谈的主题分析,确定了几个关键的设计考虑因素,特别是:1)用户应该在一开始就充分了解系统的目的和局限性,以避免不切实际的期望。2)一个界面应该包含对行为变化的积极认可。3)虚拟代理的真实外观和响应能力在吸引用户方面很重要。4)对话个性化,例如提示简洁的用户提供更多输入和互惠问题,将有助于青少年参与更长时间,并增加系统的实用性。
2020-10-07 cs.HC
Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A Survey
University of Bergamo(贝加莫大学);University of Glasgow(格拉斯哥大学);Istituto Italiano di Tecnologia(意大利技术研究院)
该综述调研2010年以来基于非语言线索的同地人与人交互分析研究,涵盖多类社会现象与场景,总结相关方法、数据集与发现,并指出当前研究局限与未来方向。
2023-10-04 cs.AI cs.CV cs.HC
Scales, Reflections, and Conversations: A Multi-Modal Approach to Emotion Annotation
IIIT-Delhi(印度德里信息技术研究所);RIT(罗切斯特理工学院)
针对现有情绪数据收集方法存在的缺陷,本文开展以参与者为中心的多模态情绪标注应用可行性研究,证明该方法可收集更丰富细致的情绪数据。
2026-09-07 cs.HC
ReVoicer: Conversational Voice Annotation for Human-Centered, LLM-Assisted Peer Review
University of Central Florida(中佛罗里达大学)
该研究提出ReVoicer原型系统,支持评审人员阅读论文时对话式语音标注,借助大语言模型润色、分类并锚定评论,最终基于评审人员自身评论生成符合风格指南的评审意见,计划与ISMAR社区开展评估。
2026-08-06 cs.HC
Turn-taking annotation for quantitative and qualitative analyses of conversation
University of Graz(格拉茨大学);Graz University of Technology(格拉茨技术大学)
本文介绍为GRASS语料库95分钟对话语音创建的话轮转换标注层及跨学科标注系统与流程,分析标注一致性,助力语言学与技术应用的跨学科交叉融合。
2025-04-14 cs.CL cs.DB cs.HC
Empathic Grounding: Explorations using Multimodal Interaction and Large Language Models with Conversational Agents
Northeastern University(东北大学)
本文提出共情式接地概念,并构建融合语音和面部表情的多模态大语言模型,使对话智能体在交流中同时传达命题与情感理解,实验证明其能显著提升用户对共情、理解、情商和信任的感知。
2024-07-01 cs.CL cs.HC cs.RO
Multimodal Fusion with Semi-Supervised Learning Minimizes Annotation Quantity for Modeling Videoconference Conversation Experience
New York UniversityUSA(纽约大学);Max Planck SocietyGermany(马克斯·普朗克研究所)
本文提出基于半监督学习的多模态融合方法,利用少量标注和大量未标注音视频与文本数据预测视频会议中的不流畅或不愉快时刻,在仅8%标注数据下达到监督学习全量数据性能的96%,显著降低标注成本。
2025-06-01 cs.CL cs.HC cs.LG
Calibrating LLM Judges for Human and AI Conversations
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Charles University(查理大学);ETH Zurich(苏黎世联邦理工学院);KTH Royal Institute of Technology(瑞典皇家理工学院);NICT(日本信息通信研究机构);Voice Arena(语音竞技场);University of Edinburgh(爱丁堡大学)
本研究提出锚定集与校准函数,将LLM评判器得分统一到共享尺度,并发布VA数据集,发现校准可迁移至人机对话,缩小与人类判别差距。
2026-09-25 cs.HC
SemanticScanpath: Combining Gaze and Speech for Situated Human-Robot Interaction Using LLMs
Universidad Carlos III de Madrid (UC3M)(马德里卡洛斯三世大学);Honda Research Institute Europe(本田欧洲研究所)
本文提出结合语音和目光的语义扫描路径表示,使语言模型能更准确地理解情境,解决模糊请求。通过文本语义翻译用户扫描路径和语音请求,验证了系统在多个任务和场景中的优越性。
2026-04-08 cs.HC cs.RO
Harnessing Evolution of Multi-Turn Conversations for Effective Answer Retrieval
University of Amsterdam(阿姆斯特丹大学);Università della Svizzera italiana (USI)(意大利语区瑞士大学)
随着过去几年语音识别和语音生成技术的改进,许多公司已经寻求开发通过自然语言接口在移动电话或灵巧家庭设备上运行的会话理解系统。对话助理,如Google Assistant和Microsoft Cortana,可以帮助用户完成各种类型的任务。这就需要准确理解用户的信息需求,因为对话会演变成多个回合。由于自然语言的复杂性和用户信息需求的演变,在会话历史中找到相关上下文是具有挑战性的。在这项工作中,我们提出了一个广泛的分析语言,相关性,依赖性的用户话语在多轮信息寻求对话。为此,我们在TREC Cast2019轨道发布的对话中注释了相关话语。注释标签确定对话中的哪些先前话语可以用于改进当前话语。此外,我们提出了一个基于BERT微调的神经话语相关性模型,优于竞争基线。我们研究和比较多个检索模型的性能,利用不同的策略,将用户的上下文。分类和检索任务的实验结果表明,我们提出的方法可以有效地识别和纳入会话上下文。我们表明,使用预测的相关话语处理当前话语导致nDCG@20方面的38%的相对改善。最后,为了促进这一领域的研究,我们发布了注释的数据集。
2020-01-31 cs.CL cs.HC cs.IR
The Illusion of Empathy: How AI Chatbots Shape Conversation Perception
National Institute on Drug Abuse(美国国家药物滥用研究所);University of Pennsylvania(宾夕法尼亚大学);New York University(纽约大学)
该研究通过分析155段对话发现,GPT聊天机器人虽对话质量评分更高,却被认为共情能力低于人类,说明高质量人机交互不能仅靠嵌入共情语言,还需解决用户对聊天机器人共情的细微感知问题。
2025-03-06 cs.AI cs.HC
K-EmoCon, a multimodal sensor dataset for continuous emotion recognition in naturalistic conversations
KAIST(韩国科学技术院);Khalifa University(哈利法大学)
随着低成本移动传感器的普及,社交互动中的情感识别具有许多潜在的应用,但缺乏自然的情感互动数据仍然是一个挑战。大多数现有的情感数据集不支持研究在野外产生的特殊情感,因为它们是在受限的环境中收集的。因此,在社会互动的背景下研究情感需要一个新的数据集,K-BrackCon就是这样一个多模态数据集,在自然主义对话中对连续情感进行了全面的注释。该数据集包含多模态测量,包括视听记录、EEG和外周生理信号,这些测量是用现成的设备从16个关于社会问题的大约10分钟长的配对辩论中获得的。与以前的数据集不同,它包括来自所有三个可用视角的情感注释:自我,辩论伙伴和外部观察者。在观看辩论录像时,评分者每隔5秒就对情绪表现进行一次注释,包括唤醒效价和18种其他类别的情绪。由此产生的K-EscapCon是第一个公开可用的情感数据集,可以在社交互动中对情感进行多角度评估。
2020-05-19 cs.AI cs.HC
Multi-domain Conversation Quality Evaluation via User Satisfaction Estimation
Amazon(亚马逊)
评估对话质量的自动化指标对于优化数据驱动的对话管理至关重要。在对话期间依赖显式用户反馈的常见方法是侵入性的和稀疏的。目前的模型来估计用户满意度使用有限的功能集,并采用有限的概括性跨越多个域的对话注释方案。为了解决这些差距,我们创建了一个新的响应质量注释方案,引入了五个新的领域独立的功能集,并尝试了六个机器学习模型,以估计用户满意度在两个回合和对话水平。响应质量评级实现了显着的高相关性(0.76)与明确的回合水平的用户评级。使用我们引入的新特征集,梯度提升回归模型在26个可见(线性相关~0.79)和一个新的多圈域(线性相关0.67)上实现了最佳(评级[1-5])预测性能。我们观察到,在将预测的回合满意度评级作为特征之后,领域无关对话级满意度估计模型的二元(“满意/不满意”)类预测准确性相对提高了16%(68% -> 79%)。
2019-11-18 cs.HC cs.LG stat.ML
Large-scale Hybrid Approach for Predicting User Satisfaction with Conversational Agents
Alexa AI(Alexa人工智能);Amazon(亚马逊)
测量用户满意度是一项具有挑战性的任务,在开发大规模的会话代理系统服务于真实用户的需求的关键组成部分。解决这个问题的一种广泛使用的方法是收集人类注释数据并将其用于评估或建模。基于人工注释的方法更容易控制,但难以扩展。一种新的替代方法是通过嵌入到会话代理系统的反馈启发系统收集用户的直接反馈,并使用收集到的用户反馈来训练机器学习模型进行泛化。用户反馈是用户满意度的最佳代理,但对于某些不合格的意图和某些情况不可用。因此,这两种方法是相辅相成的。在这项工作中,我们用一种混合方法来解决用户满意度评估问题,该方法融合了明确的用户反馈,由两个机器学习模型推断出的用户满意度预测,一个是在用户反馈数据和其他人类注释数据上训练的。混合方法基于瀑布策略,Amazon Alexa大规模数据集的实验结果显示,在推断用户满意度方面有显着改进。本文提出了一种详细的混合架构,对用户反馈数据进行了深入的分析,并提出了一种生成数据集以正确模拟实时流量的算法。
2020-05-29 cs.AI cs.HC cs.LG
Situated and Interactive Multimodal Conversations
Facebook(脸书)
下一代虚拟助理被设想为处理多模态输入(例如,视觉、先前交互的记忆,以及用户的话语),并执行多模式动作(例如,除了生成系统的话语之外还显示路线)。我们引入情境交互式多模态对话(SIMMC)作为一个新的方向,旨在训练代理,采取多模态行动接地在一个共同发展的多模态输入上下文,除了对话的历史。我们提供了两个SIMMC数据集,总共约13K人与人之间的对话(约169K话语),使用多模态向导奥兹(WoZ)设置,在两个购物领域:(a)家具(在共享的虚拟环境中接地)和(b)时尚(在不断发展的图像集接地)。我们还提供日志的项目出现在每个场景中,上下文NLU和共指注释,使用一个新的和统一的框架SIMMC会话行为的用户和助理的话语。最后,我们提出了SIMMC中的几个任务作为客观的评估协议,如结构API预测和响应生成。我们将这些SIMMC任务上的现有模型集合作为强基线进行基准测试,并展示了丰富的多模态会话交互。我们的数据、注释、代码和模型都是公开的。
2020-11-10 cs.AI cs.CL cs.HC
The Emotion-Memory Link: Do Memorability Annotations Matter for Intelligent Systems?
本文实证研究对话交互中群体情绪与记忆性标注的关系,发现二者关联无法与随机水平可靠区分,并探讨该发现对情感计算技术开发与应用的启示。
2025-07-18 cs.AI cs.HC
Introducing MeMo: A Multimodal Dataset for Memory Modelling in Multiparty Conversations
本文提出了首个多方对话记忆数据集MeMo,包含31小时小组讨论及多模态标注与记忆保留报告,为计算建模人类对话记忆及智能系统开发提供资源。
2024-10-15 cs.AI cs.CL cs.HC