Multimodal Across Domains Gaze Target Detection
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
针对第三人称视角下的单帧图像中的视线目标检测问题。我们提出了一个多模态的深度架构来推断场景中的人在看什么。该空间模型是在感兴趣的人的头部图像、表示丰富上下文信息的场景和深度图上训练的。与若干现有技术不同,我们的模型不需要监督注视角度,不依赖于感兴趣的人的头部取向信息和/或眼睛的位置。大量的实验证明了我们的方法在多个基准数据集上的更强的性能。我们还通过改变多模态数据的联合学习来研究我们方法的几种变化。一些变型也优于一些现有技术。在本文中,我们首次检查了凝视目标检测的域自适应,并授权我们的多模态网络有效地处理数据集之间的域间隙。所提出的方法的代码可在https://github.com/francescotonini/multimodal-across-domains-gaze-target-detection上获得。
2022-08-23 cs.AI cs.CV cs.HC
Where Do Passengers Gaze? Impact of Passengers' Personality Traits on Their Gaze Pattern Toward Pedestrians During APMV-Pedestrian Interactions with Diverse eHMIs
Dept. Human Factors, Ulm University(乌尔姆大学人机工程学系)
研究探讨了乘客个性特征如何影响其在APMV与行人互动中的注视模式,发现不同eHMI设计对乘客注视行为有显著影响。
2025-11-23 cs.HC
Knowing Where to Look: A Planning-based Architecture to Automate the Gaze Behavior of Social Robots
Furhat Robotics(Furhat机器人公司);KTH Royal Institute of Technology(瑞典皇家理工学院)
凝视线索在人类交流中起着重要的作用,用于协调话轮转换和共同注意,以及调节亲密度。为了与人进行流畅的对话,社交机器人需要表现出类似人类的凝视行为。HRI先前的凝视控制系统(GCS)使用数据驱动或启发式方法自动化机器人凝视。然而,这些系统在本质上往往主要是反应性的。提前规划机器人凝视可以帮助实现更逼真的凝视行为和更好的眼头协调。在本文中,我们提出并实现了一种新的规划为基础的GCS。我们评估我们的系统在一个反应系统和我们提出的系统之间的比较内的主题用户研究(N=26)。结果表明,用户更喜欢所提出的系统,它是更显着的可解释性和更好地调节亲密。
2022-10-06 cs.HC cs.RO
Studying Person-Specific Pointing and Gaze Behavior for Multimodal Referencing of Outside Objects from a Moving Vehicle
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
手指向和眼睛凝视已经在用于对象选择和参考的汽车应用中被广泛研究。尽管取得了重大进展,现有的车外参考方法考虑这些模式分开。此外,现有的多模态参考方法集中在静态情况下,而在移动的车辆中的情况是高度动态的,并受到安全关键的约束。在本文中,我们调查的具体特点,每一种形式和它们之间的相互作用时,在任务中使用的参考外部对象(如建筑物)从车辆。此外,我们还通过分析个人的指向和凝视模式的表现,以及它们对驾驶任务的影响,探讨了这种互动中的个人差异。我们的统计分析显示,基于对象的位置(即驾驶员的右侧与左侧),对象的周围环境,驾驶模式(即自主驾驶与正常驾驶)以及指向和凝视持续时间的个体行为存在显着差异,为用户自适应方法奠定了基础。
2020-09-23 cs.AI cs.HC
Human-Like Gaze Behavior in Social Robots: A Deep Learning Approach Integrating Human and Non-Human Stimuli
Sharif University of Technology(谢里夫理工大学)
本研究通过深度学习方法,使社交机器人在各种社交情境中更准确地模仿人类目光行为,提升与人类的互动效果。
2026-02-12 cs.HC cs.RO
GazeSummary: Exploring Gaze as an Implicit Prompt for Personalization in Text-based LLM Tasks
University of Washington(华盛顿大学);Google(谷歌);Tsinghua University(清华大学)
本文研究了利用用户目光作为隐式提示,通过LLM生成个性化文本摘要的方法,并验证了其在真实阅读任务中的有效性。
2026-01-25 cs.HC
You Have a Point There: Object Selection Inside an Automobile Using Gaze, Head Pose and Finger Pointing
汽车行业中复杂的用户交互是一个新兴的话题。空中手势和语音已经在驾驶员与汽车的互动中有了许多应用。此外,正在开发多模式方法,以利用多个传感器的使用来获得额外的优势。在本文中,我们提出了一个快速和实用的多模态融合方法的基础上机器学习的选择各种控制模块的汽车。考虑的模态是凝视、头部姿势和手指指向手势。语音仅用作融合的触发器。单模态先前已经被多次用于识别用户的指向方向。然而,我们演示了如何将多个输入融合在一起,以提高识别性能。此外,我们将不同的深度神经网络架构与传统的机器学习方法(即支持向量回归和随机森林)进行了比较,并展示了使用深度学习在指向方向准确性方面的增强。结果表明,使用多模态输入具有很大的潜力,可以应用于车辆中的更多用例。
2020-12-24 cs.HC
Gaze and Glow: Exploring Editing Processes on Social Media through Interactive Exhibition
本文介绍互动装置“凝视与辉光”,通过叙事角色、实验视频和传感器交互揭示社交媒体编辑的隐性努力,并基于观众反馈探讨其对真实性、能动性与表演性反思的启示。
2025-07-04 cs.HC cs.MM
Detecting Gaze Towards Eyes in Natural Social Interactions and its Use in Child Assessment
眼神交流是非语言交流的一个重要组成部分,它意味着对社会交往的兴趣、关注和参与。因此,目光接触的测量出现在各种应用中,例如评估有自闭症等发育障碍风险的儿童的社会沟通技能,或分析小组会议期间的话轮转换和社会角色。然而,在自然主义的社会互动过程中的视觉注意力的自动测量是具有挑战性的,由于从视频中估计受试者的观看方向的困难。本文提出了一种新的方法,在成人与儿童的社会交往中,成人戴着一个点的观点相机,捕捉儿童的行为的自我中心的看法,目光接触检测。通过分析孩子的面部区域并推断他们的头部姿势,我们可以准确地识别孩子看他们的社交伙伴的眼睛的开始和持续时间。我们介绍了姿势隐式CNN,这是一种新颖的深度学习架构,可以预测眼神接触,同时隐式估计头部姿势。我们提出了一个用于目光接触检测的全自动系统,该系统使用深度神经网络解决了端到端特征学习和姿态估计的子问题。为了训练我们的模型,我们使用了一个数据集,该数据集包括来自100多名儿童的22小时的156个游戏视频,其中一半被诊断患有自闭症谱系障碍。我们报告的总体精度为0.76,召回率为0.80,精确度-召回率曲线下的面积为0.79,所有这些都是对现有方法的显着改进。
2019-02-02 cs.HC
A Multimodal Corpus of Expert Gaze and Behavior during Phonetic Segmentation Tasks
Saarland University(萨尔兰大学);German Research Center for Artificial Intelligence (DFKI GmbH)(德国人工智能研究中心(DFKI有限公司));Osaka University(大阪大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Manchester(曼彻斯特大学)
语音切分是将语音分割成不同语音单元的过程。人类专家通常通过使用分析软件分析听觉和视觉线索来手动执行此任务,这是一个非常耗时的过程。存在用于自动分割的方法,但这些方法并不总是足够准确。为了改进自动分割,我们需要尽可能接近手动分割来建模。该语料库是通过记录执行分割任务的专家来捕获人类分割行为的努力。我们相信,这些数据将使我们能够突出手动分割的重要方面,这些方面可以用于自动分割以提高其准确性。
2018-05-11 cs.CL cs.HC
Toward Scalable and Transparent Multimodal Analytics to Study Standard Medical Procedures: Linking Hand Movement, Proximity, and Gaze Data
University of Jyväskylä(于韦斯屈莱大学)
该研究运用加速度计与眼动追踪的 MMLA 方法分析护理 ABCDE 流程,通过注视、手部运动和邻近度数据识别四个行为阶段,为临床能力提供客观评估。
2023-12-08 cs.AI cs.CY cs.HC
GazeLLM: Multimodal LLMs incorporating Human Visual Attention
The University of Tokyo(东京大学);Sony CSL(索尼计算机科学实验室)
本文提出 GazeLLM,通过融合眼动追踪数据将第一人称视频分解为注视焦点子区域,在将像素输入减少至十分之一的同时实现与全分辨率处理相当或更优的任务理解效果。
2025-03-31 cs.AI cs.CV cs.HC
Multiperspective Teaching of Unknown Objects via Shared-gaze-based Multimodal Human-Robot Interaction
University of Tübingen(图宾根大学);Technical University of Munich(慕尼黑工业大学)
为了在多方面的情况下成功部署机器人,了解机器人及其环境是必不可少的。随着最先进的物体检测器性能的提高,机器人在其交互域内检测物体的能力也在增强。然而,它将机器人绑定到一些经过训练的类,并阻止它适应预定义场景之外的不熟悉环境。在这种情况下,人类可以在数量庞大的交互实体中帮助机器人,并通过充当教师来传授必要的专业知识。我们提出了一种新的管道,有效地利用人类的目光和增强现实在人机协作的上下文中教机器人在其周围环境中的新对象。通过交织凝视(引导机器人的注意力到感兴趣的对象)与增强现实(传达各自的类信息),我们使机器人能够快速获得大量的自动标记的训练数据自己。在一个迁移学习的方式训练,我们展示了机器人的能力,检测最近学习的对象和评估不同的机器学习模型和学习过程的影响,以及所涉及的训练数据的量。我们的多模态方法被证明是一种有效而自然的方法,可以根据一些实例来教授机器人新的对象,并允许它检测没有训练数据集的类。此外,我们将我们的数据集公开提供给研究社区,其中包括RGB和深度数据,内在和外在相机参数以及感兴趣的区域。
2023-03-01 cs.HC cs.RO
Judging by the Look: The Impact of Robot Gaze Strategies on Human Cooperation
University of Hamburg(汉堡大学)
人眼注视在传递信息、传达意图和理解他人的心理状态方面起着重要作用。先前的研究表明,机器人的凝视也会影响人类在互动过程中的决策和策略。然而,有限的研究已经训练人形机器人在基于凝视的数据在人机交互场景。考虑到视线影响社会交流的自然性和改变观察者的决策过程,它应该被视为人机交互中的一个重要组成部分。为了研究机器人凝视对人类的影响,我们提出了一个具体的神经模型来执行类似人类的凝视转移。这是通过扩展社交注意力模型并在观看人类玩游戏时收集的眼动跟踪数据上对其进行训练来实现的。我们将比较人类的行为表现,在机器人采用不同的凝视策略,在人与人的合作游戏的存在。
2022-08-25 cs.HC cs.RO
Toward Multimodal Privacy in XR: Design and Evaluation of Composite Privatization Methods for Gaze and Body Tracking Data
University of Florida(佛罗里达大学)
本研究针对XR中凝视与身体追踪数据,提出并评估复合私有化方法,将重新识别率从80.3%降至26.3%,并发布开源XR Privacy SDK。
2025-10-19 cs.HC
I Can See it in Your Eyes: Gaze as an Implicit Cue of Uncanniness and Task Performance in Repeated Interactions
Uppsala University(乌普萨拉大学);University of Potsdam(波茨坦大学)
在过去的几年里,广泛的研究一直致力于开发强大的平台和数据驱动的对话模型,以支持长期的人机交互。然而,人们对机器人的看法和与机器人的互动如何随着时间的推移而发展,以及如何通过隐式和连续测量技术准确评估这些方面知之甚少。在本文中,我们通过让参与者参与三个互动会话来探索这一点,其间有多天的零暴露。每个会话包括与机器人的联合任务以及任务之前和之后的两次简短的社交聊天。我们用可穿戴的眼动仪测量参与者的凝视模式,并使用问卷调查来衡量他们对机器人的感知、参与度和联合任务。结果显示,社交聊天中的厌恶目光是机器人的怪异的一个指标,在联合任务中,人们越多地注视机器人,他们的表现就越差。与大多数HRI文献相比,我们的研究结果表明,凝视共同关注的对象,而不是凝视机器人伙伴,是参与联合任务最有意义的预测因素。此外,在重复的互动中的凝视模式的分析揭示,人们在社交聊天中的相互凝视随着时间的推移与他们对机器人的看法一致。这些是HRI社区的关键发现,因为它们意味着凝视行为可以用作人们在社交聊天中对机器人的感知以及他们在联合任务中的参与和任务表现的隐式测量。
2021-02-23 cs.HC cs.RO
Prediction of gaze direction using Convolutional Neural Networks for Autism diagnosis
Universidad Peruana Cayetano Heredia(秘鲁卡耶塔诺·埃雷迪亚大学);Johns Hopkins University(约翰斯·霍普金斯大学)
自闭症是一种影响儿童社会交往和沟通的发育障碍。黄金标准诊断工具非常难以使用且耗时。然而,通过观看具有社交和抽象场景的视频,可以从儿童的凝视偏好推断出诊断。在这项工作中,我们提出了一种基于卷积神经网络的算法来预测注视方向,以快速有效地诊断自闭症。早期的结果表明,我们的算法实现了实时响应和鲁棒的高精度预测的视线方向。
2019-10-25 cs.CV cs.HC eess.IV
AI-rays: Exploring Bias in the Gaze of AI Through a Multimodal Interactive Installation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
本研究推出多模态交互装置AI-rays,通过推测性X射线视觉对比现实与AI基于外貌生成的身份假设,以隐喻方式凸显AI的审视与偏见,推动相关讨论。
2024-10-03 cs.AI cs.CY cs.HC
Empirical Study of Gaze Behavior in Children and Young Adults Using Deep Neural Networks and Robot Implementation: A Comparative Analysis of Social Situations
Sharif University of Technology(谢里夫理工大学);Islamic Azad University(伊斯兰阿扎德大学)
本研究利用深度神经网络和机器人实现,探讨儿童与年轻成人在不同社会情境下的眼动行为差异,通过实验验证模型有效性及机器人交互的接受度。
2026-02-12 cs.CY cs.HC cs.RO
Beyond Gaze Overlap: Analyzing Joint Visual Attention Dynamics Using Egocentric Data
Old Dominion University(老道明大学)
本文提出一种基于第一人称视角数据和时空管特征的深度学习方法,用于检测多用户环境中的联合视觉注意力,并揭示协作与独立任务间的注意力协调差异。
2025-09-15 cs.HC
Gaze Cueing and the Role of Presence in Human-Robot Interaction
凝视提示是社会互动的基本组成部分,并广泛使用基于Posner任务的凝视提示范式进行研究。虽然使用人类刺激的研究一致地产生注视线索效应,但使用机器人刺激的研究结果不一致。通常,这些研究使用虚拟代理或机器人的图片。由于先前的研究已经指出了物理存在在人机交互中的重要性,因此了解其在与凝视线索的交互中尚未探索的作用至关重要。本文研究了iCub人形机器人的物理存在是否会影响人机交互中凝视线索效应的强度。我们让42名参与者接受凝视提示任务。我们要求参与者尽可能快速准确地对目标刺激的出现做出反应,该目标刺激是由一个共同的iCub机器人或同一机器人的虚拟版本的凝视一致或不一致地提示的。对反应时间测量结果的分析表明,参与者始终受到机器人互动伙伴的注视的影响,独立于机器人的呈现方式。对参与者对机器人的拟人性、生命力和可爱性的评级的附加分析进一步增加了这样的印象,即存在在简单的基于凝视的交互中并不起重要作用。我们的研究结果一起打开了有趣的讨论的可能性,从使用虚拟代理的研究结果推广到现实生活中的互动与copresent机器人。
2023-02-08 cs.HC
A Modular Workflow for Multimodal Reading Experiments
GESIS - Leibniz Institute for the Social Sciences(GESIS - 莱布尼茨社会科学研究所);HU Berlin(柏林洪堡大学)
该研究提出一种基于网络的模块化工作流程,整合眼动、EEG等多模态数据,可适配不同实验设置,用于在线阅读的多模态研究,支持生态情境下的实证验证。
2026-08-07 cs.HC
Ocular Authentication: Fusion of Gaze and Periocular Modalities
本文提出一种多模态认证系统,通过融合眼动和周睑图像,在无校准认证系统中提升性能,优于单一模态系统,超越FIDO基准。
2025-05-26 cs.CV cs.HC
FAM-HRI: Foundation-Model Assisted Multi-Modal Human-Robot Interaction Combining Gaze and Speech
University of Tuebingen(图宾根大学);Nanyang Technological University(南洋理工大学);Mercedes-Benz(梅赛德斯-奔驰)
本文提出FAM-HRI,一种结合目光和语音的多模态人机交互框架,利用基础模型融合语言和目光输入,以提高任务执行的成功率和交互效率,为肢体障碍者提供实用解决方案。
2026-05-18 cs.HC cs.RO
Modeling Subjective Urban Perception with Human Gaze
ETH Zurich(苏黎世联邦理工学院)
本文提出基于注视行为的城市感知框架,通过结合注视数据与场景表示,提升对主观城市感知的预测能力。
2026-05-01 cs.CV cs.HC
Attention Dynamics and Adaptive Decision Support in C5ISR: A Recurrence Quantification Analysis of Visual and Multimodal Attention Guidance Effects on Mission Performance
Wm Michael Barnes Department of Industrial and Systems Engineering, Texas A&M University(德克萨斯农工大学 Wm·迈克尔·巴恩斯工业与系统工程系)
本研究通过递归量化分析眼动数据,探讨了视觉与多模态自适应决策支持工具在C5ISR环境中的效果,发现多模态工具显著提升绩效,且递归度量与绩效存在线性和非线性关系。
2026-06-01 cs.CC cs.HC stat.CO
Multimodal Appearance based Gaze-Controlled Virtual Keyboard with Synchronous Asynchronous Interaction for Low-Resource Settings
Human-AI Interaction (HAIx) Lab, IIT Gandhinagar(人机交互(HAIx)实验室,印度加尔各答理工学院)
本文提出一种基于多模态外观的视线控制虚拟键盘,结合深度学习与标准摄像头,支持同步和异步命令选择,实验表明其在低资源环境下具有良好的打字性能和可用性。
2025-08-12 cs.AI cs.HC cs.LG
GazeGPT: Augmenting Human Capabilities using Gaze-contingent Contextual AI for Smart Eyewear
Zinn Labs, Inc.(Zinn Labs 公司);Stanford University(斯坦福大学)
本研究提出面向智能眼镜的GazeGPT交互范式,通过眼动追踪让多模态大语言模型理解用户注意力指向,经用户评估验证其在指向效率、准确率及交互自然度上更具优势,可增强人类能力并适配多种应用场景。
2024-01-31 cs.CV cs.HC
Multimodal Learning and Cognitive Processes in Radiology: MedGaze for Chest X-ray Scanpath Prediction
University of Houston(休斯顿大学);University of Arkansas(阿肯色大学);The University of Texas MD Anderson Cancer Center(德克萨斯大学MD安德森癌症中心)
本文提出MedGaze系统,利用放射学报告和胸部X光图像预测放射科医生的眼动扫描路径,通过两阶段训练生成热图和注视视频,在相关区域聚焦度上表现类人甚至优于人类。
2024-06-28 cs.AI cs.HC eess.IV
Multimodal Interaction and Intention Communication for Industrial Robots
Technical University of Munich(慕尼黑工业大学);Bosch Corporate Research(博世公司研究部);Örebro University(厄勒布鲁大学)
本文提出非人形工业机器人通过小型拟人代理进行多模态交互,利用大语言模型增强通信,以提升人机交互的安全与效率。
2025-02-25 cs.HC cs.RO
Could Interaction with Social Robots Facilitate Joint Attention of Children with Autism Spectrum Disorder?
这项研究探讨了与社交机器人的互动是否可以促进自闭症谱系障碍(ASD)的共同注意力。两个条件的发起人,即“人类”与“机器人”进行了测量与15名儿童与ASD和15名年龄匹配的典型发展(TD)的儿童。除了注视和注视转换,一个新的最长共同子序列(LCS)的方法被提出来分析眼动轨迹。结果显示,ASD儿童表现出联合注意缺陷。与人类智能体相比,机器人对目标的注视更少,但它吸引了更多的注意力,并允许儿童表现出凝视过渡并遵循联合注意逻辑。这一结果突出了LCS分析在眼动跟踪研究和社交机器人干预方面的潜在应用。
2018-03-04 cs.HC q-bio.NC
Supporting User Autonomy with Multimodal Fusion to Detect when a User Needs Assistance from a Social Robot
Northwestern University(西北大学)
对于任何辅助机器人来说,优先考虑用户的自主性至关重要。对于在任务设置中工作的机器人来说,为了有效地保持用户的自主性,它必须提供及时的帮助并做出准确的决策。我们使用四个独立的高精度,低召回模型,相互凝视模型,任务模型,验证性凝视模型和词汇模型,预测用户的需要帮助。改进我们的四个独立的模型,我们使用滑动窗口方法和随机森林分类算法来捕获时间依赖性和融合的独立模型与后期融合方法。后期融合方法大大优于所有四个独立模型,提供了一个更健康的方法,具有更高的准确性,以更好地帮助用户,同时保持他们的自主性。这些结果可以提供洞察的潜力,包括额外的方式和利用辅助机器人在更多的任务设置。
2020-12-07 cs.HC cs.RO
ML-PersRef: A Machine Learning-based Personalized Multimodal Fusion Approach for Referencing Outside Objects From a Moving Vehicle
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心 (DFKI))
在过去的几十年里,现代车辆增加了数百个传感器,使其能力呈指数级增长。这允许与车辆进行交互的新方法,这些方法超越了传统的基于触摸和语音命令的方法,例如情感识别、头部旋转、眼睛凝视和指向手势。虽然凝视和指向手势之前已经被用于参考车辆内部和外部的对象,但这些手势的多模态交互和融合迄今为止尚未被广泛研究。我们提出了一种新的基于学习的多模态融合方法,用于在模拟环境中保持长行驶路线的同时参考车外对象。所提出的多模态方法在多个方面和条件下优于单模态方法。此外,我们还展示了可能的方法来利用用户之间的行为差异时,完成的参考任务,实现一个适应性强的个性化系统,为每个驱动程序。我们提出了一个个性化技术的基础上的学习概念的转移非常小的数据大小,以提高预测和适应个人主义的引用行为。我们的代码可在https://github.com/amr-gomaa/ML-PersRef上公开获取。
2021-11-03 cs.CV cs.HC
A trained humanoid robot can perform human-like crossmodal social attention and conflict resolution
Institute of Psychology(心理研究所);University of Chinese Academy of Sciences(中国科学院大学);University of Hamburg(汉堡大学)
为了增强人与机器人的社会互动,机器人在复杂的现实世界环境中处理多个社会线索是必不可少的。然而,跨模态的输入信息的不一致性是不可避免的,并且对于机器人处理来说可能是具有挑战性的。为了应对这一挑战,我们的研究采用了跨模态冲突解决的神经机器人范式,让机器人表达类似人类的社会注意力。在人类研究中,对37名参与者进行了行为实验。我们设计了一个圆桌会议的场景与三个动画化身,以提高生态有效性。每个化身都戴着一个医用面具,以掩盖鼻子、嘴巴和下巴的面部特征。中央分身目光一转,周围分身发出声音。注视方向和声音位置在空间上一致或不一致。我们观察到,中央化身的动态凝视可以触发跨模态社会注意力反应。特别是,人类的表现更好的一致的视听条件下比不一致的条件。我们的显着性预测模型被训练来检测社交线索,预测视听显着性,并有选择地参加机器人研究。将训练好的模型安装在iCub上后,机器人暴露在与人类实验相似的实验室条件下。虽然人类的表现总体上更优越,但我们的训练模型表明,它可以复制类似于人类的注意力反应。
2023-03-13 cs.AI cs.HC cs.RO
Towards engagement models that consider individual factors in HRI: on the relation of extroversion and negative attitude towards robots to gaze and speech during a human-robot assembly task
Inria(法国国家信息与自动化研究所);Loria(洛林计算机科学及其应用实验室);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学);TU Darmstadt(达姆施塔特工业大学);LIP6(LIP6实验室);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Sorbonne Universités(索邦大学);UPMC Université Paris 06(巴黎第六大学);Institut des Systèmes Intelligents et de Robotique (ISIR)(智能系统与机器人研究所);Université Paris 8(巴黎第八大学)
估计参与度是人机交互的关键.参与度的测量通常依赖于合作伙伴交换的社会信号的动态,特别是言语和凝视。然而,这些信号的动态可能会受到个人和社会因素的影响,例如人格特质,因为有充分的证据表明,它们会严重影响两个人之间的互动方式。在这里,我们评估两个因素的影响,即外向和对机器人的消极态度,在合作任务中,人类必须亲自操纵机器人组装一个对象的语音和目光。我们评估了外向性和对机器人的消极态度的分数是否与凝视和言语线索的持续时间和频率协变。实验是用人形机器人iCub和N=56名成年参与者进行的。我们发现,性格越外向的人,与机器人交谈的次数越多,时间越长;对机器人持否定态度的人越多,他们就越少看机器人的脸,而更多地看机器人的手。我们的研究结果证实,并提供证据表明,经典的人机交互中使用的参与模型应该考虑到态度和个性特征。
2015-08-19 cs.HC cs.RO
SocialEyes: Scaling mobile eye-tracking to multi-person social settings
SocialEyes系统实现多人移动眼动追踪的同步记录与分析,通过实时监控和注视投影,在公共活动中验证了时间同步与注视准确性,推动生态效度研究。
2025-03-03 cs.CE cs.CY cs.ET
MIRAGE: Multimodal Intention Recognition and Admittance-Guided Enhancement in VR-based Multi-object Teleoperation
The Hong Kong Polytechnic University(香港理工大学);University of Jyväskylä(于韦斯屈莱大学)
针对VR多目标遥操作中感知模糊和单模态意图识别局限的问题,提出融合虚拟导纳模型与多模态CNN意图感知网络的共享控制框架,经用户研究验证可提升抓取成功率与运动效率,为多目标抓取提供鲁棒方案。
2025-09-02 cs.HC cs.RO
CLARE: Cognitive Load Assessment in REaltime with Multimodal Data
Department of Electrical and Computer Engineering and Ingenuity Research Labs(电气与计算机工程系和Ingenuity研究实验室);Queen’s University(女王大学);Ingenuity Research Labs(Ingenuity研究实验室);Department of Psychology(心理学系);School of Medicine(医学院)
本研究提出新型多模态实时认知负荷评估数据集CLARE,包含24名受试者的四类生理与眼动数据及对应认知负荷标签,并给出不同交叉验证方案下的机器学习与深度学习基准分类结果。
2025-08-31 cs.AI cs.HC
SemanticScanpath: Combining Gaze and Speech for Situated Human-Robot Interaction Using LLMs
Universidad Carlos III de Madrid (UC3M)(马德里卡洛斯三世大学);Honda Research Institute Europe(本田欧洲研究所)
本文提出结合语音和目光的语义扫描路径表示,使语言模型能更准确地理解情境,解决模糊请求。通过文本语义翻译用户扫描路径和语音请求,验证了系统在多个任务和场景中的优越性。
2026-04-08 cs.HC cs.RO
Speak to the City: Multimodal Resolution for Outside-the-Vehicle References
Mercedes-Benz Tech Innovation GmbH(梅赛德斯-奔驰科技创新有限公司);Saarland University(萨尔大学);RheinMain University of Applied Sciences(莱茵美因应用科学大学)
针对自动驾驶中车外参照的指代歧义问题,提出融合注视与语言的多模态框架,利用VR数据训练轻量Transformer,实现83.33%的Top-1准确率和24.3毫秒推理,支持实时空间检索。
2026-09-15 cs.CL cs.HC cs.IR
Analysis of Mutual and Referential Human and Robot Gazes in a Collaborative Word Association Game
Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich (TUM)(慕尼黑工业大学慕尼黑机器人与机器智能研究所 (MIRMI));Centre for Applied Autonomous Sensor Systems (AASS), Örebro University(厄勒布鲁大学应用自主传感器系统中心 (AASS));Robotics Insitute Germany (RIG)(德国机器人研究所 (RIG))
研究在协作式词语联想游戏中机器人注视对人类视觉注意力的影响及人类是否向机器人寻求确认注视,通过与NAO机器人实验,用多种方式分析互动,发现任务语言方面掩盖注视影响,为相关设计提供见解。
2026-07-15 cs.HC cs.RO
Can LLMs Reason About Attention? Towards Zero-Shot Analysis of Multimodal Classroom Behavior
Virginia Tech(弗吉尼亚理工大学);University of Virginia(弗吉尼亚大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出一个隐私保护的分析流程,利用OpenPose和Gaze-LLE提取学生注意力信息,并通过QwQ-32B-Reasoning进行零样本分析,探讨LLMs在多模态行为理解中的潜力与局限。
2026-06-29 cs.AI cs.CV cs.HC
Spot The Ball: A Benchmark for Visual Social Inference
Stanford University(斯坦福大学)
该研究针对视觉社会推理能力,引入Spot The Ball基准,以体育领域图像中定位被移除的球为任务,评估VLMs性能,发现人类准确率远高于模型,揭示了人类-模型差距并强调编码行为线索的重要性。
2025-11-19 cs.CV cs.HC
Modeling social interaction dynamics using temporal graph networks
本文提出一种适配时序图网络来建模社交互动动态,融合注视、语音和环境等多模态数据,通过链接预测训练,在下一说话人预测等任务上显著超越基线,并将消息传递元素从768个压缩至14个。
2024-04-05 cs.HC cs.SI
SocialPersona: Benchmarking Personalized Profiling and Response with Multimodal Social-Media Context
Harbin Institute of Technology(哈尔滨工业大学)
提出SocialPersona基准,评估多模态大语言模型从社交媒体时间线推断用户偏好并用于对话的能力,实验表明模型在细粒度与近期偏好上表现不足。
2026-06-26 cs.CL cs.HC cs.IR
Towards Multimodal Social Conversations with Robots: Using Vision-Language Models
Ghent University–imec(根特大学–imec)
本文提出利用视觉-语言模型构建面向自主社交机器人的多模态社交对话系统,分析了系统整体需求、模型适配方法、剩余技术挑战及评估实践。
2025-08-18 cs.CL cs.HC cs.RO
Privacy Preserving Gaze Estimation using Synthetic Images via a Randomized Encoding Based Framework
University of Tübingen(图宾根大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
眼动追踪是评估和评估人类注意力、行为和生物特征的应用的关键技术之一,特别是使用凝视、瞳孔和眨眼行为。然而,关于眼动追踪技术的社会接受度的挑战之一是敏感和个人信息的保存。为了解决这个问题,我们采用了一个隐私保护框架的基础上随机编码训练支持向量回归模型使用合成的眼睛图像私人估计人类的目光。在计算过程中,任何一方都不知道其他任何一方拥有的数据或结果。此外,训练模型的一方不能重建瞳孔、眨眼或视觉扫描路径。实验结果表明,我们的隐私保护框架是能够在实时工作,具有相同的精度相比,非私人版本,并可以扩展到其他眼动追踪相关的问题。
2021-07-13 cs.CR cs.CV cs.HC