Eye Contact Between Pedestrians and Drivers
当被问及时，大多数人认为，作为行人，他们在做出穿越决定时会与接近车辆的司机进行眼神交流。这项工作提供了证据，证明这种广泛持有的信念是错误的。我们这样做是为了表明，在大多数可能发生冲突的情况下，行人在通过挡风玻璃看到司机之前就开始过马路了。换句话说，我们能够绕过行人是否选择与司机进行眼神交流这个非常困难的问题，通过表明无论他们认为他们这样做与否，他们都不能。具体而言，我们表明，在代表性的照明条件下，超过90%的人无法确定驾驶员在15米处的注视，并且在30米处根本看不到驾驶员。这意味着，例如，给定25英里/小时的普通城市限速，超过99%的行人将在能够看到司机或司机的目光之前开始过马路。换句话说，从行人的角度来看，在涉及正在接近的车辆的大多数情况下，行人仅基于车辆的运动学做出横穿决定，而不需要通过明确地检测驾驶员的眼睛来确定进行了眼神接触。
2019-04-08 cs.HC
Accurate and Robust Eye Contact Detection During Everyday Mobile Device Interactions
Institute for Visualisation and Interactive Systems, University of Stuttgart（斯图加特大学可视化与交互系统研究所）
人类注意力的量化是移动人机交互（HCI）中若干任务的关键，例如预测用户可中断性、估计用户界面内容的可中断性或测量用户参与度。以前的研究移动注意行为的工作需要特殊用途的眼动追踪设备或限制用户的移动性。我们提出了一种新的方法来感测和分析视觉注意力在移动设备上的日常互动。我们证明了我们的方法的能力，最近吸引了越来越多的研究兴趣，在移动HCI的目光接触检测的样本任务。我们的方法建立在一个国家的最先进的方法，无监督的目光接触检测，并将其扩展到解决特定的移动交互场景的挑战。通过对两个当前数据集的评估，我们证明了在移动设备，用户或环境条件下的目光接触检测的显着性能改进。此外，我们还讨论了我们的方法如何能够计算额外的注意力指标，这是第一次，使来自不同领域的研究人员能够在野外移动交互过程中研究和量化注意力分配。
2019-07-25 cs.CV cs.HC
Eye Gaze Controlled Robotic Arm for Persons with SSMI
Indian Institute of Science（印度科学学院）；Indian Institute of Technology, Madras（马德拉斯印度理工学院）；Indian Institute of Information Technology, Kalyani（卡利亚尼印度信息技术学院）
背景：严重言语和运动障碍（SSMI）的人经常使用一种称为眼睛指向的技术与外界交流。他们的父母，看护人或老师在他们面前拿着一块印刷板，通过手动分析他们的眼睛注视，他们的意图被解释。这种技术往往容易出错，耗时，并依赖于一个单一的照顾者。目的：我们的目标是通过使用市售平板电脑、计算机或笔记本电脑，以电子方式自动化眼动追踪过程，而不需要任何专用硬件进行眼动追踪。眼睛注视跟踪器用于开发基于视频透视的AR（增强现实）显示器，该显示器控制具有眼睛注视的机器人设备并且被部署用于织物打印任务。方法学：我们进行了一个以用户为中心的设计过程，并分别评估了基于网络摄像头的凝视跟踪器和基于视频透视的人机交互，涉及用户与SSMI。我们还报告了一个用户研究操纵机器人手臂与基于网络摄像头的眼睛注视跟踪器。结果如下：使用我们定制的眼睛注视控制界面，身体健全的用户可以在不到2秒的中位数内选择屏幕的九个区域之一，而SSMI用户可以在4秒的中位数内完成。使用眼睛注视控制的人机AR显示器，具有SSMI的用户可以在小于15秒的平均持续时间内进行代表性的拾取和放下任务，并且使用COTS眼睛跟踪器在60秒内到达随机指定的目标，并且使用基于网络摄像头的眼睛注视跟踪器在平均2分钟内到达随机指定的目标。
2020-05-25 cs.CV cs.HC eess.IV
Restoring Eye Contact to the Virtual Classroom with Machine Learning
非语言交流，特别是眼神交流，是音乐课堂的一个关键因素，可以让学生专注于任务，协调音乐流程，交流即兴想法。不幸的是，这种非语言方面的表现和教学法是在虚拟教室丢失。在本文中，我们提出了一个机器学习系统，它使用单实例，单摄像头图像帧作为输入，以估计坐在他们的计算机前的用户的凝视目标，增强用户的视频馈送与估计的凝视目标的显示，从而恢复定向凝视的非语言通信。所提出的估计系统由模块化的机器学习块组成，导致面向目标（而不是面向坐标）的注视预测。我们实例化一个这样的例子，完整的系统运行一个试点研究，在虚拟音乐教室的缩放软件。推理时间和准确性满足视频会议应用的基准，定量和定性的试点实验结果包括改进成功的线索解释和学生报告的形成合作，指挥家和音乐家之间的沟通关系。
2021-05-20 cs.HC
Detecting Gaze Towards Eyes in Natural Social Interactions and its Use in Child Assessment
眼神交流是非语言交流的一个重要组成部分，它意味着对社会交往的兴趣、关注和参与。因此，目光接触的测量出现在各种应用中，例如评估有自闭症等发育障碍风险的儿童的社会沟通技能，或分析小组会议期间的话轮转换和社会角色。然而，在自然主义的社会互动过程中的视觉注意力的自动测量是具有挑战性的，由于从视频中估计受试者的观看方向的困难。本文提出了一种新的方法，在成人与儿童的社会交往中，成人戴着一个点的观点相机，捕捉儿童的行为的自我中心的看法，目光接触检测。通过分析孩子的面部区域并推断他们的头部姿势，我们可以准确地识别孩子看他们的社交伙伴的眼睛的开始和持续时间。我们介绍了姿势隐式CNN，这是一种新颖的深度学习架构，可以预测眼神接触，同时隐式估计头部姿势。我们提出了一个用于目光接触检测的全自动系统，该系统使用深度神经网络解决了端到端特征学习和姿态估计的子问题。为了训练我们的模型，我们使用了一个数据集，该数据集包括来自100多名儿童的22小时的156个游戏视频，其中一半被诊断患有自闭症谱系障碍。我们报告的总体精度为0.76，召回率为0.80，精确度-召回率曲线下的面积为0.79，所有这些都是对现有方法的显着改进。
2019-02-02 cs.HC
HapCompass: A Rotational Haptic Device for Contact-Rich Robotic Teleoperation
Toyota Technological Institute at Chicago (TTIC)（丰田芝加哥技术研究所）；University of Chicago（芝加哥大学）
HapCompass通过机械旋转单个线性共振执行器提供2D方向提示，提升了远程操作任务的成功率、完成时间和最大接触力，同时改进了模仿学习的数据质量。
2026-03-31 cs.HC cs.RO
Onfocus Detection: Identifying Individual-Camera Eye Contact from Unconstrained Images
Xidian University（西安电子科技大学）；Tsinghua University（清华大学）；Aberystwyth University（阿伯里斯特威斯大学）；Beijing Jingzhen Medical Technology Ltd.（北京精诊医疗科技有限公司）
对焦检测的目的是识别由相机捕获的个体的焦点是否在相机上。基于行为研究，个体在面对面交流时的焦点会导致一种特殊类型的目光接触，即，个人-相机目光接触，其是社会交流中的强有力信号并且在识别不规则的个人状态（例如，说谎或患有精神疾病）和特殊目的（例如，寻求帮助或吸引粉丝）。因此，开发有效的聚焦检测算法对于辅助刑事侦查、疾病发现和社会行为分析具有重要意义。然而，文献回顾表明，由于缺乏大规模的公共可用数据集以及这项任务的挑战性，很少有努力朝着聚焦检测器的发展。为此，本文针对上述两个问题，开展了离焦检测的研究。首先，我们建立了一个大规模的对焦检测数据集，命名为野外对焦检测（OFDIW）。它由20，623张无约束拍摄条件下的图像组成（因此称为“野外”），包含具有不同情绪，年龄，面部特征以及与周围物体和背景场景的丰富互动的个人。在此基础上，我们提出了一种新的端到端深度模型，即，眼睛上下文交互推断网络（ECIIN），用于聚焦检测，其通过动态胶囊路由来探索眼睛上下文交互。最后，在OFDIW数据集上进行了全面的实验，对现有的学习模型进行了基准测试，并证明了所提出的ECIIN的有效性。该项目（包含数据集和代码）位于https://github.com/wintercho/focus。
2021-03-29 cs.CV cs.HC
Exploring Model Predictive Control to Generate Optimal Control Policies for HRI Dynamical Systems
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们将人机交互（HRI）场景建模为线性动态系统，并使用带有混合整数约束的模型预测控制（MPC）来生成人类感知的控制策略。我们提出了两个方案，激励的方法。第一个涉及一个辅助机器人，旨在最大限度地提高生产力，同时最大限度地减少人类的工作量，第二个涉及一个倾听的人形机器人，管理其眼神接触行为，以最大限度地提高“连接”，并最大限度地减少社会“尴尬”与人类在互动。我们的仿真结果表明，机器人产生有用的行为，因为它找到控制策略，以最小化指定的成本函数。此外，我们实现了第二种情况下的人形机器人和测试的眼神接触的情况下，48人参与者演示和评估所需的控制器的行为。当它被告知要最大化交流时，它比被告知要最大化尴尬时多产生了25%的眼神交流。然而，尽管表现出了期望的行为，但参与者与人形机器人的感知连接之间没有统计学差异。
2017-01-13 cs.HC cs.RO
A Survey on Imitation Learning for Contact-Rich Tasks in Robotics
该综述全面梳理了机器人接触丰富型任务的模仿学习研究，涵盖示教收集方法、学习算法及多模态/基础模型带来的性能提升，明确了现有挑战，为该领域后续发展提供基础。
2025-06-16 cs.HC cs.LG cs.RO
Exploring Immersive Social-Physical Interaction with Virtual Characters through Coordinated Robotic Encountered-Type Contact
Queen's University（皇后大学）；York University（约克大学）
本文提出了一种通过协调机器人邂逅型接触实现沉浸式社交-物理交互的实验平台，展示了其在虚拟现实中的可行性及应用价值。
2026-02-11 cs.HC cs.RO
A Soft Robotic Cover with Dual Thermal Display and Sensing Capabilities
CNRS-University of Montpellier（法国国家科学研究中心-蒙彼利埃大学）
我们提出了一种新的机器人盖原型，实现热显示，同时也是软的。我们关注热暗示，因为以前的人类研究已经将其确定为触摸愉悦的一部分。机器人盖表面可以通过使水循环通过嵌入在盖中的导热管而被调节到期望的温度，该导热管的温度被控制。此外，还实现了一个用于估计人体接触热量的观测器，它可以检测人体交互，同时显示所需的温度，而无需直接在表面上进行温度传感。我们评估了原型的有效性，在实验中的温度控制和接触检测的人手。
2021-05-08 cs.HC cs.RO
Non-contact Real time Eye Gaze Mapping System Based on Deep Convolutional Neural Network
Gwangju Institute of Science and Technology（光州科学技术院）
人机交互（HCI）是研究人类用户和计算机系统之间交互的领域。随着HCI的发展，个人或群体可以使用各种数字技术来实现最佳的用户体验。人类视觉注意力和视觉智能与认知科学、心理学和营销信息学有关，并用于人机交互的各种应用中。凝视识别与人机交互领域密切相关，因为它可以增强对人类基本行为的理解。我们可以通过凝视匹配方法找到用户正在凝视的区域，从而获得可靠的视觉注意力。在先前的方法中，用户佩戴眼镜型设备，该眼镜型设备以配备有注视跟踪功能的眼镜的形式并且在有限的监视器区域内执行注视跟踪。此外，在用户的姿势固定的同时执行有限范围内的注视估计。本文克服了以往方法的物理局限性，提出了一种适用于现实环境的非接触式视线映射系统。此外，我们还介绍了GIST凝视映射（GGM）数据集，这是一个用于学习和评估凝视映射的凝视映射数据集。
2020-09-10 cs.CV cs.HC
Human-centric telerobotics: investigating users' performance and workload via VR-based eye-tracking measures
虚拟现实（VR）在机器人和遥操作行业中越来越受欢迎，作为一种新的计算机化方法，它开辟了新的前景，使人类与机器人进行交互。与更传统的基于按钮的远程操作相比，VR允许用户使用他们的物理运动来驱动虚拟环境中的机器人系统。最新的VR设备还配备了集成的眼动追踪，这为在线监控用户的工作量提供了绝佳的机会。然而，这样的设备是相当新的，人的因素一直被边缘化到目前为止，在遥控机器人的研究。因此，我们通过分析24名参与者通过拾取和放置任务在VR中驾驶模拟工业机器人生成的大量行为数据来涵盖这些方面。用户通过基于按钮和基于动作的控制来驱动机器人，并在低（单任务）和高（双任务）的心理需求下进行操作。我们收集了自我报告、表现和眼动追踪数据。具体来说，我们询问i）VR的交互功能如何影响用户的表现和工作量，并额外测试ii）在整个任务中监测用户的警惕性和工作量的各种眼睛参数的灵敏度。当使用基于动作的VR控制时，用户的表现更快，更准确，同时也显示出更低的脑力负荷。在眼睛参数中，瞳孔大小是最具弹性的工作量指标，因为它与自我报告高度相关，并且不受VR中用户身体运动程度的影响。因此，我们的研究结果带来了一个新的以人为中心的概述VR中的人机交互，并系统地展示了VR设备在远程机器人环境中监控人为因素的潜力。
2022-12-14 cs.HC
Seminar Innovation Management - Winter Term 2017
本文件包含2017年冬季学期创新管理研讨会获得的结果。该团队总共提出了11个想法。在该文件中，所有11个想法都显示了未来眼科应用的改进。这11个创意分别是AR/VR眼镜与医疗应用、增强现实眼科手术、游戏诊断、智能自适应眼镜、MD Facebook、医疗人群细分、个性化人眼3D模型、光声隐形眼镜、电源智能隐形眼镜、VR角膜和眼底成像头戴式
2017-08-22 cs.HC
