Recognizing Complex Gestures on Minimalistic Knitted Sensors: Toward Real-World Interactive Systems
Drexel University（德雷塞尔大学）
触敏纺织品的发展使许多新的交互技术和应用成为可能。我们的数字编织电容式有源传感器可以大规模生产，几乎不需要人为干预。它们的敏感区域由一根导电纱线构成，只需要很少的外部硬件连接。这种技术提高了它们的鲁棒性和可用性，同时将实现交互性的复杂性从硬件转移到计算模型。这项工作通过为交互式手势识别系统奠定基础来提高此类传感器的能力。它采用了一种新颖的传感器设计和一个基于神经网络的识别模型，以89.8%的准确率对12个相对复杂的单触摸点手势类别进行分类，为未来的应用提供了许多可能性。我们还展示了该系统的适用性和鲁棒性，以现实世界的条件下，通过其性能，而被磨损和洗涤和干燥对传感器的电阻的影响。
2023-03-18 cs.HC cs.LG
A conversational gesture synthesis system based on emotions and semantics
Department of Information Technology, VNUHCM -- University of Science（越南科学大学信息科技系）
本文提出DeepGesture，一种基于扩散的 gesture 合成系统，通过多模态信号生成具有情感和语义条件的手势，提升数字人类的自然表达能力。
2026-01-29 cs.CL cs.HC cs.LG
Towards a GENEA Leaderboard -- an Extended, Living Benchmark for Evaluating and Advancing Conversational Motion Synthesis
KTH Royal Institute of Technology（瑞典皇家理工学院）；Bielefeld University（比勒费尔德大学）；ETRI（韩国电子通信研究院）；SEED – Electronic Arts（艺电SEED工作室）；Motorica AB（莫托里卡公司）；University of Science – VNUHCM（胡志明市国家大学科学大学）；Trinity College Dublin（都柏林圣三一学院）；University of California, Davis（加州大学戴维斯分校）
针对语音驱动手势生成评估缺乏标准化的问题，研究提出GENEA动态排行榜方案，通过定期更新大规模用户研究、开放投稿渠道并吸纳社区参与，推动手势生成研究发展。
2024-10-08 cs.CV cs.GR cs.HC
PIXEL: Interactive Light System Design Based On Simple Gesture Recognition
在这个项目中，通过利用Kinect捕捉的实时人类手势，我们试图提供一个自制的互动灯光系统PIXEL与游客进行互动，玩一个简单的蛇游戏。通过并联低功率单色LED灯并单独或一起点亮它们，我们提供了一个具有多种颜色的大型LED板，同时在不使用高压电的情况下足够安全。本文分析了影响最终视觉效果的因素，提出了用现有的计算机视觉算法能够很好识别的新颖手势，并通过实验确定了最终的交互方法。我们也相信这个项目提供了一种方式来帮助人们重新思考新旧之间的关系，以及通过新技术使旧事物重生的可能性。
2020-10-20 cs.HC
MIBURI: Towards Expressive Interactive Gesture Synthesis
Max Planck Institute for Informatics, SIC（马克斯·普朗克信息学研究所，SIC）；Saarland University（萨尔大学）
MIBURI提出首个实时因果框架，生成与实时口语对话同步的表达性全身手势和面部表情，通过多级离散标记和辅助目标提升自然度与多样性。
2026-03-27 cs.CV cs.GR cs.HC
MM-Conv: A Multi-modal Conversational Dataset for Virtual Humans
KTH Royal Institute of Technology（皇家理工学院）
本文提出MM-Conv数据集，利用VR头显在AI2-THOR中记录指称对话的多模态数据，以增强3D场景下手势生成模型的上下文理解与开发。
2024-09-30 cs.CL cs.CV cs.GR
HapTable: An Interactive Tabletop Providing Online Haptic Feedback for Touch Gestures
Koc University（科奇大学）
我们提出HapTable;一种多模式交互桌面，允许用户通过自然触摸手势与数字图像和对象交互，并相应地接收视觉和触觉反馈。在我们的系统中，手的姿态是由红外摄像机和手势进行分类，使用支持向量机（SVM）分类器。为了显示一组丰富的静态和动态手势的触觉效果，我们有效地集成了机电和静电驱动技术的HapTable，这是一个表面电容式触摸屏的桌面表面。我们将四个压电贴片连接到桌面的边缘，以显示静态手势的振动触觉反馈。为此，通过激光多普勒测振仪在其表面上获得84个网格点的频率响应函数（FRFs）形式的台面振动响应。使用这些FRF，可以在表面上显示静态手势的局部振动触觉反馈。对于动态手势，我们利用静电驱动技术，通过施加电压到其导电层来调制手指皮肤和桌面表面之间的摩擦力。在这里，我们提出了两个这样的应用程序的例子，一个静态和动态手势，以及详细的用户研究。在第一个示例中，用户通过将手放在桌面上并感觉在其下方行进的振动触觉刺激来检测虚拟流动的方向，例如风或水的方向。在第二个示例中，用户旋转桌面上的虚拟旋钮以从菜单中选择项目，同时以摩擦触觉反馈的形式感觉旋钮的止动件和旋转阻力。
2021-03-30 cs.CV cs.GR cs.HC
Augmented Co-Speech Gesture Generation: Including Form and Meaning Features to Guide Learning-Based Gesture Synthesis
针对现有深度学习生成的伴随语音手势缺乏语义信息、语境适配性不足的问题，提出一种融合形式与意义特征的增强生成框架，利用大小两类语料库学习，经评估其语义连贯性与人物感知效果达人类真实水平，且相关资源已公开。
2023-07-13 cs.GR cs.HC
Incorporating Spatial Awareness in Data-Driven Gesture Generation for Virtual Agents
KTH Royal Institute of Technology（皇家理工学院）
本文提出将空间场景信息融入语音驱动手势生成，并构建专用合成手势数据集，以提升虚拟智能体在真实环境中的非言语交互自然度。
2024-08-07 cs.CL cs.GR cs.HC
Gesture-aware Interactive Machine Teaching with In-situ Object Annotations
交互式机器教学（IMT）系统允许非专家轻松创建机器学习（ML）模型。然而，现有的基于视觉的IMT系统要么忽略感兴趣的对象上的注释，要么要求用户以事后方式进行注释。如果没有对象上的注释，模型可能会使用不相关的特征来误解对象。事后注释会导致额外的工作量，这会降低整个模型构建过程的可用性。在本文中，我们开发LookHere，它集成了原位对象注释到基于视觉的IMT。LookHere利用用户的指示手势来实时的分割感兴趣的对象。该分割信息可以附加地用于训练。为了实现这种对象分割的可靠性能，我们利用了我们的自定义数据集HuTics，其中包括170人对各种对象的指示手势的2040张正面图像。我们的用户研究的定量结果表明，与具有事后注释过程的标准IMT系统相比，参与者使用我们的系统创建模型的速度快16.3倍，同时表现出相当的准确性。此外，由我们的系统创建的模型显示出显着的准确性提高（$ΔmIoU=0.466$）在分割感兴趣的对象相比，那些没有注释。
2022-08-02 cs.HC
Text2Gestures: A Transformer-Based Network for Generating Emotive Body Gestures for Virtual Agents
本文提出基于Transformer的Text2Gestures方法，结合生物力学情感特征、任务、性别和惯用手信息，为虚拟智能体实时生成与文本对齐的情感手势，并在MPI情感身体表达数据库上取得最先进性能，用户研究中约91%的参与者认为生成手势合理。
2024-11-22 cs.GR cs.HC
Multimodal analysis of the predictability of hand-gesture properties
KTH Royal Institute of Technology（瑞典皇家理工学院）
智能会话代理受益于能够用手势伴随他们的讲话。虽然近年来已经提出了许多数据驱动的手势生成方法，但仍然不清楚这些系统是否可以一致地生成传达含义的手势。我们研究了哪些手势属性（相位，类别和语义）可以使用当代深度学习从语音文本和/或音频中预测。在广泛的实验中，我们表明，手势的含义（语义和类别）相关的手势属性是可预测的文本功能（时间对齐的FastText嵌入）单独，但不是从韵律音频功能，而节奏相关的手势属性（相位）另一方面，可以预测音频功能比从文本。这些结果是令人鼓舞的，因为它们表明，它是可以配备一个具体的代理与内容明智的有意义的共同语音手势使用机器学习模型。
2022-01-14 cs.HC cs.LG cs.MM
DeepSORT-Driven Visual Tracking Approach for Gesture Recognition in Interactive Systems
Loughborough University（拉夫堡大学）；University of Southern California（南加州大学）；University of Michigan（密歇根大学）
本文提出基于 DeepSORT 的视觉跟踪手势识别方法，结合卡尔曼滤波与深度特征，验证其在遮挡、模糊和多目标场景下的实时准确跟踪能力。
2025-05-11 cs.CV cs.HC
Super Star: Towards Streaming Real-time Interactive Agents for Digital Humans
ShanghaiTech University（上海科技大学）；LIGHTSPEED（腾讯光速工作室）
本文针对交互式数字人提出流式实时同步言语手势生成任务，构建耦合流式语音响应与在线手势生成的框架，经实验验证其在延迟-质量权衡等方面优于现有基线。
2026-08-27 cs.CV cs.HC cs.SD
Conversational Exploratory Search via Interactive Storytelling
对话式界面可能会成为比今天的文本或触摸式界面更有效、更直观和更吸引人的人机交互方式。当前关于会话接口的研究工作主要集中在问答功能上，从而忽略了对目标信息查找之外的搜索活动的支持。当用户不熟悉他们的目标领域，不确定实现目标的方法，或者首先不确定他们的目标时，他们会进行探索性搜索。探索性搜索通常由信息可视化方法支持。然而，这种方法不能直接转化为会话搜索的设置。在本文中，我们调查的启示互动讲故事的工具，使探索性搜索的对话界面的框架内。交互式故事讲述提供了一种以用户喜欢的速度和顺序导航文档集合的方法。在我们的愿景中，互动式讲故事将与基于对话的系统相结合，该系统提供口头解释和响应式设计。我们讨论了挑战，并勾勒出将这一愿景付诸实践所需的研究议程。
2017-09-15 cs.HC cs.IR
Memory Sandbox: Transparent and Interactive Memory Management for Conversational Agents
本文提出交互式系统Memory Sandbox，通过将记忆视为可跨对话查看、操作、记录、总结和共享的数据对象，使用户能够透明地管理和控制LLM对话代理的记忆，从而解决用户心智模型不佳和对话中断问题。
2023-08-03 cs.HC
AlphaPIG: The Nicest Way to Prolong Interactive Gestures in Extended Reality
针对XR中长时间空中手势导致的肩部疲劳问题，提出AlphaPIG元技术，利用实时疲劳预测实现自适应干预，在显著缓解疲劳的同时维持了用户的身体拥有感。
2025-03-02 cs.HC
Interactive Storytelling for Children: A Case-study of Design and Development Considerations for Ethical Conversational AI
University of York（约克大学）；University of Cambridge（剑桥大学）
对话式人工智能（CAI）系统和智能个人助理（IPA），如Alexa、Cortana、Google Home和Siri，在我们的生活中变得无处不在，包括儿童的生活，其影响正在受到越来越多的关注，特别是这些系统对儿童认知、社会和语言发展的影响。最近的进展解决CAI的隐私，安全，保密和访问方面的影响。然而，有必要将道德和技术方面联系起来并嵌入设计中。使用的研究和开发项目的案例研究集中在使用CAI讲故事的儿童，本文反映了在一个特定的情况下，技术发展的社会背景下，从文献中的论证证实和支持。它描述了决策过程背后的建议，在这种情况下，他们在创意产业的采用。进一步的研究，通过CAI讲故事的道德与开发人员和利益相关者的参与是突出的紧迫事项。
2021-07-20 cs.HC cs.LG
Seeing to Think? How Source Transparency Design Shapes Interactive Information Seeking and Evaluation in Conversational AI
The University of Tennessee（田纳西大学）；The University of Oklahoma（俄克拉荷马大学）
本文研究了源透明度设计对对话式AI中信息搜索与评估的影响，发现不同界面设计对用户批判性思维和信息整合有显著影响。
2026-01-21 cs.HC
GestureFAR: Streaming Co-Speech Gesture Generation with Flow Autoregression
University of Rochester（罗切斯特大学）；University of Tokyo（东京大学）；University of California Santa Cruz（加州大学圣克鲁兹分校）；University of California Los Angeles（加州大学洛杉矶分校）；Meta
GestureFAR提出流自回归框架，通过连续潜变量与流匹配头生成流式共语手势，结合头部流蒸馏降低延迟，在BEAT2上实现质量与延迟的显著优化。
2026-09-21 cs.CV cs.GR cs.HC
A large, crowdsourced evaluation of gesture generation systems on common data: The GENEA Challenge 2020
共语手势，即伴随着说话的手势，在人类交际中起着重要的作用。因此，自动协同语音手势生成是嵌入式对话代理（ECA）的关键支持技术，因为人类期望ECA能够进行多模式通信。对手势生成的研究正迅速转向数据驱动的方法。不幸的是，该领域的个别研究工作很难比较：没有既定的基准，每项研究都倾向于使用自己的数据集，运动可视化和评估方法。为了解决这种情况，我们发起了GENEA挑战赛，这是一个手势生成挑战赛，参与团队在一个公共数据集上构建自动手势生成系统，并使用相同的运动渲染管道在一个大型的众包用户研究中并行评估所产生的系统。由于系统之间的评估结果的差异现在完全归因于运动生成方法之间的差异，因此可以将最近的方法相互比较，以便更好地了解该领域的最新技术水平。本文报告的目的，设计，结果和影响，我们的挑战。
2021-02-23 cs.GR cs.HC cs.MM
A Deixis-Centered Approach for Documenting Remote Synchronous Communication around Data Visualizations
本文提出一种以指示语为中心的协作数据会议记录方法，通过捕捉光标手势与音频并利用大语言模型生成带上下文注释的交互式文档，用户研究表明其优于录像、文字记录和手动笔记。
2024-08-07 cs.HC
MuDoC: An Interactive Multimodal Document-grounded Conversational AI System
Georgia Institute of Technology（佐治亚理工学院）；School of Interactive Computing（交互计算学院）
针对多模态文档驱动对话系统的研究空白，提出基于GPT-4o的交互式AI智能体MuDoC，可生成含交错文本和图表的响应，其智能界面支持源内容导航验证，还分析了系统的优劣势。
2025-02-14 cs.AI cs.HC cs.MM
SimViews: An Interactive Multi-Agent System Simulating Visitor-to-Visitor Conversational Patterns to Present Diverse Perspectives of Artifacts in Virtual Museums
为解决虚拟博物馆中难以呈现多元视角的问题，本文提出交互式多智能体系统SimViews，通过模拟不同职业身份访客间的对话模式提供文物的多元解读，实验证明其能有效增强参与者的理解与参与度。
2025-08-11 cs.HC
LLAniMAtion: LLAMA Driven Gesture Animation
University of East Anglia（东英吉利大学）
针对角色动画中手势生成的需求，提出利用LLAMA2从文本提取的LLM特征生成手势的方法，实验证明其效果显著优于音频特征，且无需音频即可生成两类手势，为手势生成提供了新的特征来源。
2024-05-13 cs.AI cs.CV cs.GR
Building an Automated Gesture Imitation Game for Teenagers with ASD
Ecole Supérieure Africaine des TIC（非洲高等信息技术学院）；Institut Mines Telecom Atlantique de Bretagne（布列塔尼大西洋矿业电信学院）
自闭症谱系障碍是一种神经发育状况，包括沟通和社会互动问题。ASD患者也经常有有限的兴趣和重复的行为。在本文中，我们建立了一个自动化的手势模仿游戏，旨在改善与青少年ASD的社会交往初步砖。介绍了游戏的结构，以及骨架检测和模仿学习的支持工具和方法。游戏将在稍后使用交互式机器人实现。
2020-07-09 cs.HC cs.LG stat.ML
A Benchmark for Spatially Grounded Gesture Generation
KTH Royal Institute of Technology（瑞典皇家理工学院）；MPI for Informatics（马克斯·普朗克信息学研究所）；University of Cambridge（剑桥大学）
针对空间锚定手势生成，提出含约2000个指向标注片段的基准及评估协议，并给出流匹配基线，发现几何锚定可超越人类而自然度不变。
2026-10-14 cs.CV cs.GR cs.HC
Conversational Information Seeking
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；RMIT University（皇家墨尔本理工大学）；University of Glasgow（格拉斯哥大学）；Google Research（谷歌研究院）
会话式信息搜索（CIS）涉及一个或多个用户与信息系统之间的一系列交互。CIS中的交互主要基于自然语言对话，同时它们可以包括其他类型的交互，例如点击、触摸和身体姿势。这本专著提供了一个全面的概述CIS的定义，应用程序，相互作用，接口，设计，实施和评估。这本专著认为CIS的应用包括对话式搜索，对话式问答和对话式推荐。我们的目的是提供一个与CIS相关的过去研究的概述，介绍CIS当前的最新技术，强调社区仍然面临的挑战。并提出未来的发展方向。
2023-01-25 cs.CL cs.HC cs.IR
Towards Teachable Conversational Agents
University of Waterloo（滑铁卢大学）
构建交互式机器学习系统的传统过程可以被视为教师-学习者交互场景，其中机器学习者由一个或多个人类教师训练。在这项工作中，我们探讨了使用对话界面来研究人类教师和交互式机器学习者之间的交互的想法。具体来说，我们研究了可教学人工智能智能体是否可以通过对话交互从人类教师那里可靠地学习，以及这种学习与传统的监督学习算法相比如何。结果验证了可教会话代理的概念，并强调了相关的因素，旨在从会话交互学习的机器学习系统的发展。
2021-02-20 cs.AI cs.HC
Study of Non-Verbal Behavior in Conversational Agents
本文为仅通过语音、聊天和面部动画视频交互的对话智能体 Arthur 设计身体动作，并通过直接或视频互动实验考察非言语动作能否提升用户舒适度与感知体验。
2023-12-11 cs.HC
Kinova Gemini: Interactive Robot Grasping with Visual Reasoning and Conversational AI
Southern University of Science and Technology（南方科技大学）；Harbin Institute of Technology（哈尔滨工业大学）；The Chinese University of Hong Kong（香港中文大学）；Shenzhen Research Institute, The Chinese University of Hong Kong（香港中文大学深圳研究院）
为了促进机器人技术和人工智能的最新进展，实现人类与机器之间的微妙协作，我们提出了Kinova Gemini，这是一种原始的机器人系统，集成了对话式人工智能对话和视觉推理，使Kinova Gen3 lite机器人帮助人们检索物体或完成基于感知的拾取和放置任务。当一个人走到Kinova Gen3 lite面前时，我们的Kinova Gemini能够在三个不同的应用中满足用户的要求：（1）它可以与人开始自然对话，进行交互，并协助人类检索物体并将其逐一交给用户。(2)它使用YOLO v3检测不同的物体，并识别物品的颜色属性，询问人们是否想通过对话抓住它，或者让用户选择需要哪一个。(3)它应用YOLO v3来识别多个对象，并让您选择两个项目进行基于感知的拾取和放置任务，例如“将香蕉放入碗中”，具有视觉推理和会话交互。
2022-09-03 cs.HC cs.RO
ICo3D: An Interactive Conversational 3D Virtual Human
Noah’s Ark Lab（诺亚 Ark 实验室）
ICo3D通过动态高斯模型和LLM实现逼真3D虚拟人，支持实时对话与交互。
2026-01-19 cs.CV cs.HC
Interactive Multi-Robot Flocking with Gesture Responsiveness and Musical Accompaniment
Stanford University（斯坦福大学）；Virtusa Corporation（维塔萨公司）；Wayve（韦夫公司）；Google Inc.（谷歌公司）
本文提出一种以吸引人类参与为目标的交互式多机器人集群任务，设计了群体导航、手势响应、权重模式表征及编舞者偏好编码等方法，并通过实验表明权重模式选择不影响体验感知。
2024-03-30 cs.AI cs.HC cs.RO
Preprint Touch-less Interactive Augmented Reality Game on Vision Based Wearable Device
这是我们关于个人和普适计算的论文的预印本。基于新兴的交互技术创建普及游戏的兴趣越来越大。为了在基于视觉的可穿戴设备上开发无接触、交互式和增强现实游戏，设计了一种无接触的运动交互技术。用户在摄像机前通过动态的手/脚手势与增强现实游戏进行交互，从而触发交互事件与场景中的虚拟对象进行交互。基于所提出的非接触交互技术，开发了三款具有11种动态手势的原始增强现实游戏。最后，提出了一个比较评估，以证明社会的可接受性和可用性的非接触的方法，运行在一个混合的可穿戴框架或与谷歌眼镜，以及工作量评估，用户的情绪和满意度。
2015-09-07 cs.HC
Jcave: A 3D Interactive Game to Assist Home Physiotherapy Rehabilitation
本文旨在探讨游戏化方法在物理治疗康复中的适用性。一个名为JCave的新开发游戏是为概念验证而设计和开发的。该游戏针对6至12岁的儿童，他们需要在上肢进行物理治疗。JCave是一款有限和多层次的单人3D视频游戏。玩家的角色是从洞穴中收集珠宝，并通过进行物理治疗练习来增加他/她的分数。该游戏使用Xbox360 Kinect作为动作捕捉摄像头来观察手势并跟踪孩子。自动手势识别算法被实现用于肘关节屈曲-伸展练习和肩关节屈曲，这是用于右臂和左臂的主动运动范围（AROM）练习。JCave游戏使用Unity3D和Blender来设计3D模型对象。
2019-05-09 cs.HC
Conversational DNA: A Visual Language and Interactive Atlas of Human and AI Dialogue
Berkman Klein Center For Internet & Society（互联网与社会伯克曼-克莱因中心）；Harvard University（哈佛大学）
本文提出Conversational DNA，一种将对话视为生命系统并通过生物学隐喻可视化其时间架构的新视觉语言，揭示了传统方法遗漏的交互模式。
2026-09-25 cs.AI cs.CL cs.CY
Gesture-based Human-robot Interaction for Field Programmable Autonomous Underwater Robots
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
水下环境的不确定性和多变性对水下机器人的实时的动态控制提出了要求，特别是在人与机器人协同作业的场景中。然而，水下环境对典型的控制和通信方法的应用施加了苛刻的限制。鉴于手势是一种自然而有效的人机交互方式，本文利用卷积神经网络实现了一个实时手势识别系统，该系统可以从单目摄像机拍摄的图像中识别出50种手势，并将其应用于人与水下机器人的交互中。我们设计了一个灵活的和可扩展的交互方案（AFEIS），通过该方案，水下机器人可以在水下现场编程的人类操作员使用定制的手势为基础的手语。本文阐述了手势识别系统和AFEIS的设计，并给出了将该系统和方案应用于水下机器人的现场试验结果。
2017-09-26 cs.HC cs.RO
Understanding Gesture and Speech Multimodal Interactions for Manipulation Tasks in Augmented Reality Using Unconstrained Elicitation
这项研究建立了一个更好的理解的语法选择在语音交互和语音，手势和多模态手势和语音交互是如何产生的用户在不受约束的对象操作环境中使用增强现实。这项工作提出了一个多模态启发研究进行了24名参与者。平移、旋转和缩放的规范引用与一些抽象引用（创建、销毁和选择）一起使用。在这项研究中，手势和语音多模态交互的时间窗口开发使用手势和语音的开始和停止时间以及手势的行程时间。虽然手势通常先于语音81 ms，但我们发现手势的笔划通常在语音开始的10 ms内。指示手势的信息内容及其共同出现的语音彼此很好地对准。最后，审查了每种模式最常见提案的趋势。表明提议之间的不一致通常是由手势或句法的变化引起的。允许我们提出别名建议，以增加未来多模态交互系统捕获的用户自然交互的百分比。
2022-08-08 cs.HC
MIST: Multimodal Interactive Speech-based Tool-calling Conversational Assistants for Smart Homes
Columbia University（哥伦比亚大学）；Seoul National University（首尔国立大学）
本文提出MIST数据集，用于研究具备物理世界约束推理能力的多模态语音助手，发现开放和闭源多模态LLM在该任务上存在显著差距。
2026-05-07 cs.AI cs.CL cs.HC
Toward Natural Gesture/Speech Control of a Large Display
近年来，由于计算机视觉研究的进展，自由手势已经被探索作为人机交互（HCI）的手段。与改进的语音处理技术一起，它是迈向自然多模态HCI的重要一步。然而，将非预定义的连续手势包括到多模态框架中是一个具有挑战性的问题。在本文中，我们提出了一个结构化的方法来研究模式的多模态语言的上下文中的二维显示控制。我们认为系统的分析手势从可观察到的运动学原语，他们的语义有关的语言结构。提出的语义分类共动词手势区分六类基于其时空指示。我们讨论了一个计算框架的演变手势和语音集成，这是用来开发一个交互式的测试平台（IMAP）。该测试平台能够在HCI的叙事模式中引发足够的、非顺序的、多模态模式。进行用户研究说明的意义占的时间对齐的手势和语音部分的语义映射。此外，共现分析的手势/语音生产表明句法组织的手势在词汇水平。
2001-05-17 cs.CV cs.HC
MATCH: Engineering Transparent and Controllable Conversational XAI Systems through Composable Building Blocks
Hasselt University - Flanders Make, Digital Future Lab（哈塞尔特大学-佛兰德斯制造，数字未来实验室）
MATCH框架通过可组合的构建块实现对话XAI系统的透明和可控，促进解释性在交互系统中的整合。
2025-11-27 cs.AI cs.HC cs.LG
Holoscopic 3D Micro-Gesture Database for Wearable Device Interaction
随着增强现实（AR）和虚拟现实（VR）技术的快速发展，增强现实和虚拟现实控制的游戏交互方式极大地提高了人机交互（HCI）能力。手指微手势是Google Soli和Microsoft Kinect项目等人机交互应用程序的重要交互方法之一。然而，由于缺乏高质量的公共数据库，这方面的研究进展缓慢。本文采用全息三维摄像机采集高质量的微姿态图像，建立了一个新的全息三维微姿态数据库。全息3D相机的原理是基于飞行观察系统来观察物体。HoMG数据库记录了40名参与者在不同设置和条件下的3个常规手势的图像序列。对于微手势识别的目的，HoMG具有960个视频的视频子集和30635个图像的静止图像子集。使用传统的二维图像和视频特征以及流行的分类器对这两个子集进行了初步的微手势识别，并取得了一些令人鼓舞的性能。该数据库将供研究界使用，并加快这一领域的研究。
2018-01-19 cs.HC
INFACT: An Online Human Evaluation Framework for Conversational Recommendation
University of Klagenfurt（克拉根福大学）
会话式推荐系统（CRS）是一种交互式代理，通过多轮会话支持用户实现与广告相关的目标。通常，CRS可以在各种维度上进行评估。今天的CRS主要依靠离线（计算）措施来评估其算法与不同基线相比的性能。然而，离线测量可能具有限制，例如，当用于将新生成的响应与地面实况进行比较的度量与人类感知不相关时，因为各种替代生成的响应在给定对话情形中可能也是合适的。因此，目前对基于机器学习的CRS模型的研究承认了人类在评估过程中的重要性，知道纯粹的离线测量可能不足以评估像CRS这样的高度交互式系统。
2022-09-07 cs.AI cs.CL cs.HC
Interactive Learning of Hierarchical Tasks from Dialog with GPT
Georgia Institute of Technology（佐治亚理工学院）
本文提出一种利用GPT模型作为对话前端进行可解释符号化交互式任务学习的系统，通过将对话转换为语义表示并递归请求未知步骤定义，实现层次化任务知识的获取与重用，且比传统解析器架构更能容忍语言差异。
2023-05-17 cs.AI cs.CL cs.HC
A Unified Editing Method for Co-Speech Gesture Generation via Diffusion Inversion
本文提出一种基于扩散反演的统一框架，无需重新训练即可实现协同语音手势生成的高层与低层编辑，并通过实验验证其有效性。
2024-04-03 cs.HC
Let's Face It: Probabilistic Multi-modal Interlocutor-aware Generation of Facial Gestures in Dyadic Settings
KTH Royal Institute of Technology（瑞典皇家理工学院）
为了实现更自然的面对面交互，会话代理需要使他们的行为适应他们的对话者。其中一个关键方面是为代理生成适当的非语言行为，例如面部姿势，这里定义为面部表情和头部运动。大多数现有的手势生成系统在合成非言语行为时没有利用来自对话者的多模态提示。那些做，通常使用确定性的方法，风险产生重复和不生动的运动。在本文中，我们引入了一种概率方法来合成对话者意识到的面部表情-表示高度表达FLAME参数-在二元对话。我们的贡献是：a）一种用于从多方视频和语音记录中提取特征提取的方法，其产生允许对3D化身中的表达和语音清晰度的独立控制和操纵的表示; b）对MoGlow的扩展，MoGlow是一种基于归一化流的最近的运动合成方法，其也将来自对话者的多模态信号作为输入，并且随后输出对话者感知的面部姿势;以及c）评估输入模态的使用和相对重要性的主观评价。结果表明，该模型成功地利用了对话者的输入，以产生更适当的行为。视频、数据和代码请访问：https://jonepatr.github.io/lets_face_it。
2020-10-22 cs.CV cs.HC cs.LG
NeoLightning: A Modern Reimagination of Gesture-Based Sound Design
Georgia Institute of Technology（佐治亚理工学院）
本研究针对经典手势乐器Buchla Lightning如今缺乏支持的问题，推出结合MediaPipe深度学习手势识别、Max/MSP与Processing实时处理的NeoLightning系统，实现精准低延迟的沉浸式3D手势音乐交互，拓展声音设计与表演的表达空间。
2025-05-15 cs.HC cs.MM cs.SD
Towards the Design of Effective Freehand Gestural Interaction for Interactive TV
随着交互式设备变得普遍，人们开始寻找与客厅中的电视机进行更高级的交互。交互式电视有潜力提供非常吸引人的体验。但大多数常见的用户任务仍然具有挑战性，例如菜单选择或文本输入。在理解和支持与客厅电视的有效徒手交互设计方面，几乎没有做过什么工作。在本文中，我们进行了两项研究，调查徒手手势交互与消费级传感器，这是适合电视的情况。在第一项研究中，我们调查了一系列的设计因素，平铺布局菜单选择，包括可穿戴反馈，推动手势的深度，目标的大小和位置在运动空间。结果表明，触觉和听觉反馈没有显着影响性能和preference，这些结果为高选择性能的潜在设计提供了信息。在第二项研究中，我们调查了一个常见的电视用户的文本输入任务，使用徒手手势。我们设计并评估了两种虚拟键盘布局和三种徒手选择方法。结果表明，易用性和容错性都可以实现使用文本输入方法，利用双圆布局和扩大目标选择技术。最后，我们根据研究结果，提出了有效的、可用的和舒适的交互式电视徒手手势交互的设计准则。
2016-03-26 cs.HC
CyanKitten: AI-Driven Markerless Motion Capture for Improved Elderly Well-Being
本研究推出专为老年人设计的CyanKitten虚拟伴侣系统，通过三层架构、双摄与老年运动训练的CNN实现姿态与手势识别，结合多模态交互提升老年生活质量。
2025-03-25 cs.HC
Communication is the universal solvent: atreya bot -- an interactive bot for chemical scientists
Vidhya Bhawan Gandhiyan Institute of Educational Studies（维迪亚·巴万·甘地扬教育研究所）；Dublin City University（都柏林城市大学）；Dublin Business School（都柏林商学院）
会话代理是近年来人机交互的一个发展趋势，被部署在多学科应用中以帮助用户。在本文中，我们介绍了“Atreya”，一个互动的机器人化学爱好者，研究人员和学生研究的ChEMBL数据库。Atreya由Telegram托管，Telegram是一个流行的基于云的即时消息应用程序。这个用户友好的机器人查询ChEMBL数据库，检索特定疾病的药物细节，与该药物相关的目标等。本文探讨了使用会话代理来帮助化学学生和化学科学家在复杂的信息搜索过程中的潜力。
2021-06-14 cs.AI cs.HC
Devising Interactive Spaces: A Rehearsal-Oriented Tool for Creating Responsive Environments for Immersive Theatre
Mixed Reality Lab, School of Computer Science, University of Nottingham（诺丁汉大学计算机科学学院混合现实实验室）；Department of Architecture and Built Environment, Faculty of Engineering, University of Nottingham（诺丁汉大学工程学院建筑与建成环境系）
该研究提出一种面向排练的系统，通过可视化无代码编程层连接传感与输出，经六个工作坊完善。此系统支持快速配置等，让表演者在少技术支持下实验，专注于在戏剧创作早期将传感等作为创作素材，介绍了系统架构及应用条件。
2026-07-09 cs.HC
A new conversational interaction concept for document creation and editing on mobile devices for visually impaired users
本文介绍了正在进行的开发的会话交互的概念，使视障用户可以轻松地创建和编辑文本文件的移动设备上使用主要是语音输入。为了验证这一概念，基于自然语言理解（NLU）平台Google Dialogflow，开发了一个原型应用程序，并在iOS和Android系统上进行了测试。应用程序和交互概念由有视觉障碍和没有视觉障碍的用户反复测试。根据他们的反馈，这一概念在两个移动平台上不断完善、调整和改进。在一个迭代的以用户为中心的设计方法，以下研究问题进行了调查：视力受损的用户可以主要依靠语音命令，以有效地创建和编辑移动设备上的文档？用户测试发现，基于会话语音命令的交互概念对于视障用户来说是简单和直观的。然而，也有人发现，仅仅依靠语音命令会产生自己的障碍，手势和语音交互的组合会更强大。未来的研究和更广泛的可用性测试应在视障用户中进行，以优化互动的概念。
2023-01-06 cs.HC
A Platform for Interactive AI Character Experiences
ETH Zurich（苏黎世联邦理工学院）
本文提出一个平台，用于创建可信的交互式AI角色，通过整合多种AI技术，实现故事驱动的对话体验。
2026-01-03 cs.AI cs.CL cs.GR
StreamAvatar: Streaming Diffusion Models for Real-Time Interactive Human Avatars
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；Tencent Hunyuan（腾讯混元）；Nanjing University（南京大学）
本文提出一种两阶段自回归适应与加速框架，通过自回归蒸馏和对抗性细化，使高保真人类视频扩散模型适用于实时交互流式生成，实现自然对话与倾听行为。
2026-03-28 cs.AI cs.CV cs.HC
