Toward Natural Gesture/Speech Control of a Large Display
近年来,由于计算机视觉研究的进展,自由手势已经被探索作为人机交互(HCI)的手段。与改进的语音处理技术一起,它是迈向自然多模态HCI的重要一步。然而,将非预定义的连续手势包括到多模态框架中是一个具有挑战性的问题。在本文中,我们提出了一个结构化的方法来研究模式的多模态语言的上下文中的二维显示控制。我们认为系统的分析手势从可观察到的运动学原语,他们的语义有关的语言结构。提出的语义分类共动词手势区分六类基于其时空指示。我们讨论了一个计算框架的演变手势和语音集成,这是用来开发一个交互式的测试平台(IMAP)。该测试平台能够在HCI的叙事模式中引发足够的、非顺序的、多模态模式。进行用户研究说明的意义占的时间对齐的手势和语音部分的语义映射。此外,共现分析的手势/语音生产表明句法组织的手势在词汇水平。
2001-05-17 cs.CV cs.HC
Efficient Multimodal Neural Networks for Trigger-less Voice Assistants
Apple(苹果公司)
提出一种基于神经网络的音频-手势多模态融合系统,用于无触发语音助手,解决了现有启发式方法适应性差、可扩展性有限及存在人类偏见的问题,实现了精准调用、广泛泛化、低功耗设备部署及开发效率提升。
2023-05-20 cs.HC cs.LG
Improving the Performance of Unimodal Dynamic Hand-Gesture Recognition with Multimodal Training
Rutgers University(罗格斯大学);Microsoft(微软);Johns Hopkins University(约翰斯·霍普金斯大学)
提出一种多模态训练框架,通过嵌入多模态知识并引入时空语义对齐损失和焦点正则化参数,提升单模态3D-CNN动态手势识别的准确率,达到最先进性能。
2019-08-12 cs.AI cs.CV cs.HC
Dynamic Multimodal Expression Generation for LLM-Driven Pedagogical Agents: From User Experience Perspective
本文提出基于大语言模型的动态多模态表达生成方法,通过生成协调的语音和手势指令,提升教育代理的沉浸感和自然表达能力。
2026-03-10 cs.HC cs.MM
Gesture First, LLM-Assisted Voice Complement: Exploring Multimodal Robot 'Puppeteer' Teleoperation Via Virtual Counterpart in Augmented Reality
KTH Royal Institute of Technology(皇家理工学院)
本文探讨了通过增强现实中的虚拟对应物实现多模态机器人遥控的方法,比较了仅手势和结合语音与手势的交互方式在性能和用户体验上的差异,提出设计指南以平衡效率、鲁棒性和用户专业性。
2026-05-16 cs.HC cs.RO
OpenWatch: A Multimodal Benchmark for Hand Gesture Recognition on Smartwatches
Huawei Research Zürich(华为苏黎世研究所);ETH Zürich(苏黎世联邦理工学院)
本文提出OpenWatch多模态基准,通过同步惯性与生理传感数据,评估手部动作识别方法,展示了MixToken和NormWear-Lora等新方法的优越性。
2026-05-07 cs.HC
A Review of Temporal Aspects of Hand Gesture Analysis Applied to Discourse Analysis and Natural Conversation
Universidade de São Paulo(圣保罗大学)
近年来,人们对手势分析系统越来越感兴趣。最近的工作已经采用了模式识别技术,并且已经集中在具有更自然的用户界面的系统的开发上。这些系统可以使用手势来控制界面或识别手语手势,这可以为系统提供多模态交互;或者包含在多模态工具中,以帮助心理语言学家理解话语分析的新方面,并使繁重的任务自动化。手势有几个方面的特点,主要是动作和姿势的顺序。由于涉及动作或序列的数据携带时间信息,本文提出了一个文献综述的时间方面的手势分析,侧重于自然会话和心理语言学分析相关的应用程序,使用系统文献综述方法。在我们的结果中,我们根据分析类型,方法,突出使用机器学习技术和应用程序组织工作。
2013-12-17 cs.AI cs.HC
Unified speech and gesture synthesis using flow matching
KTH Royal Institute of Technology(瑞典皇家理工学院)
提出基于最优传输条件流匹配的统一架构,从文本联合合成语音与3D手势,以更少步骤实现更优合成质量,提升自然度与跨模态一致性。
2024-01-09 cs.GR cs.HC cs.LG
A conversational gesture synthesis system based on emotions and semantics
Department of Information Technology, VNUHCM -- University of Science(越南科学大学信息科技系)
本文提出DeepGesture,一种基于扩散的 gesture 合成系统,通过多模态信号生成具有情感和语义条件的手势,提升数字人类的自然表达能力。
2026-01-29 cs.CL cs.HC cs.LG
Speech Gesture Generation from the Trimodal Context of Text, Audio, and Speaker Identity
ETRI(韩国电子通信研究院);KAIST(韩国科学技术院);University of Science and Technology(科学技术大学)
对于类人代理,包括虚拟化身和社交机器人,在说话时做出适当的手势在人-代理交互中至关重要。协同语音手势增强了交互体验,使智能体看起来生动活泼。然而,由于缺乏对人们如何做手势的理解,很难生成类似人类的手势。数据驱动的方法试图从人类演示中学习手势技能,但手势的模糊性和个体性阻碍了学习。在本文中,我们提出了一个自动手势生成模型,使用语音文本,音频和扬声器身份的多模态上下文可靠地生成手势。通过结合多模态上下文和对抗性训练方案,所提出的模型输出与语音内容和节奏相匹配的类似人类的手势。我们还介绍了一个新的量化评估指标的手势生成模型。实验结果表明,该模型优于现有的端到端手势生成模型。我们进一步确认,我们的模型是能够与合成的音频在上下文受到约束的情况下,并表明,不同的手势风格可以生成相同的语音通过指定不同的扬声器身份的风格嵌入空间,从不同的扬声器的视频学习。所有的代码和数据都可以在https://github.com/ai4r/Gesture-Generation-from-Trimodal-Context上找到。
2020-09-04 cs.CV cs.GR cs.HC
LEGS-POMDP: Language and Gesture-Guided Object Search in Partially Observable Environments
Brown University(布朗大学)
LEGS-POMDP通过整合语言、手势和视觉信息,在部分可观测环境中实现高效的开放世界对象搜索,显著提升了多模态感知和不确定性处理能力。
2026-03-05 cs.HC cs.RO
AMII: Adaptive Multimodal Inter-personal and Intra-personal Model for Adapted Behavior Synthesis
ISIR - Sorbonne University(ISIR - 索邦大学);CNRS - ISIR - Sorbonne University(法国国家科学研究中心 - ISIR - 索邦大学)
提出AMII模型,利用模态记忆编码和注意力机制捕捉内模与人际关系,为社交交互智能体合成适配说话者或倾听者角色的面部手势,客观评估优于现有方法。
2023-05-18 cs.HC cs.LG cs.SD
Fake it to make it: Using synthetic data to remedy the data shortage in joint multimodal speech-and-gesture synthesis
KTH Royal Institute of Technology(瑞典皇家理工学院);Motorica AB(Motorica公司)
针对多模态语音与3D手势联合合成中平行训练数据短缺的问题,本文提出利用单模态模型生成合成平行数据进行预训练,并设计了一种增强韵律建模的新架构,实验证明该方法能同时提升语音和动作合成质量。
2024-04-30 cs.CV cs.GR cs.HC
ML-PersRef: A Machine Learning-based Personalized Multimodal Fusion Approach for Referencing Outside Objects From a Moving Vehicle
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心 (DFKI))
在过去的几十年里,现代车辆增加了数百个传感器,使其能力呈指数级增长。这允许与车辆进行交互的新方法,这些方法超越了传统的基于触摸和语音命令的方法,例如情感识别、头部旋转、眼睛凝视和指向手势。虽然凝视和指向手势之前已经被用于参考车辆内部和外部的对象,但这些手势的多模态交互和融合迄今为止尚未被广泛研究。我们提出了一种新的基于学习的多模态融合方法,用于在模拟环境中保持长行驶路线的同时参考车外对象。所提出的多模态方法在多个方面和条件下优于单模态方法。此外,我们还展示了可能的方法来利用用户之间的行为差异时,完成的参考任务,实现一个适应性强的个性化系统,为每个驱动程序。我们提出了一个个性化技术的基础上的学习概念的转移非常小的数据大小,以提高预测和适应个人主义的引用行为。我们的代码可在https://github.com/amr-gomaa/ML-PersRef上公开获取。
2021-11-03 cs.CV cs.HC
CaptAinGlove: Capacitive and Inertial Fusion-Based Glove for Real-Time on Edge Hand Gesture Recognition for Drone Control
DFKI(德国人工智能研究中心);RPTU Kaiserslautern-Landau(凯撒斯劳滕-兰道莱茵-普法尔茨理工大学)
本文提出低功耗、小内存的纺织手套CaptAinGlove,通过轻量CNN与分层多模态融合实现无人机手势的实时边缘识别,离线F1达80%,边缘实时F1达67%。
2023-06-07 cs.HC cs.LG cs.RO
Multimodal Continuation-style Architectures for Human-Robot Interaction
Brandeis University(布兰迪斯大学)
我们提出了一个架构,用于集成实时,多模态输入到一个计算代理的上下文模型。在虚拟世界中使用人与化身的交互,我们将对齐的手势和语音视为一个整体,其中内容可以通过任何一种方式进行通信。利用修改的非确定性下推自动机架构,计算机系统:(1)使用连续传递样式递增地消耗输入,直到其实现对用户目标的充分理解;(2)在必要时使用已建立的上下文信息构造并询问问题;以及(3)使用多模态线索保持对先前话语项的跟踪。这种类型的架构支持下推和有限状态自动机的特殊情况,以及集成来自机器学习模型的输出。我们提出的例子,这种架构的使用在多模态一次性学习互动的新的手势和现场动作组成。
2019-09-18 cs.AI cs.HC cs.RO
SICAGE: Speaker-Independent Culture-Aware Gesture Generation using TED4C-L Dataset
Italian Institute of Technology(意大利理工学院);University of Genoa(热那亚大学)
提出SICAGE框架,通过域泛化学习说话人无关的文化表征,结合ALaDiT扩散模型生成文化适切手势,在TED4C-L数据集上验证了运动真实性、多样性和文化一致性提升。
2026-06-29 cs.CV cs.GR cs.HC
Natural interaction with traffic control cameras through multimodal interfaces
人机界面在现代软件系统的可用性和命令的可解释性方面一直扮演着基础性的角色。随着人工智能概念的爆炸,这样的界面已经开始填补用户和系统本身之间的空白,进一步发展为自适应用户界面(AUI)。Meta界面是对用户的进一步发展,他们的目的是支持人类活动在周围的交互空间,在这样一种方式,用户可以控制周围的空间,并与之进行交互。这项工作的目的是提出一个元用户界面,利用把那有范式,使用户能够快速交互,采用自然语言和手势。应用场景是视频监控控制室,其中行动和反应的速度是城市安全以及驾驶员和行人安全的基础。交互面向三个环境:第一个是控制室本身,操作员可以通过语音命令和手势组织与现场摄像机相关的监视器视图,以及在耳机或房间扬声器中传送音频。第二个与视频的控制有关,以便来回切换到显示特定事件的特定场景,或放大/缩小特定摄像机;第三个允许操作员在需要时在特定街道上发送救援车辆。手势数据通过Microsoft Kinect 2获取,该Kinect 2捕获指向和手势,允许用户进行多模式交互,从而增加交互的自然性;相关模块将运动信息映射到特定指令,也由语音命令支持,从而使其能够执行。(...)
2021-03-02 cs.HC
Prosody Based Co-analysis for Continuous Recognition of Coverbal Gestures
虽然语音和手势识别已经被广泛研究,但将它们结合在统一框架中的所有成功尝试都是语义上的,例如,关键词手势同现这样的公式继承了自然语言处理的复杂性。本文提出了一种贝叶斯公式,使用的手势和语音清晰度的现象,以提高自动识别的准确性,连续coverbal手势。来自语音信号的韵律特征与视觉信号进行共分析,以学习突出的口语片段与手势的特定运动学相位的共现的先验概率。发现上述共同分析有助于检测和消除视觉上小的手势的歧义,这随后提高了连续手势识别的速率。所提出的方法的有效性证明了从天气频道广播收集的大型数据库。这一提法为自下而上的多式联运框架开辟了新的途径。
2002-11-05 cs.CV cs.HC
Continuous ErrP detections during multimodal human-robot interaction
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));University of Duisburg-Essen(杜伊斯堡-埃森大学);Institute of Medical Technology Systems(医疗技术系统研究所)
本研究在多模态人机交互场景中实时检测错误相关电位,提出结合前后滑动窗口的特征选择方法,实现91%的平均分类准确率,并计划用于交互式强化学习以改进交互。
2022-07-25 cs.HC cs.LG cs.RO
Augmenting speech transcripts of VR recordings with gaze, pointing, and visual context for multimodal coreference resolution
本文提出一个系统,通过将VR语音转录与注视、指向和场景元数据相结合,生成多模态文本描述,使GPT模型在指代消解任务上的准确率较纯语音基线提升26.5%。
2025-09-10 cs.HC
GesPrompt: Leveraging Co-Speech Gestures to Augment LLM-Based Interaction in Virtual Reality
针对XR环境中用户难以仅靠文本或语音向大语言模型副驾驶传达三维时空信息的问题,本文提出多模态界面GesPrompt,通过融合伴随语音手势提取时空参照,降低认知负担,并构建VR原型系统验证其有效性。
2025-05-08 cs.HC
AQ-GT: a Temporally Aligned and Quantized GRU-Transformer for Co-Speech Gesture Synthesis
Bielefeld University(比勒费尔德大学)
本文提出AQ-GT框架,通过GAN和量化流水线预训练手势序列,学习潜在空间映射以生成逼真共语手势,显著超越现有方法,部分与人类手势无异。
2023-05-08 cs.GR cs.HC cs.LG
Communicative Learning with Natural Gestures for Embodied Navigation Agents with Human-in-the-Scene
UCLA(加州大学洛杉矶分校)
人机协作是人工智能(AI)的一个重要研究课题,使研究人员能够设计认知AI系统,并为用户提供与机器人交互的直观方式。值得注意的是,沟通发挥着核心作用。到目前为止,先前的研究体现代理导航只表明,人类语言促进通信的指令在自然语言。尽管如此,还有许多其他形式的交流方式没有得到探索。事实上,人类交流起源于手势,并且通常通过多模态提示来传递,例如,用指向手势“去那里”。为了弥合差距,并填补在体现代理导航的沟通缺失的维度,我们建议调查使用手势作为沟通界面,而不是口头提示的影响。具体而言,我们开发了一个基于VR的三维仿真环境,命名为Ges-THOR,基于AI 2-THOR平台。在这个虚拟环境中,一个人类玩家被放置在同一个虚拟场景中,只使用手势来引导人工代理。该代理的任务是解决导航问题的自然手势与未知的语义指导,我们不使用任何预定义的手势,由于人类手势的多样性和通用性。我们认为,学习自然手势的语义是互惠互利的学习导航任务-学习沟通和沟通学习。在一系列的实验中,我们证明了人类的手势提示,即使没有预定义的语义,提高了对象目标导航的体现代理,优于各种国家的最先进的方法。
2021-08-05 cs.AI cs.CV cs.HC
Nonverbal Immediacy Analysis in Education: A Multimodal Computational Model
Technische Universität Berlin(柏林工业大学);University of Potsdam(波茨坦大学);Science of Intelligence (SCIoI), Cluster of Excellence(卓越集群“智能科学”(SCIoI))
本研究提出一种整合多模态行为线索的计算模型,用于评估教师非言语即时性,经德国课堂数据集验证,模型与人类评分及教育成果有相关性,为教育行为客观评估提供新支持。
2024-07-24 cs.AI cs.CV cs.HC
HapTable: An Interactive Tabletop Providing Online Haptic Feedback for Touch Gestures
Koc University(科奇大学)
我们提出HapTable;一种多模式交互桌面,允许用户通过自然触摸手势与数字图像和对象交互,并相应地接收视觉和触觉反馈。在我们的系统中,手的姿态是由红外摄像机和手势进行分类,使用支持向量机(SVM)分类器。为了显示一组丰富的静态和动态手势的触觉效果,我们有效地集成了机电和静电驱动技术的HapTable,这是一个表面电容式触摸屏的桌面表面。我们将四个压电贴片连接到桌面的边缘,以显示静态手势的振动触觉反馈。为此,通过激光多普勒测振仪在其表面上获得84个网格点的频率响应函数(FRFs)形式的台面振动响应。使用这些FRF,可以在表面上显示静态手势的局部振动触觉反馈。对于动态手势,我们利用静电驱动技术,通过施加电压到其导电层来调制手指皮肤和桌面表面之间的摩擦力。在这里,我们提出了两个这样的应用程序的例子,一个静态和动态手势,以及详细的用户研究。在第一个示例中,用户通过将手放在桌面上并感觉在其下方行进的振动触觉刺激来检测虚拟流动的方向,例如风或水的方向。在第二个示例中,用户旋转桌面上的虚拟旋钮以从菜单中选择项目,同时以摩擦触觉反馈的形式感觉旋钮的止动件和旋转阻力。
2021-03-30 cs.CV cs.GR cs.HC
MVTN: A Multiscale Video Transformer Network for Hand Gesture Recognition
Department of Electronics;Communication Engineering, Indian Institute of Technology, Roorkee, India
本文提出MVTN,一种用于动态手势识别的多尺度视频Transformer网络,通过多阶段提取不同维度的注意力构建多尺度特征层次结构,并结合多模态数据,以更低的计算复杂度和参数量实现了最先进的识别性能。
2024-09-05 cs.CV cs.HC
Reference-Based Manipulation: A Framework and Pipeline for Multimodal Spatial Reasoning
Georgia Institute of Technology(佐治亚理工学院);City University of Hong Kong(香港城市大学);Southern University of Science and Technology(南方科技大学)
本研究针对沉浸式平台中多模态空间交互问题,提出基于参考的操作框架,分解空间参考为源、锚点、框架组件,实现LLM驱动的流程并验证其效用,为空间交互设计提供关键经验。
2026-08-06 cs.HC
ImaGGen: Zero-Shot Generation of Co-Speech Semantic Gestures Grounded in Language and Image Input
Social Cognitive Systems Group, Bielefeld University(比勒菲尔德大学社会认知系统小组)
本文提出ImaGGen零样本系统,融合语言与图像输入,通过图像属性提取、语义匹配及逆运动学生成语义手势,用户研究表明其能有效提升歧义场景下的对象属性识别。
2025-10-20 cs.CV cs.HC
The ReprGesture entry to the GENEA Challenge 2022
Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);Huawei Cloud Computing Technologies Co., Ltd(华为云计算技术有限公司);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文介绍了ReprGesture进入2022年非语言行为的生成和评估智能体(GENEA)挑战赛。GENEA挑战赛提供了经过处理的数据集,并进行了众包评估,以比较不同手势生成系统的性能。在本文中,我们探讨了一个自动手势生成系统的基础上多模态表示学习。我们使用WavLM功能的音频,FastText功能的文本和位置和旋转矩阵功能的手势。每个模态被投射到两个不同的子空间:模态不变和模态特定。为了学习模态间不变的共性并捕获模态特定表示的特征,在训练期间使用基于梯度反转层的对抗分类器和模态重建解码器。手势解码器使用与音频中的节奏相关的所有表示和特征来生成适当的手势。我们的代码、预训练模型和演示可在https://github.com/YoungSeng/ReprGesture上获得。
2022-08-25 cs.AI cs.HC cs.MM
UniScale: Exploring Unimanual Gesture Mapping Strategies for Gaze+Pinch-based Scaling Interaction
Graduate School of Culture Technology at KAIST(KAIST文化技术研究生院)
该研究针对XR环境提出单手势缩放方案UniScale,设计五种映射策略并与双手捏合基线对比,发现单手势技术在无抓持缩放时可显著减少手部移动,为XR多模态交互提供设计启示。
2026-09-02 cs.HC
ConvMixFormer- A Resource-efficient Convolution Mixer for Transformer-based Dynamic Hand Gesture Recognition
Indian Institute of Technology, Roorkee(印度鲁尔基理工学院)
本文提出ConvMixFormer架构,用卷积混合器替代自注意力并引入门控机制,降低参数与计算成本,在动态手势识别数据集上取得SOTA效果。
2024-12-02 cs.CV cs.HC cs.LG
You Have a Point There: Object Selection Inside an Automobile Using Gaze, Head Pose and Finger Pointing
汽车行业中复杂的用户交互是一个新兴的话题。空中手势和语音已经在驾驶员与汽车的互动中有了许多应用。此外,正在开发多模式方法,以利用多个传感器的使用来获得额外的优势。在本文中,我们提出了一个快速和实用的多模态融合方法的基础上机器学习的选择各种控制模块的汽车。考虑的模态是凝视、头部姿势和手指指向手势。语音仅用作融合的触发器。单模态先前已经被多次用于识别用户的指向方向。然而,我们演示了如何将多个输入融合在一起,以提高识别性能。此外,我们将不同的深度神经网络架构与传统的机器学习方法(即支持向量回归和随机森林)进行了比较,并展示了使用深度学习在指向方向准确性方面的增强。结果表明,使用多模态输入具有很大的潜力,可以应用于车辆中的更多用例。
2020-12-24 cs.HC
GestFormer: Multiscale Wavelet Pooling Transformer Network for Dynamic Hand Gesture Recognition
Indian Institute of Technology, Roorkee(印度理工学院鲁基分校)
本文提出资源高效的 GestFormer,用 PoolFormer 池化 token mixer、多尺度小波池化和门控机制实现动态手势识别,并在多模态数据集上验证其性能与效率。
2024-05-18 cs.CV cs.HC
Real-Time Multimodal Signal Processing for HRI in RoboCup: Understanding a Human Referee
Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(RUDN大学));Joint Institute for Nuclear Research(联合核子研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学);Sapienza University of Rome(罗马第一大学(萨皮恩扎大学));Institute for Cognitive Sciences and Technologies, National Research Council, Italy(意大利国家研究委员会认知科学与技术研究所);University of Basilicata(巴西利卡塔大学);University of International Studies of Rome – UNINT(罗马国际研究大学(UNINT))
针对动态环境中自主系统的人机通信需求,本研究在RoboCup场景下,基于NAO机器人平台实现两阶段手势识别流水线与连续卷积神经网络哨声检测,增强了实时人机交互能力,为自主系统开发提供工具。
2024-11-26 cs.CV cs.HC cs.RO
Super Star: Towards Streaming Real-time Interactive Agents for Digital Humans
ShanghaiTech University(上海科技大学);LIGHTSPEED(腾讯光速工作室)
本文针对交互式数字人提出流式实时同步言语手势生成任务,构建耦合流式语音响应与在线手势生成的框架,经实验验证其在延迟-质量权衡等方面优于现有基线。
2026-08-27 cs.CV cs.HC cs.SD
Speech-driven Personalized Gesture Synthetics: Harnessing Automatic Fuzzy Feature Inference
Macau University of Science and Technology(澳门科技大学);Communication University of Zhejiang(浙江传媒学院);Zhejiang Lab(之江实验室);Communication University of China(中国传媒大学);Zhejiang University(浙江大学);Zhejiang Institute of Economics and Trade(浙江经贸职业技术学院)
针对语音驱动手势生成中多特征处理难题,提出Persona-Gestor模型,利用模糊特征推理和AdaLN Transformer扩散架构,仅凭语音生成个性化3D手势,在多个数据集上超越现有方法。
2024-03-16 cs.AI cs.CV cs.GR
Multimodal Affect Analysis for Product Feedback Assessment
MIE, LSU(路易斯安那州立大学机械与工业工程系)
消费者经常对食品样品、香水、珠宝、太阳镜和服装配件等产品做出富有表现力的反应。本研究讨论了一个多模态的影响识别系统开发分类消费者是否喜欢或不喜欢的产品测试在柜台或售货亭,通过分析消费者的面部表情,身体姿势,手势,和语音测试后的产品。使用了一个具有深度功能的摄像头和麦克风系统- Kinect for Windows。一个情感识别引擎已被开发来分析图像和语音,以确定客户的情感状态。利用肤色和自适应阈值对图像进行分割。使用Haar级联分类器检测面部、身体和手。Canny边缘识别和嘴唇,身体和手的轮廓提取使用空间滤波。嘴、脸颊、眼睛、肩膀、手指周围的边数和方向以及边的位置被用作特征。通过情感模板映射算法和使用支持向量机训练分类器来完成分类。评价了反馈评价中多模态情感识别的实时性、准确性和可行性。
2017-05-07 cs.AI cs.CV cs.HC
Multimodal Quantitative Measures for Multiparty Behaviour Evaluation
TU Delft(代尔夫特理工大学);Tilburg University(蒂尔堡大学);Google(谷歌公司)
本文提出一个基于干预的多模态度量框架,从同步性、时间对齐和结构相似性三个维度客观评估多方社会行为,并通过扰动实验和感知研究验证其有效性,为评估社会智能体提供了稳健工具包。
2025-08-01 cs.AI cs.CY cs.HC
Towards Reliable Human Evaluations in Gesture Generation: Insights from a Community-Driven State-of-the-Art Benchmark
KTH Royal Institute of Technology(皇家理工学院);Bielefeld University(比勒菲尔德大学);University of Science – VNUHCM(越南胡志明市国家大学);Independent Researcher(独立研究者);Motorica AB(Motorica AB公司);Peking University(北京大学);Tsinghua University(清华大学);Astribot(Astribot公司);Max-Planck Institute for Informatics, SIC(马克斯·普朗克信息研究所,SIC);Trinity College Dublin(都柏林大学);University of California, Davis(加州大学戴维斯分校);SEED – Electronic Arts(SEED–电子艺界);Electronics and Telecommunications Research Institute (ETRI)(电子电信研究院)
本文通过社区驱动的基准测试,揭示了 gesture 生成中人类评估的标准化问题,指出 motion 实际和语音-手势对齐的评估结果存在争议,强调需采用解耦的评估方法以提升基准测试的准确性。
2026-04-22 cs.CV cs.GR cs.HC
MM-Conv: A Multi-modal Conversational Dataset for Virtual Humans
KTH Royal Institute of Technology(皇家理工学院)
本文提出MM-Conv数据集,利用VR头显在AI2-THOR中记录指称对话的多模态数据,以增强3D场景下手势生成模型的上下文理解与开发。
2024-09-30 cs.CL cs.CV cs.GR