A short review and primer on event-related potentials in human computer interaction applications
心理生理学在人机交互中的应用是一个不断发展的领域,在未来的智能个性化系统中具有巨大的潜力。在这个新兴领域工作需要理解一系列生理信号和分析技术。事件相关电位(英语:Event-related potentials),又称事件相关电位(ERPs),是一种刺激或动作锁定的波形,表示一种特征性的神经反应。从脑电中提取的事件相关电位在基础研究中得到了广泛的研究,特别是在脑机接口领域得到了广泛的应用。对于生态有效的设置有相当大的挑战,应用,但最近的工作表明,实验室以外的ERP的一些承诺。本文就ERP在人机交互中的应用作一简要综述。本文旨在为新手提供入门,使其能够快速熟悉最新的核心概念。我们特别强调日常的人机界面应用,以区别于心理生理学更常见的临床或体育用途。本文是从一个全面审查的整个领域的门诊心理生理学,包括12个类似的章节,加上应用指南和系统的审查摘录。因此,任何引用都应使用以下参考文献:B。Cowley,M. Filetti,K. Lukander,J. Torniainen,A.赫内柳斯湖阿霍宁岛巴拉尔岛Kosunen,T. Valtonen,M. Huotilainen,N.拉瓦哈湾雅库奇心理生理学入门:方法指南和广泛的评论,重点是人机交互。《人机交互的基础和趋势》,第9卷,第3-4期,第10页。150- 307,2016年。
2016-09-02 cs.HC
A short review and primer on the use of human voice in human computer interaction applications
心理生理学在人机交互中的应用是一个不断发展的领域,在未来的智能个性化系统中具有巨大的潜力。在这个新兴领域工作需要理解一系列生理信号和分析技术。除了语言内容外,人类的语音还提供了语调、音质、韵律和话语节奏变化方面的丰富信息,使听众能够识别说话者的许多不同情绪状态。几种类型的因素影响语音,从情绪到认知负荷和病理条件,为在线理解上下文和心理生理状态提供了一个有前途的非侵入性来源。本文旨在为新手提供入门,使其能够快速熟悉最新的核心概念。我们特别强调日常的人机界面应用,以区别于心理生理学更常见的临床或体育用途。本文是从一个全面审查的整个领域的门诊心理生理学,包括12个类似的章节,加上应用指南和系统的审查摘录。因此,任何引用都应使用以下参考文献:B。Cowley,M. Filetti,K. Lukander,J. Torniainen,A.赫内柳斯湖阿霍宁岛巴拉尔岛Kosunen,T. Valtonen,M. Huotilainen,N.拉瓦哈湾雅库奇心理生理学入门:方法指南和广泛的评论,重点是人机交互。《人机交互的基础和趋势》,第9卷,第3-4期,第10页。150- 307,2016年。
2016-09-23 cs.HC
A short review and primer on online processing of multiple signal sources in human computer interaction applications
心理生理学在人机交互中的应用是一个不断发展的领域,在未来的智能个性化系统中具有巨大的潜力。在这个新兴领域工作需要理解一系列生理信号和分析技术。流处理系统(SPS)是一种新兴的计算平台,可用于人机交互,对大容量多模态信号进行实时分析。使用包含在多个信号中的互补信息是期望的,因为它可以使HCI系统更鲁棒。在本预印本中,我们回顾了以HCI为中心的流处理系统的现有软件和硬件解决方案。预印本还从分析生理信号的角度简要介绍了SPS的设计考虑和结构。本文旨在为新手提供入门,使其能够快速熟悉最新的核心概念。我们特别强调日常的人机界面应用,以区别于心理生理学更常见的临床或体育用途。本文是从一个全面审查的整个领域的门诊心理生理学,包括12个类似的章节,加上应用指南和系统的审查摘录。因此,任何引用都应使用以下参考文献:B。Cowley,M. Filetti,K. Lukander,J. Torniainen,A.赫内柳斯湖阿霍宁岛巴拉尔岛Kosunen,T. Valtonen,M. Huotilainen,N.拉瓦哈湾雅库奇心理生理学入门:方法指南和广泛的评论,重点是人机交互。《人机交互的基础和趋势》,第9卷,第3-4期,第10页。150- 307,2016年。
2016-09-26 cs.HC
A short review and primer on respiration in human computer interaction applications
心理生理学在人机交互中的应用是一个不断发展的领域,在未来的智能个性化系统中具有巨大的潜力。在这个新兴领域工作需要理解一系列生理信号和分析技术。在生理信号中,呼吸是独特的,因为它可以被有意识地控制,这在设计应用程序时必须考虑在内。呼吸与其他生理信号密切相关,特别是心血管活动,并且经常与其他信号一起分析。当单独分析时,呼吸速率的增加可以被视为代谢需求的增加,这表明激活状态,如参与和注意力。本文就呼吸在人机交互中的应用作一简要综述。本文旨在为新手提供入门,使其能够快速熟悉最新的核心概念。我们特别强调日常的人机界面应用,以区别于心理生理学更常见的临床或体育用途。本文是从一个全面审查的整个领域的门诊心理生理学,包括12个类似的章节,加上应用指南和系统的审查摘录。因此,任何引用都应使用以下参考文献:B。Cowley,M. Filetti,K. Lukander,J. Torniainen,A.赫内柳斯湖阿霍宁岛巴拉尔岛Kosunen,T. Valtonen,M. Huotilainen,N.拉瓦哈湾雅库奇心理生理学入门:方法指南和广泛的评论,重点是人机交互。《人机交互的基础和趋势》,第9卷,第3-4期,第10页。150- 307,2016年。
2016-09-12 cs.HC
A short review and primer on using video for psychophysiological observations in human-computer interaction applications
心理生理学测量在人机交互中的应用是一个不断发展的领域,具有未来智能个性化系统的巨大潜力。在这个新兴领域工作需要理解一系列生理信号和分析技术。在现实世界中测量心理生理变量的一个重要方面是测量设置的侵入性。视频是一种可以从远处捕获而不会中断主题的信号。此外,摄像机技术的进步使得能够以越来越高的精度从视频信号中检测越来越多的心理生理现象。本文旨在为新手提供入门,使其能够快速熟悉最新的核心概念。我们特别强调日常的人机界面应用,以区别于心理生理学更常见的临床或体育用途。本文是从一个全面审查的整个领域的门诊心理生理学,包括12个类似的章节,加上应用指南和系统的审查摘录。因此,任何引用都应使用以下参考文献:B。Cowley,M. Filetti,K. Lukander,J. Torniainen,A.赫内柳斯湖阿霍宁岛巴拉尔岛Kosunen,T. Valtonen,M. Huotilainen,N.拉瓦哈湾雅库奇心理生理学入门:方法指南和广泛的评论,重点是人机交互。《人机交互的基础和趋势》,第9卷,第3-4期,第10页。150- 307,2016年。
2016-09-27 cs.HC
Natural Typing Recognition via Surface Electromyography
Nokia Bell Labs(诺基亚贝尔实验室)
通过使用计算机键盘作为手指记录设备,我们通过表面肌电图(sEMG)构建了用于手势识别的最大现有数据集,并使用深度学习完全从测量的肌肉电位重建键入文本时实现了超过90%的字符级准确度。我们优先考虑EMG信号的时间结构,而不是电极布局的空间结构,使用受实时口语转录启发的网络架构。我们的体系结构认识到自然计算机打字的快速运动,这些运动以不规则的间隔发生,并且经常在时间上重叠。我们的数据集的广泛大小也使我们能够在综合降低空间或时间分辨率后研究手势识别,显示实时手势识别所需的系统功能。
2021-09-29 cs.HC cs.LG
A short review and primer on electroencephalography in human computer interaction applications
心理生理学在人机交互中的应用是一个不断发展的领域,在未来的智能个性化系统中具有巨大的潜力。在这个新兴领域工作需要理解一系列生理信号和分析技术。研究中枢神经系统(CNS)的方法通常是昂贵和费力的。然而,脑电图(EEG)是CNS研究中最经济实惠和流动的方法之一。它被用于各种临床研究,并已被广泛研究了几十年。尽管脑电信号容易受到噪声和环境因素的影响,但脑电信号是脑-机交互(BCI)研究中应用最广泛的方法。在这里,我们简要讨论了记录信号的各个方面,它们的解释,以及在相互作用研究领域的使用。本文旨在为新手提供入门,使其能够快速熟悉最新的核心概念。我们特别强调日常的人机界面应用,以区别于心理生理学更常见的临床或体育用途。本文是从一个全面审查的整个领域的门诊心理生理学,包括12个类似的章节,加上应用指南和系统的审查摘录。因此,任何引用都应使用以下参考文献:B。Cowley,M. Filetti,K. Lukander,J. Torniainen,A.赫内柳斯湖阿霍宁岛巴拉尔岛Kosunen,T. Valtonen,M. Huotilainen,N.拉瓦哈湾雅库奇心理生理学入门:方法指南和广泛的评论,重点是人机交互。《人机交互的基础和趋势》,第9卷,第3-4期,第10页。150- 307,2016年。
2016-09-05 cs.HC q-bio.NC
SurfMyoAiR: A surface Electromyography based framework for Airwriting Recognition
空写识别是指通过手指的运动来识别写在自由空间中的字母。肌电图(EMG)是一种用于记录由于运动而导致的肌肉收缩和放松期间的电活动的技术,并广泛用于手势识别。目前手势识别的研究主要集中在静态手势的识别上。然而,动态手势作为人机交互应用中的替代输入方法是自然的和用户友好的。因此,使用从前臂肌肉记录的EMG信号进行空写识别是一种可行的解决方案。由于用户不需要学习任何新的手势,并且可以通过连接这些字母来形成大范围的单词,因此它可以推广到更广泛的人群。在识别使用肌电信号的空气书写方面的工作有限,并形成了当前工作的核心思想。构建了由书写英文字母过程中记录的肌电信号组成的SurfMyoAiR数据集。研究了几种不同的时域特征来构建EMG包络和两种不同的时频图像表示:短时傅立叶变换和连续小波变换,以形成用于航空笔迹识别的深度学习模型的输入。几种不同的深度学习架构被用于此任务。此外,各种参数,如信号长度,窗口长度和插值技术对识别性能的影响进行了全面的探讨。最佳实现的准确率分别为78.50%和62.19%,在用户依赖和独立的情况下,通过使用短时傅立叶变换结合二维卷积神经网络为基础的分类器。在人机交互应用中,空写作为一种用户友好的输入方式具有很大的潜力。
2022-10-31 cs.HC
Facial movement synergies and Action Unit detection from distal wearable Electromyography and Computer Vision
NTT Communication Science Laboratories(NTT通信科学实验室);University of Tsukuba(筑波大学);University of Hiroshima(广岛大学)
远端面部肌电图(EMG)可以用于检测微笑和皱眉,具有合理的准确性。它利用容量传导来检测相关的肌肉活动,即使电极没有直接放置在源肌肉上。这种方法的主要优点是防止面部表情产生的遮挡和阻碍,同时允许EMG测量。然而,远端测量EMG需要面部运动的确切来源是未知的。提出了一种基于远端面部肌电信号和计算机视觉的面部动作单位估计方法。该方法基于独立分量分析(ICA)、非负矩阵分解(NNMF)和对所得分量的排序,以确定哪个最有可能对应于每个CV标记的动作单元(AU)。通过计算与人类编码器的一致性,估计检测AU 06(眼轮匝肌)和AU 12(大颧肌)的性能。我们提出的算法的结果显示,AU 6的准确率为81%,Cohen's Kappa为0.49; AU 12的准确率为82%,Cohen's Kappa为0.53。这证明了远端EMG检测个体面部运动的潜力。使用这种多模式方法,确定了几个AU协同作用。我们使用人类编码的标签量化了AU 6和AU 12在摆姿势和自发微笑中的共同出现和时间,并使用连续CV标签进行比较。共现分析也进行了基于EMG的标签,以揭示肌肉协同作用和可见的面部运动的运动学之间的关系。
2020-08-20 cs.CV cs.HC eess.IV
Electroencephalography (EEG), electromyography (EMG) and eye-tracking for astronaut training and space exploration
将人类送回月球和火星的持续推动正在产生一系列新颖的技术解决方案,以支持未来的宇航员探险。在这种背景下,欧洲航天局(ESA)最近启动了一项关于不引人注目的接口技术的调查,作为应对这些挑战的潜在答案。在这方面,三种特定的技术已经显示出前景:基于EEG的脑机接口(BCI)提供了利用用户大脑的记录的电活动的非侵入性方法,肌电图(EMG)使得能够监测由用户的肌肉收缩生成的电信号,并且最后,眼动追踪使得能够例如经由相机记录来跟踪用户的注视方向以传达命令。除了简单地提高前瞻性技术解决方案的可用性之外,我们的研究结果表明,EMG、EEG和眼动追踪还可以用于监测和评估各种认知状态,包括用户的注意力、认知负荷和精神疲劳,而EMG还可以用于监测用户的身体状态。我们详细阐述了这三种使能技术的主要优势和挑战,并根据欧空局的最新发现,我们反思了它们在载人航天飞行背景下的适用性。此外,还提供了技术准备就绪的时间轴。这样做,这篇送纸机构将为日益增长的关于新兴技术及其在为人类重返月球和地球轨道以外的探险铺平道路方面的作用的讨论提供素材。
2022-09-27 cs.HC
MindDesktop: a general purpose brain computer interface
脑电图(EEG)和肌电图(EMG)的最新进展使严重残疾的人能够进行交流。在本文中,我们提出了一个系统,使使用常规的计算机使用现成的EEG/EMG耳机,提供了一个指向设备和虚拟键盘,可用于操作任何基于Windows的系统,最大限度地减少用户的努力所需的个人电脑进行交互。所提出的系统的有效性进行评估的可用性研究,表明减少学习曲线完成各种任务。建议的系统可在提供的链接。
2017-05-21 cs.HC
emg2qwerty: A Large Dataset with Baselines for Touch Typing using Surface Electromyography
Reality Labs, Meta(Meta Reality Labs);Meta
本研究推出大规模腕部sEMG触摸打字数据集emg2qwerty(含108名用户、346小时数据),配套可复现基线,借鉴ASR技术实现了仅靠肌电信号预测按键的优异性能,助力人机交互与神经科学研究。
2025-03-20 cs.HC cs.LG eess.AS
Development of a Low-Cost Prosthetic Hand Using Electromyography and Machine Learning
University of Khartoum(喀土穆大学);The University of Electro-Communications(电气通信大学)
本文开发了一种面向发展中国家的低成本肌电假肢手,通过三块肌肉的EMG信号和浅层神经网络实现五种手势分类,并集成手腕旋转与触觉反馈,时域分类准确率达97.25%。
2026-11-17 cs.HC cs.RO
Decoding Event-related Potential from Ear-EEG Signals based on Ensemble Convolutional Neural Networks in Ambulatory Environment
Korea University(高丽大学)
近年来,实用的脑机接口被积极地实施,特别是在移动环境中。然而,当用户运动时,脑电信号会受到运动伪影和肌电信号的影响而发生畸变,这给用户的意图识别带来了困难。此外,由于硬件问题也是一个挑战,耳-脑电已被开发为实用的脑机接口,并已被广泛使用。本文提出了基于集成的卷积神经网络,并从统计分析和脑机接口性能两个方面分析了动态环境下头皮和耳脑电的视觉事件相关电位反应。当以1.6 m/s的速度快速行走时,脑机接口性能下降3-14%。所提出的方法显示,在0.728的平均曲线下面积。该方法对动态环境和不平衡数据具有很好的鲁棒性。
2021-03-03 cs.AI cs.HC
Decoding Visual Responses based on Deep Neural Networks with Ear-EEG Signals
近年来,实用的脑机接口被积极地实施,特别是在移动环境中。然而,运动伪迹和运动状态下的肌电信号会使脑电信号发生畸变,从而使人的意图识别变得困难。此外,由于硬件问题也是具有挑战性的,耳-EEG已经被开发用于实用的脑机接口并且被广泛使用。然而,耳EEG仍然包含被污染的信号。本文提出了一种在步行条件下鲁棒的双流深度神经网络,并从统计分析和脑机接口性能两个方面分析了头皮和耳朵中的视觉反应脑电信号。我们验证了视觉反应范式,稳态视觉诱发电位的信号。当以1.6 m/s的速度快速行走时,脑机接口性能下降3~14%。当应用该方法时,头-EEG和耳-EEG的准确性分别提高了15%和7%。该方法在会话相关和会话到会话的实验中显示出对走动条件的鲁棒性。
2020-02-04 cs.HC eess.SP
Interactive Communication -- cross-disciplinary perspectives from psychology, acoustics, and technology
Carl von Ossietzky University of Oldenburg(奥尔登堡卡尔·冯·奥西茨基大学);IfADo - Leibniz Research Centre for Working Environment and Human Factors at TU Dortmund(多特蒙德工业大学 IfADo - 莱布尼茨工作环境与人类因素研究中心);RWTH Aachen University(亚琛工业大学);Ruhr-Universität Bochum(波鸿鲁尔大学);Kiel University(基尔大学);Jade University of Applied Sciences(雅德应用科技大学);University of Regensburg(雷根斯堡大学)
本文从跨学科视角介绍交互式通信,整合心理机制与多方面限制,概述理论框架、总结关键方法,讨论辅助听力技术等应用及伦理考量,强调人类能力与技术系统共同塑造交互式通信,整合相关研究要点。
2026-07-22 cs.HC
TripCEAiR: A Multi-Loss minimization approach for surface EMG based Airwriting Recognition
空写识别是指通过手指的运动来识别空写字母的问题。它可以被看作是动态手势识别的特殊情况,其中手势集是特定语言中的字母。表面肌电图(sEMG)是一种非侵入性方法,用于捕获由于肌肉收缩和放松而产生的电信号。sEMG已被广泛用于手势识别应用。与静态手势不同,动态手势是用户友好的,并且可以用作人机交互中的应用的输入方法。在动态手势识别方面的工作有限,例如使用sEMG信号的airwriting,并且形成了当前工作的核心。在这项工作中,多损失最小化框架的表面肌电信号为基础的手写识别。所提出的框架旨在学习一个特征嵌入向量,最大限度地减少三重损失,同时学习分类器头的参数,以识别相应的字母。该方法在实验室记录的数据集上进行了验证,该数据集包括来自50名参与者书写英文字母的sEMG信号。三重丢失,三重挖掘策略和特征嵌入维数的不同变化的影响也被提出。使用半硬正和硬负三元组挖掘,在用户依赖和独立场景下的最佳准确率分别为81.26%和65.62%。我们实现的代码将在https://github.com/ayushayt/TripCEAiR上提供。
2023-03-19 cs.HC
emg2pose: A Large and Diverse Benchmark for Surface Electromyographic Hand Pose Estimation
Reality Labs, Meta(Meta Reality Labs)
本文提出emg2pose大规模多用户腕部sEMG手部姿态基准,并通过基线与留出任务评估跨用户、传感器位置和阶段的泛化。
2024-12-02 cs.CV cs.HC cs.LG
Interacting with Masculinities: A Scoping Review
本文通过综述CHI论文集中126篇论文,梳理人机交互领域30年来男性气质研究的发展,并提出未来研究议程。
2023-04-22 cs.CY cs.HC
A Multi-Objective Optimisation Framework for Corticomuscular EEG-EMG Pair Selection in Hybrid BCI
IIT Gandhinagar(印度理工学院甘地纳加尔分校)
提出一种数据驱动的EEG-EMG通道对选择框架,将选择问题建模为双目标优化,用NSGA-II求解,在八名中风患者数据上达到89.6%平均分类准确率。
2026-09-18 cs.AI cs.ET cs.HC
First Contact: Unsupervised Human-Machine Co-Adaptation via Mutual Information Maximization
University of California, Berkeley(加州大学伯克利分校)
我们如何训练辅助人机界面(例如,基于肌电图的肢体假肢)将用户的原始命令信号转换为机器人或计算机的动作,当没有事先映射时,我们不能要求用户以动作标签或奖励反馈的形式进行监督,并且我们没有用户试图完成的任务的先验知识?本文的关键思想是,无论任务如何,当界面更直观时,用户的命令就不会那么嘈杂。我们正式这个想法作为一个完全无监督的目标优化接口:用户的命令信号和环境中的诱导状态转换之间的互信息。为了评估这个互信息分数是否可以区分有效和无效的界面,我们对540K用户操作各种键盘和眼睛注视界面进行了观察研究,用于打字,控制模拟机器人和玩视频游戏。结果表明,我们的互信息分数是预测在各种领域的地面实况任务完成指标,平均斯皮尔曼的等级相关性为0.43。除了对现有接口进行离线评估外,我们还使用无监督目标从头开始学习接口:我们随机初始化接口,让用户尝试使用接口执行他们想要的任务,测量互信息分数,并通过强化学习更新接口以最大化互信息。我们评估我们的方法,通过用户研究与12名参与者谁执行2D光标控制任务,使用扰动鼠标,和一个用户玩月球登陆器游戏使用手势的实验。结果表明,我们可以在30分钟内从头开始学习一个界面,而无需任何用户监督或任务的先验知识。
2022-09-15 cs.HC cs.LG cs.RO
FORS-EMG: A Novel sEMG Dataset for Hand Gesture Recognition Across Multiple Forearm Orientations
Varendra University(瓦伦德拉大学);Universiti Kebangsaan Malaysia(马来西亚国民大学);University of Rajshahi(拉杰沙希大学);Independent University(独立大学)
针对现有表面肌电数据集缺乏动态因素考量的问题,本研究构建了包含三种前臂朝向的新型手势识别数据集,可用于评估模型跨朝向性能,为相关技术发展提供基准支持。
2024-11-26 cs.HC cs.LG eess.SP