A short review and primer on online processing of multiple signal sources in human computer interaction applications
心理生理学在人机交互中的应用是一个不断发展的领域,在未来的智能个性化系统中具有巨大的潜力。在这个新兴领域工作需要理解一系列生理信号和分析技术。流处理系统(SPS)是一种新兴的计算平台,可用于人机交互,对大容量多模态信号进行实时分析。使用包含在多个信号中的互补信息是期望的,因为它可以使HCI系统更鲁棒。在本预印本中,我们回顾了以HCI为中心的流处理系统的现有软件和硬件解决方案。预印本还从分析生理信号的角度简要介绍了SPS的设计考虑和结构。本文旨在为新手提供入门,使其能够快速熟悉最新的核心概念。我们特别强调日常的人机界面应用,以区别于心理生理学更常见的临床或体育用途。本文是从一个全面审查的整个领域的门诊心理生理学,包括12个类似的章节,加上应用指南和系统的审查摘录。因此,任何引用都应使用以下参考文献:B。Cowley,M. Filetti,K. Lukander,J. Torniainen,A.赫内柳斯湖阿霍宁岛巴拉尔岛Kosunen,T. Valtonen,M. Huotilainen,N.拉瓦哈湾雅库奇心理生理学入门:方法指南和广泛的评论,重点是人机交互。《人机交互的基础和趋势》,第9卷,第3-4期,第10页。150- 307,2016年。
2016-09-26 cs.HC
A short review and primer on electromyography in human computer interaction applications
心理生理学在人机交互中的应用是一个不断发展的领域,在未来的智能个性化系统中具有巨大的潜力。在这个新兴领域工作需要理解一系列生理信号和分析技术。肌电图(EMG)是一种有用的信号,以估计个人的情绪背景,因为它是相对强大的,简单的记录和分析。常见的用途是推断对刺激的反应的情绪效价,并索引一些压力症状。然而,为了解释EMG信号,必须将它们与物理,社会和意图背景的数据一起考虑。本文就肌电信号在人机交互中的应用作一简要综述。本文旨在为新手提供入门,使其能够快速熟悉最新的核心概念。我们特别强调日常的人机界面应用,以区别于心理生理学更常见的临床或体育用途。本文是从一个全面审查的整个领域的门诊心理生理学,包括12个类似的章节,加上应用指南和系统的审查摘录。因此,任何引用都应使用以下参考文献:B。Cowley,M. Filetti,K. Lukander,J. Torniainen,A.赫内柳斯湖阿霍宁岛巴拉尔岛Kosunen,T. Valtonen,M. Huotilainen,N.拉瓦哈湾雅库奇心理生理学入门:方法指南和广泛的评论,重点是人机交互。《人机交互的基础和趋势》,第9卷,第3-4期,第10页。150- 307,2016年。
2016-09-02 cs.HC
A short review and primer on respiration in human computer interaction applications
心理生理学在人机交互中的应用是一个不断发展的领域,在未来的智能个性化系统中具有巨大的潜力。在这个新兴领域工作需要理解一系列生理信号和分析技术。在生理信号中,呼吸是独特的,因为它可以被有意识地控制,这在设计应用程序时必须考虑在内。呼吸与其他生理信号密切相关,特别是心血管活动,并且经常与其他信号一起分析。当单独分析时,呼吸速率的增加可以被视为代谢需求的增加,这表明激活状态,如参与和注意力。本文就呼吸在人机交互中的应用作一简要综述。本文旨在为新手提供入门,使其能够快速熟悉最新的核心概念。我们特别强调日常的人机界面应用,以区别于心理生理学更常见的临床或体育用途。本文是从一个全面审查的整个领域的门诊心理生理学,包括12个类似的章节,加上应用指南和系统的审查摘录。因此,任何引用都应使用以下参考文献:B。Cowley,M. Filetti,K. Lukander,J. Torniainen,A.赫内柳斯湖阿霍宁岛巴拉尔岛Kosunen,T. Valtonen,M. Huotilainen,N.拉瓦哈湾雅库奇心理生理学入门:方法指南和广泛的评论,重点是人机交互。《人机交互的基础和趋势》,第9卷,第3-4期,第10页。150- 307,2016年。
2016-09-12 cs.HC
A short review and primer on using video for psychophysiological observations in human-computer interaction applications
心理生理学测量在人机交互中的应用是一个不断发展的领域,具有未来智能个性化系统的巨大潜力。在这个新兴领域工作需要理解一系列生理信号和分析技术。在现实世界中测量心理生理变量的一个重要方面是测量设置的侵入性。视频是一种可以从远处捕获而不会中断主题的信号。此外,摄像机技术的进步使得能够以越来越高的精度从视频信号中检测越来越多的心理生理现象。本文旨在为新手提供入门,使其能够快速熟悉最新的核心概念。我们特别强调日常的人机界面应用,以区别于心理生理学更常见的临床或体育用途。本文是从一个全面审查的整个领域的门诊心理生理学,包括12个类似的章节,加上应用指南和系统的审查摘录。因此,任何引用都应使用以下参考文献:B。Cowley,M. Filetti,K. Lukander,J. Torniainen,A.赫内柳斯湖阿霍宁岛巴拉尔岛Kosunen,T. Valtonen,M. Huotilainen,N.拉瓦哈湾雅库奇心理生理学入门:方法指南和广泛的评论,重点是人机交互。《人机交互的基础和趋势》,第9卷,第3-4期,第10页。150- 307,2016年。
2016-09-27 cs.HC
A short review and primer on electroencephalography in human computer interaction applications
心理生理学在人机交互中的应用是一个不断发展的领域,在未来的智能个性化系统中具有巨大的潜力。在这个新兴领域工作需要理解一系列生理信号和分析技术。研究中枢神经系统(CNS)的方法通常是昂贵和费力的。然而,脑电图(EEG)是CNS研究中最经济实惠和流动的方法之一。它被用于各种临床研究,并已被广泛研究了几十年。尽管脑电信号容易受到噪声和环境因素的影响,但脑电信号是脑-机交互(BCI)研究中应用最广泛的方法。在这里,我们简要讨论了记录信号的各个方面,它们的解释,以及在相互作用研究领域的使用。本文旨在为新手提供入门,使其能够快速熟悉最新的核心概念。我们特别强调日常的人机界面应用,以区别于心理生理学更常见的临床或体育用途。本文是从一个全面审查的整个领域的门诊心理生理学,包括12个类似的章节,加上应用指南和系统的审查摘录。因此,任何引用都应使用以下参考文献:B。Cowley,M. Filetti,K. Lukander,J. Torniainen,A.赫内柳斯湖阿霍宁岛巴拉尔岛Kosunen,T. Valtonen,M. Huotilainen,N.拉瓦哈湾雅库奇心理生理学入门:方法指南和广泛的评论,重点是人机交互。《人机交互的基础和趋势》,第9卷,第3-4期,第10页。150- 307,2016年。
2016-09-05 cs.HC q-bio.NC
A Prototype System for Controlling a Computer by Head Movements and Voice Commands
本文介绍了一个新的原型系统,用于控制一台PC机的头部运动,也与语音命令。我们的系统是一个多模式接口与控制计算机有关。所选择的交互模式是语音和手势。我们正在看到计算机和信息技术的革命进入日常实践。健康的人使用键盘、鼠标、轨迹球或触摸板来控制PC。然而,这些外围通常不适合残疾人。他们可能在使用这些标准外围设备时遇到问题,例如当他们患有肌病或受伤后无法移动他们的手时。我们的系统是为严重残疾的人提供计算机访问而开发的。该系统利用摄像机跟踪计算机用户的头部运动,并将其转换为屏幕上的鼠标指针的运动和按钮按下时的语音。因此,我们提出了一个建议系统,可用于残疾人控制PC。
2011-09-06 cs.HC
Brain-computer interface with rapid serial multimodal presentation using artificial facial images and voice
由多模态刺激引起的脑电图(EEG)信号可以驱动脑机接口(BCI),并且研究已经表明,视觉和听觉刺激可以同时用于改善BCI性能。然而,没有研究调查的影响,多模态刺激在快速串行视觉呈现(RSVP)脑机接口。在本研究中,我们提出了一个快速串行多模态呈现(RSMP)BCI,结合人工面部图像和人工语音刺激。为了阐明视听刺激对RSMP BCI的影响,分别应用加扰图像和掩蔽声音代替视觉和听觉刺激。我们的研究结果表明,视听刺激提高了RSMP BCI的性能,Pz处的P300有助于分类准确性。脑机接口的在线准确率达到85.7 ± 11.5%。总之,这些发现可能有助于开发更好的凝视独立BCI系统。
2021-06-22 cs.HC
Voice Chatbot for Hospitality
Chatbot是一种能够通过对话界面自动回答的机器。聊天机器人被认为是人机交互中最特殊和最有前途的表达方式之一。基于语音的聊天机器人或人工智能设备转换人机双向交互,其允许用户通常使用自然语言用他们的语音来导航交互式语音响应系统。在本文中,我们专注于基于语音的聊天机器人,从酒店技术提供商和客人的角度调解酒店和客人之间的互动。我们开发了一个能够接收语音输入的酒店Web应用程序。该应用程序使用语音识别和深度合成API开发,用于语音到文本和文本到语音转换,使用封闭域问答NLP解决方案查询答案。
2022-08-13 cs.HC
(Computer) Vision in Action: Comparing Remote Sighted Assistance and a Multimodal Voice Agent in Inspection Sequences
University of Copenhagen(哥本哈根大学)
研究比较了远程视觉援助与多模态语音代理在检查任务中的表现,发现代理无法产生基于环境的视觉动作,从而缺乏关键资源。
2026-02-05 cs.HC
Swar The Voice Operated PC
键盘虽然是一种流行的媒介,但并不是很方便,因为它需要一定的技能才能有效地使用。另一方面,鼠标需要良好的手眼协调。此外,当前的计算机界面还假定用户具有一定的读写水平。它还希望用户有一定的英语熟练程度。在我国,有些州的识字率低至50%,如果信息技术必须普及到基层,就必须消除这些制约因素。作为这些问题的解决方案,语音识别以及语音操作的计算机系统的概念应运而生。在本文中,我们提出了一种技术来开发一个话音识别系统,该系统将用于控制计算机通过语音输入从任何用户,即不使用鼠标和/或键盘。一旦开发出来,这个系统将对身体残疾的人有很大的好处,因为他们可以戴上耳机,解放双手和眼睛,而不是在笔记本电脑或手持电脑上滚动书面程序。
2014-01-15 cs.HC
IoT based Personal Voice Assistant
本文针对减少键盘鼠标等输入设备依赖的问题,提出并实现了一个基于 Python 的 Linux 语音助手,使用户能够通过语音运行任意命令,从而降低硬件空间和成本。
2023-05-28 cs.HC
Super Kawaii Vocalics: Amplifying the "Cute" Factor in Computer Voice
Institute of Science Tokyo(科学研究所东京);University of Amsterdam(阿姆斯特丹大学)
本研究探索计算机语音中的可爱元素,通过四阶段实验(N=512)操纵基频和共振峰,发现特定语音存在可爱“甜蜜点”和天花板效应,为可爱语音学模型提供实证验证。
2025-05-20 cs.AI cs.CL cs.CY
A Voice Controlled E-Commerce Web Application
Queen’s University(女王大学)
自动语音控制系统改变了人类与计算机交互的方式。语音或语音识别系统允许用户向计算机发出免提请求,计算机继而处理该请求并向用户提供适当的响应。经过多年的机器学习和人工智能的研究和开发,今天语音控制技术已经变得更加有效,并广泛应用于许多领域,以实现和改善人与人和人与计算机的交互。最先进的电子商业应用程序借助网络技术提供了交互式和用户友好的界面。然而,在某些情况下,人们,特别是视力残疾人,无法充分体验这些应用程序的可用性。嵌入在web应用中的语音控制系统可以增强用户体验并且可以提供语音作为控制电子商业网站的功能的手段。在本文中,我们提出了一个语音识别系统(SRS)的分类,并提出了一个语音控制的商品购买电子商业应用程序使用IBM沃森语音到文本来展示其可用性。该原型可以扩展到其他应用场景,如政府服务亭,并支持对转换后的文本数据进行分析,用于诊所的医疗诊断等场景。
2018-11-16 cs.CL cs.CY cs.HC
A Design Study on Voice-based Interaction for Immersive Network Visualization and Analysis
University of California(加利福尼亚大学)
本研究通过研究驱动设计,设计了依托大语言模型的沉浸式网络可视化语音交互系统,经用户研究表明其可提升感知可用性、降低认知负荷,为沉浸式可视化提供设计启示。
2026-07-30 cs.HC
Can Voice Assistants Be Microaggressors? Cross-Race Psychological Responses to Failures of Automatic Speech Recognition
语言技术有种族偏见,黑人用户比白人用户犯更多的错误。然而,很少有工作评估这些不同的出错率对用户本身有什么影响。本研究的目的是了解人机交互中的语音识别错误是否与跨种族人际交流中的误解具有相同的效果。在一项对照实验中(N=108),我们随机分配黑人和白人参与者与预先编程的语音助手进行交互,以显示高与低的出错率。结果显示,黑人参与者在高出错率的条件下,相比黑人参与者在低出错率的条件下,表现出显着更高的自我意识水平,较低的自尊水平和积极的影响,以及不太有利的评级的技术。白人参与者没有表现出这种不同的模式。我们讨论了设计的影响和不同的研究方向,这一初步研究的目的是作出贡献。
2023-02-23 cs.HC
Voice of Your Brain: Cognitive Representations of Imagined Speech,Overt Speech, and Speech Perception Based on EEG
每个人都有自己的声音,同样,大脑信号为每个人显示不同的神经表征。尽管近年来的研究已经揭示了语音相关范式对于高效脑机接口的鲁棒性,但它们的认知表征与实际可用性的区别仍有待发现。在此,我们研究了在想象言语、外显言语和言语感知中,受试者变化的脑电模式,以及单通道脑电对说话人识别的实际应用。我们使用深度神经网络对9名受试者进行了分类,该网络从想象语音、显性语音和语音感知的EEG中捕获时间-频谱-空间特征。此外,我们通过比较功能连接性和脑电包络特征,展示了个体被试在执行想象言语时的潜在神经特征。我们的研究结果表明,从单通道脑电的想象言语和显性言语的主体识别的可能性。同时,对三种言语相关范式的比较也为言语相关脑信号的进一步研究提供了有价值的信息。
2021-05-31 cs.HC
A Systematic Review of Ethical Concerns with Voice Assistants
本文系统综述117篇论文,分析语音助手伦理问题,发现隐私研究多于可访问性,且参与者多来自西方国家,指出研究不足。
2023-06-23 cs.HC
EyeTAP: A Novel Technique using Voice Inputs to Address the Midas Touch Problem for Gaze-based Interactions
基于凝视的交互的主要挑战之一是区分正常眼睛功能与与计算机系统的故意交互(通常称为“点石成金”)的能力。在本文中,我们提出了,EyeTAP(眼动追踪点和选择目标声脉冲)的点和选择任务的免提交互方法。我们在两个独立的用户研究中评估了原型,每个研究包含两个有33名参与者的实验,发现即使在音频输入信号中存在环境噪声的情况下,EyeTAP也是鲁棒的,容忍度高达70 dB,导致更快的移动时间和更快的任务完成时间,并且具有比话音识别更低的认知工作量。此外,在带状实验中,EyeTAP具有比停留时间方法更低的出错率。这些特性使其适用于身体活动受限或因残疾而无法活动的用户。此外,EyeTAP在用户界面设计方面没有特定要求,因此可以很容易地集成到现有系统中,只需进行最小的修改。EyeTAP可以被视为解决Midas触摸的可接受的替代方案。
2020-03-22 cs.HC
Measuring Voice UX Quantitatively: A Rapid Review
Tokyo Institute of Technology(东京工业大学)
随着基于语音的界面、代理和环境的日益普及,计算机语音正在经历一场复兴。然而,如何衡量基于语音的系统的用户体验(UX)仍然是一个开放且紧迫的问题,特别是考虑到它们的形状因子和交互风格往往是非视觉的、无形的,并且通常被认为是无实体的或“无形体的”。“作为第一步,我们调查了ACM和IEEE文献,以确定哪些量化措施和测量被认为对语音用户体验很重要。我们的研究结果表明,即使在类似的情况和系统下,也很少有共识,以及过度依赖实验室工作和未经验证的量表。作为回应,我们提供了两个高层次的描述性框架,用于指导未来的研究,开发标准化工具,并为正在进行的审查工作提供信息。我们的工作突出了语音UX研究的优势和劣势,并以更全面的方式绘制了测量语音UX的路径。
2021-03-12 cs.HC cs.RO cs.SD
GazePointAR: A Context-Aware Multimodal Voice Assistant for Pronoun Disambiguation in Wearable Augmented Reality
University of Washington(华盛顿大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
GazePointAR是一种基于情境的多模态语音助手,通过结合眼动、指向手势和对话历史来提升可穿戴增强现实中的代词消歧能力。
2024-04-12 cs.HC
Gesture Based Interaction NUI: An Overview
触摸、面部、话音识别和运动传感器都是新兴计算领域的一部分,通常被称为自然用户界面或NUI。以这些人性化的方式与技术互动不再局限于高科技特工。手势触摸、面部、话音识别和运动传感器都是新兴计算领域的一部分,通常被称为自然用户界面或NUI。以这些人性化的方式与技术互动不再局限于高科技特工。手势识别是使系统知道用户形成的手势的过程。在完全沉浸式的VR环境中,键盘通常不包括在内,技术结合了面部,语音,手势和对象识别,为用户提供各种与控制台交互的方式,而无需控制器。本文重点介绍了新兴的人机交互方式、手势识别的概念和手势类型。
2014-04-09 cs.HC
Interactive Communication -- cross-disciplinary perspectives from psychology, acoustics, and technology
Carl von Ossietzky University of Oldenburg(奥尔登堡卡尔·冯·奥西茨基大学);IfADo - Leibniz Research Centre for Working Environment and Human Factors at TU Dortmund(多特蒙德工业大学 IfADo - 莱布尼茨工作环境与人类因素研究中心);RWTH Aachen University(亚琛工业大学);Ruhr-Universität Bochum(波鸿鲁尔大学);Kiel University(基尔大学);Jade University of Applied Sciences(雅德应用科技大学);University of Regensburg(雷根斯堡大学)
本文从跨学科视角介绍交互式通信,整合心理机制与多方面限制,概述理论框架、总结关键方法,讨论辅助听力技术等应用及伦理考量,强调人类能力与技术系统共同塑造交互式通信,整合相关研究要点。
2026-07-22 cs.HC
Prodorshok I: A Bengali Isolated Speech Dataset for Voice-Based Assistive Technologies - A comparative analysis of the effects of data augmentation on HMM-GMM and DNN classifiers
BRAC University(孟加拉国布拉克大学)
Prodorshok I是一个孟加拉语孤立词数据集,旨在帮助创建基于辅助技术的独立于说话者的语音命令驱动的自动语音识别(ASR),以帮助改善人机交互(HCI)。本文介绍了使用Prodorshok I中的单词子集进行客观分析的结果,以评估其在利用具有高斯发射和深度神经网络(DNN)的隐马尔可夫模型(HMM)的ASR系统中的可靠性。结果表明,简单的数据增强,涉及一个小的音高变化,可以令人惊讶的有形改善语音识别的准确性水平。
2017-12-10 cs.HC cs.SD eess.AS
Talking Spell: A Wearable System Enabling Real-Time Anthropomorphic Voice Interaction with Everyday Objects
针对现有AI伴侣需绑定特定物品易致疏离的问题,研究提出可穿戴系统Talking Spell,借助CV、大视觉语言模型等技术让日常物品拥有拟人语音,经用户研究验证其能有效建立情感联结,提供个性化交互体验。
2025-08-28 cs.HC
HIVA: Holographic Intellectual Voice Assistant
Ala-Too International University(阿拉套国际大学)
本文介绍HIVA,一个通过动画3D吉祥物、俄语NLP流水线及多应用集成,为大学信息咨询提供面对面式交互体验的全息智能语音助手。
2023-06-28 cs.HC cs.LG
Controlling and scripting laboratory hardware with open-source, intuitive interfaces: OpenFlexure Voice Control and OpenFlexure Blockly
使用户与实验室设备的交互更加方便和直观,应该促进实验工作,帮助研究人员有效地完成任务。当前仪器中最常见的交互形式是使用按钮和旋钮的直接触觉,或者使用鼠标和键盘通过计算机进行交互。脚本编写是智能和自动化实验室设备的另一个典型功能,但用户目前需要学习定制的编程语言和单个设备的库。在本文中,我们提出了两种开源的,新颖的和直观的方式与实验室设备进行交互和脚本。我们选择OpenFlexure系列显微镜作为我们的典范,因为它们具有开源特性和智能控制系统。首先,我们演示了“OpenFlexure语音控制”,使用户能够免提控制显微镜。其次,我们提出了“OpenFlexure Blockly”,它使用Blockly可视化编程语言,使用户能够轻松地创建脚本的显微镜,使用拖放的Web界面。我们解释了开发这些工具时的设计选择,并讨论了更典型的用例和更一般的应用程序。
2023-02-02 cs.HC physics.ins-det
Efficient Multimodal Neural Networks for Trigger-less Voice Assistants
Apple(苹果公司)
提出一种基于神经网络的音频-手势多模态融合系统,用于无触发语音助手,解决了现有启发式方法适应性差、可扩展性有限及存在人类偏见的问题,实现了精准调用、广泛泛化、低功耗设备部署及开发效率提升。
2023-05-20 cs.HC cs.LG
Sequence-to-Sequence Voice Reconstruction for Silent Speech in a Tonal Language
Zhejiang University(浙江大学);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
基于发音神经肌肉活动的无声语音解码(SSD)是近年来脑机接口(BCI)研究的热点。许多研究致力于从发音神经肌肉活动中解码表面肌电图。然而,在有声调的语言(如普通话)中恢复无声语音仍然很困难。本文提出了一种优化的序列到序列(Seq 2Seq)方法,从表面肌电信号的无声语音合成语音。我们提取持续时间信息来调节sEMG的无声语音使用的音频长度。然后,我们提供了一个具有编码器-解码器结构的深度学习模型和一个最先进的声码器来生成音频波形。基于6个普通话说话人的实验结果表明,该模型能够成功地解码普通话无声语音,人工评估的平均字符出错率(CER)为6.41%.
2022-06-01 cs.HC cs.SD eess.AS
Feasibility of Using Automatic Speech Recognition with Voices of Deaf and Hard-of-Hearing Individuals
Rochester Institute of Technology(罗切斯特理工学院)
许多个人设备已经从视觉控制界面过渡到语音控制界面,以降低设备成本和交互摩擦。语音控制界面的能力不断提高,加速了这种转变,例如,亚马逊Echo或苹果Siri其后果是,失聪或听力困难(DHH)的人可能无法使用这些语音控制设备。我们发现,聋人语音有一个高的出错率相比,听力语音,在商业语音控制接口。聋人的语言有大约78%的词出错率(WER)相比,听力语言18%的WER。我们的研究结果表明,目前的语音控制接口是不可用的聋人和重听人。因此,寻求其他方法让聋人向计算机传递自然命令可能是明智的。
2019-09-03 cs.HC cs.SD eess.AS
Evaluating and Personalizing User-Perceived Quality of Text-to-Speech Voices for Delivering Mindfulness Meditation with Different Physical Embodiments
University of Southern California(南加州大学)
通过两阶段人类受试者研究评估正念冥想中TTS声音的用户感知质量,发现个性化微调TTS声音能显著提升质量,使其接近人类声音水平。
2024-01-07 cs.AI cs.HC cs.RO
Interacting with Masculinities: A Scoping Review
本文通过综述CHI论文集中126篇论文,梳理人机交互领域30年来男性气质研究的发展,并提出未来研究议程。
2023-04-22 cs.CY cs.HC
The Role of Vocal Persona in Natural and Synthesized Speech
Stanford University(斯坦福大学);Center for Computer Research in Music and Acoustics(计算机音乐与声学研究中心)
在合成语音中包含语音角色在广泛的人机交互(HCI)应用中具有重要意义,包括增强和辅助通信(AAC),艺术表演和虚拟代理设计。我们提出了一个框架,注入令人信服的和上下文相关的表达在合成的声音,通过引入合成系统中的声音角色。在这个框架中,所得到的“语音音调”被定义为存在于语音用户可遍历的连续的、上下文相关的概率空间内的点。我们还提出了10个采访声乐研究和表演专家的主题分析的初步结果,以进一步了解在自然的通信生态中的声乐角色的作用。所确定的主题随后被用于为上述框架的设计提供信息。
2022-10-31 cs.HC cs.SD cs.SY
From Voices to Validity: Leveraging Large Language Models (LLMs) for Textual Analysis of Policy Stakeholder Interviews
University of Washington(华盛顿大学)
本研究针对政策访谈人工编码耗时耗力的问题,提出人机结合的混合方法,结合人类领域知识与GPT-4开展K-12教育政策访谈的主题与情感分析,显著提升了分析效率、效度与可解释性。
2023-12-02 cs.AI cs.CL cs.HC
Sketching With Your Voice: "Non-Phonorealistic" Rendering of Sounds via Vocal Imitation
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出一种自动生成类人声音模仿的方法,通过调整人类声道模拟模型的控制参数并结合交际认知理论进行策略性推理,实验证明该方法比仅匹配听觉特征更符合人类直觉,为计算机图形学中的描绘研究提供了广泛启示。
2024-09-20 cs.CL cs.GR cs.HC
A Hindi Speech Actuated Computer Interface for Web Search
Visvodaya Technical Academy(维斯沃达亚技术学院)
为了提高系统的简单性和灵活性,通过简化耳机和用户友好的软件设计,开发了一个基于音频诱发的系统。本文介绍了一种用于网络搜索的印地语语音驱动计算机接口(HSACIWS),它接受印地语的口头查询,并在屏幕上提供搜索结果。该系统通过大词汇量连续语音识别(LVCSR)识别语音查询,通过文本检索检索相关文档,并通过Web和语音系统的集成在Web上提供搜索结果。在这个系统中的LVCSR表现出足够的性能水平的语音与声学和语言模型来自查询语料库的目标内容。
2012-11-12 cs.CL cs.HC cs.IR
Foundation of Affective Computing and Interaction
本书系统梳理情感计算与人机交互的历史、关键技术(多模态识别、脑机接口等)及教育医疗等应用,并展望AI融合趋势,强调伦理平衡。
2025-06-18 cs.HC
Unit-Based Agent for Semi-Cascaded Full-Duplex Dialogue Systems
Hunan University(湖南大学);Gongdao Technology(公道科技);Jilin University(吉林大学)
本文提出基于单元的半级联全双工对话系统,利用多模态大语言模型和辅助模块实现高效对话处理,实验显示其在挑战赛中表现优异。
2026-01-29 cs.CL cs.HC
From Neurons to Conversation: Speech Brain-Computer Interfaces
本文从系统视角综述语音脑机接口,强调其作为自适应临床系统的本质,并指出下一代评估需兼顾离线准确性与跨会话稳健性、延迟、可用性等多维指标,以推动可靠可控的通信神经假体发展。
2026-09-30 cs.CL cs.HC q-bio.NC
Leveraging Unlabeled Audio-Visual Data in Speech Emotion Recognition using Knowledge Distillation
Department of Electrical and Computer Engineering(电气与计算机工程系)
针对语音情感识别标注数据成本高的问题,提出基于知识蒸馏的LiSER框架,借助大型教师模型利用未标记音视频数据将情绪知识迁移到轻量学生模型,降低对标注数据的依赖。
2025-06-26 cs.HC cs.LG cs.MM