ScreenASR-Bench: A Tiered Benchmark for Speech Recognition with Visual Context
University of Science and Technology of China(中国科学技术大学);Tenlai Team, China(天来团队(中国))
针对现有基准无法体现视觉证据对屏幕场景语音识别的作用的问题,推出分层基准ScreenASR-Bench,实验表明结合视觉上下文可提升ASR等模型的召回率,且直接视觉证据的提升效果更显著。
2026-10-14 cs.AI
MathReader : Text-to-Speech for Mathematical Documents
Seoul National University(首尔大学);Chung-Ang University(中央大学);NVIDIA(英伟达)
针对传统TTS阅读器处理数学公式不佳的问题,提出MathReader,集成OCR、微调T5模型和TTS,显著降低词错误率,改善视障用户听文档体验。
2025-01-19 cs.AI cs.SD eess.AS
ZR-2021VG: Zero-Resource Speech Challenge, Visually-Grounded Language Modelling track, 2021 edition
Tilburg University(蒂尔堡大学);Laboratoire de Sciences Cognitives et Psycholinguistique, ENS(巴黎高等师范学院认知科学与心理语言学实验室);Tampere University(坦佩雷大学);Aalto University(阿尔托大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们介绍了在2021年第二轮零资源语音挑战赛中引入的视觉语言建模轨道。我们激励新的轨道,并详细讨论参与规则。我们还介绍了为这条赛道开发的两个基线系统。
2021-07-14 cs.CL cs.LG cs.SD
Towards Visually Grounded Sub-Word Speech Unit Discovery
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
在本文中,我们调查的方式,可解释的子字语音单元出现在一个卷积神经网络模型训练关联原始语音波形与语义相关的自然图像场景。我们展示了如何从模型中间层的激活模式中表面上提取双音子边界,这表明该模型可能会利用这些事件进行单词识别。我们提出了一系列的实验调查这些事件编码的信息。
2019-02-21 cs.CL cs.LG cs.SD
Hindi as a Second Language: Improving Visually Grounded Speech with Semantically Similar Samples
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文的目的是从多语言的角度探讨视觉接地语音模型(VGS)的学习。双语VGS模型通常使用来自两种语言的相同数量的口语字幕进行训练。然而,在现实中,可用的口头字幕的语言之间可能存在不平衡。我们在这项工作中的主要贡献是利用双语视觉接地语音模型中的高资源语言的力量来提高低资源语言的性能。我们介绍了两种方法来提取高资源语言的知识到低资源语言:(1)结合一个强大的预训练的高资源语言编码器和(2)使用语义相似的口头字幕。我们的实验表明,结合这两种方法有效地使低资源的语言,以超过单语和双语对应的跨模态检索任务的性能。
2023-03-30 cs.CL cs.CV cs.SD
Making Social Platforms Accessible: Emotion-Aware Speech Generation with Integrated Text Analysis
School of Computer Science and Electronic Engineering, University of Surrey(萨里大学计算机科学与电子工程学院);Nquiringminds(Nquiringminds公司)
针对社交平台无障碍场景,本文提出端到端上下文感知情感TTS系统,通过NLP从文本推断情感并合成自然表达语音,推理性能具备实时应用竞争力。
2024-10-24 cs.CL cs.SD cs.SI
Word Discovery in Visually Grounded, Self-Supervised Speech Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出一种视觉接地方法,在HuBERT或wav2vec2.0模型上训练后,其自注意力头涌现出词分割与聚类能力,视觉接地是关键,在Buckeye和ZeroSpeech任务上表现优于或持平现有方法。
2023-06-20 cs.AI cs.CL cs.SD
Syllable Discovery and Cross-Lingual Generalization in a Visually Grounded, Self-Supervised Speech Model
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta AI;Tampere University(坦佩雷大学);Rembrand(Rembrand公司)
本研究发现视觉接地自监督语音模型可涌现音节表征,提出结合最小割算法与两阶段聚类的音节发现方法,在英语音节分割上达SOTA,且能零样本泛化至多语言的音节及词语分割任务。
2023-07-23 cs.AI cs.CL cs.SD
Attention-Based Keyword Localisation in Speech using Visual Grounding
Stellenbosch University(斯泰伦博斯大学)
基于视觉的语音模型从与语音字幕配对的图像中学习。通过使用具有固定词汇表的经训练的视觉分类器来标记具有软文本标签的图像,先前的工作已经表明,可以训练可以检测特定文本关键字是否出现在语音话语中的模型。在这里,我们调查是否视觉接地语音模型也可以做关键字本地化:预测,在话语中,一个给定的文本关键字出现没有任何明确的基于文本或对齐监督。我们特别考虑将注意力纳入卷积模型是否有利于定位。虽然视觉监督模型的绝对本地化性能仍然是适度的(相比使用无序的词袋文本标签进行监督),我们表明,注意力提供了一个很大的增益性能比以前的视觉接地模型。在许多其他的语音图像研究中,我们发现,许多不正确的定位是由于语义混乱,例如,定位单词“仰泳”的查询关键字“游泳”。
2021-06-23 cs.CL cs.SD eess.AS
Deep Learning the EEG Manifold for Phonological Categorization from Active Thoughts
University of British Columbia(不列颠哥伦比亚大学)
语音相关的脑机接口(BCI)的主要目的是为有语言障碍的人找到一种替代的语音交流途径。作为从活跃思想中完全解码想象语音的一步,我们提出了一个BCI系统,用于利用基于深度学习的分层特征提取方案对语音类别进行独立于主体的分类。为了更好地捕捉高维脑电(EEG)数据的复杂表示,我们将EEG电极的联合变异性计算到通道互协方差矩阵中。然后,我们使用混合深度神经网络策略提取矩阵内编码的时空信息。我们的模型框架由卷积神经网络(CNN)、长短期网络(LSTM)和深度自动编码器组成。我们对各个网络进行分层训练,在最后的梯度提升分类步骤中输入它们的组合输出。我们最好的模型在五个不同的二进制分类任务中实现了77.9%的平均准确率,比以前的方法显著提高了22.5%。正如我们也显示视觉上,我们的工作表明,语音图像EEG具有显着的判别信息负责自然语音合成的预期发音运动。
2019-04-08 cs.CL cs.LG cs.SD
Learning Hierarchical Discrete Linguistic Units from Visually-Grounded Speech
Computer Science and Artificial Intelligence Lab(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们提出了一种方法,通过将矢量量化层的视觉接地语音的神经模型学习离散的语言单位。我们表明,我们的方法是能够捕获字级和子字单元,这取决于它是如何配置的。本文与以前的语音单元学习工作的不同之处在于训练目标的选择。而不是使用基于重建的损失,我们使用一个有区别的,多模态接地的目标,迫使学习单位是有用的语义图像检索。我们评估了ZeroSpeech 2019挑战赛的子字单元,在保持比特率大致相同的情况下,ABX出错率比表现最好的提交减少了27.3%。我们还提出了实验证明这些单位的噪声鲁棒性。最后,我们证明了一个模型与多个量化器可以同时学习电话一样的检测器在较低的层和单词一样的检测器在较高的层。我们表明,这些检测器是高度准确的,发现279个字的F1得分大于0.5。
2020-02-14 cs.CL cs.LG cs.SD
Game-Based Video-Context Dialogue
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
当前的对话系统更多地关注文本和语音上下文知识,并且通常基于两个说话者。最近的一些工作已经研究了基于静态图像的对话。然而,一些现实世界的人类交互也涉及动态视觉上下文(类似于视频)以及多个扬声器之间的对话交流。为了更接近这种多模态会话技能和视觉上的应用程序,我们引入了一个新的视频上下文,多扬声器对话数据集的基础上直播足球比赛视频和聊天从Twitch.tv。这个具有挑战性的测试平台使我们能够开发基于视觉的对话模型,这些模型应该从实时视频中生成相关的时间和空间事件语言,同时也与聊天历史相关。对于强基线,我们还提出了几个判别和生成模型,例如,基于三向注意流(Tridirectional Attention Flow,Triangle)。我们评估这些模型通过检索排名召回,自动短语匹配指标,以及人类的评价研究。我们还提出了数据集分析,模型消融和可视化,以了解不同的方式和模型组件的贡献。
2018-10-17 cs.AI cs.CL cs.CV
Towards visually prompted keyword localisation for zero-resource spoken languages
Stellenbosch University(斯泰伦博斯大学)
想象一下,能够向系统显示关键词的视觉描述,并从零资源语音语料库中找到包含该关键词的口语。我们将此任务正式化,并称之为视觉提示关键字定位(VPKL):给定关键字的图像,检测并预测关键字在话语中出现的位置。要做VPKL,我们提出了一个语音视觉模型与一个新的本地化注意力机制,我们训练与一个新的关键字抽样计划。我们表明,这些创新使VPKL在现有的语音视觉模型的改进。我们还比较了视觉词袋(BoW)模型,其中图像自动标记有视觉标签,并与未标记的语音配对。虽然这个视觉BoW可以直接用书面关键字查询(而我们的模型需要图像查询),但我们的新模型在检测和定位方面仍然优于视觉BoW,在定位F1方面相对提高了16%。
2022-10-12 cs.CL cs.SD eess.AS
Large-scale representation learning from visually grounded untranscribed speech
University of Washington(华盛顿大学);Google Research(谷歌研究院)
能够将图像与语音字幕相关联的系统是实现视觉化语言学习的重要一步。我们描述了一种可扩展的方法来自动生成不同的音频图像描述数据集。这支持预训练深度网络来编码音频和图像,我们通过一个双编码器来学习对齐来自两种模态的潜在表示。我们表明,这种模型的掩蔽利润softmax损失优于标准的三重损失。我们在Flickr 8 k音频字幕语料库上对这些模型进行了微调,并获得了最先进的结果-将前10名的召回率从29.6%提高到49.5%。我们还获得了人类对检索输出的评级,以更好地评估偶然匹配的图像-标题对的影响,这些图像-标题对在数据中不相关,发现自动评估大大低估了检索结果的质量。
2019-09-19 cs.CL cs.CV cs.SD
Symbolic inductive bias for visually grounded learning of spoken language
Tilburg University(蒂尔堡大学)
本文提出在端到端口语视觉学习中引入多任务学习,通过三任务架构联合匹配语音、文本与图像,利用转写语音提供强归纳偏置,显著提升图像检索性能。
2019-06-05 cs.CL cs.LG cs.SD
Keyword localisation in untranscribed speech using visually grounded speech models
关键词定位是找到给定查询关键词在语音话语中出现的位置的任务。我们调查到什么程度的关键字本地化是可能的,使用视觉接地语音(VGS)模型。VGS模型在与语音字幕配对的未标记图像上进行训练。因此,这些模型是自我监督的-在没有任何显式文本标签或位置信息的情况下进行训练。为了获得训练目标,我们首先使用具有固定词汇的预训练视觉分类器使用软文本标签标记训练图像。这使得VGS模型能够预测话语中书面关键字的存在,但不是其位置。我们考虑四种方法来装备VGS模型的本地化能力。其中两个-显着性方法和输入掩蔽-可以在训练后应用于任意预测模型,而另外两个-注意力和得分聚合方法-直接纳入模型的结构中。基于掩码的本地化给出了VGS模型中报告的一些最佳本地化分数,当系统知道关键字出现在话语中并需要预测其位置时,准确率为57%。在检测之后执行定位的设置中,实现了25%的$F_1$,并且在首先执行关键字定位排名通过的设置中,我们得到32%的定位P@10。虽然这些分数与具有无序词袋监督的理想化设置(来自transmittance)相比是适度的,但这些模型不接受任何文本或位置监督。进一步的分析表明,这些模型受到第一次检测或排名的限制。此外,个别关键字本地化性能与视觉分类器的标记性能相关。我们还定性地显示语义错误发生的方式和位置,例如,该模型定位冲浪时,查询与海洋。
2022-02-02 cs.CL cs.SD eess.AS
Expression-preserving face frontalization improves visually assisted speech processing
Inria Grenoble(法国国家信息与自动化研究所格勒诺布尔中心);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria Nancy Grand-Est(法国国家信息与自动化研究所南锡大东部中心)
本文提出一种保留非刚性面部变形的人脸正面化方法,结合广义学生t分布与线性动态系统处理头动与表情,显著提升了唇语识别和语音增强等视觉辅助语音处理任务的性能。
2022-12-15 cs.CV cs.SD eess.AS
Seeing Through Noise: Visually Driven Speaker Separation and Enhancement
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
当视频在嘈杂的环境中拍摄时,隔离特定人的声音,同时过滤掉其他声音或背景噪音是一项挑战。我们提出了视听方法来隔离单个扬声器的声音,并消除不相关的声音。首先,在视频中捕获的面部运动被用来估计扬声器的声音,通过一个基于视频到语音的神经网络模型传递无声的视频帧。然后将语音预测作为滤波器应用于有噪声的输入音频。这种方法避免了在学习过程中使用声音的混合,因为这种可能的混合的数量是巨大的,并且不可避免地会使训练的模型产生偏差。我们在两个视听数据集,GRID和TCD-TIMIT上评估了我们的方法,并表明我们的方法在原始视频到语音的预测和一个著名的仅音频方法上获得了显着的SDR和PESQ改进。
2018-02-09 cs.CV cs.SD
Speech2rtMRI: Speech-Guided Diffusion Model for Real-time MRI Video of the Vocal Tract during Speech
University of Southern California(南加州大学)
本研究提出Speech2rtMRI,一种基于预训练语音模型和语音到视频扩散模型的数据驱动方法,利用任意语音输入生成语音时声道的实时MRI视频,为语言学习与动画角色创建提供支持。
2024-09-23 cs.CV cs.SD eess.AS
Visually Grounded Keyword Detection and Localisation for Low-Resource Languages
Stellenbosch University(斯泰伦博斯大学);Aerobotics(Aerobotics公司)
本研究探讨使用视觉接地语音(VGS)模型的关键字定位在语音。这项研究集中在两个主要的研究问题:(1)是关键字本地化可能与VGS模型和(2)关键字本地化可以做跨语言在一个真正的低资源设置?提出了四种本地化方法,并在英语数据集上进行了评估,其中性能最好的方法的准确率为57%。一个包含约鲁巴语口语字幕的新数据集也被收集和发布,用于跨语言关键字本地化。跨语言模型在实际关键字本地化中获得了16%的精度,并且可以通过在英语数据上预训练的模型进行初始化来提高这种性能。该研究提出了一个模型的成功和失败模式的详细分析,并强调了在低资源设置中使用VGS模型进行关键字本地化的挑战。
2023-02-01 cs.CL cs.SD eess.AS
Improved Speech Reconstruction from Silent Video
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
语音阅读是从视觉上观察到的发音面部运动推断语音信息的任务,并且对于人类来说是众所周知的困难任务。在本文中,我们提出了一个端到端的卷积神经网络(CNN)的基础上产生一个可理解的和自然的声音语音信号从无声的视频帧说话的人的模型。我们训练我们的模型从GRID和TCD-TIMIT数据集的扬声器,并使用共同的客观测量重建语音的质量和可懂度进行评估。我们表明,从该模型的语音预测达到分数,这表明显着提高质量比现有的模型。此外,我们对重建语音从一个无约束的字典显示出可喜的成果。
2017-08-29 cs.CV cs.SD
LipCoder: Voice-Enabled Coding Toolkit
Seoul National University(首尔国立大学)
针对视障程序员无法使用AI辅助编程环境的问题,提出语音驱动编程工具包LipCoder,经5名视障程序员对比评估,其听觉优先设计或可拓宽语音编程环境的可访问性。
2026-09-09 cs.HC cs.SD
Analyzing Utility of Visual Context in Multimodal Speech Recognition Under Noisy Conditions
Carnegie Mellon University(卡内基梅隆大学)
多模态学习允许我们利用来自多个来源(视觉,听觉和文本)的信息,类似于我们对现实世界的体验。然而,目前还不清楚辅助模式在多大程度上改善了单峰模型的性能,以及在什么情况下辅助模式是有用的。我们研究了在对抗环境中多模态自动语音识别中辅助视觉上下文的实用性,其中我们在推理时间期间从部分音频信号中剥夺模型。我们的实验表明,虽然MMASR模型显示出显着的收益超过传统的语音到文本架构(高达4.2%的WER改进),他们不纳入视觉信息时,音频信号已损坏。这表明,目前的方法集成的视觉模态不提高模型的鲁棒性噪声,我们需要更好的视觉接地适应技术。
2019-12-28 cs.CL cs.SD eess.AS
Kutti AI: A Voice-First, Offline-Capable Learning Companion with Real-Time Struggle Detection for Visually-Impaired Children
Independent Researcher(独立研究者)
针对视障儿童教育技术依赖视觉界面的问题,提出Kutti AI语音优先学习伙伴。它有实时学习困难检测、跨语言答案匹配及离线语音管道三种机制,能降低无障碍性和经济障碍,助力视障儿童早期教育。
2026-07-27 cs.CY cs.HC cs.SD
Lip-Reading Driven Deep Learning Approach for Speech Enhancement
提出了一种新的唇读驱动的深度学习语音增强框架。所提出的方法利用了深度学习和分析声学建模(基于滤波的方法)两者的互补优势,与最近发布的仅依赖于深度学习的相对简单的基准方法相比。建议的视听语音增强框架在两个层面上运作。在第一级中,采用了一种新的基于深度学习的唇读回归模型。在第二级中,唇读近似干净的音频功能,利用增强的,视觉推导的维纳滤波器(EVWF),干净的音频功率谱估计。具体地,基于堆叠的长短期记忆(LSTM)的唇读回归模型被设计用于仅使用考虑不同数量的先前视觉帧的时间视觉特征的干净音频特征估计。对于干净的语音谱估计,一个新的滤波器组域EVWF制定,利用估计的语音特征。将所提出的EVWF与使用理想AV映射和LSTM驱动的AV映射的传统谱减法和对数最小均方误差方法进行比较。建议的语音增强框架的潜力进行评估下,不同的动态现实世界的商业动机的情况下(例如咖啡馆,公共交通,行人区)在不同的SNR水平(从低到高的SNR)使用基准网格和ChiME3语料库。对于客观测试,使用语音质量的感知评估来评估恢复语音的质量。对于主观测试,使用标准的平均意见得分方法与推理统计。比较仿真结果表明显着的唇读和语音增强改善语音质量和语音清晰度。
2018-07-31 cs.CV cs.LG cs.SD