Semi-Supervised Spoken Language Understanding via Self-Supervised Speech and Language Model Pretraining
Amazon(亚马逊)
最近关于口语语言理解(SLU)的许多工作至少在以下三种方式中的一种上受到限制:模型在Oracle文本输入上进行训练并忽略ASR错误,模型被训练为仅预测意图而没有槽值,或者模型在大量内部数据上进行训练。在本文中,我们提出了一个干净的和一般的框架来学习语义直接从语音半监督从转录或未转录的语音来解决这些问题。我们的框架建立在预训练的端到端(E2E)ASR和自监督语言模型(如BERT)基础上,并在有限的目标SLU数据上进行了微调。我们研究了ASR组件的两个半监督设置:对转录语音进行监督预训练,以及通过用自监督语音表示(如wav2vec)替换ASR编码器进行无监督预训练。同时,我们确定了两个基本标准评估SLU模型:环境噪声鲁棒性和E2E语义评估。ATIS上的实验表明,我们的SLU框架与语音作为输入可以执行等同于使用甲骨文文本作为输入的语义理解,即使环境噪声是存在的,有限数量的标记语义数据可用于训练。
2020-10-26 cs.CL
LLMs for automatic annotation of Mandarin narrative transcripts
Shanghai Jiao Tong University(上海交通大学);University of California San Diego(加州大学圣地亚哥分校);The Hong Kong Polytechnic University(香港理工大学);National Research Center for Language and Well-Being(语言与幸福感国家研究中心);City University of Hong Kong(香港城市大学)
本研究探讨了大型语言模型在自动标注汉语叙述转录中的有效性,通过比较四种LLM与训练好的人类标注者,发现最佳模型在标注叙事宏观结构时能与人类标注者达成高一致性,同时显著减少标注时间,但轻量级本地部署模型表现较差,且标注难度因宏观结构元素类型而异,尤其在需要微妙语义区分的类别中存在持续挑战。
2026-05-17 cs.CL
MuRIL: Multilingual Representations for Indian Languages
Google(谷歌);Indian Institute of Technology, Patna(印度理工学院巴特那分校);Indian Institute of Technology, Bombay(印度理工学院孟买分校);Delhi Technological University(德里理工大学)
印度是一个多语言的社会,全国有1369种合理化的语言和方言(印度,2011年)。其中,22种列入附表的语言的使用者总数达到惊人的11.7亿人,121种语言的使用者超过1万人(印度,2011年)。印度也拥有第二大(并且不断增长)的数字足迹(Statista,2020)。尽管如此,当今最先进的多语言系统在印度(IN)语言上的表现并不理想。这可以通过以下事实来解释:多语言语言模型(LM)通常在100多种语言上一起训练,导致IN语言在其词汇表和训练数据中的表示很小。在资源贫乏的情况下,多语言LM的有效性大大降低(Wu和Dredze,2020年; Lauscher等人,2020年),因为有限的数据无助于捕捉语言的各种细微差别。人们还通常观察到IN语言文本被音译为拉丁语或与英语混合的代码,特别是在非正式环境中(例如,在社交媒体平台上)(Rijhwani等人,2017年)。目前最先进的多语言LM不能充分处理这种现象。为了解决上述差距,我们提出了MuRIL,一个专门为IN语言构建的多语言LM。MuRIL仅在大量IN文本语料库上进行训练。我们显式地使用翻译和音译的文档对来增强单语文本语料库,这些文档对在训练中作为监督的跨语言信号。在具有挑战性的跨语言XTREME基准测试中,MuRIL在所有任务上的表现都明显优于多语言BERT(mBERT)(Hu等人,2020年)。我们还介绍了所选数据集的音译(本地拉…
2021-04-02 cs.CL
TalkTag: Fine-Grained Morphosyntactic Error Annotation for Transcribed Speech
Karlsruhe Institute of Technology, Germany(德意志联邦共和国卡尔斯鲁厄理工大学);Karlsruhe University of Applied Sciences, Germany(德意志联邦共和国卡尔斯鲁厄应用科学大学)
提出基于LLM的轻量级工具TalkTag,在数据稀缺条件下自动进行口语转录文本的CHAT风格错误标注,实现低资源场景下的精确标注并识别歧义情况。
2026-06-01 cs.CL
MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance
SII OpenMOSS Team(SII开放MOSS团队);Shanghai Innovation Institute(上海创新研究院);Fudan University(复旦大学)
针对现有语音对话系统依赖文本中间表示的瓶颈,研究提出无文本引导的端到端语音大模型MOSS-Speech,结合模态分层架构与冻结预训练策略,在口语问答等任务上取得优异性能,建立语音交互新范式。
2025-10-02 cs.AI cs.CL
A Spoken Drug Prescription Dataset in French for Spoken Language Understanding
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院);Calystene SA(Calystene股份公司);CHU Grenoble Alpes(格勒诺布尔阿尔卑斯大学中心医院)
口头医疗对话系统越来越吸引人们的兴趣,以增强对医疗保健服务的访问并提高患者护理的质量和可追溯性。在本文中,我们专注于通过语音对话在智能手机上获得的医疗药物处方。这样的系统将有助于追踪护理,并将节省临床医生的时间。然而,由于大多数相关语料库都是文本形式的,并且是英文的,因此缺乏语音语料库来开发这样的系统。为了促进医学口语对话系统的研究和开发,我们提出了,尽我们所知,第一个口语医学药物处方语料库,命名为PxSLU。它包含了4个小时的转录和注释对话的药物处方在法国获得通过实验与55名参与者专家和非专家的处方。我们还提出了一些实验,证明了这个语料库的评估和医疗对话系统的发展的兴趣。
2022-07-17 cs.CL
LLM-to-Speech: A Synthetic Data Pipeline for Training Dialectal Text-to-Speech Models
Georgia Institute of Technology(佐治亚理工学院);Nile University(尼罗大学)
本文提出NileTTS数据集,通过LLM生成埃及阿拉伯语内容并合成语音,用于训练多语言TTS模型,填补了埃及阿拉伯语语音合成的研究空白。
2026-02-17 cs.CL
Modeling Acoustic-Prosodic Cues for Word Importance Prediction in Spoken Dialogues
Rochester Institute of Technology(罗切斯特理工学院)
会话中的韵律提示有助于听者辨别信息。我们调查是否可以使用口语对话中的声学线索,以确定个别单词的重要性的意义的谈话转向。聋人和听力困难的人通常依赖于现场会议中的实时字幕。单词出错率是一个传统的用于评估自动语音识别的度量标准,它未能捕捉到某些单词对于系统正确转录比其他单词更重要。我们提出并评估使用声学特征进行3类单词重要性预测的神经架构。我们的模型与最先进的基于文本的单词重要性预测模型相比具有竞争力,并且在不完美的ASR输出上运行时表现出特别的优势。
2019-07-16 cs.CL
Joint Online Spoken Language Understanding and Language Modeling with Recurrent Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
说话人意图检测和语义槽填充是对话系统口语语言理解的两个关键任务。在本文中,我们描述了一个循环神经网络(RNN)模型,共同执行意图检测,插槽填充和语言建模。神经网络模型在转录话语中的单词到达时不断更新意图估计,并将其用作联合模型中的上下文特征。在ATIS基准测试数据集上对语言模型和在线SLU模型进行了评估。在语言建模任务上,与独立训练的语言模型相比,我们的联合模型实现了11.8%的困惑相对减少。在SLU任务上,我们的联合模型在意图检测出错率上比独立任务训练模型高出22.3%,在插槽填充F1得分上略有下降。联合模型也显示出有利的性能,在现实的ASR设置与嘈杂的语音输入。
2016-09-06 cs.CL
Weakly supervised spoken term discovery using cross-lingual side information
Institute for Language, Cognition, and Computation(语言、认知与计算研究所);Centre for Speech Technology Research(语音技术研究中心);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
无监督术语发现(UTD)的最新工作旨在仅从音频中识别和聚类重复的单词单元。这些系统对于一些资源非常低的语言来说是有希望的,这些语言无法转录音频,或者没有书面形式的语言存在。然而,在某些情况下,它仍然是可行的(例如,通过众包)来获得音频的(可能有噪声的)文本翻译。如果是这样,则该信息可以用作辅助信息的来源以改进UTD。在这里,我们提出了一个简单的方法,重新评分的UTD系统使用文本翻译的输出,并测试它的西班牙语音频语料库与英语翻译。我们表明,它大大提高了在广泛的系统配置和数据预处理方法的结果的平均精度。
2016-09-21 cs.CL
Hands-Free VR
Institute of Problem Solving, XYZ University(XYZ大学问题解决研究所);Main University(梅因大学)
本文介绍了免提VR,一个基于语音的自然语言界面的VR。用户使用他们的语音给出命令,使用语音到文本深度学习模型将语音音频数据转换为文本,该语音到文本深度学习模型针对单词语音相似性和口语英语口音的鲁棒性进行了微调,并且使用对自然语言多样性鲁棒的大语言模型将文本映射到可执行VR命令。在一项受试者内对照研究(N = 22)中对免提VR进行了评估,该研究要求参与者找到特定的物体并将其放置在各种配置中。在控制条件下,参与者使用传统的VR用户界面来抓取,携带和使用手持控制器定位对象。在实验条件下,参与者使用免提VR。结果证实:(1)Hands-Free VR对英语口语口音具有鲁棒性,因为我们的20名参与者英语不是他们的第一语言,并且单词语音相似性,正确转录语音命令的时间为96.71%;(2)Hands-Free VR对自然语言多样性具有鲁棒性,在97.83%的时间内正确将转录的命令映射为可执行命令;(3)在任务完成时间、总视角平移、总视角方向旋转和总左右手平移方面,免提VR比传统VR界面具有显著的效率优势;(4)在易用性、直观性、人体工程学、可靠性和可取性方面,免提VR获得了较高的用户偏好评级。
2024-12-18 cs.AI cs.CL cs.HC
ASR-Generated Text for Language Model Pre-training Applied to Speech Tasks
Laboratoire d’Informatique de l’Université du Mans (LIUM)(勒芒大学计算机实验室);Aix Marseille Univ(艾克斯-马赛大学);Université de Toulon(土伦大学);CNRS(法国国家科学研究中心);LIS(计算机与系统实验室);Institut National de l'Audiovisuel (INA)(法国国家视听研究院);Naver Labs Europe (NLE)(Naver欧洲实验室)
我们的目标是提高口语建模(LM)使用非常大量的自动转录语音。我们利用INA(法国国家视听研究所)的收集,并在350,000小时的各种电视节目中应用ASR后获得19 GB的文本。由此,口语语言模型通过微调现有LM(Flaubert)或通过从头开始训练LM来训练。新模型(福楼拜口语)与社区共享,并评估3个下游任务:口语语言理解,电视节目分类和语音句法分析。结果表明,FlauBERT-Oral可以是有益的相比,它的初始FlauBERT版本表明,尽管其固有的嘈杂的性质,ASR生成的文本可以用来建立口语语言模型。
2022-07-05 cs.CL
Enhancing Speech Instruction Understanding and Disambiguation in Robotics via Speech Prosody
IT University of Copenhagen(丹麦技术大学);University of Florida(佛罗里达大学);Brown University(布朗大学);Intelligent Agents Research Group(智能代理研究组);Intelligent Robot Lab(智能机器人实验室)
本文提出利用语音韵律直接推断指令意图,并通过上下文学习整合到大语言模型中进行任务计划消歧,同时发布首个机器人歧义语音数据集,实验显示指称意图检测准确率达95.79%,任务计划确定准确率为71.96%。
2025-06-01 cs.AI cs.CL cs.LG
Spoken Term Detection Methods for Sparse Transcription in Very Low-resource Settings
Charles Darwin University(查尔斯达尔文大学)
我们调查的效率,两个非常不同的口语术语检测方法的转录时,可用的数据是不够的训练一个强大的ASR系统。这项工作是在非常低的资源的语言文档的情况下,只有几分钟的记录已被转录为一个给定的language.Experiments两种口头语言的基础上表明,一个预先训练的通用电话识别器,微调只有几分钟的目标语言的讲话,可以用于口语术语检测具有更好的整体性能比动态时间规整方法。此外,我们表明,在图结构中表示音素识别歧义可以进一步提高召回率,同时保持低资源口语术语检测任务的高精度。
2021-06-11 cs.CL cs.SD eess.AS
Tusom2021: A Phonetically Transcribed Speech Dataset from an Endangered Language for Universal Phone Recognition Experiments
Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学);Georgia Institute of Technology(佐治亚理工学院)
人们对能够以独立于语言的方式识别电话的ASR系统越来越感兴趣。此外,还有兴趣为低资源和濒危语言构建语言技术。然而,可用于测试此类系统和技术的现实数据非常缺乏。本文介绍了一个公开可用的,语音转录语料库的2255话语(单词和短语)濒危唐古拉语东Tusom(没有ISO 639-3代码),藏缅语的变化,主要是在印度。因为数据集是根据音素而不是音素转录的,所以它比许多更大的(音素转录的)数据集更适合通用音素识别系统。本文描述了该数据集及其生成方法,并进一步介绍了该数据集上最先进的通用电话识别系统的基本基准,作为未来实验的基线。
2021-04-02 cs.CL cs.SD eess.AS
Data Augmentation for Sign Language Gloss Translation
Bar-Ilan University(巴伊兰大学);Carnegie Mellon University(卡内基梅隆大学);Allen Institute for AI(艾伦人工智能研究所)
手语翻译(英语:Sign language translation,缩写为手语翻译)通常被分解为视频到注释识别和注释到文本翻译,其中注释是按照它们被签名的顺序转录的口语单词的序列。我们在这里专注于注释到文本的翻译,我们将其视为低资源神经机器翻译(NMT)问题。然而,与传统的低资源NMT不同,注释到文本的翻译不同,因为注释-文本对通常具有比口语对更高的词汇重叠和更低的句法重叠。我们利用这种词汇重叠和处理句法分歧,提出了两个基于规则的语法生成伪平行的单语口语文本的注释文本对。通过对由此获得的合成数据进行预训练,我们将美国手语(ASL)到英语和德国手语(DGS)到德语的翻译分别提高了3.14和2.20 BLEU。
2021-05-16 cs.CL
How I Built ASR for Endangered Languages with a Spoken Dictionary
针对濒危语言缺乏符合标准格式的监督数据难以构建ASR的问题,提出利用简短口语发音资源的方案,仅需40分钟数据即可为马恩岛语、康沃尔语打造可用ASR,大幅降低了构建门槛。
2025-10-06 cs.CL
Teaching a Multilingual Large Language Model to Understand Multilingual Speech via Multi-Instructional Training
University of Stuttgart(斯图加特大学)
针对大语言模型难以应用于语音领域的问题,提出融合多语言大语言模型与语音编码器的BLOOMZMMS模型,通过多指令训练实现知识跨模态迁移,在139种语言的多任务零样本评估中表现鲁棒。
2024-04-16 cs.CL cs.SD eess.AS
E2E Spoken Entity Extraction for Virtual Agents
Whissle;Interactions-AI
本文提出直接从语音中抽取实体的端到端方法,通过微调预训练编码器忽略无关语音,在企业虚拟助手对话中优于先转录后抽取的两步法。
2023-11-09 cs.CL cs.SD eess.AS
Low-Resource NMT: A Case Study on the Written and Spoken Languages in Hong Kong
The Chinese University of Hong Kong(香港中文大学)
本研究构建了基于Transformer的书面中文到书面粤语的低资源NMT系统,通过挖掘维基百科平行句对扩充训练数据,在多数测试集上超越百度翻译。
2025-05-23 cs.CL
SpeechDPR: End-to-End Spoken Passage Retrieval for Open-Domain Spoken Question Answering
National Taiwan University(台湾大学);Massachusetts Institute of Technology(麻省理工学院);Meta AI;Rembrand(伦勃朗)
本文提出首个面向开放域口语问答检索组件的端到端框架SpeechDPR,通过从无监督ASR和文本密集检索器的级联模型蒸馏知识学习句子级语义表示,无需人工转录数据,在ASR效果差时表现更鲁棒。
2024-08-24 cs.CL cs.IR cs.SD
Style-Talker: Finetuning Audio Language Model and Style-Based Text-to-Speech Model for Fast Spoken Dialogue Generation
Columbia University(哥伦比亚大学);University of Rochester(罗切斯特大学)
本文提出Style-Talker框架,通过微调音频LLM和基于风格的TTS模型,结合用户输入音频的转录与语音风格生成响应,在保持对话自然度和连贯性的同时将速度提升50%以上。
2024-08-13 cs.AI cs.CL eess.AS
Addressing the Blind Spots in Spoken Language Processing
Bar-Ilan University(巴伊兰大学);University of Zürich(苏黎世大学)
本文指出非语言线索在人类交流中被忽视,提出开发通用自动手势分割与转录模型将其转为文本,以弥补NLP盲点,并呼吁研究界推动相关方法开发与验证。
2023-09-06 cs.CL cs.SD eess.AS
Connecting Humanities and Social Sciences: Applying Language and Speech Technology to Online Panel Surveys
Radboud University(拉德堡德大学);Netherlands Interdisciplinary Demographic Institute (NIDI)-KNAW/University of Groningen(荷兰跨学科人口研究所(NIDI)-KNAW/格罗宁根大学)
在本文中,我们探讨了应用语言和语音技术的开放式问题,在荷兰的小组调查。在一个实验波中,受访者可以选择通过语音或键盘回答开放性问题。自动语音识别(ASR)被用来处理口头响应。我们评估了这些输入方式的答案,以调查口语和打字答案之间的差异。我们报告了ASR系统产生的错误,并调查了这些错误对下游分析的影响。开放式问题给了回答者更多的自由,但需要进行大量的分析工作。我们评估了使用基于转换器的模型(例如BERT)对开放式问题的答案应用情感分析和主题建模的可行性。基于transformer的模型的一个很大的优点是,它们是在大量的语言材料上训练的,不一定需要在目标材料上训练。这对于不包含大量文本材料的调查数据尤其有利。我们通过将自动标记与三个人类评分员进行比较来测试自动情感分析的质量,并通过比较基于自动和手动转录的口语答案生成的模型来测试主题建模的鲁棒性。
2023-02-21 cs.CL
Towards ASR Robust Spoken Language Understanding Through In-Context Learning With Word Confusion Networks
Amazon Alexa AI(亚马逊Alexa AI);University of Washington(华盛顿大学);National Taiwan University(国立台湾大学)
提出利用ASR格输出的词混淆网络进行上下文学习,以捕捉语音歧义并提升LLM在口语问答和意图分类任务中的鲁棒性,缩小了最佳ASR假设与oracle上界间的性能差距。
2024-01-05 cs.CL eess.AS
Implicit spoken language diarization
Indian Institute of Technology (IIT) Dharwad(印度理工学院达瓦德分校)
本文探索利用说话人日志化框架隐式建模语言信息以完成口语语言日志化任务,使用端到端x-vector方法在合成和实际数据上评估,并利用预训练wave2vec嵌入缓解数据不平衡,实现JER相对改进30.74%。
2023-06-22 cs.CL cs.SD eess.AS
Transcribing Natural Languages for The Deaf via Neural Editing Programs
The Australian National University(澳大利亚国立大学);DATA61-CSIRO(澳大利亚联邦科学与工业研究组织 Data61);Huawei Cyberverse Lab(华为河图实验室);SenseTime(商汤科技)
本文研究的是注释化的任务,其目的是将聋人群体的自然口语句子翻译成有序的手语注释。以前的序列到序列语言模型训练成对的语义-语义数据往往无法捕捉两种不同语言之间的丰富联系,导致不能令人满意的transmance。我们观察到,尽管不同的语法,注释有效地简化了句子,便于聋人沟通,同时分享了很大一部分的词汇与句子。这促使我们通过执行一系列编辑操作来实现注释化,例如在自然口语对应物上执行单词添加、删除和复制,称为编辑程序。具体来说,我们设计了一个新的神经代理,学习合成和执行编辑程序,条件的句子上下文和部分编辑结果。该代理被训练为模仿最小编辑程序,同时通过策略梯度更广泛地探索程序空间以优化顺序转录质量。结果表明,我们的方法优于以前的注释化模型的大幅度。
2021-12-17 cs.CL
Bridging the Stability-Expressivity Gap: Synthetic Data Scaling and Preference Alignment for Low-Resource Spoken Language Models
Beijing University of Posts(北京邮电大学);University of California, USA(美国加州大学);Northwestern University, USA(美国西北大学);Eastern Institute of Technology, Ningbo, China(宁波工程技术学院)
针对低资源口语语言模型因合成数据导致的表现力崩溃问题,提出两种自对齐框架(DGSA和TDSC)以恢复韵律多样性,实现超越商业系统的性能并首次支持老挝语零样本语音克隆。
2026-04-10 cs.AI cs.CL
On Building Spoken Language Understanding Systems for Low Resourced Languages
J.P.Morgan AI Research(摩根大通人工智能研究院)
口语对话系统正慢慢成为人类体验的一部分,这是由于它们比文本界面具有各种优势。口语语言理解(SLU)系统是口语对话系统的基本构建块。但是为低资源语言创建SLU系统仍然是一个挑战。在大量的低资源语言中,我们无法获得足够的数据来构建自动语音识别(ASR)技术,这是任何SLU系统的基础。此外,基于ASR的SLU系统不推广到非书面语言。在本文中,我们提出了一系列实验来探索资源极其匮乏的环境,在这些环境中,我们使用每个意图低至一个数据点的系统进行意图分类,并且数据集中只有一个说话者。我们还在低资源环境中工作,在这种环境中,我们不使用特定于语言的ASR系统来转录输入语音,这使得构建SLU系统来模拟真正的低资源环境的挑战更加复杂。我们测试我们的系统比利时荷兰语(佛兰芒语)和英语,并发现使用语音音标,使意图分类系统在这样的低资源设置执行显着优于使用语音功能。具体来说,当使用基于语音的系统在基于特征的系统,我们看到平均改善12.37%和13.08%的二进制和四类分类问题,分别超过49个不同的实验设置时。
2022-05-25 cs.AI cs.CL cs.SD
Multimodal Speech Recognition for Language-Guided Embodied Agents
University of Southern California(南加州大学)
针对语言引导具身智能体面临语音指令的场景,提出利用视觉上下文的多模态ASR模型,在ALFRED合成数据集上训练,可多恢复30%掩蔽单词,并提升下游任务成功率。
2023-10-09 cs.CL cs.SD eess.AS
A Multimodal Dense Retrieval Approach for Speech-Based Open-Domain Question Answering
University of Amsterdam(阿姆斯特丹大学)
针对基于语音的开放域问答中ASR流水线限制适用性且传播错误的局限,提出无需ASR、端到端训练的多模态密集检索器,直接处理语音问题,在短问题上检索性能优于传统流水线。
2024-09-20 cs.CL cs.IR
Utilisation de la linguistique en reconnaissance de la parole : un état de l'art
为了转录语音,自动语音识别系统使用统计方法,特别是隐马尔可夫模型和N-gram模型。虽然这些技术表现良好,并导致有效的系统,他们接近他们的最大可能性。因此,似乎有必要,为了超越目前的结果,使用额外的信息,特别是绑定到语言。然而,引入这种知识必须考虑到口语的特殊性(例如犹豫),并对可能的错误识别单词保持稳健。本文介绍了这些研究的最新进展,评估了语言信息的插入对转录质量的影响。
2006-05-30 cs.CL cs.HC
Incorporating End-to-End Speech Recognition Models for Sentiment Analysis
University of Hamburg(汉堡大学);Knowledge Technology, Department of Informatics, University of Hamburg(汉堡大学信息学系知识技术)
先前的工作表明,情感识别的协同效应相结合的几种方式,如听觉,视觉和转录的文本来估计说话人的情感状态。其中,语言情态对情感表达的评价起着至关重要的作用。然而,人工转录的口语文本实际上不能作为系统的输入。我们认为,在训练和评估阶段使用地面实况transmittance导致性能与现实世界的条件相比,显着的差异,因为口语文本必须在飞行中识别,并可能包含语音识别错误。在本文中,我们提出了一种方法集成的自动语音识别(ASR)输出与字符级递归神经网络的情感识别。此外,我们进行了几个实验,调查情感识别的人与机器人的互动,在一个噪声逼真的情况下,这是具有挑战性的ASR系统。我们量化的改进相比,只使用声学模态的情感识别。我们证明了这种方法在多模态情感强度语料库(MOSI)上的有效性,在二进制情感分类任务中实现了73,6%的准确率,超过了以前报道的仅使用声学输入的结果。此外,我们在MOSI数据集上设置了新的最先进性能(80.4%的准确率,2%的绝对改进)。
2019-02-28 cs.CL cs.LG cs.SD
KazakhTTS: An Open-Source Kazakh Text-to-Speech Synthesis Dataset
Institute of Smart Systems;Artificial Intelligence (ISSAI),\ University, Nur-Sultan, Kazakhstan
本文介绍了一个高质量的哈萨克语开源语音合成数据集,哈萨克语是一种全球超过1300万人使用的低资源语言。该数据集由两名专业演讲者(女性和男性)讲的大约93小时的转录音频记录组成。这是第一个公开的大规模数据集,旨在促进学术界和工业界的哈萨克语文本转语音(TTS)应用。在本文中,我们通过描述数据集开发过程和面临的挑战来分享我们的经验,并讨论未来的重要方向。为了证明我们数据集的可靠性,我们建立了基线端到端TTS模型,并使用主观平均意见评分(MOS)指标对其进行评估。评估结果表明,在我们的数据集上训练的最佳TTS模型对于两个说话者都达到了4以上的MOS,这使得它们适用于实际使用。数据集、训练配方和预训练的TTS模型都是免费提供的。
2021-06-16 cs.CL cs.SD eess.AS
Transformer-based Automatic Speech Recognition of Formal and Colloquial Czech in MALACH Project
University of West Bohemia in Pilsen(比尔森西波西米亚大学)
捷克语是一种非常特殊的语言,因为它在正式和口语形式之间有很大的差异。正式(书面)形式主要用于官方文件、文学和公开演讲,而口语(口语)形式则广泛用于人们的日常演讲。这一差距给ASR系统带来了严重的问题,特别是在包含大量口语的数据集上训练或评估ASR模型时,例如MALACH项目。在本文中,我们正在解决这个问题,在端到端的ASR系统的一个新的范例-最近推出的自我监督音频Transformers。具体来说,我们正在研究口语对Wav 2 Vec 2.0模型性能的影响,以及它们将口语直接转录为正式转录本的能力。我们在训练成绩单、语言模型和评估成绩单中以正式和口语形式呈现结果。
2022-06-15 cs.CL
End-to-End Spoken Language Understanding: Performance analyses of a voice command task in a low resource setting
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
口语语言理解是大多数人机交互系统的核心任务。随着灵巧家庭、智能手机和智能音箱的出现,SLU已经成为行业的关键技术。在经典的SLU方法中,自动语音识别(ASR)模块将语音信号转录成文本表示,自然语言理解(NLU)模块从该文本表示提取语义信息。最近,基于深度神经网络的端到端SLU(E2E SLU)获得了发展势头,因为它受益于ASR和NLU部分的联合优化,从而限制了流水线架构的错误影响的级联。然而,很少有人知道E2E模型预测概念和意图从语音输入的实际语言属性。在本文中,我们提出了一项研究,确定E2E模型执行SLU任务所使用的信号特征和其他语言属性。这项研究是在一个灵巧家庭的应用领域进行的,它必须处理非英语(这里是法语)的语音命令。结果表明,良好的E2E SLU性能并不总是需要完美的ASR能力。此外,结果表明,优越的能力,E2E模型在处理背景噪声和句法变化相比,管道模型。最后,更细粒度的分析表明,E2E模型使用输入信号的音高信息来识别语音命令概念。本文概述的结果和方法提供了一个跳板E2E模型在语音处理的进一步分析。
2022-07-17 cs.CL cs.SD eess.AS
Semantic enrichment towards efficient speech representations
Avignon Université(阿维尼翁大学);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学)
本文针对 SLU 任务,在少量下游转录数据上专门化 SAMU-XLSR,以低成本实现领域内语义增强,并验证其低资源语言迁移与跨领域能力。
2023-07-03 cs.CL cs.SD eess.AS
Homophone Disambiguation Reveals Patterns of Context Mixing in Speech Transformers
Tilburg University(蒂尔堡大学);University of Amsterdam(阿姆斯特丹大学)
本研究通过法语同音词消解任务,探究了语音Transformer中上下文混合模式,发现仅编码器模型能有效利用句法线索,而编码器-解码器模型依赖解码器处理上下文依赖。
2023-10-15 cs.AI cs.CL cs.LG
A Multimodal Emotion Recognition System: Integrating Facial Expressions, Body Movement, Speech, and Spoken Language
College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院)
本研究提出一种整合面部表情、身体动作、语音和口语的多模态情感识别系统,为心理评估提供客观、数据驱动的工具,降低误诊风险并提升诊断准确性。
2026-10-16 cs.CL cs.CV cs.HC
AI Application Gives Users Real-Time Feedback on the Level of Peace in the Social Media Videos They Watch
Data Science Institute, Columbia University(哥伦比亚大学数据科学研究所);Advanced Consortium on Cooperation, Conflict, and Complexity, Columbia University(哥伦比亚大学合作、冲突与复杂性高级联合体);Computer Science, Columbia University(哥伦比亚大学计算机科学);Data Science, St John’s University(圣约翰大学数据科学);Quantitative Methods in the Social Sciences, Columbia University(哥伦比亚大学社会科学定量方法);Barnard College, Columbia University(哥伦比亚大学巴纳德学院);Teachers College, Columbia University(哥伦比亚大学教师学院);Department of Industrial Engineering and Operations Research, Columbia University(哥伦比亚大学工业工程与运筹学系);Harmonious Communities, Toyota Research Institute(丰田研究院和谐社区)
开发了一个实时分析YouTube视频中语言和平程度的AI应用,使用监督学习和大语言模型,大语言模型在测量和平相关社会维度上更接近人类编码者。
2026-06-09 cs.CL cs.CY cs.LG
SpeechCLIP: Integrating Speech with Pre-Trained Vision and Language Model
National Taiwan University(国立台湾大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
数据驱动的语音处理模型通常在大量的文本监督下表现良好,但收集转录的语音数据是昂贵的。因此,我们提出了SpeechCLIP,一个新的框架,通过图像来增强语音模型,而无需transmittance的语音和文本桥接。我们利用最先进的预训练HuBERT和CLIP,通过配对图像和语音字幕进行对齐,并进行最小的微调。SpeechCLIP在图像语音检索方面优于现有技术,并且在没有transmittance直接监督的情况下执行zero-shot语音文本检索。此外,SpeechCLIP可以直接从语音中检索语义相关的关键字。
2022-10-25 cs.CL cs.SD eess.AS
Towards Robust Speech Recognition for Jamaican Patois Music Transcription
Jamaica Artificial Intelligence Association(牙买加人工智能协会)
针对牙买加帕托瓦语音乐识别不佳的问题,本文构建40余小时人工转录数据集并微调ASR模型,进而建立Whisper的性能扩展定律。
2025-07-15 cs.AI cs.CL eess.AS
Improving Medical Speech-to-Text Accuracy with Vision-Language Pre-training Model
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Chungnam National University Hospital(忠南大学医院);Chungnam National University College of Medicine(忠南大学医学院)
自动语音识别(ASR)是一种将口语转换为文本的技术,促进了人与机器之间的交互。ASR最常见的应用之一是语音转文本(STT)技术,该技术通过将口语转录为文本来简化用户工作流程。在医学领域,STT有可能大大减少依赖打字员转录录音的临床医生的工作量。然而,由于缺乏足够的语音和文本数据集,开发用于医疗领域的STT模型具有挑战性。为了解决这个问题,我们提出了一个医疗领域的文本校正方法,修改输出文本的一般STT系统使用视觉语言预训练(VLP)方法。VLP结合了文本和视觉信息,以基于图像知识来校正文本。我们广泛的实验表明,所提出的方法提供了定量和临床上显着的改善STT在医疗领域的性能。我们进一步表明,图像和文本信息的多模态理解优于仅使用文本信息的单模态理解。
2023-02-27 cs.AI cs.CL cs.CV
Neural Named Entity Recognition from Subword Units
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Amazon Alexa(亚马逊Alexa)
命名实体识别(NER)是口语语言理解中的一项重要任务,其目的是识别文本中命名实体的提及,从转录的演讲中。现有的NER神经模型主要依赖于专用的单词级表示,这有两个主要缺点。首先,词汇量很大,产生了大量的记忆需求和训练时间。其次,这些模型不能学习形态或语音表示。为了弥补上述缺点,我们采用了基于双向LSTM和条件随机场的神经解决方案,其中我们依赖于子字单元,即字符,音素和字节。对于话语中的每个单词,我们的模型从每个子词单元中学习一个表示。我们在真实世界的大规模设置中进行了实验,用于语音控制设备的用例,覆盖四种语言,每种语言多达550万个话语。我们的实验表明:(1)随着训练数据的增加,仅在子字单元上训练的模型的性能变得更接近于具有专用字级嵌入的模型(英语为91.35 vs 93.92 F1),同时使用更小的词汇量(332 vs 74K),(2)子字单元增强了具有专用字级嵌入的模型,以及(3)组合不同的子字单元提高了性能。
2019-09-22 cs.CL
Measuring the Effect of Transcription Noise on Downstream Language Understanding Tasks
OriginAI(奥里吉纳人工智能公司)
本文提出可配置框架,系统评估不同严重程度与类型的 ASR 转录噪声及清洗技术对三个 SLU 任务、四个模型的影响。
2025-02-19 cs.CL
A Large Dataset of Spontaneous Speech with the Accent Spoken in São Paulo for Automatic Speech Recognition Evaluation
University of São Paulo(圣保罗大学);Universidade Estadual Paulista(圣保罗州立大学)
本文提出了首个大型圣保罗口音巴西葡萄牙语自发语音语料库 NURC-SP Audio Corpus,并在其上微调 Wav2Vec2-XLSR-53 和 Distil-Whisper 模型进行 ASR 实验,最佳 WER 达 24.22%,证明了该语料库在 ASR 任务中的有效性。
2024-09-10 cs.CL eess.AS
What can Speech and Language Tell us About the Working Alliance in Psychotherapy
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用技术大学);IDEGO;Qatar Computing Research Institute(卡塔尔计算研究所);University of Trento(特伦托大学)
我们感兴趣的是会话分析的问题及其在健康领域的应用。认知行为疗法是心理治疗中的一种结构化方法,允许治疗师帮助患者识别和修改恶意的想法,行为或行动。这种合作努力可以使用工作联盟量表观察员评定的缩短-一个涵盖任务,目标和关系的12项清单-对治疗结果有相关影响。在这项工作中,我们调查这个联盟库存和患者和心理治疗师之间的口头对话(会话)之间的关系。我们已经提供了八周的电子治疗,收集了他们的音频和视频通话会话,并手动转录它们。口语对话已经由专业治疗师用WAI评级进行了注释和评估。我们已经调查了语音和语言功能及其与WAI项目的关联。特征类型包括从语音和语言信号中提取的话轮动态、词汇夹带和会话描述符。我们的研究结果提供了强有力的证据,这些功能的子集是工作联盟的强有力指标。据我们所知,这是第一个和一个新颖的研究,利用语音和语言的特点工作联盟。
2022-06-27 cs.CL cs.SD eess.AS
End-to-End Speech-to-Text Translation: A Survey
Indian Institute of Technology Indore(印度英迪拉·甘地国立技术学院印多尔分校)
本文系统综述了端到端语音到文本翻译的研究现状,梳理了所用模型、评估指标和数据集,分析了传统级联模型的不足,并指出了该领域的挑战与未来研究方向。
2024-06-08 cs.CL cs.SD eess.AS
Unified model for code-switching speech recognition and language identification based on a concatenated tokenizer
NVIDIA(英伟达)
本文提出基于拼接分词器的统一模型,通过从单语数据构建语码转换ASR数据集并同时输出语言ID,在英语-印地语和英语-西班牙语上取得最先进ASR结果,并在FLEURS数据集上实现98%以上的口语语言识别准确率。
2023-09-16 cs.CL cs.SD eess.AS
Textual Data Augmentation for Arabic-English Code-Switching Speech Recognition
KANARI AI(卡纳里人工智能公司);Johns Hopkins University(约翰斯·霍普金斯大学);Qatar Computing Research Institute(卡塔尔计算研究所)
话语内语码转换(CS)在口语内容中的普遍性要求语音识别(ASR)系统处理混合语言。设计CS-ASR系统有许多挑战,主要是由于数据稀缺,语法结构复杂性和领域不匹配。最常见的解决CS的方法是训练ASR系统与可用的转录CS语音,以及单语数据。在这项工作中,我们提出了一个零样本学习CS-ASR的方法,通过人工生成CS文本来增强单语数据。我们基于我们的方法随机词汇替换和等价约束(EC),同时利用对齐的翻译对生成随机和语法上有效的CS内容。我们的实证结果表明,65.5%的相对减少语言模型困惑,7.7%的ASR WER在两个生态有效的CS测试集。使用EC对生成的文本进行的人工评估表明,超过80%的文本具有足够的质量。
2023-01-11 cs.CL cs.SD eess.AS
Few-Shot Contrastive Adaptation for Audio Abuse Detection in Low-Resource Indic Languages
本文探讨了CLAP模型在低资源印地语中直接从音频检测滥用语音的可能性,通过ADIMA数据集评估少样本对比适应的效果,发现CLAP能提供强跨语言音频表示,但少样本适应效果语言依赖且非单调。
2026-08-03 cs.CL cs.SD
End-to-End Transformer-based Automatic Speech Recognition for Northern Kurdish: A Pioneering Approach
University of Kurdistan Hewler(库尔德斯坦休勒大学);Cyberspace Research Institute, Shahid Beheshti University(沙希德贝赫什提大学网络空间研究所);University of Tehran(德黑兰大学);The University of Melbourne(墨尔本大学)
本文针对低资源语言北库尔德语,系统比较Whisper模型的三种微调策略,发现附加模块微调效果最佳,在约68小时语料上取得WER 10.5%和CER 5.7%,证明了定制微调对低资源ASR的重要性。
2024-10-19 cs.CL eess.AS
Universal Automatic Phonetic Transcription into the International Phonetic Alphabet
University of Notre Dame(圣母大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Google(谷歌)
本文提出一种基于wav2vec 2.0的通用语音转IPA模型,利用CommonVoice 11.0七种语言的高质量半自动转写数据进行微调,以更小数据集取得与Wav2Vec2Phoneme相当或更优的性能,并接近人类标注水平。
2023-08-07 cs.CL cs.SD eess.AS
Speech Recognition Rescoring with Large Speech-Text Foundation Models
Amazon Science(亚马逊科学研究院)
本文提出利用多模态大型语言模型进行ASR重打分的新技术,结合判别式训练与跨模态知识迁移,实验证明其相对Whisper large ASR和纯文本LLM分别实现高达20%和15%的提升。
2024-09-25 cs.CL cs.SD eess.AS