Adding Connectionist Temporal Summarization into Conformer to Improve Its Decoder Efficiency For Speech Recognition
Ping An Technology(平安科技)
Conformer模型是一种优秀的语音识别建模体系结构,它有效地利用了连接主义时间分类(CTC)的混合损失和对训练模型参数的关注。为了提高解码效率的构象,我们提出了一种新的连接主义的时间摘要(CTS)的方法,减少了所需的帧的数量的注意解码器从由编码器产生的声学序列,从而减少操作。然而,为了实现这种解码改进,我们必须微调模型参数,因为交叉注意观察会发生变化,因此需要相应的改进。我们的最终实验表明,在波束宽度为4的情况下,LibriSpeech的解码预算可以减少多达20%,对于FluentSpeech数据,可以减少11%,而不会损失ASR的准确性。LibriSpeech“test-other”集的准确性甚至有所提高。字出错率(WER)在波束宽度为1时相对降低6%,在波束宽度为4时相对降低3%。
2022-04-08 cs.CL cs.SD eess.AS
An Effective Contextual Language Modeling Framework for Speech Summarization with Augmented Features
National Taiwan Normal University(国立台湾师范大学)
大量与语音信息相关的多媒体信息迫切需要开发高效的自动摘要方法。为此,我们已经看到在将基于监督的深度神经网络的方法应用于提取语音摘要方面取得了快速进展。最近,双向编码器表示从Transformers(BERT)模型被提出,并取得了破纪录的成功,在许多自然语言处理(NLP)任务,如问答和语言理解。鉴于此,我们在本文中的语境和增强的国家的最先进的基于BERT的模型的语音摘要,而其贡献至少是三倍。首先,我们探讨了将置信度分数纳入句子表示,看看这样的尝试是否有助于减轻不完美的自动语音识别(ASR)所造成的负面影响。其次,我们还增加了额外的结构和语言特征,如句子位置和逆文档频率(IDF)的统计信息,从BERT得到的句子嵌入。最后,我们在一个基准数据集上验证了我们提出的方法的有效性,与几个经典和著名的语音摘要方法相比。
2020-06-01 cs.CL
XNOR-FORMER: Learning Accurate Approximations in Long Speech Transformers
Carnegie Mellon University(卡内基梅隆大学)
Transformers是语音、视觉和自然语言处理等领域中许多任务的最新技术。自注意力是这种性能的关键贡献者,具有二次计算复杂性,这使得在更长的输入序列上训练具有挑战性。先前的工作已经产生了具有线性注意力的最先进的Transformer变体,然而,当前的模型牺牲性能以实现高效的实现。在这项工作中,我们开发了一种新的线性Transformer通过检查的自我关注内的关键查询产品的属性。我们的模型在语音识别和语音摘要方面优于最先进的方法,导致Librispeech-100语音识别基准和新的INTERVIEW语音识别基准的绝对WER提高了1%,并且对于使用How2的摘要,ROUGE提高了5分。
2022-12-19 cs.AI cs.CL cs.SD
Hierarchical Summarization for Longform Spoken Dialog
Columbia University(哥伦比亚大学);Microsoft(微软);Stanford University(斯坦福大学)
我们每天都被对话包围着。这种媒介提供丰富多样的信息流,但系统地理解对话往往是不平凡的。尽管口头对话普遍存在,但自动语音理解和质量信息抽取仍然明显较差,特别是与书面散文相比时。此外,与理解文本相比,听觉交流带来了许多额外的挑战,例如说话者不流利,非正式的散文风格和缺乏结构。这些问题都表明,需要一个明显的语音定制的交互系统,以帮助用户理解和浏览口语领域。虽然个人自动语音识别(ASR)和文本摘要方法已经存在,但它们是不完善的技术;既不考虑用户目的和意图,也不解决口语引起的并发症。因此,我们设计了一个两阶段的ASR和文本摘要管道,并提出了一套语义分割和合并算法,以解决这些语音建模的挑战。我们的系统使用户能够轻松地浏览和导航内容,以及从这些底层技术的错误中恢复。最后,我们提出了一个评估系统,突出用户偏好的分层摘要作为一种工具,快速浏览音频和识别感兴趣的内容给用户。
2021-08-21 cs.AI cs.CL
Spoken DialogSum: An Emotion-Rich Conversational Dataset for Spoken Dialogue Summarization
Center for Language and Speech Processing(语言与语音处理中心)
Spoken DialogSum是一个用于语音对话摘要的富有情感的对话数据集,通过结合语音、摘要和非语言线索,提升情感摘要的生成效果。
2025-12-17 cs.AI cs.CL cs.LG
Team MTS @ AutoMin 2021: An Overview of Existing Summarization Approaches and Comparison to Unsupervised Summarization Techniques
MTS AI(MTS人工智能);ActiveBC(ActiveBC公司)
本文针对AutoMin 2021自动会议纪要任务,分析现有摘要方法并提出基于聚类的无监督摘要技术,在真实录音流水线上优于预训练模型。
2024-10-04 cs.CL
Feature Learning with Gaussian Restricted Boltzmann Machine for Robust Speech Recognition
Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems(清华-香港中文大学媒体科学、技术与系统联合研究中心);Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学)
本文首先提出了高斯限制玻尔兹曼机(GRBM)的一种新变体--多元高斯限制玻尔兹曼机(MGRBM),给出了它的定义和学习算法。然后,我们建议使用一个学习GRBM或MGRBM提取更好的鲁棒语音识别的功能。我们在Aurora 2上的实验表明,无论是HMM-GMM还是混合HMM-深度神经网络(DNN)声学模型,GRBM提取的特征和MGRBM提取的特征都比Mel频率倒谱系数(MFCC)好得多,MGRBM提取的特征略好。
2013-09-23 cs.CL cs.LG cs.SD
Automated speech tools for helping communities process restricted-access corpora for language revival efforts
Stanford University(斯坦福大学);Australian National University(澳大利亚国立大学);University of Groningen(格罗宁根大学)
许多濒危语言的语音档案记录仍然没有注释,社区成员和语言学习计划无法访问。一个瓶颈是注释的时间密集性。对于具有访问限制的录音,会出现更窄的瓶颈,例如在注释开始之前必须由授权社区成员审查或过滤的语言。我们提出了一个隐私保护的工作流程,以扩大两个瓶颈的录音中,在濒危语言的语音与更广泛使用的语言,如英语的元语言的评论和问题(例如,什么是“树”这个词?)。我们集成了语音活动检测(VAD)、口语识别(SLI)和自动语音识别(ASR)来转录元语言内容,授权人员可以快速扫描这些元语言内容,以分类记录,这些记录可以由访问级别较低的人员进行注释。我们报告正在进行的工作处理136小时档案音频包含英语和Muruwari的混合。我们与Muruwari档案材料保管人的合作工作表明,即使只有最少量的注释训练数据,这种工作流程也可以将元语言转录时间减少20%:SLI和ASR每种语言10个发音最多39分钟,可能只有39秒。
2022-04-24 cs.CL cs.SD eess.AS
Factual Consistency Oriented Speech Recognition
Microsoft(微软)
本文提出了一种新的优化框架,自动语音识别(ASR)的目的是减少幻觉产生的ASR模型。所提出的框架优化了ASR模型,以最大限度地提高ASR假设和地面实况之间的预期事实一致性得分,其中事实一致性得分由单独训练的估计器计算。使用AMI会议语料库和VoxPopuli语料库的实验结果表明,使用所提出的框架训练的ASR模型生成的ASR假设具有显着更高的一致性分数与地面实况transmittance,同时保持接近交叉熵训练的ASR模型的单词错误率。此外,它表明,训练的ASR模型与所提出的框架,提高了语音摘要的质量,由一个大型语言模型生成的会议会话摘要的事实一致性来衡量。
2023-02-24 cs.CL cs.SD eess.AS
Visual Summarization of Scholarly Videos using Word Embeddings and Keyphrase Extraction
L3S Research Center, Leibniz Universität Hannover(莱布尼茨汉诺威大学L3S研究中心);Leibniz Information Centre for Science and Technology (TIB)(莱布尼茨科学技术信息中心(TIB))
视听内容的有效学习取决于许多因素。除了学习资源内容的质量之外,发现最相关和最合适的视频以最有效地支持学习过程也是至关重要的。视频摘要技术通过提供对内容的快速概述来促进这一目标。它对于较长的录音特别有用,例如会议演示或讲座。在本文中,我们提出了一种方法,生成一个基于语义词嵌入和关键短语提取视频内容的视觉摘要。为此,我们利用语音识别和视频OCR(光学字符识别)自动生成的视频注释。
2019-11-25 cs.CL cs.DL cs.MM
Improving Practical Aspects of End-to-End Multi-Talker Speech Recognition for Online and Offline Scenarios
本研究扩展序列化输出训练框架,通过结合连续语音分离前端、双模型/双遍架构及分段SOT,平衡多说话人语音识别的延迟与准确率,适配在线与离线场景需求。
2025-06-17 cs.CL cs.SD eess.AS
Advancing Speech Summarization in Multi-modal LLMs with Reinforcement Learning
Microsoft CoreAI(微软核心人工智能)
提出多阶段强化学习训练框架,增强多模态大语言模型的语音摘要能力,显著超越强基线和更大模型,缩小与文本大模型的差距。
2025-09-23 cs.AI cs.CL eess.AS
Reasoning Beyond Transcription: Audio Language Models on Child Stuttering Speech
University of Florida(佛罗里达大学)
本研究探索音频语言模型在混合说话者环境中对儿童口吃语音的推理能力,通过语义摘要和语音蕴含任务,发现模型能提取高层次含义但推理随不流畅程度增加而显著下降。
2026-09-09 cs.CL
Dual Causal/Non-Causal Self-Attention for Streaming End-to-End Speech Recognition
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
基于注意力的端到端自动语音识别(ASR)系统最近已经展示了用于许多任务的最先进的结果。然而,自我注意和基于注意的编码器-解码器模型的应用对于流式ASR仍然具有挑战性,其中每个单词必须在说出后不久被识别。在这项工作中,我们提出了双重因果/非因果自我注意力(DCN)架构,与限制自我注意力相比,它可以防止整体上下文在深层架构中使用时超出单层的前瞻性。使用流式Transformer和Conformer架构将DCN与基于块的和受限的自注意进行比较,示出了与受限的自注意相比的改进的ASR性能和与基于块的自注意相比的竞争性ASR结果,同时提供了帧同步处理的优点。结合触发注意力,所提出的流媒体端到端ASR系统在LibriSpeech、HKUST和Switchboard ASR任务上获得了最先进的结果。
2021-07-02 cs.LG cs.SD eess.AS
Instruction-Following Speech Recognition
Apple(苹果公司);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出指令跟随语音识别,训练 Listen-Attend-Spell 模型从零开始理解并执行自由形式文本指令,在 Librispeech 上无需 LLMs 或预训练模块即可完成转录操作、摘要及选择性转录等任务,并提升隐私安全性。
2023-09-18 cs.CL cs.LG cs.SD
The Interpreter Understands Your Meaning: End-to-end Spoken Language Understanding Aided by Speech Translation
Idiap Research Institute(Idiap 研究院);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文提出利用语音翻译作为预训练任务,提升端到端口语理解模型在单语和跨语言场景下的性能,并在多个基准上验证了其有效性。
2023-10-17 cs.CL cs.SD eess.AS
Minuteman: Machine and Human Joining Forces in Meeting Summarization
Charles University(查理大学)
提出半自动会议记录工具Minuteman,通过人机协作实时编辑转录和摘要,解决ASR命名实体错误及模型幻觉问题,降低认知负荷。
2023-09-11 cs.CL
Identifying False Content and Hate Speech in Sinhala YouTube Videos by Analyzing the Audio
Sri Lanka Institute of Information Technology(斯里兰卡信息技术学院)
本研究提出一种评级系统,通过音频转录、仇恨言论检测和文本摘要,识别僧伽罗语YouTube视频中的虚假内容和仇恨言论,以遏制暴力与错误信息传播。
2024-01-30 cs.AI cs.CL cs.LG
Real-time Speech Summarization for Medical Conversations
University of Toronto(多伦多大学);University Health Network(大学健康网络);College of William and Mary(威廉玛丽学院);University of Cincinnati(辛辛那提大学);Indiana State University(印第安纳州立大学);FPT Software AI Center(FPT软件人工智能中心)
本研究提出了首个可部署的实时医疗对话语音摘要系统,并发布了首个医疗对话语音摘要数据集VietMed-Sum,同时利用LLM与人工协同创建摘要并提供了基线结果。
2025-04-04 cs.AI cs.CL cs.LG
Minimum Latency Training of Sequence Transducers for Streaming End-to-End Speech Recognition
Yahoo Japan Corporation(雅虎日本公司);Carnegie Mellon University(卡内基梅隆大学)
序列转换器,如RNN-T和Conformer-T,是端到端语音识别最有前途的模型之一,特别是在延迟和准确性都很重要的流媒体场景中。虽然已经研究了各种方法(例如,受限训练和FastEmit)来减少延迟,但是延迟的减少通常伴随着准确性的显著降低。我们认为,这种次优性能可能是因为没有以前的方法显式建模和减少延迟。在本文中,我们提出了一种新的训练方法来显式建模和减少延迟的序列传感器模型。首先,我们定义在网格上的每个对角线的预期延迟,并表明其梯度可以有效地计算内的向前向后算法。然后,我们用这个预期的延迟来增加换能器损耗,从而实现延迟和精度之间的最佳权衡。在WSJ数据集上的实验结果表明,所提出的最小延迟训练将因果Conformer-T的延迟从220 ms降低到27 ms,WER下降0.7%,并且优于传统的限制性训练(110 ms)和FastEmit(67 ms)方法。
2022-11-04 cs.CL cs.SD eess.AS
Re-evaluating Minimum Bayes Risk Decoding for Automatic Speech Recognition
CyberAgent
本文评估了最小贝叶斯风险解码在英语和日语自动语音识别和语音翻译任务中的性能,发现其在多数实验设置中优于束搜索,显示出在高精度任务中的潜力。
2026-05-13 cs.CL cs.LG eess.AS
BASS: Block-wise Adaptation for Speech Summarization
Carnegie Mellon University(卡内基梅隆大学)
针对端到端语音摘要难以处理超长输入的问题,本文提出流式分块训练 BASS,并通过跨块语义上下文传递,使模型增量更新摘要,在 How2 上较截断基线 ROUGE-L 绝对提升 3 分。
2023-07-17 cs.CL cs.SD eess.AS
Unidirectional Memory-Self-Attention Transducer for Online Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
自注意模型已经成功地应用于端到端的语音识别系统中,大大提高了识别的准确率。然而,这种基于注意力的模型不能用于在线语音识别,因为这些模型通常必须利用整个声学序列作为输入。一种常见的方法是通过固定的左右窗口来限制注意视野,这使得计算成本可管理,但也引入了性能下降。在本文中,我们提出了记忆自我注意(MSA),它增加了历史信息的限制自我注意单元。MSA只需要本地时间特征作为输入,并通过关注记忆状态有效地建模长时间上下文。同时,递归神经网络转换器(RNN-T)已被证明是一个伟大的方法,在线ASR任务,因为RNN-T的对齐是局部和单调的。我们提出了一种新的网络结构,称为记忆自我注意(MSA)换能器。MSA传感器的编码器和解码器均包含建议的MSA单元。实验结果表明,在SWBD数据集上,我们提出的模型相对于限制性自注意模型WER结果提高了$13.5 on WSJ and $ 7.1,并且计算量没有太大增加.
2021-02-23 cs.SD eess.AS
Prompting Large Language Models with Audio for General-Purpose Speech Summarization
Massachusetts Institute of Technology(麻省理工学院)
本研究提出结合指令微调LLM与音频编码器的端到端语音摘要框架,经语音-文本配对数据训练后可通过提示实现跨领域多风格语音摘要,性能优于级联基线系统。
2024-06-10 cs.CL eess.AS
Cross-Lingual Conversational Speech Summarization with Large Language Models
BBN Technologies(BBN技术公司)
针对跨语言对话语音摘要资源匮乏问题,研究者在Fisher和Callhome西英语音翻译语料库基础上补充GPT-4生成的摘要构建数据集,适配后的Mistral-7B模型摘要性能优于现成模型且媲美GPT-4。
2024-08-12 cs.AI cs.CL
Leveraging Large Text Corpora for End-to-End Speech Summarization
NTT Corporation(日本电报电话公司)
端到端语音摘要(E2E SSum)是一种直接从语音中生成摘要句子的技术。与结合了自动语音识别(ASR)和文本摘要模型的级联方法相比,E2 E方法更有前途,因为它减轻了ASR错误,结合了非语言信息,并简化了整个系统。然而,由于收集大量成对数据(即,语音和摘要)是困难的,训练数据通常不足以训练健壮的E2E SSum系统。在本文中,我们提出了两种新的方法,利用大量的外部文本摘要数据的E2E SSum训练。第一种技术是利用文本到语音(TTS)系统来生成合成语音,该合成语音用于具有文本摘要的E2E SSum训练。第二种是TTS自由的方法,直接输入音素序列,而不是合成语音的E2E SSum模型。实验表明,我们提出的TTS和音素为基础的方法提高了几个指标的How2数据集。特别是,我们最好的系统比以前最先进的系统性能好得多(即,METEOR评分改善超过6分)。据我们所知,这是E2E SSum使用外部语言资源的第一个工作。此外,我们报告了How2数据集的详细分析,以确认我们提出的E2E SSUM系统的有效性。
2023-03-02 cs.CL eess.AS
Alignment Restricted Streaming Recurrent Neural Network Transducer
Facebook AI(Facebook人工智能研究院)
在语音社区中,对开发用于自动语音识别(ASR)应用的循环神经网络换能器(RNN-T)模型的兴趣越来越大。RNN-T是用损失函数训练的,该损失函数不强制训练转录本和音频的时间对准。因此,使用单向长短期记忆(LSTM)编码器构建的RNN-T模型往往会在流式传输已经解码的ASR令牌之前等待更长的输入音频跨度。在这项工作中,我们提出了一个修改的RNN-T损失函数和开发对齐限制的RNN-T(Ar-RNN-T)模型,它利用音频文本对齐信息来指导损失计算。我们比较了所提出的方法与现有的作品,如单调RNN-T,LibriSpeech和内部数据集。我们表明,Ar-RNN-T损失提供了一个精细的控制,导航令牌发射延迟和字出错率(WER)之间的权衡。Ar-RNN-T模型还通过在任何给定的延迟范围内保证令牌发射来改进下游应用,例如ASR端点。此外,Ar-RNN-T损失允许我们的LSTM模型架构具有更大的批量大小和4倍的吞吐量,从而能够在GPU上实现更快的训练和收敛。
2020-11-05 cs.CL cs.LG cs.SD
LIA-RAG: a system based on graphs and divergence of probabilities applied to Speech-To-Text Summarization
LIA / UAPV(阿维尼翁大学计算机实验室/阿维尼翁大学)
本文提出了一种基于概率和图形统计差异的语音文本自动摘要算法。输入是带有噪声的语音对话的文本,输出是紧凑的文本摘要。我们在CCCS Multiling 2015法语语料库的试点任务上的结果非常令人鼓舞
2016-01-26 cs.CL cs.IR
Speech vs. Transcript: Does It Matter for Human Annotators in Speech Summarization?
Carnegie Mellon University(卡内基梅隆大学);ASAPP Inc(ASAPP公司);Mohammed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
本研究对比语音和文本转录两种模态下人类标注的语音摘要差异,通过多维度评估发现语音摘要事实一致性与信息筛选性更优,转录摘要受识别错误影响,专家摘要更可靠,并公开数据代码推动领域研究。
2024-08-12 cs.CL cs.HC cs.SD
Multi-Task Instruction Tuning via Data Scheduling for Low-Resource Arabic SpeechLLMs
Qatar Computing Research Institute(卡塔尔计算研究院)
本文研究了在资源受限环境下,通过数据调度优化多任务指令微调方法,提出AraMega-SSum用于训练和评估阿拉伯语中心的音频LLM,并比较了四种训练策略,发现两阶段TPC→ADS策略在任务平衡上表现最佳。
2026-07-08 cs.AI cs.CL cs.SD
Sentence-wise Speech Summarization: Task, Datasets, and End-to-End Modeling with LM Knowledge Distillation
NTT Corporation(NTT公司)
本文提出逐句语音摘要任务及两个数据集,并针对端到端模型性能不足的问题,引入基于级联模型伪摘要的知识蒸馏方法,在两个数据集上有效提升了端到端模型的摘要性能。
2024-08-01 cs.CL eess.AS
Étude de l'informativité des transcriptions : une approche basée sur le résumé automatique
Université d’Avignon et des Pays de Vaucluse(阿维尼翁与沃克吕兹地区大学);École Polytechnique de Montréal(蒙特利尔综合理工学院)
本文提出了一种新的方法来评估来自自动语音识别系统的译文的信息量。该方法基于信息量的概念,重点研究了在这些文本上进行自动摘要的框架。首先对各种自动文摘的信息量进行了估计,然后探讨了自动文摘克服信息损失的能力。为了做到这一点,我们使用一个自动摘要评估协议没有参考(基于信息内容),计算不同的文本表示的概率分布之间的分歧:手动和自动transmittance和他们的摘要。经过一系列的评估,这种分析使我们能够判断转录的信息量方面的质量,并评估自动文本摘要的能力,以补偿在转录阶段提出的问题。
2018-09-04 cs.CL
Scaling Speech Technology to 1,000+ Languages
Meta AI;JPMorgan Chase(摩根大通);Apple(苹果公司);Hebrew University of Jerusalem(希伯来大学);Open AI(开放人工智能研究中心)
本文提出Massively Multilingual Speech (MMS)项目,利用新宗教文本数据集和自监督学习,将语音技术扩展至1,000+种语言,在FLEURS基准上词错率较Whisper降低一半以上。
2023-05-22 cs.CL cs.SD eess.AS
Recent Trends in Distant Conversational Speech Recognition: A Review of CHiME-7 and 8 DASR Challenges
Carnegie Mellon University(卡内基梅隆大学);Paderborn University(帕德博恩大学);NVIDIA(NVIDIA公司);Meta;Johns Hopkins University(约翰霍普金斯大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Southern University of Science and Technology(南方科技大学)
本文综述CHiME-7和8 DASR挑战赛,指出端到端ASR、引导源分离和说话人日志优化成为主流,并发现会议摘要下游评估与转录质量弱相关,且复杂环境下的自发语音转录仍具挑战。
2025-11-01 cs.CL cs.SD eess.AS
Cross-utterance Reranking Models with BERT and Graph Convolutional Networks for Conversational Speech Recognition
National Taiwan Normal University(台湾师范大学)
如何有效地将跨话语信息引入神经语言模型(LM)已成为自动语音识别(ASR)的一个有趣的问题。现有的研究工作,提高语境化的LM通常把以前的话语作为一个序列的额外的输入,并可能无法捕捉这些话语之间的复杂的全球结构的依赖关系。有鉴于此,我们在本文中试图表示的历史语境信息的话语图结构的数据,以提取跨话语,全球词的相互作用关系。为此,我们将图卷积网络(GCN)应用于所得到的图,以获得相应的历史单词的GCN嵌入。GCN最近在社会网络分析、文本摘要等方面发现了它的多用途应用,这主要是由于它能够有效地捕获元素之间丰富的关系信息。然而,GCN在ASR的背景下,特别是在处理会话语音方面,仍然存在很大的不足。此外,我们框架ASR N-最好的重新排序作为一个预测问题,利用双向编码器表示从Transformers(BERT)作为车辆,不仅抓住本地固有的词规律性模式固有的候选假设,但也纳入跨话语,历史词的互动线索蒸馏GCN为促进性能。在AMI基准数据集上进行的大量实验似乎证实了我们的方法的实用性,与当前一些顶级方法有关。
2021-10-01 cs.CL eess.AS
Local Monotonic Attention Mechanism for End-to-End Speech and Language Processing
Graduate School of Information Science(信息科学研究科);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
最近,编码器-解码器神经网络在许多序列相关任务上表现出令人印象深刻的性能。该架构通常使用注意力机制,该机制允许模型学习源序列和目标序列之间的比对。今天使用的大多数注意力机制是基于全局注意力属性,其需要计算由编码器状态生成的整个输入序列的加权摘要。然而,它在计算上是昂贵的,并且经常在较长的输入序列上产生不对准。此外,它不适合单调或从左到右的性质,在一些任务,如自动语音识别(ASR),字素到音素(G2P),在本文中,我们提出了一种新的注意力机制,具有本地和单调的属性。还探讨了控制这些属性的各种方法。在ASR、G2P和句子结构相似的两种语言之间的机器翻译上的实验结果表明,与采用标准全局注意结构的编码器-解码器模型相比,采用局部单调注意结构的编码器-解码器模型能够显著提高性能,降低计算复杂性.
2017-11-03 cs.CL
VoxSumm: A Multilingual Corpus of Long-Form Spoken News for Joint Summarization and Translation
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);Google DeepMind(谷歌DeepMind);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席项目)
本研究针对长文档摘要与多语言语音翻译的研究缺口,提出联合语音摘要与翻译任务,构建首个多语言跨语言基准VoxSumm,并评估相关模型表现,为多语言语音处理系统提供支撑。
2026-08-12 cs.CL cs.SD
Speech-to-SOAP: End-to-End Summarization of Medical Dialogues: KIT@BeTraC 2026
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
本研究针对医学对话摘要任务,提出KIT团队参加BeTraC挑战赛轻量级赛道的方案,构建可扩展数据增强流水线,适配语音基础模型实现端到端语音转SOAP生成,减轻医护记录负担。
2026-09-22 cs.CL eess.AS
Europarl-ST: A Multilingual Corpus For Speech Translation Of Parliamentary Debates
Valencian Research Institute for Artificial Intelligence (VRAIN)(巴伦西亚人工智能研究所(VRAIN))
目前对口语翻译(speak-language translation,缩写为speech-to-text translation)的研究通常受到缺乏特定数据资源的阻碍,因为目前可用的口语翻译数据集仅限于有限的语言对。在本文中,我们提出了Europarl-ST,一个新的多语种的翻译语料库,包含配对的音频文本样本,从和到6种欧洲语言,共30个不同的翻译方向。该语料库是利用2008年至2012年期间欧洲议会举行的辩论汇编而成的。本文描述了语料库的创建过程,并提出了一系列的自动语音识别,机器翻译和口语翻译实验,突出了这种新资源的潜力。该语料库在知识共享许可下发布,可免费访问和下载。
2020-02-12 cs.CL cs.SD eess.AS
SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding Tasks
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);ASAPP(ASAPP公司);Carnegie Mellon University(卡内基梅隆大学);National Taiwan University(国立台湾大学)
本研究推出SLUE Phase-2基准套件,基于免费语音数据新增4项SLU标注任务,配套发布微调集、开发测试集与基线模型,并分析流水线模型性能对语音识别准确率的敏感度,填补SLU评估空白。
2023-06-15 cs.CL eess.AS
End-to-End Multi-speaker Speech Recognition with Transformer
Johns Hopkins University(约翰斯·霍普金斯大学);Shanghai Jiao Tong University(上海交通大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
最近,基于全递归神经网络(RNN)的端到端模型已被证明是有效的多说话人语音识别在单通道和多通道的情况下。在这项工作中,我们探讨了使用Transformer模型,这些任务的重点是两个方面。首先,我们将语音识别模型中基于RNN的编码器-解码器替换为Transformer架构。其次,为了在多通道情况下在神经波束形成器的掩蔽网络中使用Transformer,我们将自注意分量修改为仅限于一段而不是整个序列,以减少计算。除了模型架构的改进,我们还结合了外部去混响预处理,加权预测误差(WPE),使我们的模型能够处理混响信号。在空间化wsj 1 - 2 mix语料库上的实验表明,在单通道和多通道任务中,基于transformer的模型分别实现了40.9%和25.6%的相对WER降低,分别下降到12.1%和6.4%;而在混响情况下,我们的方法实现了41.5%和13.8%的相对WER降低,分别为16.5%和15.2%。
2020-02-13 cs.CL cs.SD eess.AS
Streaming automatic speech recognition with the transformer model
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
基于编码器-解码器的序列到序列模型已经在端到端自动语音识别(ASR)中展示了最先进的结果。最近,Transformer架构,其使用自注意力来建模时间上下文信息,已经被证明与基于递归神经网络(RNN)的系统架构相比,实现了显著更低的字出错率(WER)。尽管其成功,但实际使用仅限于离线ASR任务,因为编码器-解码器架构通常需要整个语音话语作为输入。在这项工作中,我们提出了一个基于Transformer的端到端ASR系统流ASR,其中输出必须在每个口语单词后不久生成。为了实现这一点,我们应用时间限制的自我注意的编码器和触发注意的编码器-解码器的注意力机制。我们提出的流传输Transformer架构实现了LibriSpeech的“干净”和“其他”测试数据的2.8%和7.2% WER,据我们所知,这是针对该任务的最佳发布流传输端到端ASR结果。
2020-06-30 cs.CL cs.LG cs.SD
The NTNU System at the Interspeech 2020 Non-Native Children's Speech ASR Challenge
National Taiwan Normal University(国立台湾师范大学)
本文介绍了NTNU ASR系统参加由ISCA的SIG-CHILD组支持的Interspeech 2020非母语儿童语音ASR挑战赛。由于非母语和儿童语言特征的共存多样性,这一ASR共享任务变得更具挑战性。在封闭式评估的环境下,所有参与者只能根据组织者提供的语音和文本语料库开发自己的系统。为了解决这个资源不足的问题,我们在基于CNN-TDNF的声学模型之上构建了我们的ASR系统,同时利用各种数据增强策略的协同作用,包括话语和单词级别的速度扰动和语谱图增强,以及简单而有效的数据清理方法。我们的ASR系统的所有变体都采用了基于RNN的语言模型来对第一遍识别假设进行重新评分,该模型仅在组织者发布的文本数据集上进行训练。我们的系统配置最好,排在第二位,字错误率(WER)为17.59%,而表现最好的、亚军和官方基线系统的字错误率分别为15.67%、18.71%和35.09%。
2020-06-02 cs.CL cs.SD eess.AS
Towards End-to-end Speech-to-text Summarization
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Universidade do Porto, Faculdade de Engenharia(波尔图大学工程学院);Priberam
该研究针对法语广播新闻语料库,提出借助预训练T2T摘要器迁移学习的端到端S2T抽象式摘要模型,实验显示其优于抽取式基线但仍落后于级联系统,并分析了差距与未来方向。
2023-06-06 cs.AI cs.CL cs.LG
SeaLLMs-Audio: Large Audio-Language Models for Southeast Asia
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团)
本文推出首个面向东南亚多语言的大型音频语言模型SeaLLMs-Audio,支持5种语言、多模态输入及多任务处理,并引入SeaBench-Audio基准,在东南亚语言任务上取得竞争力。
2025-11-03 cs.AI cs.CL
Novel Word Embedding and Translation-based Language Modeling for Extractive Speech Summarization
Academia Sinica(中央研究院);National Taiwan University(国立台湾大学);National Taiwan Normal University(国立台湾师范大学)
词嵌入方法围绕使用神经网络学习词的连续分布式向量表示,其可以捕获语义和/或句法线索,并且进而用于在上下文中诱导词、句子和文档之间的相似性度量。根据训练目标和模型结构的不同,著名的方法可以分为基于预测的方法和基于计数的方法。在最近的研究中,他们的优点和缺点已经得到了广泛的分析和评估,但相对较少的工作继续研究,以开发一种增强的学习方法,汇集了两个模型家族的优势。此外,对所学单词表征的解释仍然有些不透明。基于观察结果和迫切的需求,本文提出了一种新的词表征学习方法,该方法继承了经典词嵌入方法的优点,并对学习后的词表征提供了更清晰、更严格的解释。基于所提出的词嵌入方法,我们进一步制定了一个基于嵌入的语言建模框架的提取语音摘要任务。一系列的实验结果表明,所提出的词表示学习和语言建模技术在提取语音摘要的有效性。
2016-07-22 cs.AI cs.CL cs.IR
Measuring the Effect of Transcription Noise on Downstream Language Understanding Tasks
OriginAI(奥里吉纳人工智能公司)
本文提出可配置框架,系统评估不同严重程度与类型的 ASR 转录噪声及清洗技术对三个 SLU 任务、四个模型的影响。
2025-02-19 cs.CL
Leverage Unlabeled Data for Abstractive Speech Summarization with Self-Supervised Learning and Back-Summarization
Ubiqus Labs(Ubiqus实验室);LIUM – Le Mans Université(勒芒大学计算机科学实验室);Université de Paris(巴黎大学);LIA – Avignon Université(阿维尼翁大学计算机科学实验室)
神经抽象摘要的监督方法需要大量的注释语料库,构建成本很高。我们提出了一个法语会议摘要任务,报告预测的基础上自动转录的会议录音。为了为该任务构建语料库,需要获取每次会议的(自动或手动)转录,然后将其与相应的手动报告进行分割和对齐,以产生适合于训练的训练样本。另一方面,我们可以访问大量未对齐的数据,特别是没有相应转录的报告。报告是专业的书面和良好的格式,使预处理简单。在这种情况下,我们研究了如何使用两种方法来利用这种大量的未对齐数据:(i)使用目标端去噪编码器-解码器模型的自监督预训练;(ii)后摘要,即通过学习预测给定报告的转录来逆转摘要过程,以便将单个报告与生成的转录对齐,并使用此合成数据集进行进一步训练。我们报告了两种方法在两个评估集上与以前的基线(仅在对齐数据上训练)相比的巨大改进。此外,将两者结合起来可以得到更好的结果,在两个评估集上,其表现优于基线,分别为+6 ROUGE-1和ROUGE-L以及+5 ROUGE-2
2020-09-17 cs.CL
TouchASP: Elastic Automatic Speech Perception that Everyone Can Touch
GUA Speech Team(GUA语音团队);WeNet Community(WeNet社区)
提出弹性专家混合(eMoE)模型与无监督数据创建流程,实现一次训练即可弹性部署的自动语音感知(ASP)系统,在降低字符错误率的同时支持多语言、多方言及声音事件感知。
2024-12-20 cs.CL eess.AS eess.SP
Alignment Knowledge Distillation for Online Streaming Attention-based Speech Recognition
Kyoto University(京都大学)
本文描述了一种有效的训练方法,在线流的注意力为基础的编码器-解码器(AED)的自动语音识别(ASR)系统。AED机型通过联合优化所有组件,在离线场景下取得了有竞争力的性能。它们最近被扩展到一个在线流媒体框架,通过模型,如单调分块注意力(MoChA)。然而,精心设计的注意力计算过程对于长形式的语音话语是不鲁棒的。此外,序列级训练目标和时间受限的流编码器在推理期间引起令牌发射的不可忽略的延迟。为了解决这些问题,我们提出了CTC同步训练(CTC-ST),其中利用CTC对齐作为令牌边界的参考,使MoChA模型能够学习最佳单调输入输出对齐。我们制定了一个纯粹的端到端培训目标,以使MoChA的界限与CTC的界限同步。CTC模型与MoChA模型共享编码器以增强编码器表示。此外,所提出的方法提供对齐信息学习的CTC分支的注意力为基础的解码器。因此,CTC-ST可以被视为从CTC到MoChA的比对知识的自升华。在多个基准数据集上的实验结果表明,该方法能够同时显著降低识别错误率和发射延迟。长形式和嘈杂的语音的鲁棒性也被证明。我们比较了CTC-ST与几种从混合ASR系统中提取对齐知识的方法,并表明CTC-ST可以在不依赖外部对齐信息的情况下实现准确性和延迟的可比权衡。最好的MoChA系统显示出与RNN换能器(RNN-T)相当的识别准确性,同时实现更低的发射延迟。
2021-08-22 cs.CL cs.LG cs.SD
SottoVoce: An Ultrasound Imaging-Based Silent Speech Interaction Using Deep Neural Networks
The University of Tokyo(东京大学);Sony Computer Science Laboratories(索尼计算机科学实验室)
通过语音操作的数字设备的可用性正在迅速扩大。然而,语音接口的应用仍然受到限制。例如,在公共场所讲话会成为周围人的烦恼,秘密信息不应该被说出。环境噪声会降低语音识别的准确性。为了解决这些限制,提出了一种检测用户的无声话语的系统。从内部信息观察到的超声波成像传感器连接到下巴的下侧,我们提出的系统识别的话语内容,而无需用户的发声。我们提出的深度神经网络模型用于从超声图像序列中获得声学特征。我们证实,我们的系统产生的音频信号可以控制现有的智能扬声器。我们还观察到,用户可以调整他们的口腔运动来学习和提高他们的话音识别的准确性。
2023-03-03 cs.HC cs.LG cs.SD
Lessons from Building Acoustic Models with a Million Hours of Speech
这是我们从100万小时的未标记语音中构建声学模型的经验教训的报告,而标记语音仅限于7,000小时。我们在未标记的数据上进行学生/教师培训,与基于置信模型的方法相比,这有助于扩展目标生成,而基于置信模型的方法需要解码器和置信模型。为了优化存储和并行化目标生成,我们存储来自教师模型的高值logit。引入调度学习的概念,我们交错学习未标记和标记的数据。为了在大量GPU上扩展分布式训练,我们使用64个GPU的BMUF,而使用16个GPU的梯度阈值压缩SGD仅对标记数据执行序列训练。我们的实验表明,非常大量的数据确实是有用的;几乎没有超参数调整,我们在10%到20%的范围内获得了相对的WER改进,在噪声较大的条件下获得了更高的增益。
2019-04-02 cs.LG cs.SD eess.AS
AugSumm: towards generalizable speech summarization using synthetic labels from large language model
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
本文提出 AugSumm,用 ChatGPT 生成高质量合成语音摘要并用于训练与评估,在 How2 上通过预训练加微调使两类测试集 ROUGE-L 均提升 1 点。
2024-01-10 cs.AI cs.CL
Now You Hear Me: Audio Narrative Attacks Against Large Audio-Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Boise State University(博伊西州立大学)
研究提出了一种音频叙述攻击,通过在叙述式音频流中嵌入非法指令,成功绕过大型音频-语言模型的安全机制,验证了语音接口安全性的关键挑战。
2026-01-30 cs.AI cs.CL cs.CR