On the Contributions of Visual and Textual Supervision in Low-Resource Semantic Speech Retrieval
最近的研究表明,即使没有任何文本监督,与图像配对的语音也可以用于学习语义上有意义的语音表示。然而,在现实世界的低资源环境中,我们经常可以访问一些转录的语音。我们研究是否以及如何视觉接地是有用的,在存在不同数量的文本监督。特别是,我们认为在低资源设置的语义语音检索的任务。我们使用先前研究的数据集和任务,其中模型在带有语音字幕的图像上进行训练,并根据人类对语义相关性的判断进行评估。我们提出了一种多任务学习方法,以利用视觉和文本形式,与视觉监督的关键字概率从外部标记的形式。我们发现,视觉接地是有帮助的,即使在存在的文字监督,我们分析了这种效果的转录数据集的大小范围。通过约5小时的转录语音,当还使用视觉监督时,我们获得了23%的平均精度。
2019-08-30 cs.CL cs.SD eess.AS
LA-RAG:Enhancing LLM-based ASR Accuracy with Retrieval-Augmented Generation
Huawei TSC(华为技术服务中心)
针对现有基于大语言模型的自动语音识别方法在口音等声学条件下性能受限的问题,提出新型检索增强生成范式LA-RAG,通过细粒度token级语音数据存储与语对语检索结合上下文学习提升准确率,在普通话及方言数据集上验证了有效性。
2024-09-13 cs.CL cs.SD eess.AS
Speech Retrieval-Augmented Generation without Automatic Speech Recognition
University of Michigan(密歇根大学);AWS AI Labs(AWS AI实验室)
本文提出SpeechRAG框架,通过微调语音编码器对齐文本与语音嵌入空间,实现无需ASR的直接语音检索,并利用语音语言模型以音频片段为条件进行生成,在ASR错误较高时优于传统级联文本方法。
2025-01-03 cs.AI cs.CL eess.AS
SpeechPrune: Context-aware Token Pruning for Speech Information Retrieval
Duke University(杜克大学)
提出了面向语音大语言模型长上下文任务SIR及基准SPIRAL,并设计了无需训练的Token剪枝策略SpeechPrune,利用语音-文本相似度与近似注意力分数丢弃无关Token,显著提升长语音理解的准确率与效率。
2025-03-30 cs.AI cs.CL cs.SD
CLASP: Contrastive Language-Speech Pretraining for Multilingual Multimodal Information Retrieval
Qatar Computing Research Institute (QCRI)(卡塔尔计算研究所)
本研究提出多语言多模态检索模型CLASP,结合音频频谱图与预训练自监督语音模型、多语言句子编码器,在自建15类语音文本数据集上训练,在多语言检索指标上超越传统ASR基检索方法。
2025-03-23 cs.CL cs.IR cs.SD
Efficient CTC Regularization via Coarse Labels for End-to-End Speech Translation
University of Edinburgh(爱丁堡大学);University of Zurich(苏黎世大学)
对于端到端的语音翻译,使用源转录本或目标翻译作为标签,使用连接时间分类(CTC)目标正则化编码器可以大大提高质量度量。然而,CTC需要在词汇空间上额外的预测层,带来不可忽略的模型参数和计算开销,尽管该层通常不用于推理。在本文中,我们重新审视了CTC正则化对真正词汇标签的需求,并探索了减少CTC标签空间的策略,目标是在不降低质量的情况下提高效率。我们提出了粗标记CTC(CoLaCTC),通过简单的启发式规则,如使用截断,除法或模(MOD)操作合并词汇标签。尽管它很简单,但我们在4种源语言和8种目标语言上的实验表明,CoLaCTC特别是MOD可以将标签空间压缩到256甚至更高,获得训练效率(1.18倍~1.77倍加速,取决于原始词汇量),但仍然提供与CTC基线相当或更好的性能。我们还表明,CoLaCTC成功地推广到CTC正则化,无论使用转录或翻译标记。
2023-02-21 cs.CL cs.SD eess.AS
Speech-Driven Text Retrieval: Using Target IR Collections for Statistical Language Model Adaptation in Speech Recognition
语音识别近来已成为现实世界应用的实用技术。针对语音驱动的文本检索,这有助于检索信息的口语查询,我们提出了一种方法来集成语音识别和检索方法。由于用户说的内容与目标集合相关,我们适应的统计语言模型用于语音识别的基础上的目标集合,以提高识别和检索的准确性。使用现有的测试集合结合口述查询的实验表明,我们的方法的有效性。
2002-06-24 cs.CL
Cross-Modal Denoising: A Novel Training Paradigm for Enhancing Speech-Image Retrieval
Netease Yidun AI Lab(网易易盾AI实验室)
针对现有语音-图像检索方法难以捕捉模态细粒度细节的问题,提出仅在训练阶段使用的跨模态去噪任务增强跨模态对齐,在两个基准数据集上取得了优于现有方法的检索性能,且不增加推理耗时。
2024-09-11 cs.CL cs.SD eess.AS
SpeechCLIP: Integrating Speech with Pre-Trained Vision and Language Model
National Taiwan University(国立台湾大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
数据驱动的语音处理模型通常在大量的文本监督下表现良好,但收集转录的语音数据是昂贵的。因此,我们提出了SpeechCLIP,一个新的框架,通过图像来增强语音模型,而无需transmittance的语音和文本桥接。我们利用最先进的预训练HuBERT和CLIP,通过配对图像和语音字幕进行对齐,并进行最小的微调。SpeechCLIP在图像语音检索方面优于现有技术,并且在没有transmittance直接监督的情况下执行zero-shot语音文本检索。此外,SpeechCLIP可以直接从语音中检索语义相关的关键字。
2022-10-25 cs.CL cs.SD eess.AS
Multi-Modal Retrieval For Large Language Model Based Speech Recognition
Amazon(亚马逊公司)
本文提出融合kNN-LM与交叉注意力的多模态检索方法,并在可访问外部信息的ASR任务中验证其相对文本检索和多模态LM基线的显著优势。
2024-06-13 cs.AI cs.CL cs.IR
FELLE: Autoregressive Speech Synthesis with Token-Wise Coarse-to-Fine Flow Matching
College of Computer Science, Nankai University(南开大学计算机科学学院);Microsoft Corporation(微软公司)
本研究提出自回归语音合成模型FELLE,融合语言建模与逐Token粗到细流匹配,通过调整先验分布、分层生成提升连续值Token建模的相干性与合成质量,实验验证其可显著改善TTS生成效果。
2025-09-03 cs.CL cs.SD eess.AS
Language Modeling for Multi-Domain Speech-Driven Text Retrieval
我们报告的实验结果与语音驱动的文本检索,这有利于检索信息在多个领域的口头查询。由于用户说的内容与目标集合相关,因此我们基于目标集合产生用于语音识别的语言模型,从而提高识别和检索的准确性。使用现有的测试集合结合口述查询的实验表明,我们的方法的有效性。
2002-06-24 cs.CL
Transforming LLMs into Cross-modal and Cross-lingual Retrieval Systems
Boston University(波士顿大学);The University of Edinburgh(爱丁堡大学);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
本研究提出用大语言模型初始化多模态双编码器检索系统,仅用21种语言训练即可实现102种语言的语音文本匹配,平均Recall@1提升10%,还可借助机器翻译数据增强跨语言匹配能力。
2024-07-10 cs.CL cs.IR cs.SD
RASST: Retrieval-Augmented Simultaneous Speech Translation
Johns Hopkins University(约翰霍普金斯大学);Carnegie Mellon University(卡内基梅隆大学)
针对同声传译中罕见术语翻译不准的问题,提出检索增强方法RASST,通过轻量级语音-文本检索器提供分块术语提示,并合成训练数据教会模型何时应用检索术语,在ACL 60/60和ESO测试集上术语准确率提升近40%,BLEU提升最多3点。
2026-06-16 cs.CL
SyllableLM: Learning Coarse Semantic Units for Speech Language Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对语音语言模型分词粒度细、效率低的问题,提出自监督粗粒度类音节单元学习方法,据此训练的SyllableLM在多项任务上达SOTA且效率大幅提升。
2024-10-05 cs.AI cs.CL eess.AS
Semantic speech retrieval with a visually grounded model of untranscribed speech
Stellenbosch University(斯泰伦博斯大学);TTI-Chicago(芝加哥丰田技术研究所)
人们对可以从与视觉上下文配对的未标记语音中学习的模型越来越感兴趣。此设置与低资源语音处理、机器人和人类语言习得研究相关。在这里,我们研究了一个基于视觉的语音模型,在与口头字幕配对的场景图像上训练,如何捕捉语义的各个方面。我们使用外部图像标记器从图像中生成软文本标签,这些标签作为神经模型的目标,将未转录的语音映射到(语义)关键字标签。我们引入了一个新收集的数据集的人类语义相关性判断和相关的任务,语义语音检索,其目标是搜索口语的语义相关的一个给定的文本查询。在没有看到任何文本的情况下,在并行语音和图像上训练的模型在其十大语义检索中达到了近60%的精度。与在transmittance上训练的监督模型相比,我们的模型在某些方面更好地匹配人类的判断,特别是在检索非逐字语义匹配方面。我们进行了广泛的分析模型及其产生的表示。
2018-10-31 cs.CL cs.CV eess.AS
Building a Test Collection for Speech-Driven Web Retrieval
本文介绍了一个测试收集(基准数据)的检索系统驱动的口头查询。这个集合是在NTCIR-3网络检索任务的子任务中产生的,该任务是在TREC风格的评估研讨会中进行的。Web检索任务的搜索主题和文档集合分别用于生成口语查询和语音识别的语言模型。我们使用这个集合来评估我们的检索系统的性能。实验结果表明,(a)使用目标文档的语言建模和(b)在语音识别的词汇量的增加是有效的,在提高系统的性能。
2003-09-12 cs.CL
MoshiRAG: Asynchronous Knowledge Retrieval for Full-Duplex Speech Language Models
Toyota Technological Institute at Chicago(丰田技术研究所(芝加哥))
本文提出MoshiRAG,通过异步框架结合紧凑接口与选择性检索,提升全双工语音模型的事实性,同时保持交互性。
2026-05-12 cs.CL eess.AS
SAMU-XLSR: Semantically-Aligned Multimodal Utterance-level Cross-Lingual Speech Representation
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Le Mans University(勒芒大学)
我们提出了SAMU-XLSR:语义对齐的多模态话语级跨语言语音表示学习框架。与以前的语音表示学习工作不同,它以声学帧(10- 20 ms)的分辨率学习多语言上下文语音嵌入,这项工作专注于学习多模态(语音-文本)多语言语音嵌入,以句子(5- 10 s)的分辨率,使得嵌入向量空间在不同语言之间语义对齐。我们结合国家的最先进的多语言声学帧级语音表示学习模型XLS-R与语言无关的BERT句子嵌入(LaBSE)模型,创建一个话语级多模态语音编码器SAMU-XLSR。虽然我们训练SAMU-XLSR只有多语言转录的语音数据,跨语言的语音文本和语音语音协会出现在其学习的表示空间。为了证实我们的主张,我们使用SAMU-XLSR语音编码器结合预训练的LaBSE文本句子编码器进行跨语言语音到文本翻译检索,并单独使用SAMU-XLSR进行跨语言语音到语音翻译检索。我们通过在多个数据集上执行多个跨语言文本和语音翻译检索任务来突出这些应用程序。
2022-05-17 cs.CL cs.LG cs.SD
SpeechDPR: End-to-End Spoken Passage Retrieval for Open-Domain Spoken Question Answering
National Taiwan University(台湾大学);Massachusetts Institute of Technology(麻省理工学院);Meta AI;Rembrand(伦勃朗)
本文提出首个面向开放域口语问答检索组件的端到端框架SpeechDPR,通过从无监督ASR和文本密集检索器的级联模型蒸馏知识学习句子级语义表示,无需人工转录数据,在ASR效果差时表现更鲁棒。
2024-08-24 cs.CL cs.IR cs.SD
PTC-Bias: Phoneme-Level Temporal Competition for Bias Retrieval and Post-Decoding Correction in Speech LLMs
Shanghai University(上海大学)
提出PTC-Bias,通过音素级时间竞争的两阶段框架(检索与解码后校正),有效利用大规模偏置列表,在LibriSpeech上显著降低B-WER且不损害U-WER。
2026-09-25 cs.CL cs.SD
Entropy-based Coarse and Compressed Semantic Speech Representation Learning
Zhejiang University(浙江大学);LIGHTSPEED;Independent Researcher(独立研究者)
针对现有离散语音表示令牌细粒度高、冗余度大的问题,提出基于熵的动态聚合框架学习压缩语义语音表示,在多任务上性能与密集令牌序列相当或更优。
2025-08-30 cs.CL eess.AS
CLARITY: Contextual Linguistic Adaptation and Accent Retrieval for Dual-Bias Mitigation in Text-to-Speech Generation
CLARITY通过双信号优化缓解文本到语音生成中的双偏见问题,通过语境语言适应和检索增强口音提示提高口音准确性和公平性。
2026-02-17 cs.CL cs.SD
A Method for Open-Vocabulary Speech-Driven Text Retrieval
虽然最近的检索技术不限制索引词的数量,但词汇表外(OOV)词在语音识别中至关重要。针对语音查询的信息检索,我们填补了语音识别和文本检索在词汇量方面的空白。给定一个口头查询,我们生成一个转录和检测OOV的话,通过语音识别。然后,我们将检测到的OOV单词对应到目标集合中索引的术语以完成转录,并在集合中搜索与完成的转录相关的文档。我们通过实验证明了我们的方法的有效性。
2002-06-09 cs.CL
RAG-Boost: Retrieval-Augmented Generation Enhanced LLM-based Speech Recognition
School of Engineering(工程学院)
针对MLC-SLM挑战赛任务I的LLM语音识别系统,提出RAG-Boost方法,通过动态集成RAG模块查询向量存储库并融合检索结果与ASR假设,输入LLM以修正错误、提升识别效果。
2025-08-05 cs.CL eess.AS
To Trust or Not to Trust: Retrieval-Augmented Fact Checking in Speech
IISER Bhopal(印度科学教育与研究学院博帕尔分校);King’s College London(伦敦国王学院);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对语音错误信息,提出VeriSpeak基准,发现文本到语音存在模态差距,检索加显式推理可提升语音事实核查准确率至86.1%。
2026-09-25 cs.AI cs.CL cs.LG
Talk, Don't Write: A Study of Direct Speech-Based Image Retrieval
The University of Edinburgh(爱丁堡大学);Google Research(谷歌研究院)
基于语音的图像检索已经被研究作为联合表示学习的代理,通常不强调检索本身。因此,目前还不清楚基于语音的检索在实践中的效果如何--无论是在绝对意义上,还是与将自动语音识别(ASR)与强大的文本编码器相结合的替代策略相比。在这项工作中,我们广泛研究和扩展编码器架构,训练方法(包括单峰和多峰预训练)和其他因素的选择。我们的实验涵盖了三个数据集的不同类型的语音:Flickr音频,地点音频和本地化叙事。我们最好的模型配置实现了比现有技术更大的增益,例如,Flickr Audio的一次召回率从21.8%提高到33.2%,Places Audio的一次召回率从27.6%提高到53.4%。我们还展示了我们最好的基于语音的模型可以匹配或超过级联ASR到文本编码时,语音是自发的,重音,或以其他方式难以自动转录。
2021-06-15 cs.CL cs.CV cs.IR
Semantic query-by-example speech search using visual grounding
Stellenbosch University(斯泰伦博斯大学);TTI-Chicago(芝加哥丰田技术研究所)
最近的一些研究已经开始研究如何通过在训练时利用伴随的图像来训练语音系统。任务的示例包括关键字预测和模式内和跨模式检索。在这里,我们考虑这样的模型可以用于查询的例子(QBE)搜索,检索相关的一个给定的口头查询的话语的任务。我们特别感兴趣的语义QBE,其中的任务不仅是检索话语包含确切的查询实例,但也话语的意义是相关的查询。我们遵循分段QBE方法,其中可变持续时间的语音段(查询,搜索话语)被映射到固定维度的嵌入向量。我们表明,使用嵌入函数训练视觉接地语音数据的QBE系统优于一个纯粹的声学QBE系统的准确和语义检索性能。
2019-04-15 cs.CL cs.SD eess.AS
How Part-of-Speech Tags Affect Text Retrieval and Filtering Performance
应用于信息检索(IR)和过滤问题的自然语言处理(NLP)可以将词性标签分配给术语,并且更一般地,修改查询和文档。分析模型可以预测文本过滤系统的性能,因为它包含了NLP建议的变化,使我们能够精确地说明NLP操作对IR的平均影响。在这里,我们提供了一个检索和标记模型,使我们能够计算由于句法分析引起的性能变化,并使我们能够了解哪些因素影响性能以及如何影响性能。除了预测的性能与标签,检索性能的上限和下限推导出,给出最好的和最坏的影响,包括部分的语音标签。经验的理由,选择标签集被认为是。
1996-02-08 cmp-lg cs.CL
Retrieval Augmented End-to-End Spoken Dialog Models
Google(谷歌公司)
本文提出检索增强的SLM(ReSLM),通过语音检索器获取音频中的文本实体并输入模型,提升语音对话状态跟踪性能,在DSTC-11上联合目标准确率达38.6%。
2024-02-02 cs.AI cs.CL cs.SD
H-PRM: A Pluggable Hotword Pre-Retrieval Module for Various Speech Recognition Systems
Zhejiang Gongshang University(浙江工商大学)
H-PRM通过声学相似性测量提升语音识别系统中热门词的召回率,适用于传统模型和音频大语言模型。
2025-08-22 cs.AI cs.CL cs.SD
Unsupervised Topic Adaptation for Lecture Speech Retrieval
我们正在开发一个跨媒体的信息检索系统,用户可以通过提交文本查询来查看特定片段的讲座视频。为了产生文本索引,从讲座视频中提取音轨,并通过自动语音识别生成转录。在本文中,为了提高我们的检索系统的质量,我们广泛的调查适应声学和语言模型对语音识别的影响。我们执行基于MLLR的方法来适应声学模型。为了获得用于语言模型适应的语料库,我们使用目标讲座的教科书来搜索与讲座主题相关联的网页的Web集合。我们通过实验证明了我们的方法的有效性。
2004-07-10 cs.CL
End-to-end Contrastive Language-Speech Pretraining Model For Long-form Spoken Question Answering
本文提出CLSR模型,通过将音频特征转换为文本表示,提升长音频问答任务的性能,实验表明其优于现有方法。
2026-04-11 cs.CL cs.SD
VARA-TTS: Non-Autoregressive Text-to-Speech Synthesis based on Very Deep VAE with Residual Attention
Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出了VARA-TTS,一种非自回归(non-AR)的文本到语音(TTS)模型,使用一个非常深的变分自编码器(VDVAE)与剩余注意力机制,它细化的文本到声学对齐逐层。层次隐变量与不同的时间分辨率从VDVAE被用作查询的剩余注意力模块。通过利用来自前一个注意层的粗略全局对齐作为额外的输入,下面的注意层可以产生对齐的细化版本。这分摊了在多个注意层之间学习文本到声学对齐的负担,并且在鲁棒性方面优于仅使用单个注意层。由联合训练的说话速度预测器计算话语级说话速度因子,该预测器将粗层的平均池化潜变量作为输入,以确定推断时的声学帧的数量。实验结果表明,VARA-TTS实现略差的语音质量的AR对应Tacotron 2,但数量级的速度在推理;和优于一个类似的非AR模型,BVAE-TTS,在语音质量方面。
2021-02-12 cs.CL cs.SD eess.AS
FunnelRAG: A Coarse-to-Fine Progressive Retrieval Paradigm for RAG
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peking University(北京大学)
针对扁平 RAG 检索给单检索器带来负担且粒度恒定限制性能上限的问题,本文提出 FunnelRAG 由粗到细渐进检索范式,在保持相当检索性能的同时将时间开销降低近 40%。
2025-02-17 cs.CL cs.IR
Optimizing Rare Word Accuracy in Direct Speech Translation with a Retrieval-and-Demonstration Approach
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of California, Irvine(加州大学欧文分校)
本文提出检索与演示方法,通过改造直接语音翻译模型并结合跨模态检索器获取相似示例,显著提升罕见词翻译准确率。
2024-10-01 cs.CL
CAFE: Retrieval Head-based Coarse-to-Fine Information Seeking to Enhance Multi-Document QA Capability
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院)
本文提出两阶段由粗到细方法 CAFE,利用检索头过滤、排序文档并引导注意力,从而提升 LLM 的多文档问答性能。
2025-05-15 cs.CL
A Multimodal Dense Retrieval Approach for Speech-Based Open-Domain Question Answering
University of Amsterdam(阿姆斯特丹大学)
针对基于语音的开放域问答中ASR流水线限制适用性且传播错误的局限,提出无需ASR、端到端训练的多模态密集检索器,直接处理语音问题,在短问题上检索性能优于传统流水线。
2024-09-20 cs.CL cs.IR
Coarse-Tuning for Ad-hoc Document Retrieval Using Pre-trained Language Models
Hitotsubashi University(一桥大学);Tokyo University of Technology(东京工科大学)
本文提出粗调作为预训练与微调间的中间阶段,通过查询-文档对预测(QDPP)学习查询表示及关系,显著提升了四个临时文档检索数据集的MRR和nDCG@5。
2024-03-27 cs.AI cs.CL cs.IR
On the Impact of Speech Recognition Errors in Passage Retrieval for Spoken Question Answering
University of Amsterdam(阿姆斯特丹大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
与语音接口交互以查询问答(QA)系统正变得越来越流行。通常,QA系统依赖于段落检索来选择候选上下文,并依赖于阅读理解来提取最终答案。虽然已经有一些注意力,以提高阅读理解部分的QA系统对错误的自动语音识别(ASR)模型介绍,段落检索部分仍然是未开发的。然而,这样的错误会影响段落检索的性能,导致较差的端到端性能。为了解决这一差距,我们增加了两个现有的大规模通道排名和开放域QA数据集与合成ASR噪声和研究词汇和密集检索器对ASR噪声的问题的鲁棒性。此外,我们还研究了数据增强技术在不同领域的可推广性;每个领域都是不同的语言方言或口音。最后,我们创建了一个新的数据集,其中包含人类用户提出的问题,并使用它们的透明度来表明,当处理自然ASR噪声而不是合成ASR噪声时,检索性能会进一步降低。
2022-09-26 cs.CL cs.IR
Optimizing Contextual Speech Recognition Using Vector Quantization for Efficient Retrieval
Apple(苹果公司)
提出基于向量量化的近似交叉注意力评分,结合检索式上下文偏置,实现大规模目录的高效利用,显著降低错误率并减少计算和内存开销。
2024-11-04 cs.CL eess.AS
Mispronunciation Detection and Diagnosis Without Model Training: A Retrieval-Based Approach
Hanoi National University of Education(河内教育大学)
本文提出一种无需模型训练的误读检测与诊断方法,利用预训练的自动语音识别模型和检索技术,实现高准确率的发音错误检测与诊断,实验表明其在L2-ARCTIC数据集上达到69.60%的F1分数。
2025-11-25 cs.CL cs.SD eess.AS
CSTNet: Contrastive Speech Translation Network for Self-Supervised Speech Representation Learning
Le Mans University(勒芒大学)
世界上7,000种语言中有一半以上濒临灭绝。记录语言的传统方法是收集音频数据,然后由训练有素的语言学家在不同的粒度级别上进行手动注释。这个耗时而艰苦的过程可以从机器学习中受益。许多濒危语言没有任何正字法形式,但通常有双语和受过高资源语言训练的发言者。获得与语音对应的文本翻译相对容易。在这项工作中,我们提供了一个多模态机器学习框架的语音表示学习,通过利用两种模态之间的相关性,即语音及其相应的文本翻译。在这里,我们构建了一个卷积神经网络音频编码器,能够从语音中提取语言表示。训练音频编码器以在对比学习框架中执行语音翻译检索任务。通过评估电话识别任务上的学习表示,我们证明了语言表示出现在音频编码器的内部表示作为学习的副产品执行检索任务。
2020-08-05 cs.CL cs.LG cs.SD
Language learning using Speech to Image retrieval
Radboud University(拉德堡德大学)
人类通过与环境的互动和倾听他人来学习语言。计算模型也可以直接从语音中学习语言,但到目前为止,大多数方法都需要文本。我们改进了现有的神经网络方法,以创建视觉接地嵌入口语。使用多层GRU,重要性采样,循环学习率,集成和向量自我注意力的组合,我们的研究结果表明,在图像字幕检索性能显着增加比以前的工作。此外,我们还研究了模型中的哪些层学习识别输入中的单词。我们发现,更深的网络层更好地编码单词的存在,虽然最后一层的性能略低。这表明,我们的视觉基础句子编码器学会了从输入中识别单词,即使它没有被明确训练用于单词识别。
2019-09-09 cs.CL
Enhancing Speech-to-Speech Dialogue Modeling with End-to-End Retrieval-Augmented Generation
MoE Key Lab of Artificial Intelligence(人工智能增强实验室);Jiangsu Key Lab of Language Computing(江苏语言计算重点实验室);X-LANCE Lab(X-LANCE实验室);School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院);Shanghai Innovation Institute(上海创新研究院);Shanghai Aviation Electric Co., Ltd(上海航空电器有限公司)
针对端到端语音到语音对话系统难以整合外部知识的模态差距问题,提出新颖端到端检索增强生成框架,直接从语音查询检索文本知识,提升系统性能与检索效率,为该领域知识整合提供新方向。
2025-11-11 cs.AI cs.CL cs.IR
Fast-Slow Transformer for Visually Grounding Speech
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了快速-慢速Transformer的视觉接地语音,或快速-VGS。FaST-VGS是一个基于transformer的模型,用于学习原始语音波形和视觉图像之间的关联。该模型将双编码器和交叉注意体系结构统一到一个模型中,获得了前者的卓越检索速度以及后者的准确性。FaST-VGS在基准数据集上实现了最先进的语音图像检索精度,其学习的表示在ZeroSpeech 2021语音和语义任务上表现出强大的性能。
2022-03-02 cs.CL cs.IR eess.AS
Ultra-Fast, Low-Storage, Highly Effective Coarse-grained Selection in Retrieval-based Chatbot by Using Deep Semantic Hashing
Beijing Institute of Technology(北京理工大学);Huazhong University of Science and Technology(华中科技大学)
研究了基于检索的聊天机器人中的粗粒度选择模块。粗粒度选择是基于检索的聊天机器人中的一个基本模块,它从整个数据库中构造一个粗糙的候选集,以加快与客户的交互。到目前为止,粗粒度选择模块的表示方法主要有两种:(1)稀疏表示;(2)稠密表示。据我们所知,在基于检索的聊天机器人中,这两种方法之间没有系统的比较,哪种方法在实际场景中更好仍然是一个悬而未决的问题。本文首先从四个方面对这两种方法进行了系统的比较:(1)有效性;(2)索引存储量;(3)搜索时间成本;(4)人工评价。大量的实验结果表明,密集表示方法明显优于稀疏表示,但花费更多的时间和存储占用。为了克服密集表示方法的这些致命弱点,我们提出了一种超快速、低存储、高效的深度语义哈希粗粒度选择方法,称为DSHC模型。具体而言,在DSHC模型中,在训练好的稠密表示模型上叠加了由两个自动编码器模型组成的哈希优化模块,并设计了三个损失函数对其进行优化,哈希优化模块提供的哈希码有效地保留了稠密向量中丰富的语义和相似性信息.大量的实验结果表明,我们提出的DSHC模型可以实现更快的速度和更低的存储比稀疏表示,与密集表示相比,有限的性能损失。此外,我们的源代码已公开发布,供未来研究使用。
2020-12-18 cs.CL
Quantizer-Aware Hierarchical Neural Codec Modeling for Speech Deepfake Detection
Agency for Science, Technology and Research (A*STAR)(科技研究局(A*STAR));The University of New South Wales(新南威尔士大学)
本文提出一种量化器感知的分层神经编解码器建模框架,通过可学习的全局加权机制建模量化器层面的贡献,提升语音深度伪造检测的性能。
2026-03-10 cs.AI cs.CL cs.SD
Keyword Augmented Retrieval: Novel framework for Information Retrieval integrated with speech interface
本文提出关键词增强检索框架,用小模型生成并匹配关键词以快速定位文档上下文,再由大模型基于定制提示作答,从而降低推理时间与成本,并集成语音接口实现无缝交互。
2023-10-29 cs.AI cs.CL cs.HC
Improving RAG Retrieval via Propositional Content Extraction: a Speech Act Theory Approach
University of Brasília(巴西利亚大学);Federal Senate of Brazil(巴西联邦参议院)
本文基于言语行为理论提出在嵌入前将查询转换为命题等价形式的方法,并在巴西电信新闻语料库的63条查询上验证其可提升RAG顶部检索结果的语义相似度。
2025-03-07 cs.AI cs.CL cs.IR
Coarse-to-Fine Memory Matching for Joint Retrieval and Classification
Harvard University(哈佛大学)
我们提出了一种新的端到端的联合检索和分类的语言模型,统一的双和交叉编码器的优势到一个单一的语言模型通过一个粗到细的记忆匹配搜索过程的学习和推理。在FEVER事实验证数据集的标准盲测试集上进行评估,分类准确率显著高于仅依赖于语言模型参数作为知识库的方法,并且接近一些最近的多模型管道系统,仅使用单个BERT基础模型与存储器层增强。我们进一步展示了如何耦合检索和分类可以利用,以确定低置信度的情况下,我们扩展样本审计,以分析和约束模型的设置。因此,我们的方法产生了一种更新语言模型的行为,通过两个不同的机制:检索到的信息可以显式更新,模型的行为可以通过范例数据库进行修改。
2020-11-29 cs.CL cs.IR cs.LG
Contextualization of ASR with LLM using phonetic retrieval-based augmentation
Apple(苹果公司)
本研究提出一种基于检索的语音检索增强方法,通过让LLM先检测语音中的命名实体,再从个人数据库检索语音相似实体进行上下文感知解码,显著降低了词错误率和命名实体错误率,同时避免输入全量数据库,提升效率。
2024-09-11 cs.CL cs.LG cs.SD
Retrieval-Enhanced Few-Shot Prompting for Speech Event Extraction
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
提出模块化 SpeechEE 流水线,通过混合过滤、ASR 与语义检索增强的少样本 LLM 提示抽取事件,o1-mini 在触发词和论元分类上分别取得 63.3% 与 27.8% F1。
2025-04-30 cs.AI cs.CL
An Information Retrieval Approach to Building Datasets for Hate Speech Detection
The University of Texas at Austin(德克萨斯大学奥斯汀分校);TOBB Economy and Tech. University(TOBB经济与技术大学)
构建用于仇恨言论检测的基准数据集存在各种挑战。首先,由于仇恨言论相对罕见,随机抽样的推文注释是非常低效的发现仇恨言论。为了解决这个问题,以前的数据集通常只包括与已知的“仇恨言论”相匹配的推文。然而,将数据限制在预定义的词汇表中可能会排除我们试图建模的部分现实世界现象。第二个挑战是,仇恨言论的定义往往差异很大,而且很主观。对仇恨言论有不同看法的注释者不仅可能彼此不同意,而且还很难遵守特定的标签准则。我们的主要观点是,仇恨言论的罕见性和主观性类似于信息检索(IR)中的相关性。这种联系表明,用于创建IR测试集的成熟方法可以有效地应用于为仇恨言论创建更好的基准数据集。为了智能且高效地选择要注释的推文,我们应用标准IR技术{ \em池化}和{ \em主动学习}。为了提高注释的一致性和价值,我们应用{ \em任务分解}和{ \em注释器原理}技术。我们在Twitter上分享了一个新的仇恨言论检测基准数据集,它比以前的数据集提供了更广泛的仇恨覆盖范围。我们还显示,在对这些更广泛形式的仇恨进行测试时,现有检测模型的准确性急剧下降。我们收集的注释者理由不仅证明了标签决策的合理性,而且还为建模中的双重监督和/或解释生成提供了未来的工作机会。我们的方法的进一步细节可在补充材料中找到。
2021-11-10 cs.CL cs.IR