Dissecting Paraphrases: The Impact of Prompt Syntax and supplementary Information on Knowledge Retrieval from Pretrained Language Models
GESIS - Leibniz Institute for the Social Sciences(GESIS - 莱布尼茨社会科学研究所);Heinrich Heine University(海因里希·海涅大学)
本文提出包含3400万提示的探针 CONPARE-LAMA,系统比较复述句法与语义信息对预训练语言模型知识检索的独立影响,发现从句句法在多项指标上优于同位语句法,且范围信息比领域信息更能提升检索性能。
2024-04-02 cs.CL
Language learning using Speech to Image retrieval
Radboud University(拉德堡德大学)
人类通过与环境的互动和倾听他人来学习语言。计算模型也可以直接从语音中学习语言,但到目前为止,大多数方法都需要文本。我们改进了现有的神经网络方法,以创建视觉接地嵌入口语。使用多层GRU,重要性采样,循环学习率,集成和向量自我注意力的组合,我们的研究结果表明,在图像字幕检索性能显着增加比以前的工作。此外,我们还研究了模型中的哪些层学习识别输入中的单词。我们发现,更深的网络层更好地编码单词的存在,虽然最后一层的性能略低。这表明,我们的视觉基础句子编码器学会了从输入中识别单词,即使它没有被明确训练用于单词识别。
2019-09-09 cs.CL
An Open-Source American Sign Language Fingerspell Recognition and Semantic Pose Retrieval Interface
Burnaby South S. S(本拿比南中学)
本研究提出一种结合卷积神经网络与姿态估计模型的开源ASL手指拼写识别与语义姿态检索接口,含识别与生成双模块,可在多变环境下实时运行,为先进手语翻译系统提供基础。
2024-08-17 cs.CL
PRGB Benchmark: A Robust Placeholder-Assisted Algorithm for Benchmarking Retrieval-Augmented Generation
Zhehao Tan(未知);Yihan Jiao(未知);Dan Yang(未知);Lei Liu(未知);Jie Feng(未知);Duolin Sun(未知);Yue Shen(未知);Jian Wang(未知);Peng Wei(未知);Jinjie Gu(未知)
本研究提出多层次细粒度的PRGB基准与基于占位符的解耦方法,系统评估RAG中LLM的文档利用等能力,揭示现有LLM在错误容错与上下文忠实度上的局限,为可靠高效的RAG系统开发提供可复现框架。
2025-07-23 cs.CL
Retrieval Helps or Hurts? A Deeper Dive into the Efficacy of Retrieval Augmentation to Language Models
Megagon Labs(美高拱实验室)
本文通过构建WiTQA数据集,从实体与关系组合的流行度视角分析检索增强对语言模型的影响,发现大模型擅长回忆流行事实但在不常见实体-关系对上不如检索器,并据此提出自适应检索系统以选择性结合检索与模型回忆。
2024-03-27 cs.CL
AutoRAG: Automated Framework for optimization of Retrieval Augmented Generation Pipeline
Markr(马克尔公司);Datera(德拉特拉公司)
针对 RAG 模块性能随数据集变化、难以选择的问题,本文提出 AutoRAG 框架,自动为给定数据集探索并逼近最优 RAG 模块组合,并公开实验结果与数据。
2024-10-28 cs.CL
Assessing Wikipedia-Based Cross-Language Retrieval Models
这项工作比较跨语言检索的概念模型:首先,我们适应多语言文档的概率潜在语义分析(pLSA)。不同加权方案的实验表明,有利于在两个语言端的相似长度的文档的加权方法给出了最好的结果。考虑到单语言和多语言潜在狄利克雷分配(LDA)的行为时,适用于这些文件,我们使用的训练语料库建立在维基百科上,所有的文件都是长度规范化,并获得改进,以前报告的分数LDA。我们工作的另一个重点是模型组合。为此,我们在实验中包括显式语义分析(ESA)。我们观察到,ESA是没有竞争力的LDA在基于查询的检索任务CLEF 2000数据。与单独的机器翻译相比,机器翻译与概念模型的结合将性能提高了21.1%。机器翻译依赖于并行语料库,这可能不适用于许多语言对。我们进一步探讨有多少跨语言的信息可以携带在维基百科的特定信息源,即链接文本。最好的结果是使用语言建模的方法,完全没有来自平行语料库的信息。平滑的需要提出了关于合理性和效率的有趣问题。链接模型仅捕获某种信息,并建议加权方案来强调特定单词。因此,对于组合模型,另一个有趣的问题是如何整合不同的加权方案。使用一个非常简单的组合方案,我们得到的结果,比较有利的CLEF 2000数据集上以前报道的结果。
2014-01-10 cs.CL cs.IR
Meaning-focused and Quantum-inspired Information Retrieval
Center Leo Apostel for Interdisciplinary Studies(莱奥·阿波斯泰尔跨学科研究中心);Brussels Free University(布鲁塞尔自由大学);University of British Columbia(不列颠哥伦比亚大学)
近年来,基于量子的方法在信息检索(IR)和自然语言处理(NLP)中集成了传统的过程。受我们在认知中量子结构的识别和应用研究的启发,更具体地说,我们在概念及其组合的表示方面的工作,我们提出了一个“基于量子意义”的文本语料库和标准化测试语料库结构化查询检索框架。IR的这个方案依赖于考虑作为基本概念,(i)“意义实体”,例如,概念及其组合,以及(ii)这些意义实体的痕迹,这就是在这种方法中考虑文件的方式。这些“意义实体”的意义内容是通过解决量子形式主义中的“逆问题”来重建的,该逆问题包括从相关文献中被标识为痕迹的意义实体的塌陷状态重建其完整状态。相对于传统的方法,如潜在语义分析(LSA)的优势,通过具体的例子进行了讨论。
2013-03-30 cs.CL cs.IR quant-ph
Improving Performance Of English-Hindi Cross Language Information Retrieval Using Transliteration Of Query Terms
GLA University(GLA大学)
跨语言信息检索(CLIR)的主要问题是检索的平均精度与单语检索性能相比较差。CLIR性能不佳的主要原因是查询词的不匹配、词汇歧义和未翻译的查询词。为了提高CLIR系统的性能,需要解决CLIR存在的问题。在本文中,我们正在努力解决给定的问题,提出了一种算法,以提高英语-印地语CLIR系统的性能。我们使用所有可能的组合,印地语翻译查询,使用音译的英语查询条件,并选择其中最好的查询检索的文件。实验在FIRE 2010(Forum of信息检索Evaluation)数据集上进行。实验结果表明,该方法不仅提高了英语-印地语CLIR系统的性能,而且有助于克服现有的问题,在平均精度方面优于现有的英语-印地语CLIR系统。
2014-01-15 cs.CL cs.IR
ReFusion: Improving Natural Language Understanding with Computation-Efficient Retrieval Representation Fusion
City University of Hong Kong(香港城市大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);MILA, McGill University(麦吉尔大学MILA研究所);National Taiwan University(国立台湾大学)
ReFusion提出一种计算高效的检索表示融合方法,通过双层优化直接融合检索表示到模型隐藏状态,在非知识密集型任务中实现优越且稳健的性能。
2024-05-27 cs.AI cs.CL
Employing Wikipedia's Natural Intelligence For Cross Language Information Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们提出了一种新的方法检索信息的语言以外的查询。我们使用这种技术与现有的传统的跨语言信息检索(CLIR)技术相结合,以改善他们的结果。该方法与依赖于机器翻译来翻译查询然后使用机器翻译来搜索目标文档空间的传统技术相比具有许多优点。该方法不限于所需语言的机器翻译算法的可用性,并且使用互联网上已经存在的容易获得的翻译信息源作为“中间人”方法。在本文中,我们使用维基百科;然而,可以使用任何类似的多语言,交叉引用的文档主体。出于评估和比较的目的,我们还分别实现了传统的机器翻译方法和Wikipedia方法。
2009-06-16 cs.CL cs.IR
MedBioRAG: Semantic Search and Retrieval-Augmented Generation with Large Language Models for Medical and Biological QA
Seonok Kim(独立研究者)
MedBioRAG通过结合语义搜索、文档检索和监督微调,提升医学和生物学问答任务的性能。
2025-12-10 cs.AI cs.CL
INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval
National Taiwan University(台湾大学);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(台湾大学人工智能卓越研究中心)
研究针对现有语音检索系统无法适配多样用户意图的问题,构建首个指令感知语音检索基准INSPIRE,评估四类检索范式,发现当前无方法能稳健处理所有检索意图,凸显统一架构的必要性。
2026-08-18 cs.CL cs.SD eess.AS
Language-Based Audio Retrieval with Converging Tied Layers and Contrastive Loss
ST Engineering Mission Software & Services Pte. Ltd(ST工程任务软件与服务私人有限公司)
在本文中,我们解决了DCASE 2022中提出的新的基于数据库的音频检索任务。首先,我们介绍了一个简单的,可扩展的架构,将音频和文本编码器联系在一起。其次,我们表明,使用这种架构以及对比损失允许模型显着击败基线模型的性能。最后,除了具有极低的训练内存要求外,我们还能够使用预训练的模型,而无需对它们进行微调。我们测试了我们的方法,并表明使用我们的方法的组合击败了基线分数显着。
2022-06-29 cs.CL cs.IR cs.SD
Retrieval-Enhanced Named Entity Recognition
Center of Mathematics, Computing and Cognition(数学、计算与认知中心);Federal University of ABC(ABC联邦大学);Institute of Mathematics and Statistics(数学与统计学院);University of São Paulo(圣保罗大学)
本文提出RENER方法,通过结合上下文学习与信息检索技术,从训练集中检索相似示例来增强自回归语言模型的命名实体识别能力,在CrossNER上取得最先进性能,F-score最高提升11个百分点。
2024-10-17 cs.CL cs.IR
The Cross-Lingual Cost: Retrieval Biases in RAG over Arabic-English Corpora
Technology Innovation Institute(技术创新研究所)
本研究针对阿拉伯语-英语跨语言RAG,发现检索是跨语言领域场景的关键瓶颈,并提出两种简单策略(平等检索或查询翻译)显著提升跨语言与整体性能。
2025-10-27 cs.AI cs.CL cs.IR
DynaGRAG | Exploring the Topology of Information for Advancing Language Understanding and Generation in Graph Retrieval-Augmented Generation
提出DynaGRAG框架,通过去重、两步均值池化、查询感知检索及DSA-BFS算法增强知识图谱子图表示与多样性,结合GCN与LLM提升语言理解与生成能力。
2025-01-28 cs.AI cs.CL cs.LG
Keyword Augmented Retrieval: Novel framework for Information Retrieval integrated with speech interface
本文提出关键词增强检索框架,用小模型生成并匹配关键词以快速定位文档上下文,再由大模型基于定制提示作答,从而降低推理时间与成本,并集成语音接口实现无缝交互。
2023-10-29 cs.AI cs.CL cs.HC