A Probabilistic Translation Method for Dictionary-based Cross-lingual Information Retrieval in Agglutinative Languages
University of Tehran(德黑兰大学)
双语词典中的翻译歧义、词汇表外的词和漏译等问题使得基于词典的跨语言信息检索(CLIR)成为一项具有挑战性的任务。此外,在没有可靠词干的黏着语言中,双语词典中缺少各种词汇构成会降低CLIR的性能。本文的目的是引入一个概率翻译模型来解决歧义问题,并提供最可能的形式的字典候选。我们提出了最小编辑支持候选(MESC)方法,利用单语语料库和双语词典翻译用户的母语查询文档的语言。我们的实验表明,该方法优于最先进的基于字典的英语-波斯语CLIR。
2014-11-05 cs.CL cs.IR
Query Translation vs. Cross-Lingual Embeddings for Sinhala-Tamil E-Government Information Retrieval
University of Kelaniya(凯拉尼亚大学)
本文对比僧伽罗语-泰米尔语电子政务信息检索的CLIR方法,发现多语言嵌入模型BGE-M3性能最优,优于查询翻译方法,可作为低资源政务领域RAG的有效方案。
2026-08-14 cs.IR
Fashion Image-to-Image Translation for Complementary Item Retrieval
Politecnico Di Bari(巴里理工大学);University of Klagenfurt(克拉根福大学)
本文提出GeCo模型,通过配对的图像到图像翻译改进时尚图像检索,利用生成对抗网络生成互补物品图像,提升兼容性建模和检索准确性,并在三个数据集上验证了其优越性。
2024-09-24 cs.IR
The Cross-Lingual Arabic Information REtrieval (CLAIRE) System
尽管神经机器翻译取得了进展,但查询和文档位于不同自然语言空间的跨语言检索任务仍然具有挑战性。虽然神经翻译模型可以提供一种直观的方法来解决跨语言问题,但它们的资源消耗训练和高级模型结构可能会使整个检索管道复杂化并降低用户参与度。在本文中,我们建立了我们的端到端的跨语言阿拉伯语信息检索(CLAIRE)系统的基础上,跨语言的词嵌入,搜索者被假定有一个过得去的被动理解的阿拉伯语和各种支持信息的英语,以帮助检索经验。该系统具有三大优点:(1)英语-阿拉伯语词嵌入的使用简化了整个流水线,避免了机器翻译可能导致的错误。(2)我们的CLAIRE系统可以包含任意的基于词嵌入的神经检索模型,而无需结构修改。(3)阿拉伯语新闻收集的早期经验结果显示了良好的性能。
2021-07-29 cs.IR
Sketch-based Image Retrieval from Millions of Images under Rotation, Translation and Scale Variations
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
基于触摸的设备的扩散使得基于草图的图像检索变得实用。虽然存在许多方法用于基于草图的小数据集上的目标检测/图像检索,但在大(网络)规模图像检索上所做的工作相对较少。在本文中,我们提出了一种有效的方法,从数以百万计的图像检索用户绘制的草图的基础上。不像现有的方法,这个问题是敏感的,甚至平移或规模的变化,我们的方法处理旋转,平移,规模(即相似性变换)和小变形。对象边界被表示为连接段的链,并且数据库图像被预处理以获得具有包含对象的高机会的这样的链。在这项工作中,这是使用两种方法来完成的:a)提取轮廓段网络中的长链和b)提取分割对象建议的边界。这些链,然后表示相似不变的可变长度描述符。描述子相似度的计算采用基于快速动态规划的部分匹配算法。该匹配机制用于在离线过程中为所有数据库图像的提取链生成基于分层k-中心点的索引结构,其用于有效地检索用于查询链的可能匹配图像的小集合。最后,采用几何验证步骤来测试多个链匹配的几何一致性以改进结果。定性和定量的结果清楚地表明,该方法优于现有的方法。
2015-10-31 cs.CV cs.IR
Employing Wikipedia's Natural Intelligence For Cross Language Information Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们提出了一种新的方法检索信息的语言以外的查询。我们使用这种技术与现有的传统的跨语言信息检索(CLIR)技术相结合,以改善他们的结果。该方法与依赖于机器翻译来翻译查询然后使用机器翻译来搜索目标文档空间的传统技术相比具有许多优点。该方法不限于所需语言的机器翻译算法的可用性,并且使用互联网上已经存在的容易获得的翻译信息源作为“中间人”方法。在本文中,我们使用维基百科;然而,可以使用任何类似的多语言,交叉引用的文档主体。出于评估和比较的目的,我们还分别实现了传统的机器翻译方法和Wikipedia方法。
2009-06-16 cs.CL cs.IR
Exploring Classic and Neural Lexical Translation Models for Information Retrieval: Interpretability, Effectiveness, and Efficiency Benefits
Bosch Center for Artificial Intelligence(博世人工智能中心);Carnegie Mellon University(卡内基梅隆大学)
我们研究了词汇翻译模型(IBM Model 1)在英语文本检索中的实用性,特别是其端到端训练的神经变体。我们使用神经模型1作为聚合器层,应用于上下文无关或上下文化的查询/文档嵌入。这种设计神经排序系统的新方法在有效性、效率和可解释性方面都有好处。具体来说,我们表明,在基于BERT的上下文嵌入之上添加可解释的神经模型1层(1)不会降低准确性和/或效率;(2)可以克服现有BERT模型的最大序列长度限制。与上下文无关的神经模型1不如基于BERT的排名模型有效,但它可以在CPU上高效运行(无需对大型张量进行昂贵的索引时预计算或查询时操作)。使用模型1,我们在2020年底的MS MARCO文档排序排行榜上产生了最佳神经和非神经运行。
2021-03-17 cs.CL cs.IR
Multimodal Neural Machine Translation with Search Engine Based Image Retrieval
College of Application and Technology(应用技术学院);Shenzhen University(深圳大学);College of Big Data and Internet(大数据与互联网学院);Shenzhen Technology University(深圳技术大学)
近年来,大量的研究表明,利用视觉信息可以在一定程度上提高神经机器翻译(NMT)的性能。然而,大多数这些结论是从分析的实验结果的基础上有限的一组双语字幕图像对,如Multi 30 K。在这类数据集中,一个双语平行句对的内容必须由人工标注的图像很好地表示,这与实际的翻译情况是不同的。以前的一些工作提出了解决这个问题,检索图像从现有的主题模型的图片对。然而,由于他们所使用的图片-图像对的集合有限,他们的图像检索方法很难处理词汇表外的单词,并且很难证明视觉信息增强了NMT,而不是图像和句子的共现。本文提出了一种基于图像搜索引擎的开放词汇图像检索方法,为双语平行语料库收集描述性图像。接下来,我们提出了文本感知的注意视觉编码器过滤错误收集的噪声图像。在Multi 30 K和其他两个翻译数据集上的实验结果表明,我们提出的方法在强基线上取得了显着的改善。
2022-09-03 cs.AI cs.CL cs.CV
Efficiency-Effectiveness Tradeoff of Probabilistic Structured Queries for Cross-Language Information Retrieval
本研究重新审视跨语言信息检索方法PSQ,引入高效Python实现,通过多标准剪枝优化翻译概率,在多个CLIR测试集上实现了帕累托最优的效率-效果权衡。
2024-04-29 cs.IR
Machine Translation Impact in E-commerce Multilingual Search
以往的研究表明,跨语言信息检索的性能与机器翻译的质量密切相关。然而,可能存在一个阈值,超过该阈值,提高查询翻译质量对进一步提高检索性能产生很少或没有益处。该阈值可以取决于多个因素,包括源语言和目标语言、现有MT系统质量和搜索流水线。为了确定一个给定的搜索管道的MT系统的改进的好处,我们调查检索质量的敏感性,不同级别的MT质量的存在,使用从实际流量收集的实验数据集。我们系统地提高了我们的MT系统质量的语言对的性能,通过包括Bleu和Chrf在内的MT评估指标来衡量,以确定它们对搜索精度指标的影响,并提取有助于指导改进策略的信号。使用这些信息,我们开发技术来比较多个语言对的查询翻译,并确定最有前途的语言对投资和改进。
2023-01-31 cs.CL cs.IR
Enhancing Automatic Term Extraction with Large Language Models via Syntactic Retrieval
Korea University(韩国大学)
本文提出一种基于句法相似性的检索提示策略,在少样本设置下利用大型语言模型进行自动术语抽取,实验证明该方法能提升F1分数并强调了句法线索的重要性。
2025-06-26 cs.CL cs.IR
CLIRudit: Cross-Lingual Information Retrieval of Scientific Documents
CONICET-Universidad de Buenos Aires. Instituto de Ciencias de la Computación (ICC). Buenos Aires, Argentina(CONICET-阿根廷布宜诺斯艾利斯大学。信息计算研究所(ICC)。布宜诺斯艾利斯,阿根廷);École de bibliothéconomie et des sciences de l’information. Université de Montréal. Montréal, Canada(信息与图书馆科学学院。蒙特利尔大学。蒙特利尔,加拿大)
针对学术搜索中非英文成果检索需求,本文构建英法学术跨语言检索数据集CLIRudit,测试多类检索器性能并给出可复现基准,助力非英文学术内容获取。
2025-11-19 cs.CL cs.IR
A Distributed Collaborative Retrieval Framework Excelling in All Queries and Corpora based on Zero-shot Rank-Oriented Automatic Evaluation
提出分布式协作检索框架(DCRF),集成多种检索模型并动态选择最优结果,利用大语言模型提示策略实现零样本排序评估,在所有查询和语料库上超越单一模型,性能媲美RankGPT等列表式方法且效率更高。
2024-12-16 cs.IR
Automatic Construction of Evaluation Sets and Evaluation of Document Similarity Models in Large Scholarly Retrieval Systems
学术文献检索系统为科学界提供了搜索、探索和下载跨各种科学学科的学术文章的能力。这些系统主要由特定领域的专家使用,包含用户社区日志,包括用户特定下载文章的信息。在本文中,我们提出了一种新的方法,自动评估文档相似性模型在大量的学术出版物。与使用由查询文档和人类注释的相关性判断组成的测试集合的典型评估设置不同,我们使用下载日志来自动生成类似文档对的伪相关集。更具体地说,我们表明,连续下载的文件对,从学术信息检索(IR)系统中提取,可以用作测试集合,用于评估文档相似性模型。我们的方法的另一个新颖的方面在于,我们采用的方法,通过比较连续下载的文档对和随机文档对在日志空间中的分布来评估模型的性能。在两个家族的相似性模型,表示文档的术语向量和主题空间,我们表明,我们的评估方法实现了非常高的相关性与传统的性能指标,如平均平均精度(MAP),同时更有效地计算。
2016-01-07 cs.IR
DataScout: Automatic Data Fact Retrieval for Statement Augmentation with an LLM-Based Agent
DataScout是一个基于LLM智能体的交互式系统,通过构建和可视化检索树,自动从多立场检索数据事实,以增强用户陈述的可信度。
2025-04-24 cs.HC cs.IR
A Multi-Task Architecture on Relevance-based Neural Query Translation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们描述了一种多任务学习方法来训练一个神经机器翻译(NMT)模型与一个基于相关性的辅助任务(RAT)的搜索查询翻译。跨语言信息检索(CLIR)任务的翻译过程通常被视为一个黑箱,它是作为一个独立的步骤来执行的。然而,在并行数据上训练的NMT模型不知道检索语料库的词汇分布。我们用我们的多任务学习架构解决了这个问题,在意大利语-英语查询文档数据集上,该架构比强大的NMT基线提高了16%。我们使用定量和定性分析表明,我们的模型生成平衡和精确的翻译与正则化效果,它实现了从多任务学习范式。
2019-06-17 cs.CL cs.IR
What Drives Cross-lingual Ranking? Retrieval Approaches with Multilingual Language Models
The Alan Turing Institute(艾伦·图灵研究所);Queen Mary University of London(伦敦女王学院);University College London(伦敦大学学院)
本文研究了跨语言检索中影响排序的因素,发现专门训练的密集检索模型和对比学习在低资源和跨脚本场景中表现更优,优于传统的翻译和单语言检索方法。
2025-11-24 cs.AI cs.CL cs.IR
A Comparative Analysis of Retrieval-Augmented Generation Techniques for Bengali Standard-to-Dialect Machine Translation Using LLMs
Department of Computer Science and Engineering(计算机科学与工程系);BRAC University(BRAC大学)
本文提出并比较了两种RAG管道,用于孟加拉语标准语到方言的机器翻译,展示了句子对管道在低资源环境下优于转录管道的性能,且小型模型可超越大模型。
2025-12-16 cs.AI cs.CL cs.IR
Anveshana: A New Benchmark Dataset for Cross-Lingual Information Retrieval On English Queries and Sanskrit Documents
Indian Institute of Technology, Kharagpur(印度理工学院,克拉格浦尔)
该研究构建了Anveshana基准数据集,包含3,400对英文-梵文查询-文档对,通过直接检索、翻译检索和查询翻译三种方法,在RAG框架下微调多个模型,发现翻译检索方法在跨语言检索古代文本中表现最佳,提升了梵文经典的可访问性。
2025-05-26 cs.CL cs.IR
Automatic Query Image Disambiguation for Content-Based Image Retrieval
Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
呈现给基于内容的图像检索系统的查询图像通常具有各种不同的解释,使得难以识别用户所追求的搜索目标。我们提出了一种克服这种模糊性的技术,同时保持所需的用户交互量最小。为了实现这一点,查询图像的邻域被划分为连贯的聚类,用户可以从中选择相关的。一种新的反馈集成技术,然后重新排名整个数据库方面的用户反馈和原始查询。我们在公开的MIRFLICKR-25 K数据集上评估了我们的方法,在基线检索上,它导致平均精度相对提高了23%,而基线检索并没有区分不同的图像感觉。
2017-11-02 cs.CV cs.IR
Leveraging Translation For Optimal Recall: Tailoring LLM Personalization With User Profiles
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
本文提出一种个性化跨语言信息检索方法,通过多级翻译、语义嵌入扩展和用户画像增强迭代优化查询,在新闻和Twitter数据集上超越BM25基线,提升了召回率。
2024-02-21 cs.CL cs.IR
Combining Q&A Pair Quality and Question Relevance Features on Community-based Question Retrieval
Wuhan University of Technology(武汉理工大学)
问答社区已经成为人们从互联网上获取知识和信息的重要途径。然而,现有的翻译模型的基础上不考虑查询特定的语义时,分配权重的查询检索。因此,本文在传统主题翻译模型的基础上改进了术语加权模型,并进一步考虑问答对的质量特征,提出了一种基于社区的问答质量和相关度相结合的问题检索方法(T2LM+)。我们还提出了一种基于卷积神经网络的问句检索方法。实验结果表明,与目前比较先进的方法相比,本文提出的两种方法分别提高了MAP值4.91%和6.31%。
2019-07-03 cs.AI cs.CL cs.IR
Translate-Distill: Learning Cross-Language Dense Retrieval by Translation and Distillation
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学);Information Sciences Institute, University of Southern California(南加利福尼亚大学信息科学研究所)
本文提出Translate-Distill方法,利用单语或CLIR cross-encoder作为教师模型,通过知识蒸馏训练跨语言信息检索的双编码器学生模型,解决了CLIR缺乏大规模跨语言训练数据的问题。
2024-01-09 cs.CL cs.IR
Neural Approaches to Multilingual Information Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学)
几十年来,提供跨语言的信息访问一直是信息检索(IR)的目标。虽然跨语言IR(CLIR)已经取得了进展,其中查询以一种语言表示,文档以另一种语言表示,但创建跨多种语言的文档的单一排名列表的多语言(MLIR)任务更具挑战性。本文研究了神经文档翻译和预训练的多语言神经语言模型的进步是否能够改善早期MLIR技术的最新技术水平。结果表明,虽然将神经文档翻译与神经排名相结合可以获得最佳的平均精度(MAP),但通过使用预训练的XLM-R多语言语言模型以其母语索引文档,可以在索引时间减少84%的情况下实现98%的MAP得分,并且2%的有效性差异在统计学上并不显著。MLIR实现这些结果的关键是使用来自MS MARCO通道神经翻译的混合语言批次微调XLM-R。
2023-02-09 cs.CL cs.IR
Evaluating and Optimizing the Effectiveness of Neural Machine Translation in Supporting Code Retrieval Models: A Study on the CAT Benchmark
本文在CAT基准上评估NMT自然语言到代码翻译性能,提出基于AST非终结节点子集的ASTTrans Representation表示方法,显著提升NMT效果,并使GraphCodeBERT和UniXcoder等先进代码搜索模型的MRR最高提升3.08%。
2023-08-09 cs.IR cs.SE
Bridging Language Gaps: Advances in Cross-Lingual Information Retrieval with Multilingual LLMs
The Alan Turing Institute(艾伦·图灵研究所);Queen Mary University of London(伦敦女王学院);University College London(伦敦大学学院)
本综述梳理了跨语言信息检索从基于翻译到嵌入驱动、生成式技术的发展,介绍其核心组件、评估与资源,指出现存挑战并提出未来发展方向。
2025-10-01 cs.AI cs.CL cs.IR
Automatic Identification of Document Translations in Large Multilingual Document Collections
文本及其翻译是一种丰富的语言资源,可用于训练和测试基于语法的机器翻译系统和许多其他应用。在本文中,我们提出了一个工作系统,可以识别翻译和其他非常相似的文件之间的大量的候选人,通过表示文档内容与一个向量的词库术语从多语言词库,然后测量向量之间的语义相似性。对不同文本类型的测试表明,该系统可以在820个或更多文档的大搜索空间中以超过96%的精度检测翻译。该系统被调整为忽略特定语言的相似性,并给予第二语言的类似文档与相同语言的等效文档相同的相似性得分。该应用程序还可用于检测跨语言文档剽窃。
2006-09-12 cs.CL cs.IR
fact check AI at SemEval-2025 Task 7: Multilingual and Crosslingual Fact-checked Claim Retrieval
Independent Researcher(独立研究者)
该研究将SemEval-2025任务7的事实核查声明检索视为学习排序问题,采用双编码器模型,利用轻量级模型在Kaggle T4 GPU上训练,多语言和跨语言检索分别达到92%和80%的Success@10,分别排名第10和第5。
2025-08-05 cs.AI cs.CL cs.IR
An automatic patent literature retrieval system based on LLM-RAG
Belarusian State University(白俄罗斯国立大学);Uber Technologies, Inc.(优步技术公司);Stanford University(斯坦福大学)
针对传统专利检索方法的局限性,本研究提出基于LLM-RAG的自动专利检索框架,通过标准化预处理、LLM嵌入向量检索及RAG增强查询模块,在Google Patents数据集上实现80.5%准确率和92.1%召回率,较基线提升28个百分点,为智能专利检索提供有效方案。
2025-08-11 cs.AI cs.IR
MURAL: Multimodal, Multitask Retrieval Across Languages
Google Research(谷歌研究院)
图像-标题对和翻译对都提供了学习语言之间的深层表示和联系的方法。我们在MURAL(Multimodal,Multitask Representations Across Languages)中使用这两种类型的对,这是一种双重编码器,可以解决两个任务:1)图像-文本匹配和2)翻译对匹配。通过整合数十亿个翻译对,MURAL扩展了ALIGN(Jia et al. PMLR'21)--一种从18亿个嘈杂的图像-文本对中学习的最先进的双编码器。当使用相同的编码器时,MURAL的性能匹配或超过ALIGN的跨模态检索性能,在多个数据集上的资源丰富的语言。更重要的是,它大大提高了资源不足语言的性能,表明文本-文本学习可以克服这些语言缺乏图像标题示例的问题。例如,在维基百科的图像-文本数据集上,MURAL-base对8种资源不足的语言平均提高了zero-shot平均召回率8.1%,在微调时平均提高了6.8%。我们还表明,MURAL的文本表示集群不仅与家谱的连接,但也基于区域语言学,如巴尔干Sprachbund。
2021-09-10 cs.AI cs.CL cs.IR