Corpus2Skill: Distilling Enterprise Knowledge into Navigable Agent Skills for QA and RAG
Magellan Technology Research Institute(马格纳技术研究 institute)
本文提出Corpus2Skill,通过将文档库转化为层次化技能目录,使LLM代理在服务时能导航该目录,提升问答质量和 grounding,但指出导航并非所有场景下的最佳替代方案。
2026-08-27 cs.AI cs.CL cs.IR
WebFAQ: A Multilingual Collection of Natural Q&A Datasets for Dense Retrieval
University of Passau(帕绍大学)
本文提出WebFAQ,一个含9600万问答对、覆盖75种语言的多语言开放域问答数据集,并基于其微调XLM-RoBERTa模型,显著提升稠密检索性能,同时构建了高质量双语语料库。
2025-02-28 cs.AI cs.CL cs.IR
Overcoming the Retrieval Barrier: Indirect Prompt Injection in the Wild for LLM Systems
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本研究提出了一种高效且低成本的黑盒攻击算法,通过分解恶意内容为触发片段和攻击片段,实现了对LLM系统的间接提示注入攻击,揭示了检索过程中存在的关键安全漏洞。
2026-01-11 cs.AI cs.CR
SPD-RAG: Sub-Agent Per Document Retrieval-Augmented Generation
TOBB University of Economics and Technology(托布大学经济与技术学院);OSTIM Technical University(OSTIM技术大学)
SPD-RAG通过文档级子代理和集中融合提升多文档问答性能,实现高效检索与生成。
2026-03-09 cs.AI cs.CL cs.IR
Enhancing Retrieval-Augmented Generation with Topic-Enriched Embeddings: A Hybrid Approach Integrating Traditional NLP Techniques
National University of Tierra del Fuego(泰德菲国立大学)
本文提出一种整合传统NLP技术的混合方法,通过主题增强嵌入提升检索增强生成系统的检索精度和语义聚类效果。
2025-12-31 cs.AI cs.IR
QO-Bench: Diagnosing Query-Operator-Preserving Retrieval over Typed Event Tuples
Asian Institute of Digital Finance, National University of Singapore(亚洲数字金融研究所,新加坡国立大学)
提出QO-Bench基准,通过类型化事件元组上的确定性评估,诊断检索增强生成系统在查询操作符(如连接、交集)上的执行瓶颈。
2026-09-09 cs.AI cs.CL cs.IR
CourseBlueprint: A Structured Pipeline for Adaptive Pedagogical Video Generation Grounded in Course Corpora
Department of Computer Science, Rensselaer Polytechnic Institute(计算机科学系,拉特格斯理工学院);Department of Biomedical Engineering, Rensselaer Polytechnic Institute(生物医学工程系,拉特格斯理工学院)
提出CourseBlueprint流程,通过结构化教学蓝图(含先决条件图、自适应控制、参与合约)从课程语料库生成自适应教学视频,实验证明显式教学合约比表面流畅性更关键。
2026-06-23 cs.AI cs.CV cs.CY
Improving accuracy of GPT-3/4 results on biomedical data using a retrieval-augmented language model
Genmab(杰特贝姆公司)
针对GPT-3/4等大模型在生物医学领域的幻觉问题,提出检索增强(RetA)方法,在DLBCL疾病的19个问题测试中,其准确性与相关性优于通用LLMs,证明特定领域语料库增强模型的有效性。
2023-05-30 cs.AI cs.CL
Query Symbolically or Retrieve Semantically? A Dataset and Method for Semi-Structured Question Answering
Samsung AI Warsaw(三星AI华沙实验室);Samsung AI Cambridge(三星AI剑桥实验室)
提出 DualGraph 框架,通过文本知识图谱和符号知识图谱双视图实现半结构化文档的语义检索与符号查询结合,并在 SpecsQA 基准上超越现有方法。
2026-05-26 cs.AI
Zero-shot Multimodal Document Retrieval via Cross-modal Question Generation
Yonsei University(延世大学);Seoul National University(首尔国立大学)
针对多模态文档检索中私有文档、未知领域/语言的挑战,提出PREMIR框架,利用MLLM生成跨模态预问题扩展匹配范围,在分布外基准上实现SOTA性能并经消融研究验证组件有效性。
2025-08-23 cs.AI cs.IR
Test-time Corpus Feedback: From Retrieval to RAG
L3S Research Center(L3S研究中心);TU Delft(代尔夫特理工大学);University of Glasgow(格拉斯哥大学)
针对RAG流水线将检索与推理分离导致复杂任务性能受限的问题,本综述结构化概述整合反馈的先进检索与排序机制,分类反馈信号作用,旨在连接IR与NLP视角,强调检索在RAG系统中的动态可学习性。
2025-08-24 cs.AI cs.IR cs.LG
DCD: Domain-Oriented Design for Controlled Retrieval-Augmented Generation
red_mad_robot
提出DCD(领域-集合-文档)层次化设计,通过结构化知识表示和多阶段路由控制检索与生成范围,无需修改语言模型,提升RAG在异构语料和多步查询中的鲁棒性和准确性。
2026-06-12 cs.AI cs.IR
Retrieval-Augmented Machine Translation with Unstructured Knowledge
Pattern Recognition Center, WeChat AI, Tencent Inc(模式识别中心、微信AI、腾讯公司)
针对非结构化、跨语言不完全配对的世界知识,本文构建含169K样本的RAGtrans基准,并提出无需额外标注的多任务训练方法,显著提升LLM多语言检索增强翻译性能。
2025-08-29 cs.AI cs.CL
Benchmarking Retrieval-Augmented Generation for Medicine
Univeristy of Virginia(弗吉尼亚大学);National Library of Medicine, National Institutes of Health(美国国立卫生研究院国家医学图书馆)
本文提出医学RAG评测基准MIRAGE和MedRAG工具包,通过大规模实验系统评估不同语料库、检索器与LLM组合,发现最佳配置可将模型准确率提升至多18%,并为医学RAG实践提供指导。
2024-02-23 cs.AI cs.CL
Hierarchical Retrieval-Augmented Generation Model with Rethink for Multi-hop Question Answering
Northeastern University(东北大学)
本文提出用于多跳问答的层次检索增强生成框架HiRAG,通过结合文档级稀疏检索与块级密集检索及单候选检索策略,并构建两个新语料库,有效解决了信息过时和准确率-数量权衡问题,在四个数据集上优于现有模型。
2024-08-20 cs.AI cs.CL cs.IR
Utility-Focused LLM Annotation for Retrieval and Retrieval-Augmented Generation
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院人工智能安全国家重点实验室,计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc.(百度公司)
本文提出利用LLM标注文档效用,通过新损失函数处理多正样本,在MS MARCO和BEIR等基准上验证了其提升检索与RAG性能,且仅需20%人工标注即可达到全量效果。
2025-10-09 cs.AI cs.CL cs.IR
DynaRAG: Bridging Static and Dynamic Knowledge in Retrieval-Augmented Generation
Northeastern University(东北大学);Independent Researcher(独立研究员);Washington University in St. Louis(华盛顿大学圣路易斯分校);New York University(纽约大学)
DynaRAG通过动态知识整合处理静态和时效性信息需求,采用LLM重排器、充分性分类器和Gorilla v2模型提升回答准确性与鲁棒性。
2026-02-24 cs.AI cs.CL cs.IR
Beyond Independent Passages: Adaptive Passage Combination Retrieval for Retrieval Augmented Open-Domain Question Answering
National Taiwan University(国立台湾大学);Amazon Search(亚马逊搜索);University College London(伦敦大学学院)
本文提出自适应段落组合检索框架AdaPCR,通过将段落组合作为检索与重排序单元来建模段落间依赖,并结合上下文感知查询改写和答案似然对齐的重排序训练,在无需停止模块的情况下自适应选择段落数量,从而在开放域问答尤其是多跳推理中优于基线方法。
2025-07-05 cs.AI cs.CL cs.LG
Scaling DPPs for RAG: Density Meets Diversity
Southwestern University of Finance and Economics(西南财经大学)
本文提出ScalDPP,通过轻量级P-Adapter整合DPPs,实现RAG中密度与多样性的联合优化,通过DML损失确保互补证据链的优先级,实验验证其有效性。
2026-02-04 cs.AI cs.CL cs.LG
Ansari: A Retrieval-Grounded Islamic AI Assistant -- Architecture, Deployment, and Lessons from 140,000 Conversations
本研究推出基于检索的伊斯兰AI助手Ansari,其经多平台部署后处理14万次跨语言对话,在IslamicMMLU等基准中表现优异,为信仰敏感型LLM部署提供了经验。
2026-08-24 cs.AI cs.CL cs.CY
On the Consistency of Multilingual Context Utilization in Retrieval-Augmented Generation
Center for Language and Cognition (CLCG), University of Groningen(格罗宁根大学语言与认知中心);Institute for Logic, Language and Computation (ILLC), University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
研究探讨LLMs在多语言RAG中利用不同语言上下文的一致性,发现其能提取异语言信息但难以生成正确语言答案。
2025-11-10 cs.AI cs.CL
RAG in the Wild: On the (In)effectiveness of LLMs with Mixture-of-Knowledge Retrieval Augmentation
Emory University(埃默里大学);Georgia Institute of Technology(佐治亚理工学院);SUNY Albany(纽约州立大学阿尔巴尼分校);UT Southwestern Medical Center(德克萨斯大学西南医学中心)
该研究利用混合知识大规模数据存储 MassiveDS 评估真实多样场景下的 RAG,揭示模型规模、重排序、检索源和查询路由方面的局限,强调自适应检索的必要性。
2025-07-26 cs.AI cs.CL cs.LG
Learning Multilingual Embeddings for Cross-Lingual Information Retrieval in the Presence of Topically Aligned Corpora
Computer Science and Engineering, Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校计算机科学与工程系)
在缺乏对齐的平行语料库的情况下,跨语言信息检索是一项具有挑战性的任务。在本文中,我们解决这个问题,考虑局部对齐语料库设计用于评估IR设置。需要强调的是,我们既不使用任何与词典对齐的语料库或与文档对齐的语料库,也不使用任何特定于语言的资源,如字典、同义词词典或语法规则。相反,我们使用嵌入到公共空间中,并直接从那里学习单词对应关系。我们测试我们提出的方法,双语IR标准消防数据集孟加拉语,印地语和英语。所提出的方法是优于国家的最先进的方法,不仅为IR评估措施,但也在时间要求方面。我们成功地将我们的方法扩展到三语环境。
2018-04-12 cs.CL cs.IR
Visual-RAG: Benchmarking Text-to-Image Retrieval Augmented Generation for Visual Knowledge Intensive Queries
Visual-RAG基准通过要求文本到图像检索并整合视觉证据来评估多模态大语言模型在视觉知识密集型问答中的表现,发现现有模型仍难以高效利用视觉知识。
2025-08-15 cs.CL cs.CV
Exploring the Practicality of Generative Retrieval on Dynamic Corpora
KAIST AI(韩国科学技术院人工智能学院);LBox(LBox公司);University of Washington(华盛顿大学);UCL(伦敦大学学院);Seoul National University(首尔大学)
针对现实中动态语料库的检索需求,该研究探究生成式检索在动态场景的适应性与鲁棒性,经StreamingQA基准测试验证,其相较双编码器在知识适配、效率等方面更具优势,为实用检索系统提供新方向。
2024-10-05 cs.AI cs.IR
A Distributed Collaborative Retrieval Framework Excelling in All Queries and Corpora based on Zero-shot Rank-Oriented Automatic Evaluation
提出分布式协作检索框架(DCRF),集成多种检索模型并动态选择最优结果,利用大语言模型提示策略实现零样本排序评估,在所有查询和语料库上超越单一模型,性能媲美RankGPT等列表式方法且效率更高。
2024-12-16 cs.IR
RIT-RAG: Navigating Document Corpora with Retrieval-Induced Trees
IBM(国际商业机器公司);IIT Kharagpur(克勒格布尔印度理工学院)
RIT-RAG结合内容检索与结构导航,通过构建检索诱导树解决智能体RAG的文档结构缺失问题,在多领域基准测试中准确率优于多种基线,在EntQABench上提升显著。
2026-10-19 cs.AI cs.IR
WindTunnel -- A Framework for Community Aware Sampling of Large Corpora
针对大型语料库索引成本高、检索实验效率低的问题,本文提出 WindTunnel 框架,通过保留社区结构生成代表性样本,支持更高效准确的端到端信息检索评估。
2024-10-27 cs.IR
The Cross-Lingual Cost: Retrieval Biases in RAG over Arabic-English Corpora
Technology Innovation Institute(技术创新研究所)
本研究针对阿拉伯语-英语跨语言RAG,发现检索是跨语言领域场景的关键瓶颈,并提出两种简单策略(平等检索或查询翻译)显著提升跨语言与整体性能。
2025-10-27 cs.AI cs.CL cs.IR
RARE: Redundancy-Aware Retrieval Evaluation Framework for High-Similarity Corpora
Allganize;Seoul National University(首尔国立大学)
RARE通过分解文档为原子事实和增强LLM生成数据,构建更真实的基准,揭示当前评估体系无法捕捉的鲁棒性差距。
2026-07-01 cs.AI cs.CL cs.IR
Reproducible Hybrid Time-Travel Retrieval in Evolving Corpora
针对演化语料库中检索结果不可复现的问题,提出结合Lucene与列存储版本化索引的混合检索系统,支持时间旅行查询并保持原始排名,实现完全可复现。
2024-11-06 cs.IR
CREAM: Continual Retrieval on Dynamic Streaming Corpora with Adaptive Soft Memory
Korea University(韩国大学);Yonsei University(延世大学)
CREAM通过自监督框架实现动态数据流中的持续检索,利用自适应软记忆提升对未知主题的适应性和检索准确性。
2026-01-10 cs.AI cs.IR
When Should Dense Retrievers Be Updated in Evolving Corpora? Detecting Out-of-Distribution Corpora Using GradNormIR
Seoul National University(首尔国立大学);POSTECH;Samsung SDS(三星SDS)
本文提出新任务,即在索引前检测语料库相对于稠密检索器是否为分布外,并设计无监督方法 GradNormIR 利用梯度范数进行检测,在 BEIR 上验证其能实现及时更新并提升检索稳健性与效率。
2025-06-02 cs.CL cs.IR
Replication and Exploration of Generative Retrieval over Dynamic Corpora
本研究复现并评估了生成式检索在动态语料库中的表现,发现基于文本的docid优于基于数字的docid,并提出结合两者优势的多docid设计,无需重训练即可提升性能。
2025-04-24 cs.IR
Individual corpora predict fast memory retrieval during reading
Bergische Universität Wuppertal(伍珀塔尔大学);Universität Hamburg(汉堡大学)
从其中训练预测语言模型的语料库可以被认为是语义系统的经验。我们在平板电脑上记录了两名参与者两个月的日常阅读,生成了300/500 K令牌的个体语料库样本。然后,我们从个人语料库和7000万句报纸语料库中训练word 2 vec模型,以获得基于个人和规范的长期记忆结构。为了测试个体语料库是否能对长期记忆提取的认知任务做出更好的预测,我们生成了由134个句子组成的刺激材料,这些句子具有不相关的个体和基于范数的单词概率。对于随后的眼动追踪研究1-2个月后,我们的回归分析表明,个人,但不是正常语料库为基础的单词概率可以解释首次注视时间和首次通过凝视时间。字长还影响注视时间和总观看时间。结果表明,语料库代表个人的长期记忆结构可以更好地解释阅读性能比规范语料库,最近获得的信息是词汇访问迅速。
2020-10-20 cs.CL cs.IR
UniversalRAG: Retrieval-Augmented Generation over Corpora of Diverse Modalities and Granularities
KAIST(韩国科学技术院)
本文提出UniversalRAG,一种能够处理多种模态和粒度的检索增强生成框架,通过动态路由机制和多粒度组织,提升跨模态知识检索的有效性,实验表明其在多个模态基准上的优越性。
2026-06-15 cs.AI cs.CL cs.CV
Poisoning Retrieval Corpora by Injecting Adversarial Passages
Princeton University(普林斯顿大学);Tsinghua University(清华大学)
本文提出一种针对稠密检索系统的对抗性段落注入攻击,通过扰动离散token生成少量高相似度段落,证明其可跨域泛化并攻击多种最先进检索器,仅需注入500个段落即可成功。
2023-10-29 cs.CL cs.IR
Still Fresh? Evaluating Temporal Drift in Retrieval Benchmarks
University of Waterloo(滑铁卢大学)
本研究评估了时间变化对检索基准FreshStack的影响,发现语料库更新后大部分查询仍能得到支持,模型排名变化较小,表明基准在时间演变下仍具可靠性。
2026-03-04 cs.AI cs.CL cs.IR
Tracing Target Answers in Poisoned Retrieval Corpora via Token Influence Attribution
National Yang Ming Chiao Tung University(阳明交通大学);IBM Research(IBM研究院);Hon Hai Research Institute(宏海研究院)
提出TRACE框架,通过令牌影响归因识别检索增强生成系统中的语料投毒攻击,无需额外分类器或LLM验证,在三个QA基准和六个LLM上验证了有效性。
2026-08-27 cs.CL cs.CR cs.IR
MixLoRA-DSI: Dynamically Expandable Mixture-of-LoRA Experts for Rehearsal-Free Generative Retrieval over Dynamic Corpora
Department of Data Science & AI, Monash University, Australia(数据科学与人工智能系,墨尔本大学,澳大利亚);Department of Human Centred Computing, Monash University, Australia(以人为中心计算系,墨尔本大学,澳大利亚)
针对动态语料库生成式检索中模型索引更新成本高的问题,提出MixLoRA-DSI框架,通过OOD驱动的LoRA专家动态扩展策略实现亚线性参数增长,在NQ320k等数据集上性能优于全模型更新基线且成本更低。
2026-08-25 cs.AI cs.CL cs.IR
Continual Learning for Generative Retrieval over Dynamic Corpora
CAS Key Lab of Network Data Science and Technology, ICT, CAS(中国科学院网络数据科学与技术重点实验室);University of Chinese Academy of Sciences(中国科学院大学);University of Amsterdam(阿姆斯特丹大学)
本文针对动态语料库下生成式检索的持续学习问题,提出CLEVER模型,通过增量乘积量化和记忆增强学习机制实现新文档的低成本索引与无遗忘记忆,实验验证了其有效性和效率。
2025-09-27 cs.IR
EraRAG: Efficient and Incremental Retrieval Augmented Generation for Growing Corpora
Huawei Hong Kong Research Center(华为香港研究中心);The Hong Kong University of Science and Technology(香港理工大学);The Chinese University of Hong Kong-Shenzhen(香港中文大学(深圳));The Chinese University of Hong Kong(香港中文大学);Hunan University(湖南大学)
EraRAG提出基于LSH的多层图结构实现Graph-RAG动态增量更新,避免全图重建,在大规模基准上实现更新时间和token消耗最高降低一个数量级且准确率更优。
2025-07-04 cs.IR cs.LG
From Retrieval to Weights: Parametric Individualization of Small Language Models with Individual Text Corpora
Bergische Universität Wuppertal(伍珀塔尔大学);Goethe-Universität Frankfurt(法兰克福大学)
本研究通过DoRA微调将个体文本语料库整合进小语言模型权重,实现参数化个性化,实验表明适配器能有效拟合个体文本,为个性化辅导代理奠定基础。
2026-09-10 cs.CL cs.IR
Language Agnostic Multilingual Information Retrieval with Contrastive Learning
Carnegie Mellon University(卡内基梅隆大学);AWS AI Labs(AWS人工智能实验室)
本文提出一种利用平行与非平行语料和双重对比损失训练语言无关多语言信息检索模型的方法,在零样本跨语言检索中显著提升性能且计算开销更低,并适用于低资源语言场景。
2023-05-26 cs.CL cs.IR
SPECTRA: Synthetic IR Test Collections with Relevance Oracles and Controlled Distractor Diagnostics
Oracle
提出SPECTRA框架,通过分离潜在主题结构、文本实现、元数据控制、查询意图生成和确定性相关性真值表,生成合成文本语料库和检索测试集,以诊断检索系统的扩展性和故障模式。
2026-05-29 cs.AI cs.IR
SparseCL: Sparse Contrastive Learning for Contradiction Retrieval
MIT(麻省理工学院);University of California Los Angeles(加州大学洛杉矶分校)
本文提出 SparseCL,通过结合余弦相似度与稀疏函数的专用句子嵌入实现高效矛盾检索,并在多个数据集上取得超过30%的准确率提升。
2024-06-15 cs.CL cs.IR
Annotation of Scientific Summaries for Information Retrieval
我们提出了一种结合表面NLP和机器学习技术的方法,用于基于注释语料库对摘要进行排名和生成摘要。语料库中标注了元语义标签,表明句子承载的信息类别(目标,发现,新事物,假设,结论,未来的工作,相关工作)。标注后的语料被输入自动摘要器,用于面向查询的摘要排序和多摘要摘要。为了使摘要器适应这两个任务,设计了两个新的加权函数,以考虑语料库中标签的分布。结果,虽然仍然是初步的,鼓励我们追求这条线的工作,并找到更好的方法来建立IR系统,可以考虑到语义标注的语料库。
2011-10-26 cs.IR
SAGE: Structure Aware Graph Expansion for Retrieval of Heterogeneous Data
University of Pennsylvania(宾夕法尼亚大学);Arizona State University(亚利桑那州立大学)
SAGE通过构建结构感知的图扩展框架,在异构数据检索中提升召回率,采用混合检索与代理策略实现多模态证据链检索。
2026-02-18 cs.IR
Personalize Before Retrieve: LLM-based Personalized Query Expansion for User-Centric Retrieval
Dalian University of Technology(大连理工大学);City University of Hong Kong(香港城市大学);University of Science and Technology of China(中国科学技术大学);Huawei Technologies Ltd.(华为技术有限公司)
本文提出PBR框架,通过在检索前个性化查询扩展,提升用户个性化检索的性能。
2025-12-09 cs.IR
PILAR: A Page-Grounded Unified Evidence Representation via an Entity-Linked Assertion Graph for Open-Domain QA Agents over Multimodal Document Corpora
Korea University(韩国大学);Korea Maritime and Ocean University(韩国海洋大学);Konkuk University(建国大学)
PILAR通过实体链接断言图统一多模态文档证据,在多种智能体框架和检索后端下显著提升开放域问答的端到端性能,尤其擅长组合性、跨文档和多跳问题。
2026-09-29 cs.IR
Detecting multiword phrases in mathematical text corpora
Cologne University of Applied Sciences(科隆应用科学大学);Institute of Information Science(信息科学研究所)
本文提出了一种在数学文本语料库中检测多词短语的方法。所使用的方法是基于数学术语的特征。它使用一个名为Lingo的软件工具,可以通过以前定义的词典识别特定的词类,如形容词,人名或名词。多字组的检测是通过算法完成的。索引和信息检索的方法可能的优点和应用基于字典的自动索引的方法,而不是词干程序的结论进行了讨论。
2012-10-02 cs.CL cs.IR
Generating Biomedical Question Answering Corpora from Q&A forums
问答(QA)是一种自然语言处理任务,旨在获得用户问题的相关答案。虽然在这一领域取得了一些进展,生物医学问题仍然是一个挑战,大多数QA方法,由于该领域的复杂性和有限的可用性的训练集。我们提出了一种方法来自动提取问答网络论坛,它可以用于文档检索,大多数问答系统的一个关键步骤的问题文章对。拟议框架从选定的论坛中摘录问题和含有引文的相应答案。这样,基于文档检索的QA系统可以使用这些论坛的用户注释的问题-文章对来开发和评估。我们通过将我们的框架应用于三个论坛来生成BiQA语料库,获得了7,453个问题和14,239个问题-文章对。我们评估了与每个问题相关的文章数量和每个答案的投票数量如何影响基线文档检索方法的性能。此外,我们证明了作为答案给出的文章与问题非常相似,并训练了一个最先进的深度学习模型,该模型获得了与使用专家手动注释的数据集相似的性能。拟议的框架可用于在发表新帖子时从同一论坛以及从通过文档支持其答案的其他论坛更新BiQA语料库。BiQA语料库和用于生成它的框架可在\url{https://github.com/lasigeBioTM/BiQA}上获得。
2020-12-22 cs.IR
Legal document retrieval across languages: topic hierarchies based on synsets
立法文本的跨语言注释使我们能够探索多语言法律数据中涵盖的主要主题,并且在搜索类似文件时是语义相似性的关键促进因素。多语言概率主题模型是近年来出现的一组半监督机器学习模型,可用于对多种语言的文本集合进行主题探索。然而,这些方法需要主题对齐的训练数据来创建独立于语言的空间,这限制了可以使用该技术的场景的数量。在这项工作中,我们提供了一个无监督的文档相似性算法的基础上,层次结构的多语言的概念来描述跨语言的主题。该算法不需要并行或可比的语料库,或任何其他类型的翻译资源。在英语,西班牙语,法语和葡萄牙语版本的JCR-Accounts语料库上进行的实验显示,按相似内容对文档进行分类和排序的结果很有希望。
2019-11-28 cs.DL cs.IR
Multi-Aspect Reviewed-Item Retrieval via LLM Query Decomposition and Aspect Fusion
本文针对多方面评论物品检索中后期融合方法对方面分布敏感的问题,提出基于LLM查询提取和生成式重排序的方面融合策略,在不平衡评论语料上将MAP@10从0.36提升至0.52。
2024-08-01 cs.IR