KGCaRe: Explainable Complex Conditional Question Answering using Automatic Knowledge Graph Construction and Context Retrieval with LLMs
University of Galway(戈尔韦大学);Fidelity Investments(富达投资)
该研究针对LLM与RAG处理复杂条件问答时在特定领域表现不佳的问题,提出KGCaRe混合方法,结合KG构建、迭代图遍历与神经检索,在多类LLM及数据集上优于现有基线。
2026-08-11 cs.AI cs.CL
Zero-Shot Visualization: Exploring Text Corpora with User-Prompted Axes
Universitat Ramon Llull(拉蒙·柳利大学)
本文提出零样本可视化(ZSV)任务,利用大型语言模型将文档映射到用户自然语言指定的概念轴,通过基准评估发现基于下一个词元概率的评分方法在语义保真度与计算成本间取得最佳平衡,并为构建端到端系统提供实用指南。
2026-10-07 cs.AI cs.CL cs.LG
CoLT5: Faster Long-Range Transformers with Conditional Computation
Google Research(谷歌研究院)
提出CoLT5模型,通过条件计算为重要token分配更多前馈和注意力资源,在SCROLLS基准上以更快训练推理速度达到SOTA,并有效支持高达64k的极长输入。
2023-10-24 cs.CL cs.LG
Adaptive Document Retrieval for Deep Question Answering
ETH Zurich(苏黎世联邦理工学院)
深度问答中的现有技术系统如下进行:(1)初始文档检索选择相关文档,(2)然后由神经网络处理这些文档以便提取最终答案。然而,这两个组件之间的确切相互作用知之甚少,特别是关于应该检索的候选文档的数量。我们发现,选择一个静态的文件数量-在以前的研究中使用-遭受噪声信息权衡,并产生次优的结果。作为补救措施,我们提出了一个自适应的文档检索模型。它学习文档检索的最佳候选数量,条件是语料库和查询的大小。我们报告了大量的实验结果,表明我们的自适应方法在多个基准数据集以及不同大小的语料库中的性能优于最先进的方法。
2018-08-20 cs.CL
Mitigating harm in language models with conditional-likelihood filtration
Cohere
在来自开放网络的大规模未经过滤的数据集上训练的语言模型从其训练数据中获得系统性偏见,偏见和有害观点。我们提出了一种以编程方式从网络规模数据集中识别和删除有害文本的方法。使用预训练的语言模型来计算以特定文档为条件的研究者编写的触发短语的对数似然,该对数似然用于从数据集中识别和过滤文档。我们证明,在这个过滤数据集上训练的模型生成有害文本的倾向较低,与未过滤的基线相比,标准语言建模基准的性能略有下降。我们提供了一个部分的解释,这种性能差距的表面仇恨言论和其他不良内容的标准语言建模基准的例子。最后,我们讨论了这种方法的推广,以及如何触发短语,反映特定的值可以被研究人员用来建立语言模型,更紧密地对齐他们的价值观。
2021-11-28 cs.CL cs.LG
RepLiQA: A Question-Answering Dataset for Benchmarking LLMs on Unseen Reference Content
Autodesk(奥多比公司);ServiceNow(ServiceNow公司);ServiceNow Research(ServiceNow研究院);Mila – Québec Artificial Intelligence Institute(米拉-魁北克人工智能研究所)
RepLiQA是一个新问答数据集,包含未公开的参考文档,用于评估大语言模型在未见内容上的检索与问答能力,并基准测试多种先进模型。
2024-11-05 cs.AI cs.CL
Incorporating Question Answering-Based Signals into Abstractive Summarization via Salient Span Selection
Google(谷歌);University of Pennsylvania(宾夕法尼亚大学)
在这项工作中,我们提出了一种方法,将问答(QA)信号的摘要模型。我们的方法通过自动生成由NP回答的wh-问题并自动确定这些问题是否在黄金摘要中得到回答来识别输入文档中的突出名词短语(NP)。这个基于QA的信号被纳入一个两阶段的摘要模型,首先使用分类模型标记输入文档中的突出NP,然后有条件地生成摘要。我们的实验表明,使用基于QA的监督训练的模型生成的摘要质量高于在基准摘要数据集上识别突出跨度的基线方法。此外,我们表明,所生成的摘要的内容可以控制的基础上,在输入文档中标记的NP。最后,我们提出了一种增强训练数据的方法,使黄金摘要与训练期间使用的标记输入跨度更加一致,并展示了这如何导致模型学习更好地排除未标记的文档内容。
2023-02-25 cs.CL
Multi-Facet Blending for Faceted Query-by-Example Retrieval
Graduate School of Artificial Intelligence, POSTECH(浦项科技大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系)
针对分面示例查询缺乏分面级相关性数据的问题,提出 FaBle 模块化分解与重构增强方法,并发布教育考试题 QBE 基准以验证其效果。
2024-12-02 cs.AI cs.CL cs.IR
Chain of Condition: Construct, Verify and Solve Conditions for Conditional Question Answering
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);State Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能国家重点实验室);The Open University of China(国家开放大学)
本文提出条件链提示方法,通过显式构建条件逻辑关系、验证条件满足情况并求解逻辑表达式,在条件问答任务上超越现有提示基线和监督模型,达到新的最优水平。
2024-10-04 cs.CL
CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval
University of Waterloo(滑铁卢大学);Meta AI
多向量检索方法结合了稀疏(例如BM 25)和密集(例如DPR)检索器的优点,并在各种检索任务上实现了最先进的性能。然而,与单向量方法相比,这些方法要慢几个数量级,并且需要更多的空间来存储索引。在本文中,我们统一了不同的多向量检索模型从令牌路由的角度来看,并提出条件令牌交互通过动态词汇路由,即CITADEL,高效和有效的多向量检索。CITADEL学习将不同的令牌向量路由到预测的词汇“键”,使得查询令牌向量仅与路由到相同键的文档令牌向量交互。这种设计在保持高精度的同时显著降低了计算成本。值得注意的是,CITADEL在域内(MS MARCO)和域外(BEIR)评估方面都实现了与先前最先进的ColBERT-v2相同或略好的性能,同时速度快了近40倍。代码和数据可在https://github.com/facebookresearch/dpr-scale上获得。
2022-11-18 cs.CL cs.IR
Neural Variational Inference for Text Processing
University of Oxford(牛津大学);Google Deepmind(谷歌DeepMind)
神经变分推理的最新进展催生了深层潜变量模型的复兴。在本文中,我们介绍了一个通用的变分推理框架的生成和条件模型的文本。虽然传统的变分方法推导出一个解析近似的棘手的分布在潜在的变量,在这里,我们构建了一个推理网络的条件下的离散文本输入,以提供变分分布。我们验证这个框架上的两个非常不同的文本建模应用程序,生成文档建模和监督问答。我们的神经变分文档模型结合了连续的随机文档表示与词袋生成模型,并在两个标准测试语料库上实现了最低的困惑。神经答案选择模型采用注意力机制内的随机表示层来提取问题和答案对之间的语义。在两个问答基准测试中,该模型超过了所有以前发布的基准测试。
2016-06-04 cs.CL cs.LG stat.ML
Revision-Aware Independent Agent Graphs for Dynamic Reasoning
Harvard AI and Robotics Lab(哈佛人工智能与机器人实验室);Harvard University(哈佛大学)
针对动态任务路由中事件流修订任务绑定的问题,提出修订感知独立智能体图(RIAG),通过分离时间解析与推理、缓存及条件修复,在六个基准上以低调用数实现高准确率。
2026-10-02 cs.AI cs.CL
Inverting Multi-Vector Visual Document Indices
Aalto University(阿尔托大学)
针对多向量视觉文档检索器,提出从存储索引反演原始页面的攻击方法,在ViDoRe v3上恢复47%单词,并验证了池化与打乱等防护措施的局限性。
2026-10-08 cs.CL cs.CV cs.IR
Enhancing Label Correlation Feedback in Multi-Label Text Classification via Multi-Task Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Tencent Cloud Xiaowei(腾讯云小微)
在多标签文本分类(MLTC)中,每个给定的文档都与一组相关的标签相关联。为了捕获标签相关性,以前的分类器链和序列到序列模型将MLTC转换为序列预测任务。然而,它们往往遭受标签顺序依赖性,标签组合过拟合和错误传播问题。为了解决这些问题,我们引入了一种新的多任务学习方法来增强标签相关性反馈。我们首先利用联合嵌入(JE)机制,同时获得文本和标签表示。在MLTC任务中,采用文档-标签交叉注意(CA)机制来生成更具区分力的文档表示。此外,我们还提出了两个辅助标签共现预测任务来增强标签相关性学习:1)成对标签共现预测(PLCP)和2)条件标签共现预测(CLCP)。在AAPD和RCV 1-V2数据集上的实验结果表明,该方法的性能大大优于竞争基线。我们分析了低频标签性能,标签依赖性,标签组合多样性和覆盖速度,以显示我们提出的方法对标签相关性学习的有效性。
2021-06-06 cs.CL
Multi-Conditional Ranking with Large Language Models
Megagon Labs(美伽贡实验室)
本文提出多条件排序任务及MCRank基准,并设计EXSIR分解推理方法,通过提取排序条件并迭代排序项目,显著提升LLMs在多条件排序中的性能,最高提升14.4%。
2024-10-17 cs.CL cs.LG
Beyond Single Embeddings: Capturing Diverse Targets with Multi-Query Retrieval
Department of Computer Science, New York University(纽约大学计算机科学系);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对单一查询向量难以捕捉多模态相关文档分布的局限,本文提出自回归多嵌入检索器(AMER),通过自回归生成多个查询向量进行检索,在合成和真实数据集上显著优于单一嵌入基线。
2025-11-04 cs.CL cs.IR
Navigating Global AI Regulation: A Multi-Jurisdictional Retrieval-Augmented Generation System
PoliticalNLP Workshop(政治NLP研讨会);LREC 2026 Report(LREC 2026报告)
本文提出一个多司法管辖区的检索增强生成系统,用于全球人工智能监管,通过类型特定分块、条件检索路由和优先级重排序技术,提升法律文档检索效果。
2026-04-28 cs.CL
Generating Question-Answer Hierarchies
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
知识获取的过程可以被看作是学生和教师之间的问答游戏,在这个游戏中,学生通常先问广泛的、开放式的问题,然后再深入到细节(Hintikka,1981; Hakkarainen和Sintonen,2002)。这种教学的角度激发了一种新的方式来表示文档。在本文中,我们提出了SQUASH(具体控制的问答层次结构),一种新颖的和具有挑战性的文本生成任务,将输入文档转换成层次结构的问答对。用户可以点击高级问题(例如,”为什么弗罗多离开了团契?“)来揭示相关但更具体的问题(例如,“弗罗多和谁一起离开的?").使用一个松散的问题分类法的基础上Lehnert(1978年),我们分类问题在现有的阅读理解数据集为“一般”或“具体”。然后,我们使用这些标签作为输入到一个以条件神经语言模型为中心的流水线系统。我们广泛评估质量的QA层次结构,通过众包实验和报告强有力的实证结果。
2019-07-21 cs.CL
Few-shot Reranking for Multi-hop QA via Language Model Prompting
University of Michigan(密歇根大学);LG AI Research(LG人工智能研究院);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
为解决多跳问答检索器训练依赖大量标注数据的问题,提出基于大语言模型提示的少样本重排序方法PromptRank,仅用128个样本即在HotpotQA上取得强劲检索性能。
2023-07-02 cs.CL cs.IR
Retrieval Augmented Biomedical Question Answering with Weak Question Recovery and Neural Reranking for BioASQ Task 14b
Georgia Institute of Technology(佐治亚理工学院)
该研究针对BioASQ第14b任务,构建了结合多源查询扩展等技术的生物医学问答系统,通过弱问题恢复与检索后剪枝提升检索性能,经实验验证可显著优化MAP@10指标。
2026-08-04 cs.AI cs.CL
Business Process Text Sketch Automation Generation Using Large Language Model
Yunnan University(云南大学)
针对业务流程文档生成中数据集缺乏的问题,提出利用大语言模型,采用分而治之策略将复杂条件流程树分解为基本单元逐一转换,正确率达93.42%,显著优于传统提示方法。
2023-09-03 cs.CL