COIL: Revisit Exact Lexical Match in Information Retrieval with Contextualized Inverted List
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
经典的信息检索系统如BM 25依赖于精确的词汇匹配,并使用倒排表索引来高效地执行搜索。最近的神经IR模型转向软语义匹配所有的查询文档术语,但他们失去了精确匹配系统的计算效率。本文介绍了COIL,一个上下文精确匹配检索架构,带来语义词汇匹配。COIL评分是基于重叠的查询文档令牌的上下文表示。新架构将上下文化的标记表示存储在倒排列表中,将精确匹配的效率和深层语言模型的表示能力结合在一起。我们的实验结果表明,COIL优于经典的词汇检索和国家的最先进的深度LM检索相似或更小的延迟。
2021-04-15 cs.CL cs.IR
NeuralQA: A Usable Library for Question Answering (Contextual Query Expansion + BERT) on Large Datasets
Cloudera Fast Forward Labs
现有的问答(QA)工具面临着限制其在实践中使用的挑战。它们的设置或与现有基础设施的集成可能很复杂,不提供可配置的交互式接口,并且不涵盖经常构成QA管道的全部子任务(查询扩展、检索、阅读和解释/意义构建)。为了帮助解决这些问题,我们引入了NeuralQA -一个用于大型数据集QA的可用库。NeuralQA与现有基础设施(例如,ElasticSearch实例和使用HuggingFace Transformers API训练的读取器模型),并为QA子任务提供有用的默认值。它引入并实现了上下文查询扩展(CQE)使用掩蔽的语言模型(MLM)以及相关的片段(RelSnip)-一种方法,用于压缩大型文档成较小的段落,可以快速处理的文档阅读器模型。最后,它提供了一个灵活的用户界面,以支持研究探索的工作流程(例如,基于梯度的解释的可视化,以支持模型行为的定性检查)和大规模搜索部署。NeuralQA的代码和文档可以在Github(https://github.com/victordibia/neuralqa}{Github)上以开源的形式获得。
2020-11-28 cs.AI cs.CL cs.HC
MoG: Mixture of Experts for Graph-based Retrieval-Augmented Generation
The Hong Kong Polytechnic University(香港理工大学);Monash University(墨尔本大学);Tencent Youtu Lab(腾讯优图实验室)
提出MoG框架,通过组织知识为中心枢纽图和稀疏激活的专家图,利用拓扑感知路由器动态选择相关专家图,以解决检索增强生成中统一知识库引入无关信息的问题,在MuSiQue上相对提升超过20%。
2026-05-29 cs.CL
Answering Complex Open-domain Questions Through Iterative Query Generation
Stanford University(斯坦福大学)
对于当前的一步检索和阅读问答(QA)系统来说,回答诸如“《无敌舰队》的作者的哪部小说将被史蒂文·斯皮尔伯格改编为故事片?“因为这个问题很少包含关于失踪实体(这里是作者)的可检索线索。提出这样的问题需要多跳推理,其中必须收集关于丢失的实体(或事实)的信息以继续进行进一步的推理。我们提出了GoldEn(黄金实体)检索器,它在阅读上下文和检索更多支持文档之间迭代,以回答开放域多跳问题。GoldEn Retriever没有使用不透明和计算昂贵的神经检索模型,而是在给定问题和可用上下文的情况下生成自然语言搜索查询,并利用现成的信息检索系统来查询丢失的实体。这使得GoldEn Retriever能够有效地扩展开放域多跳推理,同时保持可解释性。我们在最近提出的开放域多跳QA数据集HotpotQA上评估了GoldEn Retriever,并证明了它的性能优于先前发布的最佳模型,尽管没有使用预训练的语言模型,如BERT。
2019-10-15 cs.CL
ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT
Stanford University(斯坦福大学)
自然语言理解(NLU)的最新进展正在推动信息检索(IR)的快速发展,这在很大程度上要归功于对用于文档排序的深度语言模型(LM)进行微调。虽然非常有效,但基于这些LM的排名模型比现有方法增加了几个数量级的计算成本,特别是因为它们必须通过大规模神经网络来馈送每个查询-文档对以计算单个相关性得分。为了解决这个问题,我们提出了ColBERT,这是一种新的排名模型,它可以适应深度LM(特别是BERT)以实现高效检索。ColBERT引入了一个后期交互架构,它使用BERT独立地对查询和文档进行编码,然后采用一个廉价但功能强大的交互步骤来模拟它们的细粒度相似性。通过延迟并保留这种细粒度的交互,ColBERT可以利用深度LM的表现力,同时获得离线预计算文档表示的能力,从而大大加快查询处理。除了降低通过传统模型检索的文档重新排序的成本外,ColBERT的修剪友好交互机制还可以利用向量相似性索引直接从大型文档集合进行端到端检索。我们使用两个最近的通道搜索数据集广泛评估ColBERT。结果表明,ColBERT的有效性与现有的基于BERT的模型相比具有竞争力(并且优于每一个非BERT基线),同时执行速度快两个数量级,每次查询所需的FLOP少四个数量级。
2020-06-04 cs.CL cs.IR
ConTextual Masked Auto-Encoder for Dense Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Kuaishou Technology(快手科技)
密集段落检索旨在基于密集表示(即,向量)的查询和段落。最近的研究探索了改进预训练的语言模型以提高稠密检索性能。提出了一种用于密集段落检索的生成式预训练方法CoT-MAE(Contextual Masked Auto-Encoder)。CoT-MAE采用非对称编码器-解码器架构,通过自监督和上下文监督掩码自动编码学习将句子语义压缩为密集向量。准确地说,自监督掩码自动编码学习对文本跨度内的标记的语义进行建模,而上下文监督掩码自动编码学习对文本跨度之间的语义相关性进行建模。我们进行了大规模的通道检索基准的实验,并显示出相当大的改善强基线,证明了高效率的CoT-MAE。我们的代码可在https://github.com/caskcsg/ir/tree/main/cotmae上获得。
2022-12-01 cs.AI cs.CL
Entity Type Recognition using an Ensemble of Distributional Semantic Models to Enhance Query Understanding
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);CareerBuilder
我们提出了一个集成的方法,在招聘领域的搜索查询实体进行分类。了解搜索查询中表示的实体类型(公司、技能、职位等)与传统的基于关键字的搜索相比,能够基于这些实体进行更智能的信息检索。因为搜索查询通常非常短,所以由于缺乏上下文信息,利用传统的词袋模型来识别实体类型将是不合适的。相反,我们的方法结合了不同来源的不同复杂性的线索,以收集真实世界的知识查询实体。我们通过两个模型采用查询实体的分布式语义表示:1)从维基百科等百科全书语料库中生成的上下文向量,以及2)使用word 2 vec从数百万个职位发布中生成的高维词嵌入向量。此外,我们的方法利用从WordNet获得的实体语言属性和从DBpedia提取的本体属性。我们评估我们的方法在凯业必达创建的数据集;美国最大的就业委员会。该数据集包含从数百万求职者/招聘人员搜索查询、职位发布和简历文档中提取的实体。在构造搜索实体的分布向量之后,我们使用监督机器学习来推断搜索实体类型。实证结果表明,我们的方法优于最先进的word 2 vec分布语义模型训练维基百科。此外,我们实现了97%的微平均F1分数使用建议的分布表示合奏。
2016-04-04 cs.CL cs.IR
FG-RAG: Enhancing Query-Focused Summarization with Context-Aware Fine-Grained Graph RAG
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出FG-RAG框架,通过上下文感知实体扩展和查询级细粒度摘要,解决现有GraphRAG在查询聚焦摘要任务中缺乏查询感知和上下文信息的问题,并在多个指标上优于其他RAG系统。
2025-03-13 cs.AI cs.CL cs.IR
Mining Clues from Incomplete Utterance: A Query-enhanced Network for Incomplete Utterance Rewriting
Peking University(北京大学)
针对不完整话语重写中语义结构建模不足的问题,提出查询增强网络QUEEN,通过查询模板显式引入语义结构知识并结合编辑操作评分网络,在多个公开数据集上取得最先进性能。
2023-07-27 cs.AI cs.CL
MemoryCard: Topic-Aware Multi-Modal Clue Compression for Long-Video Question Answering
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Digital China Group(数字中国集团)
提出MemoryCard框架,通过将长视频分割为主题事件单元并生成事件级摘要和代表性视觉时刻,以记忆卡形式增强VLMs的长视频问答能力,在相同视觉令牌预算下准确率提升高达21.8%。
2026-08-31 cs.CL cs.CV
MNER-QG: An End-to-End MRC framework for Multimodal Named Entity Recognition with Query Grounding
Beijing Institute of Technology(北京理工大学);JD AI Research(京东人工智能研究院);Australian National University(澳大利亚国立大学)
多模态命名实体识别(MNER)是信息抽取中的一个关键步骤,它的目的是在给定的图片-图像对中检测实体跨度并将其分类为相应的实体类型。现有的方法要么(1)从注意力机制获得具有粗粒度视觉线索的命名实体,要么(2)首先使用工具包检测细粒度视觉区域,然后识别命名实体。然而,它们遭受实体类型和视觉区域之间的不正确对齐或错误传播的两阶段方式,最终将无关的视觉信息导入文本。在本文中,我们提出了一种新的端到端的框架名为MNER-QG,可以同时执行基于MRC的多模态命名实体识别和查询接地。具体来说,在查询的帮助下,MNER-QG可以提供实体类型和视觉区域的先验知识,并进一步增强文本和图像的表示。为了执行查询接地任务,我们提供了手动注释和弱监督,这些注释和弱监督是通过使用迁移学习训练高度灵活的视觉接地模型获得的。我们在两个公共MNER数据集Twitter 2015和Twitter 2017上进行了广泛的实验。实验结果表明,MNER-QG优于当前最先进的模型在MNER任务,也提高了查询接地性能。
2022-11-27 cs.AI cs.CL cs.CV
A dataset for resolving referring expressions in spoken dialogue via contextual query rewrites (CQR)
University of New Mexico(新墨西哥大学);Johns Hopkins University(约翰斯·霍普金斯大学);Alexa AI(Alexa人工智能);Amazon.com, Inc.(亚马逊公司)
我们提出了上下文查询重写(CQR),一个用于多域面向任务的口语对话系统的数据集,它是斯坦福对话语料库的扩展(Eric等人,2017年a)。虽然先前的方法已经通过学习候选转换来解决不同模式的问题(Naik等人,2018),我们替代地将引用解析任务建模为用户查询重构任务,其中对话状态被串行化为可以由下游口语语言理解系统执行的自然语言查询。在本文中,我们描述了我们的方法来创建查询重构扩展的对话语料库,并提出了一套初步的实验,以建立一个基线的CQR任务。我们已经向公众发布了语料库[1],以支持这一领域的进一步研究。
2019-04-01 cs.CL
Stacked Attention Networks for Image Question Answering
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
本文提出了堆叠注意力网络(SAN),学习回答自然语言的问题,从图像。SAN使用问题的语义表示作为查询来搜索图像中与答案相关的区域。我们认为,图像问答(QA)往往需要多个步骤的推理。因此,我们开发了一个多层SAN,在其中我们查询图像多次逐步推断答案。在四个图像QA数据集上进行的实验表明,所提出的SAN显着优于以前的国家的最先进的方法。注意力层的可视化显示了SAN逐层查找相关可视线索以找到问题答案的过程。
2016-01-26 cs.CL cs.CV cs.LG
DialogueCRN: Contextual Reasoning Networks for Emotion Recognition in Conversations
National Computer System Engineering Research Institute of China(中国国家计算机系统工程研究所);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
会话中的情感识别(ERC)在开发移情机器方面越来越受到关注。近年来,许多方法致力于通过深度学习模型感知会话上下文。然而,这些方法都是不够的,在理解的背景下,由于缺乏能力,提取和整合的情感线索。在这项工作中,我们提出了新的上下文推理网络(DialogueCRN),从认知的角度充分理解会话上下文。受情绪认知理论的启发,我们设计了多轮推理模块来提取和整合情绪线索。推理模块模仿人类独特的认知思维,反复执行直觉检索过程和有意识推理过程。在三个公共基准数据集上的实验证明了该模型的有效性和优越性。
2021-06-09 cs.AI cs.CL
Robust Native Language Identification through Agentic Decomposition
University of Zurich(苏黎世大学)
本文针对LLM原生语言识别易依赖表面线索的问题,提出受法医语言学启发的智能体分解流程,通过专用智能体积累分类证据、协调智能体综合预测,在基准数据集上提升了NLI的鲁棒性与性能一致性。
2026-08-07 cs.CL
Bridging the Gap: Transforming Natural Language Questions into SQL Queries via Abstract Query Pattern and Contextual Schema Markup
Zhipu AI(智谱AI);Tsinghua University(清华大学)
针对Text-to-SQL任务中复杂问题存在的结构与词汇映射差距,本文提出基于大语言模型的PAS-SQL流水线,通过抽象查询模式和上下文模式标记缓解差距,在Spider、BIRD数据集上取得领先性能。
2025-02-20 cs.CL
Deeper Text Understanding for IR with Contextual Neural Language Modeling
Carnegie Mellon University(卡内基梅隆大学)
神经网络为自动学习复杂的语言模式和查询-文档关系提供了新的可能性。神经IR模型在学习查询-文档相关模式方面取得了可喜的成果,但在理解查询或文档的文本内容方面却鲜有研究。本文研究了利用最近提出的上下文神经语言模型BERT来为信息检索提供更深层次的文本理解。实验结果表明,BERT的上下文文本表示比传统的词嵌入更有效。与词袋检索模型相比,上下文语言模型可以更好地利用语言结构,对用自然语言编写的查询带来很大的改进。将文本理解能力与搜索知识相结合导致增强的预训练BERT模型,其可以在训练数据有限的情况下有益于相关搜索任务。
2019-05-22 cs.CL cs.IR
Contextualized Evaluations: Judging Language Model Responses to Underspecified Queries
University of Pennsylvania(宾夕法尼亚大学);Allen Institute for AI(人工智能研究所);University of Maryland, College Park(马里兰大学学院公园分校)
针对语言模型处理未明确指定查询的评估难题,提出情境化评估协议,通过综合构建查询情境来改善评估,发现情境能改变基准排名、减少表面判断,并揭示模型对WEIRD情境的潜在偏见及对不同情境敏感度不一。
2025-05-23 cs.CL
CHIQ: Contextual History Enhancement for Improving Query Rewriting in Conversational Search
Université de Montréal(蒙特利尔大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Renmin University of China(中国人民大学)
提出CHIQ两步法,利用开源LLMs在查询重写前解决对话历史歧义,在五个基准上取得SOTA结果,成为对话式搜索中替代闭源商业模型的有竞争力方案。
2024-09-26 cs.CL cs.IR
Divide and Rule: Effective Pre-Training for Context-Aware Multi-Encoder Translation Models
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Naver Labs Europe(Naver欧洲实验室)
多编码器模型是一个广泛的上下文感知神经机器翻译系统家族,旨在通过对当前句子旁边的文档级上下文信息进行编码来提高翻译质量。上下文编码由上下文参数进行,在文档级数据上进行训练。在这项工作中,我们讨论了有效训练这些参数的困难,由于需要上下文的单词的稀疏性(即,训练信号)以及它们的相关上下文。我们建议在分裂的句子对上预训练上下文参数,这可以有效地利用可用的数据,原因有两个。首先,它通过打破内部句法关系来增加上下文训练信号,从而推动模型更频繁地搜索上下文以消除歧义。其次,它简化了相关上下文的检索,因为上下文段变得更短。我们提出了四种不同的分裂方法,并评估我们的方法与BLEU和对比测试集。结果表明,它始终提高学习的上下文参数,无论是在低和高的资源设置。
2022-03-15 cs.CL
Contextualizing Search Queries In-Context Learning for Conversational Rewriting with LLMs
National Energy University(国立能源大学)
针对低资源场景下对话查询重写标注数据不足的问题,提出提示引导的上下文学习方法,通过精心设计的提示引导LLM实现少样本重写,在多个基准上优于强基线,为低资源对话搜索提供高效方案。
2025-02-20 cs.CL
See It All: Contextualized Late Aggregation for 3D Dense Captioning
Seoul National University(首尔大学);Diquest;LG AI Research(LG人工智能研究院)
针对3D密集描述中单个查询需同时关注物体区域与上下文的目标冲突问题,提出采用晚期聚合范式的SIA方法,通过双查询解码与新型聚合器生成上下文感知描述,在主流数据集上实现显著性能提升。
2024-08-14 cs.CL cs.CV
Short Text Pre-training with Extended Token Classification for E-commerce Query Understanding
Amazon Search(亚马逊搜索)
电子商业查询理解是通过从用户的搜索查询中提取语义来推断用户的购物意图的过程。自然语言处理中的预训练掩蔽语言模型(MLM)的最新进展对于开发有效的查询理解模型具有极大的吸引力。具体地说,MLM通过恢复句子中的掩蔽标记来学习上下文文本嵌入。这样的预训练过程依赖于足够的上下文信息。然而,它对搜索查询的效果较差,因为搜索查询通常是短文本。当对短搜索查询应用掩蔽时,大部分上下文信息丢失,并且搜索查询的意图可能改变。为了缓解MLM搜索查询预训练的上述问题,我们提出了一种专门为短文本设计的新的预训练任务,称为扩展令牌分类(ETC)。我们的方法不是屏蔽输入文本,而是通过生成器网络插入令牌来扩展输入,并训练一个机器人来识别哪些令牌被插入到扩展输入中。我们在一个电子商业商店进行实验,以证明ETC的有效性。
2022-10-08 cs.CL cs.LG
FANDA: A Novel Approach to Perform Follow-up Query Analysis
Beihang University(北京航空航天大学);Microsoft Research(微软研究院);Peking University(北京大学)
自然语言与数据库的接口(NLIDB)的研究引起了人们的广泛关注。NLIDB允许用户使用自然语言而不是类似SQL的查询语言来搜索数据库。在使用户不必学习查询语言的同时,与NLIDB的多轮交互通常涉及多个查询,其中上下文信息对于理解用户的查询意图至关重要。在本文中,我们解决了一个典型的上下文理解问题,称为后续查询分析。尽管其无处不在,后续查询分析没有得到很好的研究,由于两个主要障碍:后续查询场景的多样性和缺乏高质量的数据集。我们的工作总结了典型的后续查询场景,并提供了一个新的FollowUp数据集上的$1000$查询三元组120表。此外,我们提出了一种新的方法FANDA,它考虑到查询的结构,并采用弱监督最大边际学习的排名模型。FollowUp的实验结果证明了FANDA在多个指标上优于多个基线。
2019-01-24 cs.AI cs.CL
Knowledge-Augmented Large Language Models for Personalized Contextual Query Suggestion
KAIST(韩国科学技术院);Microsoft Research(微软研究院)
本文提出一种利用用户搜索与浏览历史构建轻量级实体知识库以增强LLM提示的方法,在上下文查询建议任务中显著提升了建议的相关性、个性化和实用性。
2024-02-19 cs.AI cs.CL cs.IR
In-Context Exemplars as Clues to Retrieving from Large Associative Memory
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
该研究将大语言模型的上下文学习(ICL)概念化为联想记忆的上下文检索,基于Hopfield Networks构建理论框架,探究示例对ICL性能的影响并提出高效主动示例选择方法,为理解ICL机制及大语言模型提供新视角。
2023-12-18 cs.CL cs.LG
Contextual Graph Attention for Answering Logical Queries over Incomplete Knowledge Graphs
UCSB(加州大学圣巴巴拉分校);SayMosaic Inc.(赛摩赛克公司)
最近,一些研究探索了使用KG嵌入来回答逻辑查询的方法。这些方法要么将嵌入学习和查询应答视为两个独立的学习任务,要么无法处理来自不同查询路径的贡献的可变性。我们提出利用图注意力机制来处理不同查询路径的不平等贡献。然而,通常使用的图注意力假设提供了中心节点嵌入,这在该任务中是不可用的,因为中心节点是要预测的。针对这一问题,提出了一种基于多头注意力的端到端逻辑查询应答模型--上下文图注意力模型(CGA),该模型使用初始邻域聚合层生成中心嵌入,并在原始KG结构和采样的查询-应答对上对整个模型进行联合训练。我们还介绍了两个新的数据集,DB 18和WikiGeo 19,这是相当大的规模相比,现有的数据集,并包含更多的关系类型,并使用它们来评估所提出的模型的性能。我们的结果表明,所提出的CGA具有较少的可学习参数,在两个数据集以及Bio数据集上的性能始终优于基线模型。
2019-09-30 cs.AI cs.CL cs.LG
AMGPT: a Large Language Model for Contextual Querying in Additive Manufacturing
Carnegie Mellon University(卡内基梅隆大学)
针对通用LLM在金属增材制造领域缺乏细节回答的问题,提出基于预训练Llama2-7B和RAG技术的专用模型AMGPT,通过整合约50篇AM文献实现快速准确的上下文查询。
2024-05-24 cs.CL cs.LG
Conversational Query Rewriting with Self-supervised Learning
JD AI(京东AI)
上下文建模在构建多轮对话系统中起着至关重要的作用。会话查询重写(CQR)旨在通过显式地将会话查询重写为自包含的话语,将多轮对话建模简化为单轮问题。然而,现有的方法依赖于大量的监督训练数据,这是劳动密集型的注释。并且可以进一步改进从上下文中检测遗漏的重要信息。此外,上下文查询和重写查询之间的意图一致性约束也被忽略。为了解决这些问题,我们首先提出通过自监督学习自动构建大规模CQR数据集,这不需要人工注释。在此基础上,提出了一种基于Transformer的CQR模型Teresa,并通过自关注关键词检测和意图一致性约束对该模型进行了改进。最后,我们在两个公共数据集上进行了广泛的实验。实验结果表明,我们提出的模型明显优于现有的CQR基线,也证明了自监督学习的有效性,提高CQR性能。
2021-02-19 cs.CL
Latin BERT: A Contextual Language Model for Classical Philology
School of Information(信息学院);University of California, Berkeley(加利福尼亚大学伯克利分校);Department of Classics(古典学系);University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了拉丁语BERT,这是一个拉丁语的上下文语言模型,训练了从古典时代到21世纪的各种来源的6.427亿个单词。在一系列的案例研究中,我们说明了这种语言特定的模型的启示,无论是在拉丁语的自然语言处理工作中,还是在传统学术研究中使用计算方法:我们表明,拉丁语BERT在拉丁语的所有三个通用依赖数据集上实现了词性标记的最新技术水平,并且可以用于预测丢失的文本(包括关键校正),我们创建了一个新的数据集,用于评估拉丁语的词义消歧,并证明拉丁语BERT优于静态词嵌入,我们表明,它可以用于语义知情搜索查询上下文最近的邻居。我们公开发布经过训练的模型,以帮助推动该领域的未来工作。
2020-09-21 cs.CL
Not All Gap Correction Helps: A Geometric View of External Information in LLM Inference
Harbin Institute of Technology(哈尔滨工业大学);Singapore Management University(新加坡管理大学)
本文提出统一理论框架,分析上下文信息对Transformer模型误差动态的影响,通过几何条件和范数约束揭示上下文校正的必要条件,并通过实验验证提升模型性能。
2026-11-13 cs.CL
Modeling the dynamics of domain specific terminology in diachronic corpora
Leipzig University(莱比锡大学);Stuttgart University(斯图加特大学)
在术语工作、自然语言处理和数字人文学中,一些研究致力于分析术语的上下文和含义的变化,以检测术语的语义变化和演变。我们区分了三种不同的方法来描述语境变化:基于模式和语言线索的分析方法,探索单个词的潜在语义空间的方法,以及主题成员关系的分析方法。本文提出了上下文波动的概念,作为一种新的检测语义变化的措施,并将其应用于政治科学的案例研究中的关键词提取。该措施量化了一个词的上下文变化的动态历时语料库中,以确定的时间段,其特点是激烈的争议性辩论或大量的语义转换。
2017-07-11 cs.CL
Harnessing LLMs for Educational Content-Driven Italian Crossword Generation
University of Siena(锡耶纳大学)
本研究推出利用GPT-4o等大语言模型、基于含3万多条条目的Italian-Clue-Instruct数据集生成意大利语填字游戏的工具,支持四种线索风格,旨在填补意大利语教育工具空白,增强学习体验并为语言学习设新基准。
2024-11-25 cs.AI cs.CL
Abstractive Snippet Generation
Paderborn University(帕德博恩大学);Leipzig University(莱比锡大学);Bauhaus-Universität Weimar(魏玛包豪斯大学);Martin-Luther-Universität Halle-Wittenberg(哈勒-维滕贝格马丁·路德大学)
摘要片段是最初创建的文本片段,用于在搜索引擎结果页面上总结网页。与传统的提取片段(从网页中逐字提取短语和句子)相比,抽象片段规避了版权问题;更有趣的是,它们为个性化打开了大门。抽象代码片段在用户接受度和表现力方面被认为同样强大-但关键问题仍然存在:抽象代码片段是否可以以足够的质量自动生成?本文介绍了一种新的方法来抽象的片段生成:我们确定了前两个大规模的来源,即锚上下文和Web目录的远程监督。通过挖掘整个CNOW Web 09和CNOW Web 12的锚上下文,并利用DMOZ开放目录项目,我们编译了Webis抽象Sniffel语料库2020,包括超过350万个三元组的形式$\langle$查询,片段,文档$\rangle$作为训练样本,其中摘录是锚上下文或web目录描述,而不是web文档的真正的偏向查询的抽象摘录。我们提出了一个双向的抽象片段生成模型,并评估我们的语料库和生成的抽象片段的质量与标准的措施,众包,并在比较最先进的状态。评估表明,我们的新的数据源,以及所提出的模型允许生产可用的查询偏向抽象片段,同时尽量减少文本重用。
2020-03-15 cs.CL cs.IR
Improving Retrieval in Sponsored Search by Leveraging Query Context Signals
Microsoft(微软公司)
本文提出利用网络搜索结果和GPT-4生成的查询上下文信号增强赞助搜索中的查询理解,并通过Fusion-in-Decoder架构和上下文瞥见策略提升稠密与生成式检索性能,离线实验和在线A/B测试均验证了其在用户参与度和收入上的显著改进。
2024-10-18 cs.CL cs.IR
CodeScout: Contextual Problem Statement Enhancement for Software Agents
University of Maryland, College Park(马里兰大学帕克分校);Amazon Web Services (AWS)(亚马逊云服务(AWS));Databricks
CodeScout通过轻量级预探索将模糊请求转化为完整问题陈述,提升软件代理性能,实验表明其在解决率上提升20%。
2026-04-09 cs.CL cs.SE
A Split-and-Recombine Approach for Follow-up Query Analysis
Beihang University(北京航空航天大学);Microsoft Research(微软研究院)
上下文相关的语义解析已被证明是一个重要而具有挑战性的任务。为了利用上下文无关的语义解析的进步,我们建议进行后续查询分析,旨在重述上下文相关的自然语言查询与上下文信息。为了完成这项任务,我们提出了STAR,一种设计良好的两阶段过程的新方法。它独立于解析器,能够处理不同领域中的各种后续场景。在FollowUp数据集上的实验表明,STAR的性能比最先进的基线高出近8%。解析结果的优越性验证了后续查询分析的可行性。我们还探索了STAR在SQA数据集上的可扩展性,这是非常有前途的。
2019-09-19 cs.AI cs.CL
Long Document Re-ranking with Modular Re-ranker
Carnegie Mellon University(卡内基梅隆大学)
对于基于深度语言模型(如BERT)的神经重排序器来说,长文档重排序一直是一个具有挑战性的问题。早期的工作将文档分解成短的类似于文本的块。这些块被独立地映射到标量分数或潜在向量,然后将其汇集到最终的相关性分数中。然而,这些编码和池方法不可避免地引入了一个信息瓶颈:低维表示。在本文中,我们建议,而不是充分的查询到文档的交互建模,利用注意力操作和模块化的Transformer重新排名框架。首先,使用编码器模块独立地对文档块进行编码。然后,交互模块对查询进行编码,并执行从查询到所有文档块表示的联合关注。我们证明,该模型可以使用这个新的自由度,从整个文档中聚合重要信息。实验结果表明,该方法对两个经典的IR集合Robust04和CNOWWeb09以及一个大规模的监督集合MS-MARCO文档排序进行了有效的重排序。
2022-06-06 cs.CL cs.IR