Adapting a FrameNet Semantic Parser for Spoken Language Understanding Using Adversarial Learning
Orange Labs（奥兰治实验室）；Univ. Toulon（土伦大学）；CNRS（法国国家科学研究中心）
本文提出了一种新的语义框架解析模型，基于伯克利框架网，适用于处理口语文档，以执行信息抽取从广播内容。以前的工作已经显示出对抗学习的有效性领域泛化的背景下，语义解析的书面文件，我们建议扩展这种方法的演说风格的概括。贯穿本研究的根本问题是，对抗性学习是否可以用于组合来自不同来源的数据，并在更高的抽象层次上训练模型，以提高它们对词汇和风格变化以及自动语音识别错误的鲁棒性。所提出的策略进行评估的法语语料库的书面文件和一个较小的语料库的无线电播客transmittance，都与一个框架网范式注释。我们表明，对抗学习增加了所有模型的泛化能力，无论是手动和自动语音转录，以及对pedicic数据。
2019-10-07 cs.CL
Topic Classification on Spoken Documents Using Deep Acoustic and Linguistic Features
National Engineering Laboratory for Speech and Language Information Processing（语音及语言信息处理国家工程实验室）；University of Science and Technology of China（中国科学技术大学）
口语文档的主题分类系统通常由两个模块组成：将语音转换为文本的自动语音识别（ASR）模块和从解码的文本预测主题类的文本主题分类（TTC）模块。在本文中，而不是使用的ASR成绩单，深层声学和语言特征的融合用于口语文档的主题分类。更具体地，首先训练使用音素作为输出单元的传统的基于CTC的声学模型（AM），并且将训练的AM中的线性音素分类器之前的层的输出用作口语文档的深度声学特征。此外，这些深层声学特征被馈送到音素到词（P2W）模块以获得深层语言特征。最后，提出了一个局部多头注意力模块，融合这两类深度特征进行主题分类。在Switchboard语料库中的一个子集上进行的实验表明，我们提出的框架优于传统的ASR + TTC系统，并在ACC上实现了3.13%的提高。
2021-06-16 cs.CL cs.SD eess.AS
Joint Lifelong Topic Model and Manifold Ranking for Document Summarization
Beihang University（北京航空航天大学）
由于流形排序方法对基于已知数据的未知数据的排序有显著的影响，通过使用加权网络，许多研究人员使用流形排序方法来解决文档摘要任务。然而，他们的模型只考虑了原始特征，而忽略了句子的语义特征时，他们构建的加权网络的流形排序方法。针对这一问题，提出了两种基于流形排序方法的改进模型。一种是结合主题模型和流形排序方法（JTMMR）来解决文档摘要问题。该模型不仅利用了原始特征，而且利用语义特征来表示文档，提高了流形排序方法的准确性。另一种是结合终身主题模型和流形排序方法（JLTMMR）。该模型在JTMMR的基础上，增加了知识约束，提高了主题的质量。同时，我们还加入了文档间关系的约束，挖掘出更好的文档语义特征。JTMMR模型通过使用更好的语义特征来改善流形排序方法的效果。实验表明，我们的模型可以取得更好的结果比其他基线模型的多文档摘要任务。同时，我们的模型在单文档摘要任务上也有很好的表现。在结合了一些基本的表面特征后，我们的模型明显优于近年来基于深度学习的一些模型。然后，通过分析加入反馈的效果，为终身机器学习做了一个探索性的工作。实验结果表明，在模型中加入反馈的效果是显著的。
2019-07-07 cs.CL
Empowering Language Model with Guided Knowledge Fusion for Biomedical Document Re-ranking
Lister Hill National Center for Biomedical Communications（利斯特·希尔国家生物医学交流中心）；National Library of Medicine, National Institutes of Health（美国国立卫生研究院国家医学图书馆）
针对生物医学文档重排序中预训练语言模型语义理解不足的问题，提出融合外部知识与PLMs的引导方法，在两个数据集上显著提升重排序性能。
2023-05-07 cs.CL
Zero-Shot Cue-Grounded Topic Segmentation of Spoken Documents
Seoul National University（首尔大学）；KAIST（韩国科学技术院）
针对口语文档主题分割中粒度适应性差的问题，提出无需训练的线索引导分割框架CGS，先利用显式主题转换短语定位边界，线索不足时回退至语义分割，在六个基准和六个LLM上持续超越基线且对ASR噪声鲁棒、API成本低。
2026-09-29 cs.AI cs.CL
Improved Spoken Document Summarization with Coverage Modeling Techniques
Academia Sinica（中央研究院）；National Taiwan Normal University（台湾师范大学）
摘要的目的是从源文档中选择一组指示性句子作为摘要，以表达文档的主题。摘要摘要的普遍共识是，相关性和覆盖率都是需要解决的关键问题。设计用于对覆盖率进行建模的现有方法的特征在于，在总结中减少冗余或增加多样性。最大边距相关性（MMR）是一种被广泛引用的方法，因为它在为给定文档生成摘要时考虑了相关性和冗余性。据我们所知，除了MMR之外，只有很少的研究集中在减少冗余或增加口语文档摘要任务的多样性上。出于这些意见，本文提出了两个主要贡献。首先，在MMR，它认为通过减少冗余的覆盖率相比，我们提出了两种新的覆盖率为基础的方法，直接增加多样性。利用所提出的方法，一组代表性的句子，这不仅是相关的给定的文件，但也涵盖了大多数重要的子主题的文件，可以自动选择。其次，我们向前迈进了一步，插件几个文档/句子表示方法到建议的框架，以进一步提高摘要性能。一系列的实证评估证明了我们所提出的方法的有效性。
2016-01-20 cs.CL cs.IR
Adapting Document-Grounded Dialog Systems to Spoken Conversations using Data Augmentation and a Noisy Channel Model
Human Language Technology and Pattern Recognition Group, RWTH Aachen University（亚琛工业大学人类语言技术与模式识别组）；AppTek GmbH（AppTek有限责任公司）
本文总结了我们提交的任务2的第10届对话系统技术挑战赛（DSTC 10）的第二个轨道“基于知识的面向任务的对话建模口语对话”。与前一年的迭代类似，该任务由三个子任务组成：检测一个回合是否是知识寻求，选择相关的知识文档，最后生成一个接地的响应。今年，重点在于使系统适应嘈杂的ASR成绩单。我们探索不同的方法，使模型更强大的这种类型的输入，并适应口语对话的风格所产生的反应。对于后者，我们得到了最好的结果与嘈杂的信道模型，另外减少了短和通用的响应的数量。我们最好的系统在自动评估中获得了第一名，在人工评估中获得了第三名。
2021-12-16 cs.AI cs.CL cs.LG
Optimizing the role of human evaluation in LLM-based spoken document summarization systems
Cisco Systems（思科系统公司）
本文针对基于 LLM 的口语文档摘要评估难题，借鉴社会科学方法提出面向生成式 AI 内容的人在回路评估范式、标准与最佳实践，并通过两个企业案例验证其实施。
2024-10-23 cs.AI cs.CL cs.SD
Mirror Matching: Document Matching Approach in Seed-driven Document Ranking for Medical Systematic Reviews
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
当医学研究人员进行系统评价（SR）时，筛选研究是最耗时的过程：研究人员阅读了数千篇医学文献，并手动标记它们相关或不相关。筛选优先级（即，文档排序）是一种通过提供其中相关文档的排序高于不相关文档的文档排序来帮助研究人员的方法。种子驱动的文档排序（SDR）使用已知的相关文档（即，种子）作为查询并生成这样的排名。以前的工作SDR寻求方法来确定不同的术语权重在查询文档中，并利用它们在检索模型计算排名分数。或者，我们制定的SDR任务，寻找类似的文件查询文件，并产生排名的基础上的相似性分数。我们提出了一种名为镜像匹配的文档匹配度量，它通过将常见的写作模式，如背景，方法，结果和结论，以顺序计算医学摘要文本之间的匹配分数。我们在CLEF 2019 eHealth Task 2 TAR数据集上进行了实验，实验结果表明，这种简单的方法在平均精度和精度指标上比传统和神经检索模型实现了更高的性能。
2021-12-28 cs.CL cs.IR
Theme-weighted Ranking of Keywords from Text Documents using Phrase Embeddings
University of Arkansas at Little Rock（阿肯色大学小石城分校）；Infosys Ltd.（印孚瑟斯有限公司）；IIIT-Delhi（德里英迪拉·甘地信息技术学院）；National University of Singapore（新加坡国立大学）
关键词提取是自然语言处理中的一项基本任务，它有助于将文档映射到一组简洁的代表性单词和多词短语。文本文档中的关键词主要使用监督和非监督方法提取。在本文中，我们提出了一种无监督的技术，使用主题加权个性化PageRank算法和神经短语嵌入的组合提取和排名关键字。我们还介绍了一种有效的方法来处理文本文档和训练短语嵌入使用现有的技术。我们共享一个从现有数据集派生的评估数据集，该数据集用于选择底层嵌入模型。排名关键词提取的评估是在两个基准数据集上进行的，包括短摘要（Inspec）和长科学论文（SemEval 2010），并显示出比最先进的系统更好的结果。
2018-07-16 cs.CL
Mitigating the Impact of Speech Recognition Errors on Spoken Question Answering by Adversarial Domain Adaptation
College of Electrical Engineering；Computer Science\ Taiwan University, Taiwan
口语问答（SQA）是具有挑战性的，由于复杂的推理上的口头文件。最近的研究也表明了自动语音识别（ASR）错误对SQA的灾难性影响。因此，这项工作提出了通过调整ASR假设与其相应的参考瞬态之间的失配来减轻ASR误差。对抗模型被应用于这个领域自适应任务，这迫使模型学习QA模型可以有效利用的领域不变特征，以改善SQA结果。实验结果表明，该模型的有效性，结果优于以前的最佳模型的2% EM得分。
2019-04-16 cs.CL
Traditional IR rivals neural models on the MS MARCO Document Ranking Leaderboard
这篇简短的文档描述了一个传统的IR系统，该系统在MS MARCO文档排序排行榜上实现了MRR@100等于0.298（2020年12月6日）。虽然不如大多数基于BERT的模型，但它优于几个神经运行（以及所有非神经运行），包括两个使用大型预训练Transformer模型进行重新排名的提交。我们提供软件和数据来重现我们的结果。
2021-03-17 cs.CL cs.IR
ASRank: Zero-Shot Re-Ranking with Answer Scent for Document Retrieval
University of Innsbruck（因斯布鲁克大学）
本文提出ASRank，一种利用预训练大语言模型计算零样本答案线索似然度的文档重排序方法，显著提升了多种问答数据集的检索准确率。
2025-01-25 cs.CL
Towards Generalized Models for Task-oriented Dialogue Modeling on Spoken Conversations
Ant Group（蚂蚁集团）
由于口语和书面数据分布的差距，为口语对话构建健壮和通用的对话模型具有挑战性。本文介绍了我们的方法来建立通用模型的知识为基础的面向任务的对话建模口语会话挑战的DSTC-10。为了减少口语和书面文本之间的差异，我们主要采用广泛的数据增强策略的书面数据，包括人工错误注入和往返的文本-语音转换。为了训练口语会话的鲁棒模型，我们改进了预训练的语言模型，并对每个子任务应用集成算法。通常，对于检测任务，我们微调\roberta和ELECTRA，并运行错误修复集成算法。对于选择任务，我们采用了一个两阶段的框架，包括实体跟踪和知识排名，并提出了一个多任务学习方法，学习多层次的语义信息，通过领域分类和实体选择。对于生成任务，我们采用交叉验证数据过程来改进预训练的生成语言模型，然后采用共识解码算法，该算法可以添加任意特征，如相对\rouge度量，并直接将相关特征权重调整到\bleu。我们的方法在客观评估中排名第三，在最终的官方人类评估中排名第二。
2022-03-08 cs.CL
Long Document Re-ranking with Modular Re-ranker
Carnegie Mellon University（卡内基梅隆大学）
对于基于深度语言模型（如BERT）的神经重排序器来说，长文档重排序一直是一个具有挑战性的问题。早期的工作将文档分解成短的类似于文本的块。这些块被独立地映射到标量分数或潜在向量，然后将其汇集到最终的相关性分数中。然而，这些编码和池方法不可避免地引入了一个信息瓶颈：低维表示。在本文中，我们建议，而不是充分的查询到文档的交互建模，利用注意力操作和模块化的Transformer重新排名框架。首先，使用编码器模块独立地对文档块进行编码。然后，交互模块对查询进行编码，并执行从查询到所有文档块表示的联合关注。我们证明，该模型可以使用这个新的自由度，从整个文档中聚合重要信息。实验结果表明，该方法对两个经典的IR集合Robust04和CNOWWeb09以及一个大规模的监督集合MS-MARCO文档排序进行了有效的重排序。
2022-06-06 cs.CL cs.IR
Towards Reducing Manual Workload in Technology-Assisted Reviews: Estimating Ranking Performance
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
进行系统评价（SR）包括多项任务：（i）从数字图书馆（例如，PubMed），（ii）手动阅读和标记的文件相关或不相关的，（iii）从相关的研究中提取信息，和（iv）分析和综合的信息，并得出SR的结论。当研究人员标签的研究，他们可以筛选排名的文件，相关的文件高于不相关的。这种做法，被称为筛选优先级（即，文档排序方法），加快了执行SR的过程，因为标记为相关的文档可以更早地移动到下一个任务。然而，这种方法在减少人工工作量方面是有限的，因为要筛选的文件总数保持不变。为了减少筛选过程中的人工工作量，我们调查了SR的文档排序的质量。这可以指示研究者在排序中相关研究的位置，让他们决定在哪里停止筛选。经过广泛的分析SR文档排序从不同的排名模型，我们假设“主题广度”作为一个因素，影响SR的排名质量。最后，我们提出了一个措施，估计主题广度，并证明该措施是一个简单而有效的方法来预测SR的文档排序的质量。
2022-01-14 cs.CL cs.IR
DSLR: Document Refinement with Sentence-Level Re-ranking and Reconstruction to Enhance Retrieval-Augmented Generation
School of Computing（计算机学院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出无监督框架DSLR，通过句子分解、无关句过滤及连贯重构精炼检索文档，在多个开放域问答数据集上显著提升RAG性能，且无需额外训练。
2024-09-08 cs.CL
CEDR: Contextualized Embeddings for Document Ranking
Georgetown University（乔治城大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
虽然最近对神经排序架构给予了相当大的关注，但对用作这些模型输入的术语表示的关注要少得多。在这项工作中，我们研究了两个预训练的上下文语言模型（ELMo和BERT）可以用于ad-hoc文档排序。通过对TREC基准测试的实验，我们发现几种现有的神经排名架构可以受益于上下文化语言模型提供的额外上下文。此外，我们提出了一种联合方法，将BERT的分类向量纳入现有的神经模型，并表明它优于最先进的ad-hoc排名基线。我们称这种联合方法为CEDR（上下文嵌入文档排序）。我们还解决了使用这些模型进行排名的实际挑战，包括由BERT施加的最大输入长度和上下文化语言模型的运行时性能影响。
2019-08-19 cs.CL cs.IR
Intra-Document Cascading: Learning to Select Passages for Neural Document Ranking
TU Wien（维也纳工业大学）；Microsoft（微软）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
一种用于实现神经文档重新排序中的最新有效性的新方法涉及利用大型预训练的语言模型-例如，BERT -评估文档中的所有单独段落，然后通过池化或其他Transformer层聚合输出。这种方法的一个主要缺点是由于使用BERT评估文档中的每个段落的成本而导致的高查询延迟。更糟糕的是，这种高推理成本和延迟根据文档的长度而变化，更长的文档需要更多的时间和计算。为了应对这一挑战，我们采用了一种文档内级联策略，该策略在运行一个更昂贵和更有效的评分模型（称为ETM）之前，使用一个更便宜的模型（称为ESM）修剪候选文档的段落。我们发现最好通过从ETM（有效教师模型的简称）中提取知识蒸馏来训练ESM（有效学生模型的简称），例如，BERT。这种修剪允许我们只在较小的段落集上运行ETM模型，这些段落的大小不随文档长度而变化。我们在MS MARCO和TREC深度学习跟踪基准上的实验表明，所提出的文档内级联排名模型（IDCM）通过提供与最先进的基于BERT的文档排序模型基本相同的有效性，导致查询延迟降低400%以上。
2021-05-20 cs.CL cs.IR
Beyond Relevance-Centric Retrieval: Rubric-Oriented Document Set Selection and Ranking
University of Science and Technology of China（中国科学技术大学）；Yuanbao Team, Tencent（腾讯元宝团队）；University of Chinese Academy of Sciences（中国科学院大学）；Shandong University（山东大学）
研究针对大语言模型和人工智能代理对搜索结果质量需求，提出评估-诊断-优化框架。设计SetwiseEvalKit评估基准，评估多种重排器。在此基础上提出Rubric4Setwise方法，无需训练，能以更少文档和搜索轮次实现最佳下游生成性能，验证了闭环有效性。
2026-10-16 cs.CL
End-to-End Answer Chunk Extraction and Ranking for Reading Comprehension
IBM Watson（IBM沃森）
本文提出了动态组块阅读器（DCR），一个端到端的神经阅读理解（RC）模型，能够从给定的文档中提取和排序一组答案候选回答问题。DCR能够预测不同长度的答案，而以前的神经RC模型主要集中在预测单个令牌或实体。DCR使用递归神经网络对文档和输入问题进行编码，然后应用逐词注意力机制来获取文档的问题感知表示，然后生成组块表示和排名模块以提出排名最高的组块作为答案。实验结果表明，DCR在SQuAD数据集上实现了最先进的精确匹配和F1得分。
2016-11-02 cs.CL
Long Document Ranking with Query-Directed Sparse Transformer
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Microsoft Research AI（微软研究院人工智能部门）
Transformer自我关注的计算成本通常需要打破长文档，以适应文档排序任务中的预训练模型。在本文中，我们设计了查询导向的稀疏注意，诱导IR公理结构的Transformer自我注意。我们的模型，QDS-Transformer，强制执行的原则属性所需的排名：本地上下文，分层表示，面向查询的邻近匹配，同时它也享有效率从稀疏。在一个完全监督和三个Few-Shot TREC文档排序基准上的实验证明了QDS-Transformer与以前的方法相比具有一致和鲁棒的优势，因为它们要么将长文档改造成BERT，要么使用稀疏注意力而不强调IR原则。我们进一步量化了计算复杂度，并证明了我们的稀疏注意与TVM实现是两倍以上的效率比完全连接的自我注意。所有源代码，训练模型和预测这项工作可在https://github.com/hallogameboy/QDS-Transformer。
2020-10-23 cs.AI cs.CL
Fine-Grained Relevance Annotations for Multi-Task Document Ranking and Question Answering
TU Wien（维也纳工业大学）
存在许多现有的检索和问答数据集。然而，他们中的大多数要么专注于排名列表评估或单一候选人的问答。这种划分使得正确评估与对文档进行排名以及为给定查询提供片段或答案有关的方法具有挑战性。在这项工作中，我们提出了FiRA：一个新的细粒度相关性注释数据集。我们扩展了TREC 2019的深度学习轨道的分级检索注释，为所有相关文档提供了段落和单词级别的分级相关性注释。我们使用新创建的数据来研究长文档中相关性的分布，以及注释者对文本特定位置的注意力。作为一个例子，我们评估最近推出的TKL文档排序模型。我们发现，虽然TKL展览国家的最先进的检索结果长文件，它错过了许多相关段落。
2020-08-12 cs.CL cs.IR
TourRank: Utilizing Large Language Models for Documents Ranking with a Tournament-Inspired Strategy
Institute for Clarity in Documentation（文献清晰研究所）；The Thørväld Group（索尔沃尔德集团）；Inria（法国国家信息与自动化研究所）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）；The Kumquat Consortium（金桔联盟）
TourRank借鉴体育锦标赛思想，通过多阶段分组策略和积分系统集成排序结果，在有限成本下实现鲁棒的文档排序。
2025-02-06 cs.CL cs.IR
Knowledge Distillation for Improved Accuracy in Spoken Question Answering
Yale University（耶鲁大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
口语问答（SQA）是一项具有挑战性的任务，它要求机器完全理解复杂的口语文档。自动语音识别（ASR）在问答系统的开发中起着重要的作用。然而，最近的工作表明，ASR系统生成高度嘈杂的成绩单，这严重限制了机器理解SQA任务的能力。为了解决这个问题，我们提出了一个新的蒸馏框架。具体来说，我们设计了一个培训策略，执行知识蒸馏（KD）从口头文件和书面的同行。我们的工作使一个步骤，从语言模型中提取知识作为监督信号，通过减少自动和手动transmittance之间的不一致，导致更好的学生的准确性。实验表明，我们的方法优于几个国家的最先进的语言模型上的口语SQuAD数据集。
2021-04-01 cs.AI cs.CL cs.IR
Building a Test Collection for Speech-Driven Web Retrieval
本文介绍了一个测试收集（基准数据）的检索系统驱动的口头查询。这个集合是在NTCIR-3网络检索任务的子任务中产生的，该任务是在TREC风格的评估研讨会中进行的。Web检索任务的搜索主题和文档集合分别用于生成口语查询和语音识别的语言模型。我们使用这个集合来评估我们的检索系统的性能。实验结果表明，（a）使用目标文档的语言建模和（b）在语音识别的词汇量的增加是有效的，在提高系统的性能。
2003-09-12 cs.CL
Distributional Metrics for Evaluating Spoken Conversational Systems
KTH Royal Institute of Technology（KTH皇家理工学院）；NICT（日本信息通信研究机构）；Charles University（查理大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Edinburgh（爱丁堡大学）
本文提出对话分布得分（CDS），通过可解释特征比较对话行为分布，以人类对话为参考，评估口语对话系统，并验证其排名与听者偏好的一致性。
2026-09-29 cs.CL cs.SD eess.AS
Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking
Technical University of Darmstadt（达姆施塔特工业大学）
将词汇检索器与神经重排序模型配对在大规模信息检索数据集上具有最先进的性能。该管道涵盖了诸如问答或导航查询之类的场景，然而，对于信息搜索场景，用户通常以点击或显式反馈的形式提供关于文档是否与其查询相关的信息。因此，在这项工作中，我们将探讨如何通过采用Few-Shot和参数有效的学习技术将相关反馈直接集成到神经重排序模型中。具体来说，我们引入了一个kNN的方法，重新排名的文件的基础上，他们的相似性与查询和用户认为相关的文件。此外，我们还探索了交叉编码器模型，我们使用元学习进行预训练，随后针对每个查询进行微调，仅在反馈文档上进行训练。为了评估我们不同的集成策略，我们将四个现有的信息检索数据集转换为相关反馈的情况。大量的实验表明，将相关反馈直接集成到神经重排序模型中可以提高它们的性能，并且将词汇排序与我们表现最好的神经重排序器融合在一起，比所有其他方法都好5.2 nDCG@20。
2022-10-19 cs.CL cs.IR
Ranking Sentences for Extractive Summarization with Reinforcement Learning
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
单文档摘要是在保留文档主要信息内容的同时生成文档的较短版本的任务。在本文中，我们概念化提取摘要作为一个句子排序任务，并提出了一种新的训练算法，通过强化学习目标全局优化的ROUGE评价指标。我们使用我们的算法在CNN和DailyMail数据集上训练神经摘要模型，并通过实验证明，当自动和人工评估时，它的性能优于最先进的提取和抽象系统。
2018-04-16 cs.CL
Deep Relevance Ranking Using Enhanced Document-Query Interactions
Athens University of Economics and Business（雅典经济与商业大学）；Google AI（谷歌人工智能）
我们探索了几种新的文档相关性排名模型，建立在Guo et al.（2016）的深度相关性匹配模型（DRMM）基础上。与DRMM不同，DRMM使用术语的上下文不敏感编码和查询-文档术语交互，我们在整个模型中注入了丰富的上下文敏感编码，灵感来自PACRR（Hui等人，卷积n-gram匹配功能，但以多种方式扩展，包括查询和文档输入的多个视图。我们在来自BIOASQ问答挑战的数据集上测试我们的模型（Tsatsaronis等人，2015年）和TREC ROBUST 2004年（Voorhees，2005年），显示它们优于基于BM 25的基线，DRMM和PACRR。
2018-09-11 cs.CL cs.IR
DUAL: Discrete Spoken Unit Adaptive Learning for Textless Spoken Question Answering
National Taiwan University（国立台湾大学）；Massachusetts Institute of Technology（麻省理工学院）；Meta AI
口语问答（SQA）是从给定问题的口语文档中找到答案，这对于个人助理回答用户的查询至关重要。现有的SQA方法都依赖于自动语音识别（ASR）转录。ASR不仅需要使用大量注释数据进行训练，这些数据对于低资源语言来说是时间和成本高昂的，而且更重要的是，问题的答案通常包括无法正确识别的名称实体或词汇表外的单词。此外，ASR的目标是最大限度地减少所有单词的识别错误，包括许多与SQA任务无关的功能词。因此，尽管已知非常困难，但没有ASR转录本（无文本）的SQA总是非常理想的。这项工作提出了离散口语单元自适应学习（DUAL），利用未标记的数据进行预训练，并由SQA下游任务进行微调。口语回答的时间间隔可以直接从口语文档中预测。我们还发布了一个新的SQA基准语料库，NMSQA，用于更现实的场景数据。我们的经验表明，DUAL产生的结果与通过级联ASR和文本QA模型获得的结果相当，并且对真实世界的数据具有鲁棒性。我们的代码和模型将是开源的。
2022-06-21 cs.CL cs.SD eess.AS
Using Semantic Role Knowledge for Relevance Ranking of Key Phrases in Documents: An Unsupervised Approach
IBM Research（IBM研究院）
本文研究了PageRank系统中句子位置和词的语义角色的结合，建立了一种关键短语排序方法。我们提出了我们的方法对三篇科学文章的评价结果。我们表明，语义角色信息，当与PageRank系统集成，可以成为一个新的词汇功能。我们的方法在所有数据集上都比最先进的基线方法有了全面的改进。
2019-08-09 cs.CL cs.IR
CWRCzech: 100M Query-Document Czech Click Dataset and Its Application to Web Relevance Ranking
Charles University（查理大学）
本研究发布了目前最大的带原始文本的捷克语点击数据集CWRCzech及人工标注测试集，验证了大规模自动采集的点击数据训练的排序模型性能可超越人工标注数据训练的模型。
2024-07-15 cs.CL cs.IR
VoxSumm: A Multilingual Corpus of Long-Form Spoken News for Joint Summarization and Translation
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Google DeepMind（谷歌DeepMind）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席项目）
本研究针对长文档摘要与多语言语音翻译的研究缺口，提出联合语音摘要与翻译任务，构建首个多语言跨语言基准VoxSumm，并评估相关模型表现，为多语言语音处理系统提供支撑。
2026-08-12 cs.CL cs.SD
Open-source Large Language Models are Strong Zero-shot Query Likelihood Models for Document Ranking
CSIRO（联邦科学与工业研究组织）；The University of Queensland（昆士兰大学）
本文研究仅预训练未微调的开源LLMs作为零样本查询似然模型的文档排序能力，发现额外指令微调可能降低效果，并提出结合LLM-QLM与混合检索器的先进排序系统。
2023-10-20 cs.CL cs.IR
Efficient Zero-Shot Long Document Classification by Reducing Context Through Sentence Ranking
Pune Institute of Computer Technology（普那计算机技术研究所）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；L3Cube Labs（L3Cube实验室）
针对BERT等模型在长文档分类中受输入长度和计算效率限制的问题，提出基于TF-IDF句子排序减少上下文的零样本方法，在MahaNews数据集上保留50%句子可维持准确率且推理时间最多降35%，实现高效分类。
2025-08-24 cs.CL cs.LG
Improving Multilingual ASR in the Wild Using Simple N-best Re-ranking
Carnegie Mellon University（卡内基梅隆大学）；Meta FAIR
本文提出一种利用语言模型和文本语言识别等外部特征的简单N-best重排序方法，有效提升了真实环境下多语言ASR的准确率并降低了词错误率。
2024-09-27 cs.CL cs.SD eess.AS
ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference
Google Research（谷歌研究院）
最先进的神经模型通常使用交叉注意对文档查询对进行编码以进行重新排序。为此，模型通常利用仅编码器（如BERT）范例或编码器-解码器（如T5）方法。然而，这些范例并非没有缺陷，即，在推理时对所有查询-文档对运行该模型会导致显著的计算成本。本文提出了一种新的训练和推理范式重新排名。我们建议微调一个预训练的编码器-解码器模型，以文档的形式用于查询生成。随后，我们表明，这种编码器-解码器架构可以分解成一个解码器只语言模型在推理。这导致了显著的推理时间加速，因为仅解码器架构仅需要学习在推理期间解释静态编码器嵌入。我们的实验表明，这种新的范式实现的结果是比较昂贵的交叉注意力排名方法，同时高达6.8倍的速度。我们相信这项工作为利用大型预训练模型的更有效的神经排名铺平了道路。
2022-04-25 cs.CL cs.IR
CRAWLDoc: A Dataset for Robust Ranking of Bibliographic Documents
Universität Ulm（乌尔姆大学）
本文提出CRAWLDoc方法，通过统一嵌入出版物URL关联的网页资源、锚文本和链接，实现跨出版商和格式的稳健文档排序，并构建了包含600篇出版物的标注数据集。
2025-06-04 cs.CL cs.IR
BERT-QE: Contextualized Query Expansion for Document Re-ranking
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Amazon Alexa（亚马逊 Alexa）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
查询扩展的目的是减少查询和文档中使用的语言之间的不匹配。然而，查询扩展方法在扩展查询时可能会引入不相关的信息。为了弥合这一差距，灵感来自最近的进展，应用上下文模型，如BERT的文档检索任务，本文提出了一种新的查询扩展模型，利用强度的BERT模型选择相关的文档块进行扩展。在对标准TREC Robust 04和GOV 2测试集的评估中，所提出的BERT-QE模型显著优于BERT-Large模型。
2020-11-03 cs.CL cs.IR
Ranking Paragraphs for Improving Answer Recall in Open-Domain Question Answering
Korea University（高丽大学）
最近，开放域问答（QA）已经与机器理解模型相结合，以在大型知识源中找到答案。由于开放域问答需要从文本语料库中检索相关文档来回答问题，其性能在很大程度上取决于文档检索器的性能。然而，由于传统的信息检索系统不能有效地获得具有高概率包含答案的文档，因此它们降低了QA系统的性能。简单地提取更多的文档会增加不相关文档的数量，这也会降低QA系统的性能。在本文中，我们介绍了段落排名检索到的文件的段落，以更高的答案召回，噪音更少。我们发现，使用段落排名器对段落进行排名并聚合答案，平均将开放域QA管道在四个开放域QA数据集上的性能提高了7.8%。
2018-10-01 cs.CL cs.LG
Distillation and Refinement of Reasoning in Small Language Models for Document Re-ranking
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
提出结合知识蒸馏与强化学习训练3B参数小型语言模型的方法，通过生成相关性解释进行推理，在BRIGHT基准上取得第三名且优于20倍规模模型，为信息检索提供可扩展可解释方案。
2025-06-29 cs.CL cs.IR
An Unsupervised Semantic Sentence Ranking Scheme for Text Documents
University of Massachusetts, Lowell（马萨诸塞大学洛厄尔分校）
本文提出了语义句子排名（SSR），一个无监督的计划自动排名句子在一个单一的文件，根据其相对重要性。特别地，SSR从文本文档中提取关键词和短语，并使用语义度量来分别构建短语和词的语义短语图和句子的语义句子图。它应用了两种偏向文章结构的PageRank变体，对第一个图上的短语和单词以及第二个图上的句子进行评分。然后，它将这些分数结合起来，生成每个句子的最终分数。最后，SSR解决了一个多目标优化问题，排名句子的基础上，他们的最终得分和主题的多样性，通过语义子主题聚类。在二次时间内运行的SSR的实现，它优于，在SummBank基准，每个单独的法官的排名，并与所有法官的综合排名相比。
2020-04-28 cs.CL cs.IR cs.LG
Written Term Detection Improves Spoken Term Detection
Boğaziçi University（博加齐大学）；Brno University of Technology（布尔诺理工大学）
本文提出一种多任务训练方法，通过联合学习从掩码书面文档中检索文本查询，使端到端关键词搜索系统能利用无配对文本，从而在多种语言中显著提升搜索性能并支持领域自适应。
2024-07-05 cs.CL eess.AS
QDER: Query-Specific Document and Entity Representations for Multi-Vector Document Re-Ranking
Missouri University of Science and Technology（密苏里科技大学）；Department of Computer Science（计算机科学系）；The University of Edinburgh（爱丁堡大学）
提出QDER神经重排序模型，通过在多向量模型中整合知识图谱语义并采用“延迟聚合”保持独立token与实体表示，在五个基准上显著提升检索性能，尤其在困难查询上表现优异。
2025-10-13 cs.CL cs.IR
VerTox: Verifiable Reward-Guided Corpus Poisoning Against Neural Ranking Models
Capital One；University of Utah（犹他大学）；Snowflake Inc.（Snowflake公司）
本研究提出VerTox框架，将语料库污染转化为可验证奖励引导强化学习问题，微调LLM生成高流畅度低困惑度的对抗文档，可高效污染神经排序模型并损害下游RAG应用性能。
2026-09-02 cs.CL cs.IR
PageRank without hyperlinks: Structural re-ranking using links induced by language models
受网页搜索的PageRank和HITS（hubs and authorities）算法的启发，我们提出了一种结构化的重新排序方法，用于ad hoc信息检索：我们通过利用它们之间的非对称关系对初始检索集中的文档进行重新排序。具体来说，我们考虑生成链接，这表明从一个文档诱导的语言模型分配给另一个文本的概率很高，在这样做的时候，我们要注意防止对长文档的偏见。我们研究了一些重新排名的标准的基础上的措施，在生成链接形成的图形的中心性，并表明，集成中心性到标准的基于语言模型的检索是非常有效的，在提高精度的顶级。
2006-01-11 cs.CL cs.IR
Spoken Term Detection Methods for Sparse Transcription in Very Low-resource Settings
Charles Darwin University（查尔斯达尔文大学）
我们调查的效率，两个非常不同的口语术语检测方法的转录时，可用的数据是不够的训练一个强大的ASR系统。这项工作是在非常低的资源的语言文档的情况下，只有几分钟的记录已被转录为一个给定的language.Experiments两种口头语言的基础上表明，一个预先训练的通用电话识别器，微调只有几分钟的目标语言的讲话，可以用于口语术语检测具有更好的整体性能比动态时间规整方法。此外，我们表明，在图结构中表示音素识别歧义可以进一步提高召回率，同时保持低资源口语术语检测任务的高精度。
2021-06-11 cs.CL cs.SD eess.AS
Understanding the Behaviors of BERT in Ranking
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
研究了BERT在排序任务中的性能和行为。我们探索了几种不同的方法来利用预训练的BERT，并在两个排名任务上对其进行微调：MS MARCO段落重新排名和TREC Web Track ad hoc文档排序。在MS MARCO上的实验结果证明了BERT在问答式段落排序任务中的有效性，同时也证明了BERT是一种基于强交互的seq2seq匹配模型。TREC上的实验结果显示了在周围上下文上预训练的BERT与ad hoc文档排序的需求之间的差距。分析说明了BERT如何在其Transformer层中的查询文档标记之间分配注意力，它如何偏好释义标记之间的语义匹配，以及这与点击训练的神经排名器学习的软匹配模式有何不同。
2019-04-26 cs.CL cs.IR
TPRM: A Topic-based Personalized Ranking Model for Web Search
Artificial Intelligence Application Research Center, Huawei Technologies（华为技术有限公司人工智能应用研究中心）
排名模型已经取得了可喜的成果，但它仍然具有挑战性的设计个性化的排名系统，利用用户简档和查询和文档之间的语义表示。在本文中，我们提出了一个基于主题的个性化排名模型（TPRM），结合用户的主题配置文件与预先训练的上下文术语表示量身定制的一般文档排序列表。在真实数据集上的实验表明，TPRM的性能明显优于最先进的ad-hoc排名模型和个性化排名模型。
2021-08-13 cs.AI cs.CL cs.IR
Beyond [CLS] through Ranking by Generation
Amazon（亚马逊）
生成模型的信息检索，其中排名的文件被视为从一个文件的语言模型生成一个查询的任务，是非常成功的各种IR任务在过去。然而，随着现代深度神经网络的出现，注意力已经转移到对文档和查询的语义相似性进行建模的判别排名函数。最近，GPT2和BART等深度生成模型已被证明是优秀的文本生成器，但它们作为排名器的有效性尚未得到证明。在这项工作中，我们重新审视了生成框架信息检索，并表明我们的生成方法是有效的最先进的基于语义相似性的判别模型的答案选择任务。此外，我们证明了IR的不可能损失的有效性。
2020-10-06 cs.CL cs.IR
Zero-Shot Ranking Socio-Political Texts with Transformer Language Models to Reduce Close Reading Time
Boğaziçi University（海峡大学）；KNAW Humanities Cluster（荷兰皇家艺术与科学学院人文集群）
我们将分类问题视为一个蕴涵问题，并将zero-shot排序应用于社会政治文本。排在顶部的文档可以被认为是正分类的文档，并且这减少了信息抽取过程的仔细阅读时间。我们使用Transformer语言模型来获得蕴涵概率，并研究不同类型的查询。我们发现，DeBERTa实现更高的平均平均精度分数比RoBERTa和声明形式的类标签被用作查询时，它优于字典定义的类标签。我们表明，可以减少仔细阅读的时间，采取一定比例的排名文件的百分比取决于有多少回忆，他们想要实现。然而，我们的研究结果也表明，随着主题的扩大，应该阅读的文档的比例也会增加。
2022-10-17 cs.CL cs.IR
Improving the Efficiency of Long Document Classification using Sentence Ranking Approach
Pune Institute of Computer Technology（普那计算机技术研究所）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；L3Cube Labs（L3Cube实验室）
针对长文档分类中Transformer模型的计算限制和冗余问题，提出基于TF-IDF的句子排序方法，选择关键句子，在MahaNews LDC数据集上以0.33%的准确率下降换取超过50%的输入缩减和43%的延迟降低。
2025-06-22 cs.CL cs.LG
Hierarchical Ranking Neural Network for Long Document Readability Assessment
School of Computer Science and Cyber Engineering（计算机科学与网络安全学院）；Guangzhou University（广州大学）
本文提出一种层次化排序神经网络，通过捕捉上下文信息和顺序关系，提升长文档的可读性评估性能。
2025-11-26 cs.AI cs.CL
