RNNs are not Transformers (Yet): The Key Bottleneck on In-context Retrieval
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Princeton University（普林斯顿大学）
该研究从理论层面揭示RNN与Transformer在算法问题表征上的核心差距源于上下文检索能力不足，验证了引入RAG或单层Transformer层可让RNN借助CoT解决所有多项式时间问题，从而弥合表征差距。
2024-12-06 cs.CL cs.LG stat.ML
Continuous Active Learning Using Pretrained Transformers
University of Waterloo（滑铁卢大学）
预训练和微调的Transformer模型，如BERT和T5，已经改善了自组织检索和问答的最新技术水平，但在高召回信息检索中还没有，其目标是检索基本上所有相关的文档。我们调查是否使用基于变换器的模型进行重新排序和/或特征化可以提高基线模型实现的TREC总召回跟踪，这代表了目前的高召回信息检索的最新技术水平。我们还介绍了CALBERT，一个模型，可用于不断微调基于相关反馈的BERT模型。
2022-08-15 cs.AI cs.IR cs.LG
Bias A-head? Analyzing Bias in Transformer-Based Language Model Attention Heads
University of Notre Dame（圣母大学）
本文提出偏见分析框架，识别BERT和GPT中导致刻板印象偏见的少数注意力头，并通过实验揭示其行为机制，为模型公平性评估与偏见缓解提供依据。
2024-06-16 cs.CL
Recurrence-Enhanced Vision-and-Language Transformers for Robust Multimodal Document Retrieval
University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）；IIT-CNR（意大利国家研究委员会信息科学与技术研究所）
本文提出ReT模型，通过基于Transformer的递归单元和LSTM启发的sigmoid门控整合多级视觉与文本特征，支持多模态查询在交错图文文档中检索，在M2KR和M-BEIR基准上达到最先进性能。
2025-03-03 cs.AI cs.CL cs.CV
The Analyst in the Prompt: Role, Retrieval, and Memory Biases in LLM Financial Analysis
Durham University Business School（杜伦大学商学院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Ecole Polytechnique（巴黎综合理工学院）；HBKU（哈迈德·本·哈利法大学）
该研究针对大语言模型的金融分析场景，发现用户上下文溢出效应主要源于模型角色对证据的解读偏差，提出两种缓解策略但效果因模型而异。
2026-09-04 cs.CE cs.CL q-fin.PM
THOR: Transformer Heuristics for On-Demand Retrieval
eSapiens
本文提出 THOR 模块，通过解耦编排架构、模式感知、自校正循环和只读护栏，将自然语言转换为安全的企业级 SQL 查询，使非技术用户无需 SQL 即可进行可靠的即席数据分析。
2025-07-17 cs.AI cs.DB
Gaussian Match-and-Copy: A Minimalist Benchmark for Studying Transformer Induction
Institute of Mathematics, EPFL, Switzerland（数学研究所，瑞士联邦理工学院）
本文提出高斯匹配与复制基准，用于研究Transformer的匹配与复制机制，通过隔离长距离检索信号，分析模型在检索能力上的差异。
2026-02-07 cs.AI cs.LG stat.ML
VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval
North South University（北南大学）；Qatar Computing Research Institute (QCRI)（卡塔尔计算研究 institute）
VideoLights通过引入特征细化、跨模态融合和联合任务反馈机制，提升视频亮点检测与时刻检索的性能。
2025-11-24 cs.AI cs.CV
Automating Bibliometric Analysis with Sentence Transformers and Retrieval-Augmented Generation (RAG): A Pilot Study in Semantic and Contextual Search for Customized Literature Characterization for High-Impact Urban Research
Oak Ridge National Laboratory（橡树岭国家实验室）；The University of Tennessee（田纳西大学）
本文利用 Sentence Transformers 和 RAG 等生成式 AI 模型，开发集成向量数据库、GMM 和 LLM 的自动化文献计量分析工作流，解决传统方法缺乏语义搜索和上下文理解的问题，有效提升了高影响力城市研究的文献特征描述能力。
2024-10-08 cs.AI cs.DL cs.IR
Mechanism and Emergence of Stacked Attention Heads in Multi-Layer Transformers
ETH Zürich（苏黎世联邦理工学院）
该研究提出需最少层数Transformer求解的检索问题，证实大模型无需微调即可完成，通过训练分析揭示隐式课程引导下注意力头按序涌现的机制。
2025-03-29 cs.CL cs.LG
Retrieval-Augmented Transformer-XL for Close-Domain Dialog Generation
University of Turin（都灵大学）；Nuance Communications Inc.（Nuance通讯公司）
基于transformer的模型在自然语言生成中表现出了很好的模式和结构捕捉能力，并在许多任务中取得了最先进的结果。在本文中，我们提出了一个基于transformer的多轮对话响应生成模型。我们的解决方案是基于一种混合的方法，它增强了基于变换的生成模型与一种新的检索机制，它利用记忆的信息，通过k-最近邻搜索的训练数据。我们的系统在两个由客户/助理对话框制作的数据集上进行评估：由Google发布的Taskmaster-1，拥有高质量，面向目标的会话数据和从真实客户服务呼叫中心收集的专有数据集。两者都能在强基线上获得更好的BLEU分数。
2021-05-19 cs.AI cs.CL
A Response Retrieval Approach for Dialogue Using a Multi-Attentive Transformer
LINKS Foundation（LINKS基金会）；Politecnico di Torino（都灵理工大学）
本文介绍了我们的工作，第九版的对话系统技术挑战（DSTC 9）。我们的解决方案解决了第四个问题：模拟交互式多模态对话。该任务包括提供一种算法，能够模拟一个购物助理，支持用户与他/她的请求。我们解决的响应检索的任务，这是检索最合适的代理响应从响应候选池的任务。我们的方法利用神经架构的基础上Transformer与多注意力结构，条件的代理对用户的请求和用户所指的产品的响应。SIMMC时尚数据集上的最后实验表明，我们的方法实现了第二个最好的分数，所有的检索指标由组织者定义。源代码可在https://github.com/D2KLab/dstc9-SIMMC上获得。
2020-12-15 cs.AI cs.CL
EqualizeIR: Mitigating Linguistic Biases in Retrieval Models
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
本文提出 EqualizeIR 框架，利用语言偏置弱学习器正则化训练鲁棒检索模型，以缓解 IR 模型因查询语言复杂度不同而产生的性能偏见，并在多个数据集上验证其能缩小性能差距并提升整体检索效果。
2025-03-22 cs.CL cs.LG
Biases Propagate in Encoder-based Vision-Language Models: A Systematic Analysis From Intrinsic Measures to Zero-shot Retrieval Outcomes
Carnegie Mellon University（卡内基梅隆大学）；Northwestern University（西北大学）；University of Washington（华盛顿大学）
本文提出受控框架，将VLM表征的内在社会群体偏见与零样本双向检索的外在偏见关联，发现二者高度相关且大模型传播更强。
2025-06-06 cs.CL
Evaluating the Effect of Retrieval Augmentation on Social Biases
University of Liverpool（利兹大学）；Cardiff University（卡迪夫大学）；Amazon（亚马逊）
本文研究了检索增强生成在三种语言中对社会偏见的影响，发现文档集合中的偏见在生成响应中被放大，强调了RAG在实际应用中需谨慎评估社会偏见。
2026-01-23 cs.CL
On the Generalization Ability of Retrieval-Enhanced Transformers
Chalmers University of Technology（查尔姆斯理工大学）；Linköping University（林雪平大学）；University of Gothenburg（哥德堡大学）；Recorded Future（记录未来公司）
检索增强型Transformer（RETRO）模型的最新研究表明，将内存从可训练权重卸载到检索数据库可以显着改善语言建模，并与尺寸大一个数量级的非检索模型的性能相匹配。有人建议，至少有一些这种性能增益是由于非平凡的推广的基础上，模型权重和检索。在本文中，我们试图更好地理解这两个组件的相对贡献。我们发现，检索的性能收益主要来自数据库和测试数据之间的重叠令牌，这表明比以前假设的非平凡的泛化。更一般地说，我们的研究结果指出了评估检索增强语言模型（如RETRO）的泛化的挑战，因为即使有限的令牌重叠也可能显着减少测试时间损失。我们在https://github.com/TobiasNorlund/retro上发布代码和模型
2023-02-23 cs.CL
Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale
DeepMind（深度思维）；University of Oxford（牛津大学）
我们介绍了Transformer语法（TG），一类新的Transformer语言模型，结合（i）的表达能力，可扩展性，和强大的性能的Transformers和（ii）递归语法组合，这在这里是通过一个特殊的注意掩码和确定性变换的线性树。我们发现，TG优于各种强大的基线上的高级语言建模的困惑，以及多个语法敏感的语言建模评估指标。此外，我们发现，递归的句法组合瓶颈，代表每个句子作为一个单一的向量损害困惑的文档级语言建模，提供证据表明，一种不同的记忆机制-一个是独立的组成的句法表示-在当前成功的模型中起着重要作用的长文本。
2022-12-06 cs.CL
Evaluating Perspectival Biases in Cross-Modal Retrieval
Department of Computer Engineering, Chulalongkorn University（楚莱隆坤大学计算机工程系）；School of Information Science and Technology, VISTEC（信息科学与技术学院，VISTEC）
本文提出3XCM基准，揭示跨模态检索中语言和文化偏见的影响，强调需通过解耦策略实现公平检索。
2026-09-01 cs.CL cs.IR
The Cross-Lingual Cost: Retrieval Biases in RAG over Arabic-English Corpora
Technology Innovation Institute（技术创新研究所）
本研究针对阿拉伯语-英语跨语言RAG，发现检索是跨语言领域场景的关键瓶颈，并提出两种简单策略（平等检索或查询翻译）显著提升跨语言与整体性能。
2025-10-27 cs.AI cs.CL cs.IR
LLMs are Biased Evaluators But Not Biased for Retrieval Augmented Generation
National Taiwan University（国立台湾大学）
研究发现LLM在RAG框架中无自我偏好，但事实准确性显著影响输出。
2025-12-07 cs.CL
Learning Hard Retrieval Decoder Attention for Transformers
DFKI（德国人工智能研究中心）；Saarland University（萨尔大学）；China Mobile Online Services（中国移动在线服务有限公司）；Tianjin University（天津大学）；Global Tone Communication Technology Co., Ltd.（全球语通通信技术有限公司）
Transformer翻译模型基于多头注意力机制，易于并行化。多头注意力网络并行执行缩放点积注意力函数，通过联合关注来自不同位置的不同表示子空间的信息来赋予模型能力。在本文中，我们提出了一种方法来学习一个硬提取注意，注意头只参加一个令牌的句子，而不是所有的令牌。因此，注意概率与标准标度点积注意中的值序列之间的矩阵乘法可以由简单且有效的检索操作代替。我们表明，我们的硬检索注意力机制是1.43倍的解码速度，同时保留翻译质量的广泛的机器翻译任务时，使用的解码器的自我和交叉注意力网络。
2021-09-10 cs.CL
Transformer Based Language Models for Similar Text Retrieval and Ranking
Casetext Machine Learning（凯斯文本机器学习部门）
大多数用于相似文本检索和具有长自然语言查询的排序的方法在某种程度上依赖于具有彼此共同的词的查询和响应。最近的应用基于transformer的神经语言模型的文本检索和排名问题已经非常有前途，但仍然涉及一个两步的过程中，结果候选人首先通过袋的字为基础的方法，然后重新排名的神经Transformer。在本文中，我们介绍了新的方法，有效地应用神经Transformer模型相似的文本检索和排名，而无需初始的词袋为基础的步骤。通过消除基于词袋的步骤，我们的方法能够准确地检索和排名结果，即使他们没有共同的非停用词的查询。我们通过使用来自Transformers（BERT）的双向编码器表示来创建长度为1的文本的矢量化表示，以及矢量最近邻搜索索引来实现这一点。我们演示了使用BERT来完成这项任务的监督和无监督手段。
2020-05-21 cs.CL cs.IR
Representation biases in sentence transformers
IMS, University of Stuttgart（斯图加特大学IMS研究所）
专门用于生成完整句子表示的BERT架构的变体在下游任务上通常比从普通BERT中提取的句子嵌入实现更好的性能。然而，对于输入的哪些属性决定了这种表示的属性，仍然知之甚少。在这项研究中，我们构建了几组句子与预定义的词汇和句法结构，并表明SOTA句子Transformers有很强的名词参与者集的偏见：句子对之间的余弦相似性更强烈地确定了重叠的集合中的名词参与者比有相同的谓词，冗长的名词修饰语，或numerts。与此同时，参与者的精确句法-主位功能在很大程度上是不相关的。
2023-01-30 cs.CL
Retrieval-Pretrained Transformer: Long-range Language Modeling with Self-retrieval
The Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）
提出检索预训练Transformer（RPT），联合训练检索器与语言模型，通过自检索长文档中的早期块来改进长文本建模，在书籍、代码和数学写作任务上优于强基线。
2024-07-21 cs.CL
Patient Cohort Retrieval using Transformer Language Models
我们将基于深度学习的语言模型应用于患者队列检索（CR）任务，旨在评估其有效性。CR的任务需要根据给定的查询从电子健康记录（EHR）中提取相关文档。鉴于文档检索领域的最新进展，我们将CR的任务映射到文档检索任务，并应用为一般领域任务实现的各种深度神经模型。在本文中，我们提出了一个框架，检索患者队列使用神经语言模型，而不需要显式的功能工程和领域的专业知识。我们发现，我们的大多数模型在各种评估指标上都优于BM 25基线方法。
2020-09-10 cs.CL cs.IR
Retrieval as Attention: End-to-end Learning of Retrieval and Reading within a Single Transformer
Carnegie Mellon University（卡内基梅隆大学）；Bosch Research North America（博世北美研究院）；Amazon（亚马逊）
知识密集型任务的系统，如开放领域的问答（QA）通常包括两个阶段：从一个大的语料库中有效检索相关的文件和详细阅读所选择的文件，以产生答案。检索器和读取器通常是单独建模的，这需要繁琐的实现，并且很难以端到端的方式进行训练和调整。在本文中，我们重新审视了这种设计，并避开了单独的架构和培训，而是使用单个Transformer来执行Retrieval as Attention（ReAtt），并仅基于来自最终QA任务的监督进行端到端培训。我们第一次证明，一个单一的模型训练的端到端可以实现竞争检索和QA性能，匹配或略优于最先进的分别训练检索和读者。此外，端到端自适应显著提高了其在有监督和无监督环境下对域外数据集的性能，使我们的模型成为知识密集型任务的简单且适应性强的解决方案。代码和模型可在https://github.com/jzbjyb/ReAtt上获得。
2022-12-05 cs.CL cs.LG
OSLAT: Open Set Label Attention Transformer for Medical Entity Retrieval and Span Extraction
University of British Columbia（不列颠哥伦比亚大学）；Curai（Curai公司）；Vatic Investments（Vatic投资公司）
医疗实体跨度提取和链接是许多医疗NLP任务的关键步骤。大多数现有的实体提取方法要么具有固定的医学实体词汇表，要么需要跨度注释。在本文中，我们提出了一种方法，用于连接一组开放的实体，不需要任何跨度注释。我们的方法，开放集标签注意力Transformer（OSLAT），使用标签-注意力机制来学习候选实体上下文文本表示。我们发现，OSLAT不仅可以链接实体，但也能够隐式地学习与实体相关联的跨度。我们在两个任务上评估OSLAT：（1）在没有显式跨度注释的情况下训练跨度提取，以及（2）在没有跨度级别注释的情况下训练实体链接。我们通过在两个具有低实体重叠的数据集上训练两个独立的模型并比较跨数据集性能来测试我们方法的通用性。
2022-11-20 cs.AI cs.CL cs.LG
Measuring Social Biases in Masked Language Models by Proxy of Prediction Quality
New York University（纽约大学）
本文提出基于预测质量的代理函数，在迭代掩码实验中测量掩码语言模型的社会偏见，发现所提方法比现有基准评估更准确、更敏感，尤其能更好估计重新训练后引入的偏见。
2025-02-05 cs.CL
Transformer Tafsir at QIAS 2025 Shared Task: Hybrid Retrieval-Augmented Generation for Islamic Knowledge Question Answering
QIAS 2025 Shared Task（QIAS 2025 共同任务）
该研究提出融合 BM25、稠密嵌入检索与交叉编码器重排序的三阶段混合 RAG 流程，并在 QIAS 2025 两个子任务上验证其对 Fanar、Mistral 的增强效果。
2025-09-28 cs.CL
VLDeformer: Vision-Language Decomposed Transformer for Fast Cross-Modal Retrieval
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Technologies Co., Ltd（华为技术有限公司）
跨模型检索已经成为纯文本搜索引擎（SE）最重要的升级之一。最近，通过早期交互，视觉语言（VL）Transformers的准确性已经超过了现有的文本图像检索方法，具有强大的表示成对文本图像输入。然而，当相同的范例用于推理时，VL Transformers的效率仍然太低而不能应用于真正的交叉模态SE中。受人类学习机制的启发，利用跨模态知识，提出了一种新的视觉语言分解的Transformer（VLDemformer），在保持视觉语言变换器精确性的同时，大大提高了视觉语言Transformers的效率。该方法将跨模型检索分为两个阶段：VL Transformer学习阶段和VL分解阶段。后一阶段起着单模态索引的作用，在某种程度上类似于文本SE的术语索引。该模型从早期交互预训练中学习跨模态知识，然后分解为单个编码器。该分解方法只需要少量的目标数据集进行监督，并实现了$1000+$倍的加速和小于$0.6$ \%的平均召回率下降。VLDefformer还优于COCO和Flickr30k上最先进的视觉语义嵌入方法。
2021-11-25 cs.CL cs.CV cs.IR
Hybrid Generative-Retrieval Transformers for Dialogue Domain Adaptation
Heriot-Watt University（赫瑞瓦特大学）；Microsoft Research（微软研究院）
领域自适应是近年来对话系统研究中的一个关键问题。深度学习虽然是建模此类系统的首选技术，但在给定大量训练数据的情况下效果最佳。然而，在现实世界的场景中，这样的资源并不适用于每个新领域，因此使用一些对话示例进行训练的能力可以被认为是必不可少的。在大数据源上进行预训练并适应目标数据已经成为深度学习框架内解决Few-Shot问题的标准方法。在本文中，我们提出了获奖作品在快速领域自适应任务的DSTC 8，混合生成检索模型的基础上GPT-2微调到多域MetaLWOz数据集。我们的模型在响应生成方面具有强大和多样性，使用检索逻辑作为后备，在人类评估中是MetaLWOz上的SoTA（比第二名系统提高了>4%），并在适应看不见的MultiWOZ数据集方面获得了有竞争力的泛化性能。
2020-03-06 cs.CL
Logically at Factify 2: A Multi-Modal Fact Checking System Based on Evidence Retrieval techniques and Transformer Encoder Architecture
Logically
在本文中，我们介绍了在多模态事实检查的任务1上对De-FACTIFY 2挑战（DE-FACTIFY 2023）的逻辑提交。我们描述了我们对这一挑战的提交，包括探索的证据检索和选择技术，预训练的跨模态和单峰模型，以及基于完善的Transformer编码器（TE）架构的跨模态准确性模型，该架构严重依赖于自我注意力的概念。探索性分析还进行了这个Factify 2数据集，揭示了显着的多模态模式和假设，激励在这项工作中提出的架构。进行了一系列初步实验，以研究和基准测试不同的预训练嵌入模型，证据检索设置和阈值。最后的系统，一个标准的两阶段证据为基础的准确性检测系统，产生加权平均。0.79在任务1上的val集合和最终盲测试集合上，其在9个参与者中以小幅度达到排行榜上的最高性能系统的第三名。
2023-02-03 cs.AI cs.CL cs.CV
Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
随着基于transformer的模型的出现，机器翻译取得了快速的进展。这些模型没有显式的语言结构，但它们仍然可以通过关注相关的标记来隐式地学习结构化关系。我们假设，这种结构学习可以通过明确赋予Transformers结构偏差来变得更加强大，我们研究了两种方法来构建这种偏差。TP-Transformer是一种扩展传统Transformer体系结构的方法，它包括一个额外的组件来表示结构。第二种方法通过形态标记化对数据进行分割，从而在数据级别上注入结构。我们测试这些方法从英语翻译成形态丰富的语言，土耳其语和因纽特语，并考虑自动指标和人类的评价。我们发现，这两种方法都可以使网络获得更好的性能，但这种改进取决于数据集的大小。总之，结构化编码方法使Transformers更具采样效率，使它们能够从更少量的数据中获得更好的性能。
2022-08-11 cs.CL
BRENT: Bidirectional Retrieval Enhanced Norwegian Transformer
University of Oslo（奥斯陆大学）
本文提出首个挪威语检索增强模型 BRENT，基于 REALM 框架训练并分离读取器与检索器，验证其可提升抽取式问答且不损害多种 NLP 下游能力。
2023-04-19 cs.CL
SPARTA: Efficient Open-Domain Question Answering via Sparse Transformer Matching Retrieval
SOCO Inc（索科公司）；Carnegie Mellon University（卡内基梅隆大学）
我们介绍了SPARTA，一种新的神经检索方法，表现出很大的承诺，在性能，泛化和解释性的开放域问答。与许多使用密集向量最近邻搜索的神经排名方法不同，SPARTA学习了一种稀疏表示，可以有效地实现为倒排索引。由此产生的表示使可扩展的神经检索，不需要昂贵的近似向量搜索，并导致更好的性能比其密集的对应。我们在4个开放域问答（OpenQA）任务和11个检索问答（ReQA）任务上验证了我们的方法。SPARTA实现了新的国家的最先进的结果，在各种开放领域的问答任务在英语和中文数据集，包括开放SQuAD，自然问题，CMRC等分析也证实，所提出的方法创建人类可解释的表示，并允许灵活控制性能和效率之间的权衡。
2020-09-28 cs.CL cs.LG
CLTR: An End-to-End, Transformer-Based System for Cell Level Table Retrieval and Table Question Answering
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM TJ Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了第一个端到端的，基于transformer的表格问答（QA）系统，该系统以自然语言问题和大量的表格语料库作为输入，以检索最相关的表格，并定位正确的表格单元格来回答问题。我们的系统，CLTR，扩展了目前国家的最先进的QA表模型，建立一个端到端的表QA架构。该系统已经成功地解决了许多现实世界的表QA问题，一个简单的，统一的管道。我们提出的系统还可以在复杂的表格上生成候选列和行的热图，并允许用户快速识别正确的单元格来回答问题。此外，我们还介绍了两个新的开放域基准测试，E2E_WTQ和E2E_GNQ，由76,242个表上的2,005个自然语言问题组成。这些基准测试旨在验证CLTR，并适应未来的表检索和端到端表QA研究和实验。我们的实验表明，我们的系统是目前国家的最先进的模型上的表检索任务，并产生有前途的结果端到端的表QA。
2021-06-09 cs.CL
Retrieval-Based Transformer for Table Augmentation
IBM Research AI（IBM研究院人工智能部门）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出检索增强自训练Transformer模型，通过随机消融表格自监督学习，解决表格增强任务，在EntiTables和WebTables基准上显著优于现有方法。
2023-06-20 cs.AI cs.CL cs.DB
An Evidence-Grounded Retrieval-Augmented Transformer Framework for Health Misinformation Verification
Yobe State University（约贝州立大学）；Yobe AI Research Laboratory (YAIR Lab)（约贝人工智能研究实验室）；Novosibirsk State University（新西伯利亚国立大学）；College of Computer Science and Engineering, Hamad Bin Khalifa University（哈马德·本·哈利法大学计算机科学与工程学院）
本研究针对发展中国家健康虚假信息验证的本地语境缺失问题，提出基于WHO和尼日利亚疾控中心证据的检索增强Transformer框架，经实验评估BERT模型表现最佳，为资源受限地区开发相关系统提供基础。
2026-08-04 cs.CL
Gender Biases and Where to Find Them: Exploring Gender Bias in Pre-Trained Transformer-based Language Models Using Movement Pruning
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）
语言模型去偏已经成为自然语言处理领域的一个重要研究领域。提出了许多去偏置技术，但偏置消融仍然是一个未解决的问题。我们展示了一种新的框架，用于通过运动修剪来检查预训练的基于transformer的语言模型中的偏差。给定一个模型和一个去偏置目标，我们的框架会找到一个包含比原始模型更少偏差的模型子集。我们通过修剪模型来实现我们的框架，同时根据去偏目标对其进行微调。优化的只是修剪分数--与模型权重相结合的参数，这些参数充当门。我们尝试修剪注意力头部，这是Transformers的一个重要组成部分：我们修剪正方形块，并建立了一种修剪整个头部的新方法。最后，我们展示了我们的框架使用性别偏见，并根据我们的研究结果，我们提出了一个改进现有的去偏置方法。此外，我们重新发现了一个偏差-性能权衡：模型性能越好，它包含的偏差就越多。
2022-07-06 cs.CL
Collapse of Dense Retrievers: Short, Early, and Literal Biases Outranking Factual Evidence
University of California, Los Angeles（加州大学洛杉矶分校）；CIS, LMU Munich（慕尼黑路德维希-马克西米利安大学计算机学院）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文通过受控实验揭示稠密检索器存在短文档、靠前位置、重复实体和字面匹配等启发式偏差，多种偏差叠加时性能灾难性下降，并证明这些偏差会误导 RAG 中的大语言模型，使性能比不提供文档时下降 34%。
2025-06-02 cs.CL cs.IR
Bias Evaluation and Mitigation in Retrieval-Augmented Medical Question-Answering Systems
University of Pittsburgh（匹兹堡大学）；School of Computing and Information, University of Pittsburgh（匹兹堡大学计算与信息学院）；Clinical and Translational Science Institute, University of Pittsburgh（匹兹堡大学临床与转化科学研究所）；University of Pittsburgh Medical Center（匹兹堡大学医学中心）
本研究系统评估了医学RAG问答系统在多个基准上的种族、性别等人口统计偏差，并比较了多种缓解策略，发现多数投票聚合能显著提升准确性和公平性。
2025-03-27 cs.CL
DSTC8-AVSD: Multimodal Semantic Transformer Network with Retrieval Style Word Generator
Seoul National University（首尔大学）；Adobe Research（奥多比研究院）
视听场景感知对话（AVSD）是一个任务，生成一个给定的场景，视频，音频和对话中的前几轮的历史问题的响应。用于此任务的现有系统采用具有编码器-解码器框架的基于Transformers或递归神经网络的架构。尽管这些技术在这项任务上表现出了卓越的性能，但它们有很大的局限性：模型很容易过度拟合，只记住语法模式;模型遵循数据集中词汇的先验分布。为了缓解这些问题，我们提出了一个多模态语义Transformer网络。它采用了基于transformer的架构，带有基于注意力的单词嵌入层，通过查询词嵌入来生成单词。通过这种设计，我们的模型在生成阶段继续考虑单词的含义。实证结果表明，我们提出的模型优于大多数以前的作品的AVSD任务的优越性。
2020-04-01 cs.CL cs.LG
Associative-State Universal Transformers: Sparse Retrieval Meets Structured Recurrence
Apple MPS（苹果MPS）
本文提出UniMatrix系列模型，通过结构递归状态和稀疏检索机制，在保持参数效率的同时提升语言模型性能，但长程行为仍需进一步优化。
2026-04-01 cs.CL cs.LG
Object-aware Video-language Pre-training for Retrieval
National University of Singapore（新加坡国立大学）；Tongji University（同济大学）；Columbia University（哥伦比亚大学）；Tencent PCG（腾讯平台与内容事业群）
近年来，通过引入大规模数据集和强大的Transformer网络，视频语言预训练在检索方面取得了巨大的成功。然而，现有的视频语言Transformer模型没有显式地细粒度语义对齐。在这项工作中，我们提出了对象感知的Transformers，一个以对象为中心的方法，扩展视频语言的Transformer，将对象表示。关键思想是利用边界框和对象标签来指导训练过程。我们评估我们的模型上的三个标准子任务的视频文本匹配四个广泛使用的基准。我们还提供了深入的分析和详细的消融所提出的方法。我们在所有考虑的任务和数据集的性能上都有明显的提高，证明了将对象表示纳入视频语言架构的模型的价值。代码将在\url{https://github.com/FingerRec/OA-Transformer}发布。
2022-05-18 cs.CL cs.CV
Retrieval-Augmented Transformer for Image Captioning
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
图像描述模型旨在通过提供对输入图像的自然语言描述来连接视觉和语言。在过去的几年里，这项任务已经通过学习参数模型和提出视觉特征提取改进或通过建模更好的多模态连接来解决。在本文中，我们研究了一个图像描述方法与kNN记忆，知识可以从外部语料库检索，以帮助生成过程的发展。我们的架构结合了基于视觉相似性的知识检索器，可区分的编码器和kNN增强的注意力层，以根据过去的上下文和从外部存储器中检索的文本来预测令牌。在COCO数据集上进行的实验结果表明，采用显式外部存储器可以帮助生成过程并提高字幕质量。我们的工作开辟了新的途径，改善图像描述模型在更大的规模。
2022-08-22 cs.AI cs.CL cs.CV
Multi-stage Information Retrieval for Vietnamese Legal Texts
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；National Institute of Informatics（国立信息学研究所）
本文研究越南语法律文本的信息检索问题。尽管在许多语言中得到了很好的研究，信息检索仍然没有得到越南研究界的重视。对于难以处理的法律文件来说，情况尤其如此。本研究提出一种新的方法，信息检索越南法律文件使用的转换器。此外，本研究还进行了不同的Transformer模型、等级分数、音节水平和单词水平训练的对比实验。实验结果表明，该模型的性能优于目前的信息检索越南文文档的研究中使用的模型。
2022-11-12 cs.CL
Towards Best Practices for Training Multilingual Dense Retrieval Models
University of Waterloo（滑铁卢大学）
使用基于变换器的双编码器设计的稠密检索模型已经成为一个活跃的研究领域。在这项工作中，我们专注于单语检索的任务，在各种类型不同的语言使用这样的设计。虽然最近的多语言Transformers的工作表明，他们表现出强大的跨语言泛化能力，仍然有许多开放的研究问题，我们在这里解决。我们的研究是组织为“最佳实践”的指导培训多语言稠密检索模型，分为三个主要场景：多语言Transformer是可用的，但相关性判断是不可用的语言感兴趣的;模型和训练数据都是可用的;和，训练数据是可用的，但模型。在考虑这些场景时，我们更好地理解了多阶段微调的作用、各种条件下跨语言迁移的强度、非语言数据的有用性以及多语言与单语言Transformers的优势。我们的建议为构建搜索应用程序的从业者提供了指南，特别是对于低资源语言，虽然我们的工作留下了一些研究问题，但我们为未来的工作提供了坚实的基础。
2022-04-05 cs.CL cs.IR
Transformer verbatim in-context retrieval across time and scale
Johns Hopkins University（约翰斯·霍普金斯大学）；Jozef Stefan Institute（约兹夫·斯特凡研究所）
研究Transformer语言模型在训练时间和规模增大时逐字上下文检索能力的发展，发现该能力在训练早期突发出现且与zero-shot基准学习正相关，并受名词具体性影响。
2024-11-11 cs.CL
Masked Mixers for Language Generation and Retrieval
Seek AI；Guidehouse（吉德浩公司）
该研究提出用掩码卷积替代自注意力的掩码混合器，验证其输入表征准确率更高，在小上下文因果语言建模和检索任务上表现优于Transformer，且小型模型可超越数据与计算量高多个数量级的大型Transformer检索模型。
2025-03-20 cs.CL cs.LG
Debiasing Gender Bias in Information Retrieval Models
Duke University（杜克大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
文化、性别、种族等方面的偏见已经存在了几十年，影响了人类社会互动的许多领域。这些偏差已被证明会影响机器学习（ML）模型，对于自然语言处理（NLP），这可能会对下游任务产生严重后果。减轻信息检索中的性别偏见对避免传播刻板印象很重要。在这项工作中，我们采用的数据集由两个组件组成：（1）文档的相关性查询和（2）“性别”的文件，其中代词被男性，女性和中性的变化。我们明确表明，当对大型预训练BERT编码器进行完全微调时，IR的预训练模型在zero-shot检索任务中表现不佳，并且使用适配器网络进行的轻量级微调将zero-shot检索性能提高了近20%。我们还说明了预先训练的模型具有性别偏见，导致检索到的文章往往是男性而不是女性。我们克服了这一点，通过引入一个去偏置技术，惩罚模型时，它更喜欢男性女性，从而在一个有效的模型，检索文章在一个平衡的方式跨越性别。
2022-09-20 cs.CL cs.IR
Inflating Topic Relevance with Ideology: A Case Study of Political Ideology Bias in Social Topic Detection Models
University of Pittsburgh（匹兹堡大学）
我们调查政治意识形态偏见的影响，在训练数据。通过一组比较研究，我们研究了几种广泛使用的NLP模型中的偏差传播及其对整体检索准确性的影响。我们的工作强调了大型复杂模型对传播人类选择输入的偏差的敏感性，这可能导致检索准确性的恶化，以及控制这些偏差的重要性。最后，作为一种减轻偏见的方法，我们建议学习一个文本表示，是不变的政治意识形态，同时仍然判断主题的相关性。
2020-11-29 cs.CL
TableFormer: Robust Transformer Modeling for Table-Text Encoding
Georgia Institute of Technology（佐治亚理工学院）；Google Assistant（谷歌助手）
表格理解是自然语言理解的一个重要方面。现有的表格理解模型需要表格结构的线性化，其中行或列顺序被编码为不必要的偏差。这种虚假的偏见使模型容易受到行和列顺序扰动。此外，以前的工作没有彻底建模的表结构或表文本对齐，阻碍了表文本的理解能力。在这项工作中，我们提出了一个强大的和结构感知的表格文本编码架构TableFormer，表格结构偏见完全通过学习的注意力偏见。TableFormer（1）严格不改变行和列的顺序，（2）由于其表格归纳偏差，可以更好地理解表格。我们的评估表明，TableFormer在SQA，WTQ和TabFact表推理数据集的所有设置中均优于强基线，并在SQA上实现了最先进的性能，特别是在面对答案不变的行和列顺序扰动时（比最佳基线提高6%），因为以前的SOTA模型在面对此类扰动时性能下降4% - 6%，而TableFormer不受影响。
2022-05-03 cs.CL
Everything at Once -- Multi-modal Fusion Transformer for Video Retrieval
Goethe University Frankfurt（法兰克福歌德大学）；Columbia University（哥伦比亚大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；IBM Research AI（IBM研究院人工智能部门）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；UT Austin（德克萨斯大学奥斯汀分校）
最近，来自视频数据的多模态学习受到了越来越多的关注，因为它允许在没有人类注释的情况下训练语义上有意义的嵌入，从而实现zero-shot检索和分类等任务。在这项工作中，我们提出了一个多模态，模态不可知的融合Transformer的方法，学习多模态之间的信息交换，如视频，音频和文本，并将它们集成到一个联合的多模态表示，以获得一个嵌入，聚合多模态的时间信息。我们建议训练系统的组合损失的一切在一次，单一的模态以及对模态，明确地离开了任何附加组件，如位置或模态编码。在测试时，生成的模型可以处理和融合任何数量的输入模态。此外，Transformer的隐式属性允许处理不同长度的输入。为了评估所提出的方法，我们训练的大规模HowTo100 M数据集上的模型，并评估所得到的嵌入空间在四个具有挑战性的基准数据集上获得最先进的结果，在zero-shot视频检索和zero-shot视频动作定位。
2022-08-18 cs.CL cs.CV cs.SD
CLIP2TV: Align, Match and Distill for Video-Text Retrieval
Tencent（腾讯）
现代的视频文本检索框架基本上由三部分组成：视频编码器、文本编码器和相似头。随着视觉和文本表示学习的成功，基于Transformer的编码器和融合方法也被应用于视频文本检索领域。在这份报告中，我们提出CLIP 2 TV，旨在探索关键要素在于基于Transformer的方法。为了实现这一目标，我们首先回顾了最近的一些多模态学习的工作，然后介绍了一些技术，视频文本检索，最后通过广泛的实验，在不同的配置进行评估。值得注意的是，CLIP 2 TV在MSR-VTT数据集上达到了52.9@R1，比之前的SOTA结果高出4.1%。
2022-07-21 cs.CL cs.CV
