Dual Filter: A Transformer-like Inference Architecture for Hidden Markov Models
Coordinated Science Laboratory（协调科学实验室）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出一种基于最优控制的框架，用于解决隐马尔可夫模型中的因果非线性预测问题，通过双滤波器算法实现与变压器架构相似的推断方法。
2026-03-13 cs.LG cs.SY eess.SY
Deep Generative Transformers for Probabilistic Time Series and Spatiotemporal Forecasting
SAFIR, Sorbonne University Abu Dhabi（SAFIR，索邦大学阿布扎赫尔分校）；Indian Institute of Technology Guwahati（印度理工学院古瓦哈蒂分校）
提出Enformer和GEnformer，结合Transformer与engression学习条件分布，无需参数假设即可生成连贯多变量轨迹，在时间序列和时空预测中优于现有方法。
2026-06-23 cs.AI cs.LG stat.ML
Tricks and Plug-ins for Gradient Boosting with Transformers
Northwestern University（西北大学）；Allstate（Allstate公司）
本文提出BoostTransformer框架，通过子网格token选择和重要性加权采样将提升原理引入transformer，实现更高效训练和更优性能。
2025-11-01 cs.LG stat.ML
ETC: Encoding Long and Structured Inputs in Transformers
Google Research（谷歌研究院）
Transformer模型在许多自然语言处理（NLP）任务中推进了最先进的技术水平。在本文中，我们提出了一种新的Transformer架构，扩展的Transformer构造（ETC），解决了标准Transformer架构的两个关键挑战，即缩放输入长度和编码结构化输入。为了将注意力扩展到更长的输入，我们在全局令牌和常规输入令牌之间引入了一种新的全局-局部注意力机制。我们还表明，将全局-局部注意力与相对位置编码和对比预测编码（CPC）预训练目标相结合，可以使ETC对结构化输入进行编码。我们在四个需要长和/或结构化输入的自然语言数据集上实现了最先进的结果。
2020-10-27 cs.LG stat.ML
Distilling Transformers for Neural Cross-Domain Search
Microsoft（微软）
经过预先训练的Transformers最近在自然语言任务领域占据了领先地位，并开创了软件工程任务的解决方案。即使是信息检索也不能不受Transformer的影响，尽管它们的大尺寸和成本通常是部署的障碍。虽然在精简、缓存和修改生产Transformer架构方面做了很多工作，但在这里我们探索了一个新的方向：将一个大型的预训练翻译模型提炼成一个轻量级的双向编码器，可以有效地缓存和查询。我们认为，从概率的角度来看，序列到序列模型是一个概念上理想的-虽然非常不切实际-检索。我们得到一个新的蒸馏目标，实现它作为一个数据增强计划。使用自然语言源代码搜索作为跨域搜索的案例研究，我们证明了这一想法的有效性显着改善后，目前的领导者CodeSearchNet的挑战，最近的自然语言代码搜索基准。
2021-08-06 cs.IR cs.LG cs.SE
Selective Attention Improves Transformer
Google Research（谷歌研究）
本文提出一种无需参数的选择性注意力机制，通过减少对无关上下文的关注，在多种规模下提升语言建模性能，并大幅降低推理内存需求。
2025-04-24 cs.AI cs.CL cs.LG
An In-depth Investigation of Sparse Rate Reduction in Transformer-like Models
School of Computing and Data Science（计算与数据科学学院）；The University of Hong Kong（香港大学）；Institute of Data Science（数据科学研究院）
针对SRR在Transformer类模型中优化情况不明及与泛化因果关系不清的问题，通过分析CRATE分层行为推导不同实现，验证SRR作为复杂度度量的预测力优于基准且可通过正则化提升泛化，为相关模型设计提供启发。
2024-11-26 cs.LG
Dynamic Multi-Depot Vehicle Routing with Online Requests: Event-Driven Transformer--DRL and Rolling-Horizon Benchmarking
Louisiana State University（路易斯安那州立大学）
针对带在线请求的动态多车场车辆路径问题，提出事件驱动的Transformer深度强化学习框架，经多场景基准测试，该学习策略在部分指标上弱于最强启发式算法，无单一方法在所有维度最优。
2026-08-17 cs.LG
Nonlinear Dynamic Factor Analysis With a Transformer Network
University of Helsinki（赫尔辛基大学）
本文提出一种基于Transformer的非线性动态因子分析方法，通过引入正则化项提升小数据集性能，并利用注意力矩阵分析变量重要性，实证应用构建了美国经济活动同步指数。
2026-01-17 cs.LG econ.EM
TART: Token-based Architecture Transformer for Neural Network Performance Prediction
Vector Institute（矢量研究院）；University of Toronto（多伦多大学）；University of Guelph（圭尔夫大学）；Samsung（三星）；SAIT AI Lab（SAIT人工智能实验室）
针对NAS依赖人工扩展搜索空间且无法生成新架构的问题，提出TART，用基于Token的Transformer在不训练候选网络的情况下预测性能，并在DeepNets-1M上取得最优结果。
2025-01-02 cs.AI cs.LG
Training Transformers for Information Security Tasks: A Case Study on Malicious URL Prediction
FireEye Inc.（火眼公司）
用于信息安全（InfoSec）的机器学习（ML）利用不同的数据类型和格式，这些类型和格式在对原始数据进行优化/训练期间需要不同的处理。在本文中，我们实现了一个恶意/良性的URL预测器的基础上，从零开始训练的Transformer架构。我们表明，与传统的自然语言处理（NLP）Transformers相比，该模型需要不同的训练方法才能正常工作。具体来说，我们表明：1）在自回归任务的大量未标记URL数据语料库上进行预训练并不容易转移到恶意/良性预测，但2）使用辅助自回归损失可以提高从头开始训练时的性能。我们介绍了一种混合目标优化的方法，动态平衡两个损失项的贡献，使它们都不占主导地位。我们表明，这种方法产生的性能与几个性能最好的基准分类器。
2020-11-05 cs.CR cs.LG
In-Context Multi-Objective Optimization
Department of Computer Science, Aalto University, Finland（芬兰阿尔托大学计算机科学系）；ELLIS Institute Finland（芬兰ELLIS研究所）；Department of Computer Science, University of Manchester, UK（英国曼彻斯特大学计算机科学系）
TAMO通过Transformer架构实现多目标黑盒优化，无需重新训练即可在不同任务间转移，显著提升优化效率并保持帕累托前沿质量。
2026-05-12 cs.AI cs.LG stat.ML
Systematic Generalization and Emergent Structures in Transformers Trained on Structured Tasks
Stanford University（斯坦福大学）
Transformer网络在自然语言处理和机器视觉方面取得了巨大成功，其中下一个单词预测和图像分类等任务目标受益于高维输入的细微上下文敏感性。然而，有一个正在进行的辩论如何以及何时Transformers可以获得高度结构化的行为，并实现系统的推广。在这里，我们探讨如何以及因果Transformer可以执行一组算法任务，包括复制，排序，和这些操作的分层组合。我们展示了强大的泛化序列比那些在训练中使用的替换标准的位置编码通常用于Transformers器与标签任意配对的序列中的项目。我们寻找足以解决这些任务的层次和头部配置，然后探索潜在表征和注意模式中系统处理的迹象。我们表明，两层Transformers学习可靠的解决方案，多层次的问题，开发任务分解的迹象，并编码输入项的方式，鼓励利用共享计算相关的任务。这些结果提供了关于注意力层如何在任务内和跨多个任务支持结构化计算的关键见解。
2022-12-10 cs.AI cs.LG
2-D SSM: A General Spatial Layer for Visual Transformers
Tel Aviv University（特拉维夫大学）
针对视觉模型二维归纳偏置需求，提出基于多维SSM变体的2-D SSM通用空间层，通过高效参数化等设计，以极小开销显著提升多种ViT在不同数据集上的性能，验证了其强二维归纳偏置特性。
2023-06-11 cs.CV cs.LG
Scaling Transformers for Low-Bitrate High-Quality Speech Coding
Stability AI（稳定性人工智能公司）
针对语音标记化任务，本研究扩展大参数Transformer架构并结合灵活有限标量量化（FSQ）瓶颈，在400或700比特/秒极低比特率下实现最先进语音质量，且在主客观测试中显著优于现有基准。
2024-11-29 cs.AI cs.LG cs.SD
Effective Pre-Training Objectives for Transformer-based Autoencoders
University of Trento（特伦托大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
在本文中，我们研究了效率，成本和准确性之间的权衡时，预训练Transformer编码器与不同的预训练目标。为此，我们分析了共同目标的特征，并将它们结合起来，以创建新的有效的预训练方法。具体来说，我们基于一种简单的统计方法设计了轻型令牌生成器，它可以取代ELECTRA计算量大的生成器，从而大大降低了成本。我们的实验还表明，（i）BERT的MLM有更有效的替代方案，（ii）可以使用更轻的生成器有效地预训练基于Transformer的模型，而不会显着降低性能。
2022-10-24 cs.CL
Bridging Kolmogorov Complexity and Deep Learning: Asymptotically Optimal Description Length Objectives for Transformers
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
本文提出基于柯尔莫哥洛夫复杂性的渐近最优描述长度目标，用于改进Transformer模型的压缩与泛化能力，揭示了优化挑战。
2026-03-02 cs.AI cs.CL cs.LG
Pre-training Transformer Models with Sentence-Level Objectives for Answer Sentence Selection
University of Trento（特伦托大学）；Amazon Alexa AI（亚马逊Alexa人工智能）；Allen Institute for AI（艾伦人工智能研究所）
设计QA系统的一个重要任务是回答句子选择（AS2）：从一组检索到的相关文档中选择包含（或构成）问题答案的句子。在本文中，我们提出了三个新的文档级Transformer预训练目标，这些目标在文档内和跨文档包含段落级语义，以提高AS2的Transformers的性能，并减轻对大型标记数据集的需求。具体来说，该模型的任务是预测：（i）是否从同一段落中提取了两个句子，（ii）是否从给定段落中提取了给定句子，以及（iii）是否从同一文档中提取了两个段落。我们在三个公共和一个工业AS2数据集上的实验证明了我们的预训练Transformers相对于基线模型（如AS2的RoberTa和ELECTRA）的经验优势。
2022-10-20 cs.CL
The Bottom-up Evolution of Representations in the Transformer: A Study with Machine Translation and Language Modeling Objectives
Yandex（Yandex（亚德斯））；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
我们试图理解在不同的学习目标下，个体标记的表示和学习特征空间的结构如何在深度神经网络的层之间演变。我们专注于Transformers进行分析，因为它们在各种任务中表现出了有效性，包括机器翻译（MT），标准的从左到右语言模型（LM）和掩码语言建模（MLM）。以前的工作使用黑盒探测任务，以表明由Transformer学习的表示显着不同的目标。在这项工作中，我们使用典型相关分析和互信息估计研究信息如何在Transformer层之间流动，以及这个过程如何取决于学习目标的选择。例如，当你从底层到顶层时，从左到右的语言模型中关于过去的信息会消失，而关于未来的预测会形成。相比之下，对于MLM，表示最初获取有关令牌周围的上下文的信息，部分忘记令牌身份并产生更一般化的令牌表示。然后，令牌身份在MLM顶层重新创建。
2019-09-03 cs.CL
Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）；Allen Institute for AI（艾伦人工智能研究所）
本文通过合成数据集、训练目标对比、剪枝实验和贝叶斯分析，揭示语言建模目标促使 Transformer 形成层级句法泛化偏置。
2025-03-16 cs.CL cs.LG
A Study on Transformer Configuration and Training Objective
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文重新审视了Transformer的常规配置，发现掩码自编码器能缓解深层训练的过平滑问题，提出更深更窄的Bamboo配置，在ImageNet和GLUE上均超越现有模型。
2023-05-18 cs.AI cs.CL cs.CV
Structural Self-Supervised Objectives for Transformers
University of Trento（特伦托大学）；Amazon Alexa AI（亚马逊Alexa AI）
本论文提出三种替代 MLM 的词元交换预训练目标及与下游应用结构对齐的自监督任务，在减少预训练时间和标注数据需求的同时显著提升了多种 NLP 任务性能并实现 SOTA。
2023-09-15 cs.CL cs.IR
Efficient Unsupervised Sentence Compression by Fine-tuning Transformers with Reinforcement Learning
Aylien Ltd.（Aylien有限公司）；Insight Centre for Data Analytics, University College Dublin（都柏林大学洞察数据分析中心）
句子压缩通过删除不必要的内容来减少文本的长度，同时保留重要的事实和语法。用于句子压缩的无监督目标驱动方法可以用于创建定制模型，而不需要地面实况训练数据，同时允许用于学习和推理的目标函数的灵活性。最近的无监督句子压缩方法使用自定义目标来指导离散搜索，然而，引导搜索在推理时是昂贵的。在这项工作中，我们探索使用强化学习来训练有效的句子压缩模型，这些模型在生成预测时也很快。特别是，我们将任务转换为二进制序列标记，并使用简单的策略梯度方法微调预训练的Transformer。我们的方法优于其他无监督模型，同时在推理时也更有效。
2022-05-17 cs.CL
Sentence Bottleneck Autoencoders from Transformer Language Models
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
通过在大型语料库上预训练语言模型来进行文本的表示学习已经成为构建NLP系统的标准起点。这种方法与自动编码器相反，自动编码器也是在原始文本上训练的，但其目标是学习将每个输入编码为允许完全重建的向量。自编码器是有吸引力的，因为他们的潜在空间结构和生成属性。因此，我们探索从预训练的冻结的Transformer语言模型构建一个并行级自动编码器。我们将掩蔽语言建模目标调整为生成的去噪目标，同时只训练句子瓶颈和单层修改的Transformer解码器。我们证明，我们的模型发现的句子表示比以前的方法获得更好的质量，这些方法在文本相似性任务，风格转换（控制生成的一个例子）和GLUE基准中的单句分类任务上从预训练的Transformers中提取表示，同时使用比大型预训练模型更少的参数。
2021-09-10 cs.CL
Two-Level Transformer and Auxiliary Coherence Modeling for Improved Text Segmentation
University of Mannheim（曼海姆大学）；Educational Testing Service (ETS)（教育考试服务中心（ETS））
将长文本的结构分解为语义连贯的片段，使文本更具可读性，并支持下游应用程序，如摘要和检索。从一个明显的文本连贯性和分割之间的联系，我们介绍了一种新的监督模型，文本分割简单，但明确的连贯性建模。我们的模型--由两个分层连接的Transformer网络组成的神经架构--是一个多任务学习模型，它将重复级分割目标与连贯性目标相结合，从而区分正确的句子序列和错误的句子序列。该模型被称为一致性感知文本分割（CATS），在一组基准数据集上产生最先进的分割性能。此外，通过将CATS与跨语言词嵌入相结合，我们证明了其在zero-shot语言迁移中的有效性：它可以成功地分割训练中看不到的语言中的文本。
2020-01-03 cs.CL
Pre-training Text-to-Text Transformers for Concept-centric Common Sense
Beihang University（北京航空航天大学）；University of Southern California（南加州大学）
预训练语言模型（PTLM）在一系列自然语言理解（NLU）和生成（NLG）任务中取得了令人印象深刻的结果。然而，目前的预训练目标，如掩码标记预测（对于BERT风格的PTLM）和掩码跨度填充（对于T5风格的PTLM），并没有明确地对日常概念的关系常识知识进行建模，这对于许多需要常识来理解或生成的下游任务至关重要。为了用以概念为中心的常识知识来增强PTLM，在本文中，我们提出了从文本中学习常识的生成和对比目标，并将它们用作中间自监督学习任务，用于增量预训练PTLM（在下游数据集上进行特定任务的微调之前）。此外，我们开发了一个联合预训练框架，以统一生成和对比目标，使它们能够相互加强。大量的实验结果表明，我们的方法，概念感知语言模型（CALM），可以包装更多的常识知识到一个预先训练的文本到文本的转换器Transformer的参数，而不依赖于外部知识图谱，在NLU和NLG任务产生更好的性能。我们表明，虽然只在相对较小的语料库上进行了几步增量预训练，但CALM的性能优于基线方法，并且与一些较大的PTLM相当，这表明CALM可以作为一种通用的即插即用方法，用于提高PTLM的常识推理能力。
2020-11-25 cs.AI cs.CL cs.LG
Open-Domain Dialogue Generation Based on Pre-trained Language Models
DIRO, Université de Montréal（蒙特利尔大学DIRO）
预训练的语言模型已成功地用于开放域对话的响应生成。本文提出了四种主要框架：（1）分别对源语句和目标语句使用Transformer编码器和解码器的Transformer-ED;（2）对源语句和目标语句使用Transformer解码器的Transformer-Dec;（3）使用Transformer解码器的Transformer-MLM，该解码器在源侧应用双向注意力，在目标侧应用从左到右的注意力，并具有掩蔽的语言模型目标;以及（4）使用自回归目标代替的变换器-AR。在这项研究中，我们在3个数据集上比较了这些框架，我们的比较表明，最好的框架在源端使用双向注意力，并且不分离编码器和解码器。我们还研究了模型的差异，我们的实验证实了模型的性能直接受到潜在差异的影响。然后，我们提出了两种校正方法，以减少差异，都提高了模型的性能。这些结果表明，当我们使用预训练模型时，差异是需要考虑的一个重要因素，减少差异可以提高性能。
2020-10-24 cs.AI cs.CL
Localized Adaptation Reveals Distinct Learning Signatures in Transformers
研究Transformer适应位置对模型学习的影响，引入含五个目标的基准，定义“适应几何”，发现不同目标有不同适应模式，且在参数匹配控制下模式持续，确立适应位置为控制模型学习等的关键设计变量。
2026-07-29 cs.AI cs.CL
Gender Biases and Where to Find Them: Exploring Gender Bias in Pre-Trained Transformer-based Language Models Using Movement Pruning
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）
语言模型去偏已经成为自然语言处理领域的一个重要研究领域。提出了许多去偏置技术，但偏置消融仍然是一个未解决的问题。我们展示了一种新的框架，用于通过运动修剪来检查预训练的基于transformer的语言模型中的偏差。给定一个模型和一个去偏置目标，我们的框架会找到一个包含比原始模型更少偏差的模型子集。我们通过修剪模型来实现我们的框架，同时根据去偏目标对其进行微调。优化的只是修剪分数--与模型权重相结合的参数，这些参数充当门。我们尝试修剪注意力头部，这是Transformers的一个重要组成部分：我们修剪正方形块，并建立了一种修剪整个头部的新方法。最后，我们展示了我们的框架使用性别偏见，并根据我们的研究结果，我们提出了一个改进现有的去偏置方法。此外，我们重新发现了一个偏差-性能权衡：模型性能越好，它包含的偏差就越多。
2022-07-06 cs.CL
SONAR-LLM: Autoregressive Transformer that Thinks in Sentence Embeddings and Speaks in Tokens
FusionBrain Lab, AXXX（融合大脑实验室，AXXX）；T-Tech；MSU（莫斯科大学）；DS-NLP Group, AXXX（自然语言处理组，AXXX）
提出SONAR-LLM，一种在连续SONAR嵌入空间“思考”但通过令牌级交叉熵监督的解码器-only Transformer，融合语义抽象与似然训练信号，在39M至1.3B参数规模上取得有竞争力的生成质量。
2026-05-25 cs.CL
Benchmarking down-scaled (not so large) pre-trained language models
Ludwig-Maximilians-Universität（路德维希-马克西米利安大学）
基于transformer的大型语言模型在不同大小的语料库上进行预训练，步骤数量不同，批量大小也不同。与此同时，更基本的组件，如预训练目标或架构超参数，被修改。因此，总体而言，很难将业绩变化归因于具体因素。由于在整个系统上搜索超参数空间的成本太高，因此我们在公共预训练语料库上预训练几种流行的基于Transformer的架构的缩小版本，并在GLUE任务的子集上对它们进行基准测试（Wang等人，2018年）。具体来说，我们系统地比较了不同形状参数和模型大小的三个预训练目标，同时还改变了预训练步骤的数量和批量大小。在我们的实验中，MLM + NSP（BERT风格）始终优于MLM（Roberta风格）以及标准LM目标。此外，我们发现额外的计算应该主要分配给增加的模型大小，而训练更多的步骤是低效的。基于这些观察结果，作为最后一步，我们尝试使用适合基于transformer的语言模型的复合缩放（Tan和Le，2019）来扩展几个系统。
2021-05-11 cs.CL cs.LG stat.ML
Towards Linguistically Informed Multi-Objective Pre-Training for Natural Language Inference
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Ruhr-Universität Bochum（波鸿鲁尔大学）；Rheinische Friedrich-Wilhelms Universität Bonn（莱茵兰-弗里德里希-威廉姆斯波恩大学）
我们引入了一种语言增强的Transformers预训练方法的组合。预训练的目标包括POS标注、基于语义知识图谱的同义词集预测和基于依存解析树的父类预测。与现有技术相比，我们的方法在自然语言推理任务上取得了有竞争力的结果。特别是对于较小的模型，该方法可以显著提高性能，强调智能预训练可以弥补更少的参数，并有助于构建更有效的模型。将POS标记和同义词集预测相结合会产生总体上最好的结果。
2022-12-30 cs.CL cs.LG
Constructing Open Cloze Tests Using Generation and Discrimination Capabilities of Transformers
ALTA Institute（ALTA研究所）；University of Cambridge（剑桥大学）
本文提出了第一个多目标Transformer模型，用于构建开放式完形填空测试，利用生成和歧视的能力，以提高性能。通过调整其损失函数并应用后处理重新排序算法来改进整体测试结构，进一步增强了我们的模型。使用自动和人工评估的实验表明，根据专家的评估，我们的方法可以达到高达82%的准确率，优于以前的工作和基线。我们还发布了一系列高质量的开放式完形填空测试，以及示例系统输出和人工注释，可以作为未来的基准。
2022-04-14 cs.CL
Improved Biomedical Word Embeddings in the Transformer Era
University of Kentucky（肯塔基大学）
生物医学词嵌入通常是在自由文本语料库上预先训练的，神经方法可以捕获局部和全局分布特性。它们在下游任务中被利用，使用各种神经架构，旨在优化可能进一步调整此类嵌入的特定任务目标。然而，自2018年以来，从这些静态嵌入到由语言模型驱动的上下文嵌入（例如，ELMo、诸如BERT和ULMFiT的Transformers）。这些动态嵌入还有一个额外的好处，即能够根据上下文区分同音异义词和首字母缩略词。然而，静态嵌入在低资源设置（例如，智能设备，物联网元素），并从计算语言学的角度研究词汇语义。在本文中，我们共同学习单词和概念嵌入，首先使用跳过语法方法，并进一步微调它们与相关信息，体现在共同出现的医学主题标题（MeSH）的概念，在生物医学引文。这种微调是在两句输入模式下使用BERT Transformer架构完成的，其分类目标是捕获MeSH对共现。从本质上讲，我们重新设计了一个Transformer架构（通常用于生成动态嵌入），以使用概念相关性来改进静态嵌入。我们使用多个数据集对这些调整后的静态嵌入进行评估，这些数据集是由以前的努力开发的。在没有选择性地剔除概念和术语的情况下（正如以前的工作所追求的那样），我们相信我们提供了迄今为止最详尽的静态嵌入评估，并全面提高了性能。我们为下游应用和研究工作提供公开使用的代码和嵌入：https://github.com/bionlproc/BERT-CRel-…
2021-07-23 cs.CL
Paragraph-based Transformer Pre-training for Multi-Sentence Inference
University of Trento（特伦托大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）；Allen Institute for AI（艾伦人工智能研究所）
推理任务，如答案句子选择（AS2）或事实验证，通常通过微调基于变换的模型作为单独的配对分类器来解决。最近的研究表明，这些任务受益于多个候选句子之间的依赖关系建模。在本文中，我们首先证明了流行的预训练Transformers在用于多候选推理任务的微调时表现不佳。然后，我们提出了一个新的预训练目标，跨多个输入句子的段落级语义模型。我们对三个AS2和一个事实验证数据集的评估表明，我们的预训练技术优于传统的Transformers器，用于多候选推理任务的联合模型，以及用作这些任务的交叉编码器。我们的代码和预训练模型在https://github.com/amazon-research/wqa-multi-sentence-inference上发布。
2022-07-06 cs.CL
Common Sense or World Knowledge? Investigating Adapter-Based Knowledge Injection into Pretrained Transformers
Data and Web Science Group, University of Mannheim（曼海姆大学数据与网络科学组）；Wluper；Ubiquitous Knowledge Processing (UKP) Lab, TU Darmstadt（达姆施塔特工业大学普适知识处理（UKP）实验室）
继神经语言模型（LM）（如BERT或GPT-2）在各种语言理解任务上取得重大成功之后，最近的工作集中在将来自外部资源的（结构化）知识注入这些模型中。一方面，联合预训练（即，从头开始训练，将基于外部知识的目标添加到主要LM目标）可能在计算上昂贵得令人望而却步，另一方面，对外部知识的事后微调可能导致分布式知识的灾难性遗忘。在这项工作中，我们调查模型补充BERT的分布知识与概念知识从ConceptNet及其相应的开放式思维常识（OMCS）语料库，分别使用适配器训练。虽然GLUE基准测试的总体结果并不确定，但更深入的分析表明，我们基于适配器的模型在推理任务中的表现大大优于BERT（高达15-20个性能点），这些推理任务需要ConceptNet和OMCS中明确存在的概念知识类型。所有代码和实验都是开源的：https://github.com/wluper/retrograph。
2020-10-11 cs.CL
Think Before You Act: Unified Policy for Interleaving Language Reasoning with Actions
Meta AI；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）
本文提出在单一 transformer 策略中交错生成语言推理与动作，利用带字幕教程数据的语言信息，并在 BabyAI 最难任务上验证其优于无字幕基线。
2023-04-18 cs.AI cs.CL
A Semi-Supervised Text Generation Framework Combining a Deep Transformer and a GAN
针对半监督文本生成问题，提出结合24层深度预训练Transformer与GAN的框架，通过Gumbel-Softmax处理token离散性，用GAN样本增强真实数据并微调模型，还提供理论推导与技巧讨论。
2025-02-09 cs.AI cs.CL
Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers
Microsoft Research Asia（微软亚洲研究院）；Shanghai Qi Zhi institute（上海期智研究院）
无监督提取文档摘要旨在从文档中选择重要句子，而无需在训练期间使用标记摘要。现有的方法大多是基于图的句子作为节点和句子的相似性衡量的边的权重。在这项工作中，我们发现，Transformer注意力可以用来排名句子的无监督提取摘要。具体来说，我们首先只使用未标记的文档来预训练分层Transformer模型。然后，我们提出了一种方法来排名的句子，使用双水平的自我注意力和预训练目标。在CNN/DailyMail和New York Times数据集上的实验表明，该模型在无监督摘要方面具有最先进的性能。我们还发现，在实验中，我们的模型是依赖于句子位置。当使用我们的模型和最近的无监督模型显式建模句子位置的线性组合时，我们获得了更好的结果。
2020-10-16 cs.CL
