TunBERT: Pretrained Contextualized Text Representation for Tunisian Dialect
iCompass；InstaDeep
预训练的上下文文本表示模型学习自然语言的有效表示，使其机器可理解。在注意力机制取得突破后，新一代的预训练模型被提出，并在Transformer的引入后取得了良好的性能。Transformers的双向编码器表示（BERT）已成为语言理解的最先进的模型。尽管他们取得了成功，但大多数可用的模型都是在印欧语言上训练的，然而对于代表性不足的语言和方言的类似研究仍然很少。在本文中，我们调查的可行性培训单语transformer为基础的语言模型的代表性不足的语言，特别是突尼斯方言。我们在情感分析任务、方言识别任务和阅读理解问答任务上评估了我们的语言模型。我们表明，使用嘈杂的网络抓取数据，而不是结构化数据（维基百科，文章等）。对于这种非标准化的语言更方便。此外，结果表明，一个相对较小的网络爬行数据集导致的性能是一样好，使用较大的数据集。最后，我们最好的TunBERT模型在所有三个下游任务中达到或改进了最先进的水平。我们发布了TunBERT预训练模型和用于微调的数据集。
2021-11-25 cs.CL cs.LG
Contextual Attention Network: Transformer Meets U-Net
RWTH Aachen University（亚琛工业大学）；Iran University of Science and Technology（伊朗科技大学）；Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学MEVIS研究所）
目前，卷积神经网络（CNN）（例如，U-Net）已经成为事实上的标准，并取得了巨大的成功，在医学图像分割。然而，作为缺点，基于CNN的方法是一把双刃剑，因为由于卷积运算的固有特性导致的有限的接受域，它们无法建立长距离依赖关系和全局上下文连接。因此，最近的文章已经利用Transformer变体进行医学图像分割任务，由于其通过注意力机制捕获远程相关性的固有能力，这些任务开辟了很大的机会。虽然设计可行，但大多数队列研究在捕获局部信息方面表现不佳，从而导致边界区域不清晰。在本文中，我们提出了一个上下文注意力网络来解决上述限制。该方法利用Transformer模块的强度对长距离上下文依赖进行建模。同时，它利用CNN编码器捕获本地语义信息。此外，一个对象级的表示包括模拟区域的相互作用地图。然后将提取的分层特征馈送到上下文注意力模块，以使用局部信息自适应地重新校准表示空间。然后，他们强调信息区域，同时考虑到由Transformer模块导出的长距离上下文依赖性。我们在几个大规模的公共医学图像分割数据集上验证了我们的方法，并达到了最先进的性能。我们在https://github.com/rezazad68/TMUnet中提供了实现代码。
2022-03-31 cs.CV cs.LG eess.IV
exBERT: A Visual Analysis Tool to Explore Learned Representations in Transformers Models
IBM Research（IBM研究院）；MIT-IBM Lab（麻省理工学院-IBM实验室）；Harvard SEAS（哈佛大学工程与应用科学学院）
大语言模型可以产生强大的上下文表示，从而改进许多NLP任务。由于这些模型通常由一系列学习的自我注意力机制引导，并且可能包括不期望的归纳偏差，因此能够探索注意力学到了什么是至关重要的。虽然对这些模型的静态分析会带来有针对性的见解，但交互式工具更具动态性，可以帮助人们更好地获得模型内部推理过程的直觉。我们提出了前BERT，一个交互式工具命名的流行的BERT语言模型，提供了深入了解的上下文表示的意义，通过匹配人类指定的输入到类似的上下文在一个大型的注释数据集。通过聚合匹配的相似上下文的注释，exBERT有助于直观地解释每个注意力集中者都学到了什么。
2019-10-11 cs.CL cs.LG
LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention
Studio Ousia；RIKEN AIP（理化学研究所先进智能项目中心）；University of Washington（华盛顿大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；National Institute of Informatics（国立情报学研究所）
实体表示在涉及实体的自然语言任务中很有用。在本文中，我们提出了新的预训练的上下文表示的单词和实体的基础上双向Transformer。该模型将给定文本中的单词和实体视为独立的标记，并输出它们的上下文表示。我们的模型是使用一个新的预训练任务的基础上的掩蔽语言模型的BERT。该任务涉及预测随机掩蔽的单词和实体在一个大型的实体标注语料库检索维基百科。我们还提出了一个实体感知的自我注意力机制，它是Transformer的自我注意力机制的扩展，并在计算注意力分数时考虑标记的类型（单词或实体）。所提出的模型实现了令人印象深刻的经验表现在广泛的实体相关的任务。特别是，它在五个著名的数据集上获得了最先进的结果：Open Entity（实体类型），TACRED（关系分类），CoNLL-2003（命名实体识别），ReCoRD（完形填空式问答）和SQuAD 1.1（提取问答）。我们的源代码和预训练表示可在https://github.com/studio-ousia/luke上获得。
2020-10-02 cs.CL cs.LG
Finite Probes Suffice: Identifiability and Universality for Weight-Space Learning
Microsoft（微软）；Technion – Israel Institute of Technology（以色列理工学院）；NVIDIA（英伟达）
本文研究有限探针表示对神经泛函学习的充分性，建立辨识性与普适性理论，提出HIDDENPROBE架构，在MLP和Transformer基准上达到最先进性能。
2026-10-06 cs.AI cs.LG
The Need for an External Observer Formalizing the Sufficiency Gap: A Mathematical Extension of Mixture Identifiability and Contextual Grounding in Sequence Models
本文通过构建二元混合过程，形式化了由未观测隐状态导致的充分性差距，并引入辅助信号建立上下文主导阈值，证明温度缩放无法弥补缺失上下文，而外部观察者或验证器在高风险领域是必要的。
2026-05-29 cs.CL cs.LG
Transformers for Multimodal Brain State Decoding: Integrating Functional Magnetic Resonance Imaging Data and Medical Metadata
Department of Quantom and Converging Sciences（量子与交叉科学系）；Islamic Azad University Central Tehran Branch（伊斯兰 Azad 大学中央德黑兰分部）
本文提出一种结合Transformer架构和多模态输入的框架，用于解码fMRI数据和DICOM元数据的脑状态，提升模型的准确性与鲁棒性。
2026-08-11 cs.LG
QPIC: Query-Based Pairwise Human-Object Interaction Detection with Image-Wide Contextual Information
Lumada Data Science Lab, Hitachi, Ltd.（日立株式会社 Lumada 数据科学实验室）；Center for Technology Innovation - Artificial Intelligence, Hitachi, Ltd.（日立株式会社 技术创新中心人工智能部）
我们提出了一种简单，直观，但功能强大的方法来检测人与物体的交互（HOI）。HOI在图像中的空间分布是如此多样，以至于现有的基于CNN的方法面临以下三个主要缺点;由于CNN的局部性，它们不能利用图像范围的特征，它们依赖于手动定义的特征聚合的感兴趣位置，这有时不覆盖上下文重要的区域，并且如果它们位于靠近，它们不能帮助但混合多个HOI实例的特征。为了克服这些缺点，我们提出了一个基于transformer的特征提取器，其中的注意力机制和基于查询的检测起着关键作用。注意力机制是有效的聚合上下文重要信息的图像范围内，而查询，我们设计的方式，每个查询捕获最多一个人-对象对，可以避免混淆的功能，从多个实例。这种基于变换器的特征提取器产生如此有效的嵌入，使得随后的检测头可以相当简单和直观。广泛的分析表明，所提出的方法成功地提取了上下文重要的功能，从而优于现有的方法大幅度（5.37 mAP的HICO-DET，和5.7 mAP的V-COCO）。源代码可从$\href{https://github.com/hitachi-rd-cv/qpic}{\text{this https URL}}$获得。
2021-03-09 cs.CV cs.LG
CrudeBERT: Applying Economic Theory towards fine-tuning Transformer-based Sentiment Analysis Models to the Crude Oil Market
Zurich University of Applied Sciences（苏黎世应用科学大学）；University of Applied Sciences of the Grisons（格劳宾登应用科学大学）
本文提出CrudeBERT，利用经济理论识别原油市场供需事件，微调FinBERT以提升原油期货新闻情感分类性能，并超越现有专有及开源方案。
2023-05-10 cs.IR cs.LG
Two-Stream Transformer Architecture for Long Video Understanding
The University of Surrey（萨里大学）
纯视觉Transformer架构对于短视频分类和动作识别任务非常有效。然而，由于自我注意的二次复杂性和缺乏感应偏差，Transformers是资源密集型的，并且遭受数据效率低下。长格式视频理解任务放大了Transformers中的数据和存储器效率问题，使得当前方法在数据或存储器受限域上实现是不可行的。本文介绍了一种有效的时空注意力网络（STAN），它使用两个流的Transformer架构模型之间的依赖关系的静态图像功能和时间上下文功能。我们提出的方法可以在单个GPU上对长达两分钟的视频进行分类，具有数据效率，并在几个长视频理解任务上实现SOTA性能。
2022-08-02 cs.CV cs.LG cs.MM
Contextually Guided Transformers via Low-Rank Adaptation
Google DeepMind（谷歌DeepMind）
本文提出上下文引导Transformer（CGT），通过低秩自适应将上下文直接编码进模型权重以替代显式提示，实现模型自我专门化，并在合成上下文学习与语言建模任务中验证了有效性。
2025-06-06 cs.CL cs.LG
Understanding Contextual Recall in Transformers: How Finetuning Enables In-Context Reasoning over Pretraining Knowledge
University of Southern California（南加州大学）；University of British Columbia（不列颠哥伦比亚大学）；Flatiron Institute（Flatiron研究所）
本文研究了Transformer模型在上下文学习中如何通过微调实现对预训练知识的推理，探讨了预训练和微调对上下文回忆能力的影响及机制。
2026-03-21 cs.CL cs.LG
Learning and Transferring Sparse Contextual Bigrams with Linear Transformers
Princeton University（普林斯顿大学）
该研究提出稀疏上下文二元语法SCB模型，分析单层线性Transformer学习SCB的训练动力学与样本复杂度，证明预训练微调可跳过样本密集阶段，且算法性能优于SGD，为Transformer的理论基础提供了新视角。
2024-10-30 cs.CL cs.LG
Transformer visualization via dictionary learning: contextualized embedding as a linear superposition of transformer factors
Facebook AI Research（脸书人工智能研究院）；Berkeley AI Research (BAIR), UC Berkeley（加州大学伯克利分校伯克利人工智能研究院（BAIR））；New York University（纽约大学）；Redwood Center for Theoretical Neuroscience, UC Berkeley（加州大学伯克利分校雷德伍德理论神经科学中心）
本文提出利用字典学习将Transformer的上下文嵌入表示为Transformer因子的线性叠加，通过可视化揭示其捕获的层次语义结构（如词级多义消歧、句级模式形成和长距离依赖），为理解Transformer网络内部机制提供了新见解。
2023-04-04 cs.CL cs.LG
Contextual Graph Transformer: A Small Language Model for Enhanced Engineering Document Information Extraction
提出上下文图变换器（CGT），一种结合图神经网络与变换器的参数高效小型语言模型，通过动态图结构建模提升工程文档信息提取，在RAG流程中比GPT-2准确率高24.7%且参数少62.4%。
2025-08-04 cs.CL cs.LG
Context-Aware Transformer Pre-Training for Answer Sentence Selection
University of Trento（特伦托大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文提出三种模仿上下文答案句子选择下游任务的预训练目标，通过在公开和工业数据集上微调 RoBERTa 和 ELECTRA，将基线准确率提升多达 8%。
2023-05-24 cs.CL cs.LG
CrisisBERT: a Robust Transformer for Crisis Classification and Contextual Crisis Embedding
Singapore University of Technology and Design（新加坡科技设计大学）；ProQod Singapore（新加坡ProQod公司）
对自然灾害、恐怖袭击和流行病等危机事件进行分类，是一项至关重要的任务，可以及早发出信号，并通知有关各方采取自发行动，以减少总体损失。尽管自然灾害等危机可以由专业机构预测，但某些事件首先由平民发出信号，例如最近的COVID-19大流行病。Twitter等社交媒体平台经常通过每天发布的超过5亿条推文的大量信息交流来披露有关此类危机的第一手信号。先前的工作提出了各种危机嵌入和分类使用传统的机器学习和神经网络模型。然而，这些作品都没有使用最先进的基于注意力的深度神经网络模型（如Transformers和文档级上下文嵌入）来执行危机嵌入和分类。这项工作提出了CrisisBERT，这是一个基于端到端转换器的模型，用于两个危机分类任务，即危机检测和危机识别，它在准确性和f1分数方面显示出有希望的结果。所提出的模型还表现出优于基准的鲁棒性，因为它显示出边际性能妥协，同时从6个扩展到36个事件，只有51.4%的额外数据点。我们还提出了Crisis 2 Vec，一个基于注意力的，文档级的上下文嵌入架构的危机嵌入，实现更好的性能比传统的危机嵌入方法，如Word 2 Vec和GloVe。据我们所知，我们的工作是第一次提出使用transformer为基础的危机分类和文档级的上下文危机嵌入在文献中。
2020-05-18 cs.CL cs.LG cs.SI
Contextual Breach: Assessing the Robustness of Transformer-based QA Models
Rochester Institute of Technology（罗切斯特技术研究所）；Islamic University of Technology（伊斯兰技术大学）
针对上下文问答模型易受对抗性扰动的问题，本文构建含七种不同类型、五个强度水平对抗性噪声的SQuAD数据集，用标准化鲁棒性指标评估基于Transformer的问答模型，揭示其鲁棒性漏洞及真实场景下的性能见解。
2025-11-14 cs.CL
Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉影像工程技术研究中心）
本文提出一种基于句法与概率视角的上下文词表示模型，利用条件随机场和平均场变分推断建模词的潜在表示及依存弧，发现其计算图与transformers相似，在中小型数据集上表现具竞争力，旨在弥合传统与神经方法间的差距。
2023-11-26 cs.CL
Contextual Clarity: Generating Sentences with Transformer Models using Context-Reverso Data
本文提出利用Context-Reverso数据训练T5模型，为关键词生成无歧义且简短的上下文句子，以提升信息检索与生成应用的效率。
2024-03-14 cs.AI cs.CL
Context-Aware Transformer Transducer for Speech Recognition
Amazon Alexa（亚马逊 Alexa）
端到端（E2 E）自动语音识别（ASR）系统通常难以识别在训练数据中不频繁出现的不常用词。一个有前途的方法，以提高识别精度的罕见的话，是锁存到个性化/上下文信息的推理。在这项工作中，我们提出了一种新的上下文感知的Transformer换能器（CATT）网络，提高了国家的最先进的变压器为基础的ASR系统，利用这样的上下文信号。具体来说，我们提出了一个基于多头注意力的上下文偏置网络，该网络与其余的ASR子网络联合训练。我们探索不同的技术来编码上下文数据，并创建最终的注意力上下文向量。我们还利用BLSTM和预训练的基于BERT的模型来编码上下文数据并指导网络训练。使用内部远场数据集，我们表明，CATT，使用基于BERT的上下文编码器，提高了基线Transformer传感器的单词出错率，并优于现有的深度上下文模型分别为24.2%和19.4%。
2021-11-05 cs.CL cs.LG cs.SD
How does a Pre-Trained Transformer Integrate Contextual Keywords? Application to Humanitarian Computing
European Commission Joint Research Centre（欧洲委员会联合研究中心）
在分类任务中，处理文本片段和元数据通常需要处理多模态方法。当这些元数据是文本的时候，为了利用模型内部编码的语义信息，很容易将它们与预先训练的Transformer一起使用。本文描述了如何通过将危机事件类型添加到要分类的每个推文来改进人道主义分类任务。基于模型权重和行为的附加实验，它识别了所提出的神经网络方法如何部分地过度拟合危机基准的特殊性，以更好地突出模型如何毫无疑问地学习使用和利用元数据的文本语义。
2021-11-07 cs.CL
Transformer ASR with Contextual Block Processing
Sony Corporation（索尼公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
Transformer自注意网络最近显示出作为端到端（E2 E）自动语音识别（ASR）系统中的递归神经网络（RNN）的替代方案的有前途的性能。然而，Transformer的缺点在于需要整个输入序列来计算自注意。在本文中，我们提出了一种新的块处理方法的Transformer编码器通过引入上下文感知的继承机制。从先前处理的块移交的附加上下文嵌入向量不仅有助于对局部声学信息进行编码，还有助于对全局语言、通道和扬声器属性进行编码。为了有效地训练模型，我们引入了一种新的掩码技术来实现上下文继承。华尔街日报（WSJ），Librispeech，VoxForge意大利语，和AISHELL-1普通话语音识别数据集的评估表明，我们提出的上下文块处理方法优于天真块处理一致。此外，每一层的注意力权重的趋势进行了分析，以阐明如何添加上下文继承机制模型的全局信息。
2019-10-16 cs.CL eess.AS
Contextual Hate Speech Detection in Code Mixed Text using Transformer Based Approaches
Sri Jayachamarajendra College of Engineering（斯里贾亚查马拉杰德拉工程学院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
最近，社交媒体平台帮助人们与更广泛的受众进行联系和沟通。但这也导致了网络欺凌的急剧增加。必须检测和遏制仇恨言论，以保持社交媒体平台的正常运作。此外，在这些平台上经常使用包含多种语言的代码混合文本。因此，我们提出了自动化技术，从刮Twitter的代码混合文本中的仇恨言论检测。我们特别关注混合英语-印地语文本和基于transformer的方法的代码。虽然常规方法独立分析文本，但我们也以父推文的形式使用内容文本。我们尝试评估多语言BERT和Indic-BERT在单编码器和双编码器设置下的性能。第一种方法是使用分隔符标记连接目标文本和上下文文本，并从BERT模型中获得单个表示。第二种方法使用双BERT编码器独立地对两个文本进行编码，并且对相应的表示进行平均。我们表明，双编码器的方法，使用独立的表示产生更好的性能。我们还采用简单的集成方法，以进一步提高性能。使用这些方法，我们在HASOC 2021 ICHCL代码混合数据集上报告了73.07%的最佳F1得分。
2021-11-01 cs.CL cs.LG
Measuring the Mixing of Contextual Information in the Transformer
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
Transformer架构通过自我注意力机制聚合输入信息，但是对于这些信息如何在整个模型中混合并没有清晰的理解。此外，最近的研究表明，注意力权重本身不足以描述信息流。在本文中，我们考虑了整个注意力块--多头注意力、剩余连接和层归一化--并定义了一个度量来测量每层内的令牌到令牌的交互。然后，我们汇总逐层解释，为模型预测提供输入归因得分。在实验中，我们表明，我们的方法，ALTI（聚合的逐层令牌到令牌的相互作用），提供了更忠实的解释和增强的鲁棒性比基于梯度的方法。
2022-10-22 cs.CL
More Identifiable yet Equally Performant Transformers for Text Classification
Singapore University of Technology and Design（新加坡科技设计大学）；Carnegie Mellon University（卡内基梅隆大学）
可解释性是模型预测可信度的一个重要方面。Transformer的预测被广泛地解释为注意力权重，即，在其自我注意单元（头部）处生成的概率分布。目前的实证研究提供了一些证据，证明注意力权重不是唯一的。最近的一项研究通过证明注意力权重的不可识别性，从理论上证明了这一观察结果。对于给定的头部输入及其输出，如果其中产生的注意力权重是唯一的，我们称之为可识别的权重。在这项工作中，我们提供了更深入的理论分析和经验观察的可识别性的注意权重。在以前的作品中被忽略，我们发现注意力权重比我们目前认为的更可识别，通过揭示关键向量的隐藏作用。然而，权重仍然倾向于是非唯一的注意，使他们不适合解释。为了解决这个问题，我们提供了一个编码器层的变体，它将键和值向量之间的关系叠加起来，并提供可识别的权重，直到输入的期望长度。我们证明了这种变化的适用性，提供不同的文本分类任务的经验证明。这些实现可在https://github.com/declare-lab/identifiable-transformers上获得。
2021-06-02 cs.CL
Context-based Transformer Models for Answer Sentence Selection
University of Padova（帕多瓦大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Amazon Alexa（亚马逊Alexa）
问答系统设计的一个重要任务是从与所问问题相关的文档中选择包含（或构成）答案的句子。大多数以前的工作只使用目标句子来计算它的分数，因为模型不够强大，无法有效地编码额外的上下文信息。在本文中，我们分析了上下文信息在句子选择任务中的作用，提出了一个基于Transformer的架构，利用两种类型的上下文，本地和全球。前者描述包含句子的段落，旨在解决隐式引用，而后者描述包含候选句子的整个文档，提供基于内容的信息。在三个不同的基准测试上的结果表明，在Transformer模型中，局部和全局上下文的组合显着提高了答案句子选择的准确性。
2020-06-01 cs.CL cs.LG
Deriving Contextualised Semantic Features from BERT (and Other Transformer Model) Embeddings
UCL（伦敦大学学院）
基于Transformer架构的模型，如BERT，标志着自然语言处理领域向前迈出了关键的一步。重要的是，它们允许创建词嵌入，这些词嵌入在上下文中捕获关于词的重要语义信息。然而，作为单个实体，这些嵌入很难解释，并且用于创建它们的模型被描述为不透明的。Binder及其同事提出了一个直观的嵌入空间，其中每个维度都基于65个核心语义特征之一。不幸的是，空间只存在于535个单词的小数据集，限制了它的使用。以前的工作（Utsumi，2018年，2020年，Turton，Vinson & Smith，2020年）表明，Binder功能可以从静态嵌入中导出，并成功地外推到一个大型的新词汇表。下一步，本文证明了Binder特征可以从BERT嵌入空间中导出。这提供了上下文化的绑定器嵌入，这可以帮助理解上下文中单词之间的语义差异。它还提供了如何在BERT模型的不同层中表示语义特征的见解。
2020-12-30 cs.CL
A Transformer and Prototype-based Interpretable Model for Contextual Sarcasm Detection
Drexel University（德雷塞尔大学）
本文提出一种结合变换器和原型网络的可解释模型，通过情感嵌入实现语境讽刺检测，优于当前最佳方法，且原型层通过相似示例生成解释。
2026-04-20 cs.CL
When Does Context Help? Error Dynamics of Contextual Information in Large Language Models
Harbin Institute of Technology（哈尔滨工业大学）；Singapore Management University（新加坡管理大学）
本文提出统一理论框架，分析上下文信息对Transformer模型误差动态的影响，通过几何条件和范数约束揭示上下文校正的必要条件，并通过实验验证提升模型性能。
2026-02-09 cs.CL
Contextual Sentence Analysis for the Sentiment Prediction on Financial Data
Trading Central Labs（Trading Central 实验室）
通讯和社交网络可以反映分析师和公众对公司提供的产品和/或服务的观点。因此，对这些文本进行情感分析，可以为投资者在市场中进行交易提供有用的信息。在本文中，一个层次堆栈的Transformers模型提出了识别与公司和股票相关的情绪，通过预测一个分数（数据类型真正的）在-1和+1之间的范围。具体来说，我们微调了一个RoBERTa模型来处理标题和微博，并将其与额外的Transformer层相结合，用情感词典处理句子分析，以改善情感分析。我们根据SemEval-2017 task 5发布的财务数据对其进行了评估，我们的提议优于SemEval-2017 task 5的最佳系统和强大的基线。事实上，上下文句子分析与金融和一般情感词典的结合为我们的模型提供了有用的信息，并使其能够生成更可靠的情感得分。
2021-12-27 cs.CL cs.LG
Inceptive Transformers: Enhancing Contextual Representations through Multi-Scale Feature Learning Across Domains and Languages
Bangladesh University of Engineering and Technology（孟加拉工程与技术大学）；BRAC University（BRAC大学）
本文提出Inceptive Transformers，通过在Transformer层上引入inception风格的多尺度1-D卷积和任务相关性自注意力层来增强token表示，在五类任务上比基线提升1%至14%。
2025-09-19 cs.CL
Med-gte-hybrid: A contextual embedding transformer model for extracting actionable information from clinical texts
Hahn-Schickard（哈恩-席卡德）；University of Freiburg（弗莱堡大学）
Med-gte-hybrid通过结合对比学习和去噪自动编码器，改进了临床文本信息提取，提升了患者分层和文本检索性能。
2025-12-01 cs.AI cs.CL
Linguistic Knowledge and Transferability of Contextual Representations
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；University of Washington（华盛顿大学）
来自大规模神经语言模型的上下文单词表征在各种NLP任务中都是成功的，这表明它们编码了有用的和可转移的语言特征。为了揭示它们捕获的语言知识，我们研究了几个最近预训练的上下文化器（ELMo的变体，OpenAI Transformer语言模型和BERT）产生的表示，以及一套17个不同的探测任务。我们发现，在冻结的上下文表示之上训练的线性模型在许多情况下与最先进的任务特定模型竞争，但在需要细粒度语言知识的任务上失败（例如，联合识别）。为了研究上下文单词表示的可转移性，我们量化了上下文化器中各个层的可转移性差异，特别是递归神经网络（RNN）和Transformers之间的差异。例如，RNN的更高层更具有任务特定性，而Transformer层不表现出相同的单调趋势。此外，为了更好地理解是什么使上下文单词表示可转移，我们将语言模型预训练与11个监督预训练任务进行了比较。对于任何给定的任务，当预训练数据集固定时，对密切相关的任务进行预训练会产生比语言模型预训练更好的性能（平均而言更好）。然而，在更多数据上进行语言模型预训练会得到最好的结果。
2019-04-25 cs.CL
Adversarial Transformer Language Models for Contextual Commonsense Inference
Massachusetts Institute of Technology（麻省理工学院）；Boston University（波士顿大学）；Dartmouth College（达特茅斯学院）
语境化或话语感知常识推断是生成连贯常识断言（即，一个故事，一个故事，一个故事。该任务的一些问题是：对推断事实的主题缺乏可控性;在训练期间缺乏常识知识;以及可能的幻觉或虚假事实。在这项工作中，我们利用一个Transformer模型为这项任务，并开发技术，以解决上述问题的任务。我们通过引入一种我们称之为“暗示”的新技术来控制推理。提示是一种语言模型提示，它利用硬提示（特定单词）和软提示（虚拟可学习模板）。这作为一个控制信号来建议语言模型“谈论什么”。接下来，我们建立了一个方法，执行联合推理与多个常识知识库。常识的联合推理需要小心，因为它是不精确的，一般性的水平更灵活。您希望确保结果对于上下文“仍然有意义”。为此，我们将来自三个知识图谱（ConceptNet，ATOMIC 2020和GLUCOSE）的断言的文本版本与故事和目标句子对齐。这种组合使我们能够训练单个模型来执行与多个知识图谱的联合推理。我们展示了三个知识图谱联合推理的实验结果。我们的最后一个贡献是探索一个GAN架构，生成上下文的常识断言，并通过一个可扩展性来对它们进行评分。其结果是一个集成系统的上下文常识推理的故事，可以可控地生成似是而非的常识断言，并利用多个常识知识库之间的联合推理。
2023-02-10 cs.CL
Empirical Analysis of the Effect of Context in the Task of Automated Essay Scoring in Transformer-Based Models
本研究通过上下文增强改进基于Transformer的自动作文评分模型，实现优于现有模型的性能，且方法具有通用性。
2025-12-12 cs.CL cs.CY
Capsule-Transformer for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）
Transformer从其多头自注意网络（SAN）的关键设计中受益匪浅，该网络通过将给定的输入转换到不同的子空间来从各种角度提取信息。然而，其简单的线性转换聚合策略仍然可能无法完全捕获更深层次的上下文信息。因此，在本文中，我们提出了胶囊变压器，它扩展了线性变换到一个更一般的胶囊路由算法，通过将SAN作为一个特殊的情况下胶囊网络。因此，所产生的胶囊变压器是能够获得一个更好的注意力分布表示的输入序列，通过不同的头部和单词之间的信息聚合。具体来说，我们看到SAN中的注意力权重组是低层胶囊。通过应用迭代胶囊路由算法，它们可以被进一步聚合成包含更深的上下文信息的高层胶囊。在广泛使用的机器翻译数据集上的实验结果表明，我们提出的胶囊-Transformer显著优于强Transformer基线。
2020-04-30 cs.CL
Analyzing Feed-Forward Blocks in Transformers through the Lens of Attention Maps
Tohoku University（东北大学）；RIKEN（理化学研究所）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究针对Transformer中前馈块研究不足的问题，提出通过注意力图可视化分析其输入语境化效果，实验发现前馈网络会突出特定语言组合，且前馈块与周围组件作用存在抵消，提示Transformer层处理可能有冗余。
2024-04-15 cs.CL
Identifying Misinformation on YouTube through Transcript Contextual Analysis with Transformer Models
Cyprus University of Technology（塞浦路斯理工大学）；LSTECH ESPANA SL（西班牙LSTECH有限公司）
针对YouTube错误信息检测问题，提出将视频分类转为转录文本分类的方法，结合微调Transformer模型与小样本学习，在多数据集上验证了有效性，小样本方法在数据有限场景优势显著。
2023-07-22 cs.CL
An Exploration of Hierarchical Attention Transformers for Efficient Long Document Classification
University of Copenhagen（哥本哈根大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织Data61）；Athens University of Economics and Business（雅典经济与商业大学）；Pioneer Centre for AI（人工智能先锋中心）
基于非层次稀疏注意力转换器的模型，如Longformer和Big Bird，是处理长文档的流行方法。与原始的Transformer相比，这些方法在效率方面有明显的好处，但分层注意力Transformer（HAT）模型是一个研究不足的替代方案。我们开发并发布了完全预训练的HAT模型，这些模型使用分段编码器，然后使用跨段编码器，并将它们与Longformer模型和部分预训练的HAT进行比较。在几个长文档下游分类任务中，我们最好的HAT模型优于同等大小的Longformer模型，同时使用的GPU内存减少10-20%，处理文档的速度提高40-45%。在一系列消融研究中，我们发现HAT在整个模型中的跨段情境化表现最好，而不是实施早期或晚期跨段情境化的替代配置。我们的代码在GitHub上：https://github.com/coastalcph/hierarchical-transformers。
2022-10-11 cs.CL
The Devil is in the Details: Evaluating Limitations of Transformer-based Methods for Granular Tasks
Indraprastha Institute of Information Technology Delhi（德里英迪拉普拉斯信息技术研究所）；Snap Inc.（阅后即焚公司）
近年来，从基于transformer的神经语言模型导出的上下文嵌入在诸如问答、情感分析和文本相似性等各种任务中表现出了最先进的性能。大量的工作表明，这些模型可以准确地表示文本中存在的抽象语义信息。在这个短暂的工作中，我们探索了切线方向，并分析了这些模型在需要更细粒度表示的任务上的性能。我们专注于从两个角度的文本相似性的问题：在粒度级别上匹配文档（需要嵌入捕获文本中的细粒度属性），和一个抽象的水平（需要嵌入捕获整体的文本语义）。我们通过经验证明，在来自不同领域的两个数据集上，尽管抽象文档匹配的性能如预期的那样高，但对于更细粒度的任务，上下文嵌入始终（有时，大大）优于TF-IDF等简单基线。然后，我们提出了一个简单但有效的方法，将TF-IDF模型，使用上下文嵌入，实现了高达36%的粒度任务的相对改善。
2020-11-02 cs.CL
Contextualized word senses: from attention to compositionality
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS)（智能技术卓越研究中心（CiTIUS））；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）
本文提出一种基于语义组合性、依存关系和选择偏好的透明可解释词义编码策略，并在词义相似度任务上与Transformer对比，证明语言学驱动模型可达到有竞争力的效果。
2023-12-01 cs.CL
Fixed-Length Protein Embeddings using Contextual Lenses
Harvard University（哈佛大学）；Google Research（谷歌研究院）
基本局部比对搜索工具（BLAST）是目前最流行的生物序列数据库搜索方法。BLAST通过由加权编辑距离定义的相似性来比较序列，这导致它在计算上是昂贵的。与使用编辑距离相反，向量相似性方法可以使用现代硬件或散列技术大大加速。这种方法需要生物序列的固定长度嵌入。最近人们对使用深度学习模型学习固定长度的蛋白质嵌入产生了兴趣，假设监督或半监督模型的隐藏层可以产生潜在有用的向量嵌入。我们考虑Transformer（BERT）蛋白质语言模型，这些模型在TrEMBL数据集上进行了预训练，并使用上下文镜头在其上学习固定长度的嵌入。训练嵌入以预测Pfam数据库中蛋白质所属的序列家族。我们发现，对于最近邻族分类，预训练提供了显着的性能提升，相应的学习嵌入与BLAST竞争。此外，我们表明，通过静态池化获得的原始Transformer嵌入在最近邻家庭分类上表现不佳，这表明通过上下文镜头以监督的方式学习嵌入可能是一种计算效率高的微调替代方案。
2020-10-15 cs.CL cs.LG q-bio.BM
Contextual Tamil Spelling and Grammar Correction Using Progressively Fine-Tuned Sequence-to-Sequence Transformers
National Institute of Technology, Tiruchirappalli（国家技术研究所蒂鲁吉拉伯利分校）；Tamil University, Thanjavur（泰米尔大学）
针对泰米尔语低资源特性及现有方法无法处理上下文错误的问题，提出端到端序列到序列模型，通过四阶段渐进式微调mT5-small和mBART-50，在合成语料库上取得连音准确率87.5%、主谓一致准确率43.5%的结果。
2026-09-04 cs.CL
Norm of Mean Contextualized Embeddings Determines their Variance
Kyoto University（京都大学）；RIKEN（理化学研究所）
本研究证明上下文嵌入的范数与方差遵循统计公式，发现范数越小方差越大，且随层数加深簇内方差相对增大，与各向异性研究一致。
2024-12-17 cs.CL
BIG MOOD: Relating Transformers to Explicit Commonsense Knowledge
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
我们介绍了一种简单而有效的方法，集成上下文嵌入与常识图嵌入，被称为BERT注入图：匹配其他嵌入。首先，我们介绍了一种预处理方法，以提高查询知识库的速度。然后，我们开发了一种从每个知识库创建知识嵌入的方法。我们介绍了一种方法对齐两个未对齐的标记化方法之间的标记。最后，结合知识库嵌入，给出了一种BERT的上下文化方法。我们还显示BERT倾向于纠正准确性较低的问题类型。我们的模型实现了比BERT更高的准确率，我们在共享任务的官方排行榜上得分第五，在没有任何额外的语言模型预训练的情况下得分最高。
2019-10-17 cs.CL
Efficient Automated Circuit Discovery in Transformers using Contextual Decomposition
UC Berkeley（加州大学伯克利分校）；CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）；UC San Francisco（加州大学旧金山分校）；Center for Computational Biology（计算生物学中心）
提出CD-T方法，通过递归计算模型计算图节点贡献并剪枝，高效构建大型语言模型中细粒度至注意力头的可解释电路，在标准数据集上以秒级运行时间优于基线并完美复制模型行为。
2025-03-02 cs.AI cs.CL cs.LG
HinFlair: pre-trained contextual string embeddings for pos tagging and text classification in the Hindi language
Medi-Caps University（麦迪卡普斯大学）
基于递归神经网络和Transformers架构的语言模型的最新进展已经在广泛的自然语言处理任务上取得了最先进的结果，例如pos标记，命名实体识别和文本分类。然而，这些语言模型中的大多数都是用高资源语言（如英语，德语，西班牙语）进行预训练的。多语言语言模型在其训练语料库中包括印地语、泰卢固语、孟加拉语等印度语言，但它们往往不能代表这些语言的语言特征，因为它们不是研究的主要语言。我们介绍HinFlair，这是一个语言表示模型（上下文字符串嵌入）预先训练的大型单语印地语语料库。在6个文本分类数据集和一个印地语依赖树库上进行了实验，以分析这些上下文化的印地语字符串嵌入的性能。结果表明，HinFlair在文本分类和pos标记等下游任务中的表现优于之前公开提供的最先进的预训练嵌入。此外，HinFlair与FastText嵌入相结合时，性能优于许多基于transformers的语言模型，特别是为印地语训练的。
2021-01-18 cs.CL
Contextual Vision Transformers for Robust Representation Learning
Insitro（Insitro公司）
本文提出 ContextViT，通过群组上下文 token 与上下文推理网络增强 ViT，使其在分布偏移下实现更好的分布外泛化和稳定表示学习。
2023-09-28 cs.AI cs.CL cs.CV
Enriching GNNs with Text Contextual Representations for Detecting Disinformation Campaigns on Social Media
Universidade de São Paulo（圣保罗大学）；Institut Polytechnique de Paris（巴黎综合理工学院）
本文将Transformer文本上下文表示融入GNN进行假新闻检测，Macro F1相对提升最高达33.8%，并公开代码。
2024-11-23 cs.AI cs.CL cs.LG
AWARE, Beyond Sentence Boundaries: A Contextual Transformer Framework for Identifying Cultural Capital in STEM Narratives
本文提出AWARE框架，通过引入领域意识、上下文意识和类别重叠意识提升Transformer模型识别学生叙事中文化资本主题的能力，在Macro-F1上超越基线2.1个百分点。
2025-11-03 cs.AI cs.CL cs.CY
Beyond Architectures: Evaluating the Role of Contextual Embeddings in Detecting Bipolar Disorder on Social Media
Department of Computer Science Missouri State University Springfield, MO, USA（计算机科学系 摩西州立大学 斯普林菲尔德 MO 美国）
本文系统评估了Transformer和LSTM模型结合上下文与静态词嵌入在社交媒体双相情感障碍检测中的表现，发现RoBERTa和基于BERT嵌入的LSTM效果最佳，验证了上下文语言建模对早期筛查的重要价值。
2025-07-17 cs.AI cs.CL cs.LG
Dodo: Dynamic Contextual Compression for Decoder-only LMs
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft（微软公司）
针对Transformer语言模型长上下文效率低的问题，提出动态上下文压缩方法Dodo，通过每层动态隐藏状态降低自注意力成本，支持LLaMA等模型经LoRA适配，在多任务中保留能力的同时大幅削减解码开销，可实现近乎无损的高压缩率编码。
2024-06-13 cs.AI cs.CL cs.LG
DSC-IITISM at FinCausal 2021: Combining POS tagging with Attention-based Contextual Representations for Identifying Causal Relationships in Financial Documents
Indian Institute of Technology (ISM), Dhanbad（印度理工学院(ISM)达巴德分校）
因果关系检测是自然语言处理和语言学研究领域的一个热点问题。它在信息检索、事件预测、问答、金融分析和市场研究中有重要的应用。在这项研究中，我们探索了几种方法来识别和提取因果对的金融文件使用Transformers。为此，我们提出了一种方法，结合POS标记与BIO计划，它可以与现代Transformer模型，以解决这一挑战，确定在给定的文本中的因果关系。在FinCausal 2021研讨会的FinCausal-2021共享任务中，我们的最佳方法在盲测中获得了0.9551的F1分数和0.8777的精确匹配分数。
2021-10-31 cs.AI cs.CL
