DeCoAR 2.0: Deep Contextualized Acoustic Representations with Vector Quantization
Amazon AWS AI（亚马逊云计算服务人工智能部门）
最近在语音表示学习方面的成功使得利用未标记数据来训练语音识别模型成为可能。在语音表示学习中，大量未标记的数据以自监督的方式用于学习特征表示。然后，使用较少量的标记数据来使用新的特征表示训练下游ASR系统。基于我们以前的工作DeCoAR和其他语音表示学习的灵感，我们提出了DeCoAR 2.0，一个带有矢量量化的深度上下文化声学表示。我们介绍了几个修改的DeCoAR：第一，我们使用Transformers在编码模块，而不是LSTM;第二，我们引入了一个矢量量化层之间的编码器和重建模块;第三，我们提出了一个目标，结合重建损失与矢量量化的多样性损失训练语音表示。我们的实验表明，在不同的数据稀疏的情况下，其他语音表示一致的改进。在没有微调的情况下，使用DeCoAR 2.0功能在10小时LibriSpeech标记数据上训练的轻量级ASR模型优于使用滤波器组功能在完整的960小时数据集上训练的模型。
2020-12-11 cs.CL cs.LG eess.AS
Latent Topology Induction for Understanding Contextualized Representations
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
在这项工作中，我们研究了上下文嵌入的表示空间，并深入了解大语言模型的隐藏拓扑。我们发现，存在一个网络的潜在状态，总结语境化表示的语言特性。我们没有寻求与现有定义良好的注释的对齐，而是使用结构化的变分自编码器以完全无监督的方式推断这个潜在网络。诱导状态不仅作为表征流形拓扑结构（邻居和连通性）的锚点，而且还揭示了句子编码的内在机制。利用诱导网络，我们：（1）.将表示空间分解为一系列潜在状态，这些潜在状态利用词汇、形态、句法和语义信息对细粒度的词义进行编码;（2）.显示状态-状态转换编码丰富的短语结构，并作为潜在空间的骨干。把这两个放在一起，我们表明，句子表示为一个遍历的潜在网络中的状态-状态转换链编码的语法模板和状态字排放填写的内容。我们通过大量的实验和可视化来证明这些见解。
2022-06-03 cs.AI cs.CL cs.LG
IIIDYT at IEST 2018: Implicit Emotion Classification With Deep Contextualized Word Representations
Graduate School of Engineering（工学研究生院）；The University of Tokyo（东京大学）
在本文中，我们描述了我们为WASSA 2018内隐情感共享任务（IEST）设计的系统，该系统在26支球队中获得了2个$^{\text{nd}}$名额，测试宏F1得分为$0.710$。该系统由用于编码单词的单个预训练ELMo层、用于用上下文丰富单词表示的双向长短记忆网络BiLSTM、用于从所述单词向量创建句子表示的最大池化操作以及用于将句子表示投影到标签空间中的密集层组成。我们的正式提交是通过将这些模型中的6个模型集成在一起获得的，这些模型使用不同的随机种子进行初始化。复制这篇论文的代码可以在https://github.com/jabalazs/implicit_emotion上找到。
2018-09-01 cs.CL
Question Answering Infused Pre-training of General-Purpose Contextualized Representations
University of Southern California（南加州大学）；Facebook AI Research（脸书人工智能研究院）
我们提出了一个基于问答（QA）的预训练目标，用于学习通用的上下文表示，其动机是一个短语在段落中的表示应该编码该短语可以在上下文中回答的所有问题。为此，我们训练了一个独立编码段落和问题的双编码器QA模型，以匹配8000万个合成QA对上更准确的交叉编码器模型的预测。通过对QA相关信息进行编码，双向编码器的令牌级表示对于非QA下游任务是有用的，而无需广泛的（或在某些情况下，任何）微调。我们在四个数据集上的zero-shot和few-shot释义检测、两个数据集上的Few-Shot命名实体识别和三个数据集上的zero-shot情感分析上都显示出了比Roberta大型和以前最先进的结果有很大的改进。
2022-03-16 cs.CL
Contextualized Representations Using Textual Encyclopedic Knowledge
Google Research（谷歌研究院）；University of Washington（华盛顿大学）
我们提出了一种方法来表示输入文本的上下文，他们与动态检索的文本百科全书背景知识从多个文件。我们将我们的方法应用于阅读理解任务，通过编码问题和段落以及关于他们提到的实体的背景句子。我们表明，从文本中整合背景知识对于专注于事实推理的任务是有效的，并允许直接重用功能强大的预训练BERT风格的编码器。此外，知识集成可以进一步提高与适当的预训练，通过一个自我监督的掩蔽语言模型目标在背景增强的输入文本中的单词。在TriviaQA上，我们的方法比不动态整合背景知识的RoBERTA模型获得了1.6到3.1 F1的改进。在MRQA（一个由各种QA数据集组成的大型集合）上，我们看到了域内的一致收益以及BioASQ（2.1至4.2 F1），TextbookQA（1.6至2.0 F1）和DuoRC（1.1至2.0 F1）的域外大幅改善。
2021-07-13 cs.CL
How much do contextualized representations encode long-range context?
NVIDIA（英伟达）
本文通过扰动实验和几何度量分析语言模型表示中的长程上下文编码，发现相近困惑度下模型表现差异源于长程上下文化程度不同，并比较了不同架构、规模与训练配置的影响。
2024-10-20 cs.CL
PromptASR for contextualized ASR with controllable style
Xiaomi Corp.（小米公司）
本文提出 PromptASR 框架，通过文本编码器和跨模态注意力注入内容、偏置及风格提示，实现语境化、风格可控的 E2E ASR，并显著降低词错误率。
2024-01-24 cs.CL cs.SD eess.AS
Contextualized Keyword Representations for Multi-modal Retinal Image Captioning
University of Amsterdam（阿姆斯特丹大学）；Georgia Institute of Technology（佐治亚理工学院）
医学图像描述自动生成医学描述以描述给定医学图像的内容。传统的医学图像描述模型仅基于单个医学图像输入来创建医学描述。因此，基于传统方法难以生成抽象的医学描述或概念。这种方法限制了医学图像描述的有效性。多模态医学图像描述是用于解决该问题的方法之一。在多模态医学图像描述中，文本输入，例如，专家定义的关键字被认为是医学描述生成的主要驱动力之一。因此，有效地编码文本输入和医学图像对于多模态医学图像描述的任务都是重要的。在这项工作中，提出了一种新的端到端深度多模态医学图像描述模型。语境化的关键字表示，文本特征强化，和掩蔽的自我注意力被用来开发所提出的方法。在现有多模态医学图像描述数据集上的实验结果表明，与现有方法相比，该模型的BLEU-avg和CIDEr分别提高了+53.2%和18.6%。
2021-04-26 cs.AI cs.CL cs.CV
Assessing Social and Intersectional Biases in Contextualized Word Representations
Yale University（耶鲁大学）
机器学习中的社会偏见已经引起了人们的极大关注，工作范围从在众多应用程序中展示偏见，为不同的上下文策划公平的定义，到开发算法来减轻偏见。在自然语言处理中，性别偏见已经被证明存在于上下文无关的词嵌入中。最近，上下文单词表示在几个下游NLP任务中的表现优于词嵌入。这些单词表示取决于它们在句子中的上下文，也可以用于编码整个句子。在本文中，我们分析了在何种程度上的最先进的模型上下文单词表示，如BERT和GPT-2，编码偏见与性别，种族和交叉身份。为此，我们建议在上下文单词水平上评估偏见。这种新颖的方法捕捉上下文无关的词嵌入中的偏差缺失的上下文效应，但避免了混淆效应，低估了偏见在句子编码水平。我们证明了在语料库水平上的偏见的证据，发现不同的证据嵌入关联测试中的偏见，特别是显示，种族偏见是强烈编码的上下文单词模型，并观察到交叉少数民族的偏见影响加剧超越其组成少数民族的身份。此外，在上下文单词水平上评估偏见效应可以捕获在句子水平上无法捕获的偏见，这证实了我们新方法的必要性。
2019-11-04 cs.AI cs.CL cs.CY
RetroMAE-2: Duplex Masked Auto-Encoder For Pre-Training Retrieval-Oriented Language Models
Beijing University of Posts and Telecommunications（北京邮电大学）；Huawei Technologies Ltd. Co.（华为技术有限公司）
为了更好地支持诸如web搜索和开放域问答的信息检索任务，越来越多的努力被用于开发面向检索的语言模型，例如，Retromae和许多其他人。大多数现有的工作集中在提高[CLS]令牌的上下文嵌入的语义表示能力。然而，最近的研究表明，除了[CLS]之外的普通标记可能会提供额外的信息，这有助于产生更好的表征效果。因此，有必要扩展当前的方法，其中所有上下文嵌入都可以联合预训练用于检索任务。在这项工作中，我们提出了一种新的预训练方法，称为双工掩蔽自动编码器，又名。Dupmae。它旨在提高语义表示的质量，其中可以利用预训练模型的所有上下文嵌入。它利用了两个互补的自动编码任务：一个是在[CLS]嵌入的基础上重建输入句子;另一个是基于普通标记的嵌入来预测输入句子的词袋特征。这两个任务共同进行训练一个统一的编码器，其中整个上下文嵌入聚合在一个紧凑的方式，以产生最终的语义表示。DupMAE很简单，但在经验上很有竞争力：它大大提高了预训练模型的表示能力和可移植性，在流行的基准测试中可以实现卓越的检索性能，如MS MARCO和BEIR。
2023-05-04 cs.CL
Logical Embeddings for Argument Analysis
Kellogg School of Management（凯洛格商学院）；Northwestern University（西北大学）；MIT（麻省理工学院）
本文提出用于论证分析的新框架，用封装论证逻辑语义的逻辑嵌入替代传统上下文词嵌入，基于RKHS理论定义，在分类任务中性能优于多数标准嵌入方法。
2026-08-18 cs.AI cs.CL
An exploration of the encoding of grammatical gender in word embeddings
Uppsala University（乌普萨拉大学）
词的向量表示，即词嵌入，开辟了语言学研究的新途径。这些表示可以捕获关于单词的不同类型的信息。名词语法性是根据名词的形式和语义特征对名词进行的一种典型分类。基于词嵌入的语法性研究有助于深入探讨语法性是如何决定的。在这项研究中，我们比较了不同的词嵌入集，根据神经分类器的准确性，确定语法性别的名词。研究发现，在瑞典语、丹麦语和荷兰语的嵌入中，语法性别的编码方式存在重叠。我们的实验结果的上下文嵌入指出，添加更多的上下文信息的嵌入是有害的分类器的性能。我们还观察到，从嵌入的训练语料库中删除诸如冠词之类的形态句法特征会显着降低分类性能，这表明很大一部分信息被编码在名词和冠词之间的关系中。
2020-11-03 cs.CL
Heterformer: Transformer-based Deep Node Representation Learning on Heterogeneous Text-Rich Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对异构富文本网络中节点文本缺失和多类型结构难以联合建模的问题，提出 Heterformer，在统一 Transformer 中融合文本语义与异构结构信息，并在三项任务和三个大规模数据集上持续显著超越基线。
2023-06-04 cs.CL cs.LG
Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；International Center of Future Science, Jilin University（吉林大学未来科学国际中心）
人工组织的知识图谱为各种自然语言处理任务提供了关键的支持信息，但这些图谱通常是不完整的，促使自动完成它们。流行图嵌入方法，例如，transE，通过将图元素表示为密集嵌入并捕获它们与空间距离的三级关系来学习结构化知识。然而，它们很难推广到训练中从未访问过的元素，并且本质上容易受到图不完整性的影响。相反，文本编码方法，例如，KG-BERT，诉诸图三元组的文本和三层上下文表示。它们具有足够的可推广性，并且对不完整性具有鲁棒性，特别是当与预先训练的编码器相结合时。但有两个主要的缺点限制了性能：（1）由于推理中所有可能的三元组的评分成本高，开销大;（2）文本编码器中缺乏结构化知识。在本文中，我们遵循文本编码范式，旨在通过使用图嵌入技术来增强它来减轻其缺点-这两种范式的互补混合。具体来说，我们将每个三元组划分为两个不对称的部分，如基于映射的图嵌入方法，并通过暹罗风格的文本编码器将这两个部分编码为上下文表示。建立在表示，我们的模型采用确定性分类器和空间测量表示和结构学习分别。此外，我们开发了一个自适应集成方案，以进一步提高性能，将三重评分从现有的图嵌入模型。在实验中，我们在三个基准测试和一个链接预测的zero-shot数据集上实现了最先进的性能，与文本编码方法相比，推理成本降低了1-2个数量级。
2021-02-24 cs.CL
Modeling Global and Local Node Contexts for Text Generation from Knowledge Graphs
Westlake University（西湖大学）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用实验室）；Technische Universität Darmstadt（达姆施塔特工业大学）
最近的图形到文本模型使用全局或局部聚合来学习节点表示，从基于图形的数据生成文本。全局节点编码允许两个远程节点之间的显式通信，从而忽略了所有节点直接连接的图形拓扑。相比之下，局部节点编码考虑了捕获图结构的相邻节点之间的关系，但它可能无法捕获远程关系。在这项工作中，我们收集了两种编码策略，提出了新的神经模型，它结合全局和局部节点上下文对输入图进行编码，以便学习更好的上下文化节点嵌入。在我们的实验中，我们证明了我们的方法在两个图形到文本数据集上实现了显着的改进，在AGENDA数据集上实现了18.01的BLEU得分，在WebNLG数据集上实现了63.69的可见类别，分别比最先进的模型高出3.7和3.1分。
2020-06-22 cs.CL
RetroMAE v2: Duplex Masked Auto-Encoder For Pre-Training Retrieval-Oriented Language Models
Beijing University of Posts and Telecommunications（北京邮电大学）；Huawei Technologies Ltd. Co.（华为技术有限公司）
为了更好地支持检索应用，如网络搜索和问答，越来越多的努力，开发面向检索的语言模型。现有的大多数工作都集中在提高[CLS]令牌的上下文嵌入的语义表示能力。然而，最近的研究表明，除了[CLS]之外的普通标记可能会提供额外的信息，这有助于产生更好的表征效果。因此，有必要扩展当前的方法，其中所有上下文嵌入都可以联合预训练用于检索任务。基于这种动机，我们提出了一种新的预训练方法：双工掩码自动编码器，a.k.a. DupMAE，其目标是提高[CLS]和普通令牌的上下文嵌入的语义表示能力。它引入了两个解码任务：一个是基于[CLS]嵌入重建原始输入句子，另一个是基于整个普通标记的嵌入最小化输入句子的词袋损失（BoW）。将两种译码损失相加，训练出统一的编码模型。在降维和聚合之后，来自[CLS]和普通令牌的嵌入被连接为输入的一个统一的语义表示。DupMAE很简单，但在经验上很有竞争力：解码成本很小，它大大有助于模型的表示能力和可转移性，在MS MARCO和BEIR基准上实现了显着的改进。
2022-11-16 cs.CL cs.IR
Contrastive Visual Semantic Pretraining Magnifies the Semantics of Natural Language Representations
University of Washington（华盛顿大学）
我们研究对比视觉语义预训练的效果，通过比较GPT-2和CLIP（一个zero-shot多模态图像分类器，它适应GPT-2架构来编码图像字幕）形成的上下文化英语语言表示的几何和语义属性。我们发现，对比视觉语义预训练显着减轻了GPT-2的上下文词嵌入中发现的各向异性，使得CLIP词嵌入的层内自相似性（平均成对余弦相似性）在所有层中均低于0.25，而GPT-2的顶层大于0.95。CLIP词嵌入在词级语义内在评估任务上优于GPT-2，并在RG 65评估中达到了新的基于语料库的最新水平，为0.88。CLIP还形成了句子的细粒度语义表示，并在SemEval-2017语义文本相似性基准测试中获得了Spearman的rho = .73，没有进行微调，而GPT-2的任何层都不大于rho = .45。最后，CLIP句子嵌入的层内自相似性随着层索引的增加而降低，在顶层达到0.25，而使用EOS令牌形成的GPT-2句子嵌入的自相似性逐层增加，并且从未低于0.97。我们的研究结果表明，高各向异性是不是一个不可避免的后果的语境化，视觉语义预训练是有益的，不仅为有序的视觉表示，但也为编码有用的语义表示的语言，无论是在单词水平和句子水平。
2022-03-14 cs.AI cs.CL cs.CY
From Word Vectors to Multimodal Embeddings: Techniques, Applications, and Future Directions For Large Language Models
Georgia Institute of Technology（佐治亚理工学院）；Simon Fraser University（西蒙弗雷泽大学）；Kyoto University（京都大学）；National Taiwan Normal University（台湾师范大学）；Purdue University（普渡大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Emory University（埃默里大学）；Cornell University（康奈尔大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；The Hong Kong University of Science（香港科学大学）；University of Liverpool（利物浦大学）；University of Warwick（沃里克大学）
本文综述了从词向量到多模态嵌入的发展，探讨了大型语言模型的技术、应用及未来方向。
2025-12-02 cs.CL
Mixed Attention Transformer for Leveraging Word-Level Knowledge to Neural Cross-Lingual Information Retrieval
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
预先训练的上下文表示为许多下游任务提供了巨大的成功，包括文档排序。这种预训练表示的多语言版本提供了使用同一模型联合学习多种语言的可能性。虽然预计通过这种联合训练可以获得很大的收益，但在跨语言信息检索（CLIR）的情况下，多语言环境下的模型并没有达到与单语言环境下相同的性能水平。我们假设性能下降是由于查询和文档之间的翻译差距。在单语检索任务中，由于词汇输入相同，模型更容易识别出出现在文档中的查询词。然而，在将不同语言的单词投影到同一超空间的多语言预训练模型中，模型倾向于将查询词转换为相关词，即，出现在相似上下文中的术语，除了或有时不是目标语言中的同义词。这个属性给模型连接查询和文档中同时出现的术语带来了困难。为了解决这个问题，我们提出了一种新的混合注意力Transformer（MAT），它结合了外部的字级知识，如字典或翻译表。我们设计了一个三明治式的架构，将MAT嵌入到最近基于Transformer的深度神经模型中。通过将翻译知识编码成注意力矩阵，具有MAT的模型能够关注输入序列中的互译词。实验结果表明，外部知识的有效性和MAT嵌入的神经重排序模型的CLIR任务的显着改善。
2021-09-14 cs.CL cs.IR
