Mined Semantic Analysis: A New Concept Space Model for Semantic Representation of Textual Data
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
挖掘语义分析（MSA）是一种新的概念空间模型，它采用无监督学习来生成文本的语义表示。MSA将文本结构（术语、短语、文档）表示为概念袋（BoC），其中概念来自概念丰富的百科全书语料库。传统的概念空间模型只利用目标语料的内容来构建概念空间。或者，MSA通过挖掘概念之间的关联来揭示概念之间的隐含关系（例如，挖掘维基百科的“See also”链接图）。我们评估了MSA在衡量单词和句子语义相关性的基准数据集上的性能。实证结果表明，竞争力的性能MSA相比，现有的国家的最先进的方法。此外，我们介绍了第一个分析研究，以检查不同的语义相关性方法报告的结果的统计意义。我们的研究表明，最佳性能方法的结果的细微差别在统计学上可能是不显著的。这项研究的立场MSA作为一个国家的最先进的方法来衡量语义相关性，除了固有的可解释性和简单的生成的语义表示。
2017-12-31 cs.CL
InvBERT: Reconstructing Text from Contextualized Word Embeddings by inverting the BERT pipeline
Trier University（特里尔大学）
本文提出InvBERT方法，通过逆转BERT流程从上下文化词嵌入中重构原始文本，揭示了发布此类嵌入存在版权泄露风险。
2022-12-22 cs.CL
ECOLA: Enhanced Temporal Knowledge Embeddings with Contextualized Language Representations
University of Oxford（牛津大学）；LMU Munich（慕尼黑大学）；Technical University of Munich（慕尼黑工业大学）；Technical University of Darmstadt（达姆施塔特工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对现有文本增强方法无法适配时序知识图谱的问题，提出融合上下文化语言表示的ECOLA方法，通过时间感知的文本注入增强时序知识嵌入，在三个新数据集的链接预测任务上最高实现287%的Hits@1相对提升。
2023-05-04 cs.CL cs.LG
Contextualized Keyword Representations for Multi-modal Retinal Image Captioning
University of Amsterdam（阿姆斯特丹大学）；Georgia Institute of Technology（佐治亚理工学院）
医学图像描述自动生成医学描述以描述给定医学图像的内容。传统的医学图像描述模型仅基于单个医学图像输入来创建医学描述。因此，基于传统方法难以生成抽象的医学描述或概念。这种方法限制了医学图像描述的有效性。多模态医学图像描述是用于解决该问题的方法之一。在多模态医学图像描述中，文本输入，例如，专家定义的关键字被认为是医学描述生成的主要驱动力之一。因此，有效地编码文本输入和医学图像对于多模态医学图像描述的任务都是重要的。在这项工作中，提出了一种新的端到端深度多模态医学图像描述模型。语境化的关键字表示，文本特征强化，和掩蔽的自我注意力被用来开发所提出的方法。在现有多模态医学图像描述数据集上的实验结果表明，与现有方法相比，该模型的BLEU-avg和CIDEr分别提高了+53.2%和18.6%。
2021-04-26 cs.AI cs.CL cs.CV
VLC-BERT: Visual Question Answering with Contextualized Commonsense Knowledge
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（向量人工智能研究所）
人们对解决视觉问答（VQA）任务越来越感兴趣，这些任务要求模型在图像中存在的内容之外进行推理。在这项工作中，我们专注于需要常识推理的问题。与以前的方法，注入静态知识库的知识，我们调查的背景下的知识，使用常识Transformer（COMET），现有的知识模型训练的人类策划的知识库。我们提出了一种方法来生成，选择和编码外部常识知识以及视觉和文本线索在一个新的预训练的视觉语言常识Transformer模型，VLC-BERT。通过我们对知识密集型OK-VQA和A-OKVQA数据集的评估，我们表明VLC-BERT能够优于利用静态知识库的现有模型。此外，通过详细的分析，我们解释了哪些问题受益，哪些不受益，从上下文常识知识彗星。
2022-10-24 cs.CL cs.CV
An Empirical Investigation of Contextualized Number Prediction
Carnegie Mellon University（卡内基梅隆大学）；UC San Diego（加州大学圣地亚哥分校）
我们进行了一个大规模的实证研究，在运行的文本中的语境化的数字预测。具体来说，我们考虑两个任务：（1）掩码数字预测预测一个句子中的缺失数值，（2）数值异常检测检测一个错误的数值在一个句子中。我们实验了上下文编码器和输出分布在实数线上的新组合。具体来说，我们引入了一套输出分布参数化，其中包含潜在变量以增加表现力并更好地拟合运行文本中数值的自然分布，并将其与递归和基于变换的编码器架构相结合。我们在金融和科学领域的两个数值数据集上评估这些模型。我们的研究结果表明，包含离散潜变量并允许多种模式的输出分布在所有数据集上的表现都优于简单的基于流的输出分布，从而产生更准确的数值预测和异常检测。我们还表明，我们的模型有效地利用了文本上下文，并受益于通用的无监督预训练。
2020-10-20 cs.CL cs.LG
Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；International Center of Future Science, Jilin University（吉林大学未来科学国际中心）
人工组织的知识图谱为各种自然语言处理任务提供了关键的支持信息，但这些图谱通常是不完整的，促使自动完成它们。流行图嵌入方法，例如，transE，通过将图元素表示为密集嵌入并捕获它们与空间距离的三级关系来学习结构化知识。然而，它们很难推广到训练中从未访问过的元素，并且本质上容易受到图不完整性的影响。相反，文本编码方法，例如，KG-BERT，诉诸图三元组的文本和三层上下文表示。它们具有足够的可推广性，并且对不完整性具有鲁棒性，特别是当与预先训练的编码器相结合时。但有两个主要的缺点限制了性能：（1）由于推理中所有可能的三元组的评分成本高，开销大;（2）文本编码器中缺乏结构化知识。在本文中，我们遵循文本编码范式，旨在通过使用图嵌入技术来增强它来减轻其缺点-这两种范式的互补混合。具体来说，我们将每个三元组划分为两个不对称的部分，如基于映射的图嵌入方法，并通过暹罗风格的文本编码器将这两个部分编码为上下文表示。建立在表示，我们的模型采用确定性分类器和空间测量表示和结构学习分别。此外，我们开发了一个自适应集成方案，以进一步提高性能，将三重评分从现有的图嵌入模型。在实验中，我们在三个基准测试和一个链接预测的zero-shot数据集上实现了最先进的性能，与文本编码方法相比，推理成本降低了1-2个数量级。
2021-02-24 cs.CL
Edgeformers: Graph-Empowered Transformers for Representation Learning on Textual-Edge Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
许多真实世界社交/信息网络中的边与富文本信息（例如，用户-用户通信或用户-产品评论）。然而，主流网络表示学习模型专注于传播和聚合节点属性，缺乏利用边上的文本语义的具体设计。虽然存在边缘感知的图神经网络，但它们直接将边缘属性初始化为特征向量，不能完全捕获边缘的上下文化文本语义。在本文中，我们提出了Edgeforers，一个框架，建立在图形增强的Transformers，执行边和节点表示学习的建模文本的边缘在上下文的方式。具体来说，在边缘表示学习中，我们在编码边缘文本时将网络信息注入每个Transformer层;在节点表示学习中，我们通过每个节点的自我图中的注意力机制聚合边缘表示。在来自三个不同领域的五个公共数据集上，Edgeformers在边缘分类和链接预测方面始终优于最先进的基线，分别展示了学习边缘和节点表示的功效。
2023-02-21 cs.CL cs.LG cs.SI
COINS: Dynamically Generating COntextualized Inference Rules for Narrative Story Completion
Research Training Group AIPHES（AIPHES研究培训小组）；Heidelberg University（海德堡大学）
尽管最近大型预训练语言模型在解决推理任务方面取得了成功，但它们的推理能力仍然不透明。我们认为，这样的模型可以通过显式地生成临时推理规则，并使用它们来指导特定于任务的文本输出的生成，使其更具可解释性。在本文中，我们提出了COINS，一个递归推理框架，i）迭代地读取上下文语句，ii）动态生成上下文推理规则，对它们进行编码，iii）使用它们来指导特定于任务的输出生成。我们将COINS应用于叙事故事完成任务，该任务要求模型完成一个缺少句子的故事，以产生一个具有合理逻辑连接，因果关系和时间依赖性的连贯故事。通过在循环模型中模块化推理和句子生成步骤，我们的目标是使推理步骤及其对下一个句子生成的影响透明。我们的自动和手动评估表明，该模型生成的故事句子比SOTA基线更好，特别是在连贯性方面。我们进一步证明了在生成常识推理规则方面比强预训练LM的性能有所提高。COINS的递归性质具有控制生成更长序列的潜力。
2021-06-04 cs.AI cs.CL
SemAttack: Natural Textual Attacks via Different Semantic Spaces
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Alibaba Group（阿里巴巴集团）；Microsoft Research（微软研究院）
最近的研究表明，预先训练的语言模型（LM）容易受到文本对抗攻击。然而，现有的攻击方法要么遭受低攻击成功率或未能有效地搜索在指数大扰动空间。我们提出了一个高效和有效的框架SemAttack通过构建不同的语义扰动函数来生成自然的对抗文本。特别地，SemAttack优化了约束在通用语义空间上的所生成的扰动，所述通用语义空间包括错别字空间、知识空间（例如，WordNet）、上下文化语义空间（例如，BERT聚类的嵌入空间）或这些空间的组合。因此，生成的对抗性文本在语义上更接近原始输入。大量的实验表明，最先进的（SOTA）大规模LM（例如，DeBERTa-v2）和防御策略（例如，FreeLB）仍然容易受到SemAttack的攻击。我们进一步证明了SemAttack是通用的，并且能够为不同的语言生成自然的对抗文本（例如，英语和汉语），攻击成功率高。人类的评估也证实了我们生成的对抗性文本是自然的，几乎不会影响人类的表现。我们的代码可在https://github.com/AI-secure/SemAttack上公开获取。
2022-06-11 cs.CL
Similarity-weighted Construction of Contextualized Commonsense Knowledge Graphs for Knowledge-intense Argumentation Tasks
Heidelberg University（海德堡大学）；Bielefeld University（比勒费尔德大学）
提出一种无监督方法，通过计算知识图谱三元组与论证的语义相似度作为权重，构建上下文常识知识图谱，以支持知识密集型论证任务，并在论证质量评分中超越强基线。
2023-05-15 cs.CL cs.DB
Contextualized Semantic Distance between Highly Overlapped Texts
University of California San Diego（加州大学圣地亚哥分校）；Wuhan University（武汉大学）；Shanghai Jiao Tong University（上海交通大学）
针对高重叠文本语义距离评估易受重叠成分干扰的问题，提出基于掩码语言建模的邻接分布散度指标，在语义相似度、文本压缩等任务上表现优异，具备高可扩展性与研究潜力。
2023-06-13 cs.CL
Dense Paraphrasing for Textual Enrichment
Brandeis University（布兰迪斯大学）
从文本中理解推理和回答问题需要的不仅仅是恢复与查询词相关联的表面参数、参数或字符串。作为人类，我们通过填补缺失的信息和推理事件的后果，将句子解释为叙述或话语的语境化成分。在本文中，我们定义的过程中重写的文本表达（词素或短语），使其减少歧义，同时也明确的底层语义，是不（不一定）表示在经济的句子结构密集释义（DP）。我们构建了第一个完整的DP数据集，提供了注释任务的范围和设计，并展示了DP过程如何丰富源文本以提高推理和QA任务性能的结果。数据和源代码将公开。
2022-10-20 cs.AI cs.CL
ReactXT: Understanding Molecular "Reaction-ship" via Reaction-Contextualized Molecule-Text Pretraining
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）；Hokkaido University（北海道大学）
针对反应-文本建模的缺失，提出ReactXT预训练方法和OpenExp数据集，通过三种上下文逐步预训练语言模型，提升实验步骤预测和分子描述生成性能。
2024-05-23 cs.CL cs.MM q-bio.QM
Contextualized Knowledge-aware Attentive Neural Network: Enhancing Answer Selection with Knowledge
The Chinese University of Hong Kong（香港中文大学）；Alibaba Group（阿里巴巴集团）；SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Sun Yat-Sen University（中山大学）
在诸如对话系统和问答（QA）的许多自然语言处理应用中涉及的答案选择在实践中是重要但具有挑战性的任务，因为常规方法通常遭受忽略多样化的真实世界背景知识的问题。在本文中，我们广泛的调查方法，以提高答案选择模型与外部知识从知识图谱（KG）。首先，我们提出了一个上下文知识交互学习框架，知识感知的神经网络（KNN），它通过考虑与KG和文本信息的外部知识的紧密交互来学习QA句子表示。然后，我们发展了两种知识感知的注意力机制，总结了基于上下文和基于知识的问题和答案之间的交互。为了处理KG信息的多样性和复杂性，我们进一步提出了一个上下文知识感知的注意神经网络（CKANN），它通过一个定制的图卷积网络（GCN），提高了知识表示学习与结构信息，并通过多视图知识感知的注意力机制，全面学习基于上下文和基于知识的句子表示。我们在四个广泛使用的基准QA数据集上评估了我们的方法，包括WikiQA，TREC QA，InsuranceQA和Yahoo QA。结果验证了从KG的外部知识的好处，并显示了我们的方法的鲁棒性的优越性和广泛的适用性。
2021-04-12 cs.CL cs.IR
A Contextualized BERT model for Knowledge Graph Completion
School of Digital Science（数字科学学院）；Universiti Brunei Darussalam（文莱达鲁萨兰大学）
本研究提出一种上下文BERT模型用于知识图谱补全，利用相邻实体和关系的上下文信息预测尾实体，无需实体描述和负采样，在FB15k-237和WN18RR上分别将Hit@1提升5.3%和4.88%，优于现有方法。
2024-12-15 cs.CL cs.LG
Still a Pain in the Neck: Evaluating Text Representations on Lexical Composition
Bar-Ilan University（巴伊兰大学）
构建有意义的短语表示是具有挑战性的，因为短语含义不仅仅是其组成含义的总和。词汇合成可以改变组成词的意义，引入隐含信息。我们测试了广泛的文本表示，以解决这些问题的能力。我们发现，正如预期的那样，语境化的词表征比静态的词嵌入表现更好，更多的是在检测意义转移比在恢复隐含信息，其中他们的表现仍然是远离人类。我们的评估套件，包括5个任务相关的词汇组成的影响，可以为未来的研究，旨在改善这种表征。
2019-05-19 cs.CL
Contrastive Analysis of Linguistic Representations in Large Language Model Outputs through Structured Synthetic Data Generation and Abstracted N-gram Associations
Universidad Nacional de Córdoba（国家科罗纳大学）；CONICET
本文提出一种通过对比合成文本生成和统计分析发现不同社会群体关联语言和论述模式的方法，重点在于识别细微的偏见表达而非预定义词汇列表诊断偏见，利用上下文数据进行分析。
2026-04-19 cs.CL
Two-stage Textual Knowledge Distillation for End-to-End Spoken Language Understanding
Clova AI
端到端方法通过减轻传统管道系统的缺点，为更准确和有效的口语语言理解（SLU）系统开辟了新的途径。以前的作品利用文本信息的SLU模型通过预训练与自动语音识别或微调与知识蒸馏。为了更有效地利用文本信息，本文提出了一种两阶段的文本知识蒸馏方法，该方法在预训练和微调期间依次匹配两种模态的话语级表示和预测逻辑。我们使用vq-wav 2 vec BERT作为语音编码器，因为它捕获了一般和丰富的功能。此外，我们提高了性能，特别是在低资源的情况下，与数据增强方法随机掩蔽离散音频令牌和上下文隐藏表示的跨度。因此，我们推动了Fluent Speech Commands的最新技术，在完整数据集设置中实现了99.7%的测试准确率，在10%子集设置中实现了99.5%的测试准确率。在整个消融研究中，我们经验性地验证了所有使用的方法对最终表现至关重要，为口语语言理解提供了最佳实践。代码可在https://github.com/clovaai/textual-kd-slu上获得。
2021-06-10 cs.CL cs.LG cs.SD
SLM: Learning a Discourse Language Representation with Sentence Unshuffling
Samsung Research（三星研究院）；Stanford University（斯坦福大学）
我们引入了句子级语言建模，这是一种新的预训练目标，用于以完全自我监督的方式学习话语语言表示。NLP中最近的预训练方法专注于学习底层或顶层语言表示：一个极端是从语言模型目标导出的上下文化单词表示，另一个极端是通过对两个给定文本片段的顺序分类学习的整个序列表示。然而，这些模型并不直接被鼓励来捕获存在于自然语言中的中等大小结构的表示，例如句子及其之间的关系。为此，我们提出了一种新的方法来鼓励学习的上下文的上下文层次表示的输入句子的序列和训练的层次Transformer模型，以重建原始的顺序。通过对GLUE、SQuAD和DiscoEval等下游任务的实验，我们证明了我们模型的这一特性大大提高了原始BERT的性能。
2020-10-30 cs.CL cs.LG
SAFT: Structure-aware Transformers for Textual Interaction Classification
Hong Kong Baptist University（香港浸会大学）；National University of Singapore（新加坡国立大学）
SAFT通过融合预训练语言模型与线图注意力等图模块，并引入结构嵌入编码TIN拓扑信息，有效提升文本交互分类的准确率。
2025-04-07 cs.AI cs.CL
Analysis of Twitter Users' Lifestyle Choices using Joint Embedding Model
Purdue University（普渡大学）
本文提出一种结合社交和文本信息的联合嵌入模型，用于学习情境化用户表示，以分析Twitter用户在瑜伽和生酮饮食等活动中的生活方式选择及动机，实验证明该模型在两个领域均提升了性能。
2021-05-04 cs.AI cs.CL cs.CY
Multi-Hop Paragraph Retrieval for Open-Domain Question Answering
Technion – Israel Institute of Technology（以色列理工学院）
本文研究了多跳开放域问答系统。这项任务特别具有挑战性，因为它需要同时执行文本推理和高效搜索。我们提出了一种方法来检索多个支持段落，嵌套在一个大的知识库，其中包含必要的证据来回答一个给定的问题。我们的方法通过形成问题和段落的联合向量表示来迭代检索支持段落。通过考虑知识源中的段落的上下文化的段落级表示来执行检索。我们的方法在两个著名的数据集SQuAD-Open和HotpotQA上实现了最先进的性能，这两个数据集分别作为我们的单跳和多跳开放域QA基准。
2019-06-15 cs.CL cs.IR
Personality Trait Detection Using Bagged SVM over BERT Word Embedding Ensembles
Iran University of Science and Technology（伊朗科学技术大学）；University College London（伦敦大学学院）；Nanyang Technological University（南洋理工大学）
近年来，人格特征的自动预测受到越来越多的关注，并已成为情感计算领域的一个热门话题。在这项工作中，我们提出了一种新的基于深度学习的方法，用于从文本中自动检测个性。我们利用自然语言理解的最新进展，即BERT语言模型，从文本数据中提取上下文化的词嵌入，用于自动化作者个性检测。我们的主要目标是开发一个计算效率高，高性能的人格预测模型，可以很容易地被大量的人使用，而无需访问庞大的计算资源。考虑到这一思想，我们进行了大量的实验，这使我们开发了一种新的模型，该模型将上下文嵌入和心理语言学特征一起输入到Bagged-SVM分类器进行人格特质预测。我们的模型比以前的最先进的1.04%，在同一时间是显着更有效的训练的计算。我们在著名的性格检测黄金标准Essays数据集上报告了我们的结果。
2020-10-03 cs.AI cs.CL cs.CY
Language with Vision: a Study on Grounded Word and Sentence Embeddings
University of Tübingen（蒂宾根大学）
本文提出一种简单有效的视觉接地模型，在保留文本分布统计的同时对齐视觉信息，证明视觉接地对具体词和抽象词均有益，并支持抽象概念的间接理论。
2023-10-31 cs.CL
Heterformer: Transformer-based Deep Node Representation Learning on Heterogeneous Text-Rich Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对异构富文本网络中节点文本缺失和多类型结构难以联合建模的问题，提出 Heterformer，在统一 Transformer 中融合文本语义与异构结构信息，并在三项任务和三个大规模数据集上持续显著超越基线。
2023-06-04 cs.CL cs.LG
Clinical Document Corpora -- Real Ones, Translated and Synthetic Substitutes, and Assorted Domain Proxies: A Survey of Diversity in Corpus Design, with Focus on German Text Data
Institute for Medical Informatics, Statistics and Epidemiology (IMISE), University of Leipzig（莱比锡大学医学信息学、统计学与流行病学研究所）
本文综述德语临床文档语料库及翻译、合成和领域代理替代方案，系统分类71个独特语料库，并指出公开替代品虽缓解数据瓶颈，却在文体、措辞和医学专业性上存在效度差异。
2025-02-18 cs.CL
Deja vu: Contrastive Historical Modeling with Prefix-tuning for Temporal Knowledge Graph Reasoning
School of Computer Science, Wuhan University（武汉大学计算机学院）；Xiaomi Inc.（小米公司）
本文提出ChapTER框架，通过伪孪生编码器与虚拟时间前缀微调，在冻结预训练语言模型上实现文本与时序信息的对比平衡，以极少可调参数在直推式和少样本归纳式时序知识图谱推理中取得优越性能。
2024-03-25 cs.AI cs.CL cs.LG
