Text2Tree: Aligning Text Representation to the Label Tree Hierarchy for Imbalanced Medical Classification
Zhejiang University（浙江大学）；University of Notre Dame（圣母大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出Text2Tree算法，仅利用ICD标签树层次结构，通过级联注意力模块及相似性代理学习和差异性混合学习两种新方案，在不平衡医学文本分类任务上稳定超越现有方法。
2023-11-28 cs.CL
Learning Robust, Transferable Sentence Representations for Text Classification
Stony Brook University（石溪大学）；University of Southern California（南加州大学）；University of California, Los Angeles（加州大学洛杉矶分校）
尽管深度递归神经网络（RNN）在文本分类方面表现出强大的性能，但训练RNN模型通常很昂贵，并且需要大量的注释数据，这些数据可能无法获得。为了克服数据限制问题，现有方法利用预先训练的词嵌入或句子表示来从头开始训练RNN。在本文中，我们展示了从多个文本分类任务中联合学习句子表示，并将它们与预训练的单词级和句子级编码器相结合，从而产生对迁移学习有用的鲁棒的句子表示。广泛的实验和分析，使用广泛的迁移和语言任务认可我们的方法的有效性。
2018-09-28 cs.CL
GATE: General Arabic Text Embedding for Enhanced Semantic Textual Similarity with Matryoshka Representation Learning and Hybrid Loss Training
Prince Sultan University（普森大学）；Alfaisal University（阿尔法赛尔大学）
本文提出通用阿拉伯语文本嵌入模型GATE，结合Matryoshka表示学习与混合损失训练，在MTEB基准STS任务上超越OpenAI等大模型，性能提升20-25%。
2025-05-30 cs.CL
Evaluation of Representation Models for Text Classification with AutoML Tools
University of Stuttgart（斯图加特大学）；Fraunhofer Institute for Industrial Engineering IAO（弗劳恩霍夫工业工程研究所）
近年来，自动机器学习（AutoML）在表格数据方面取得了越来越多的成功。然而，处理像文本这样的非结构化数据是一个挑战，并且没有得到开源AutoML工具的广泛支持。这项工作比较了三个手动创建的文本表示和AutoML工具自动创建的文本嵌入。我们的基准测试包括四个流行的开源AutoML工具和八个用于文本分类的数据集。结果表明，直接的文本表示比自动创建文本嵌入的AutoML工具性能更好。
2021-07-07 cs.CL cs.LG
Pre-train, Interact, Fine-tune: A Novel Interaction Representation for Text Classification
National University of Defense Technology（国防科技大学）；University of Amsterdam（阿姆斯特丹大学）
文本表示可以帮助机器理解文本。以前关于文本表示的工作通常集中在所谓的前向含义上，即，前面的词被当作后面的词的上下文，用于创建表示，因此忽略了文本段的语义是文本中词的相互含义的产物的事实：后面的词有助于前面的词的含义。我们引入了互动的概念，并提出了一个两个角度的互动表示，封装了本地和全球的互动表示。在这里，局部交互表示是在句法树上具有父子关系的词之间交互的表示，全局交互解释是在句子中的所有词之间交互的解释。我们结合这两种交互表示，开发一个混合交互表示（HIR）。受现有的基于特征和基于微调的预训练微调方法的启发，语言模型，我们集成了基于特征和基于微调的方法的优点，提出了预训练，交互，微调（PIF）架构。我们在五个广泛使用的文本分类任务数据集上评估了我们提出的模型。我们的集成方法，优于国家的最先进的基线，从2.03%到3.15%的改进方面的出错率。此外，我们发现，PIF对大多数最先进的方法的改进不受文本长度增加的影响。
2019-09-26 cs.CL cs.IR
Improve Document Embedding for Text Categorization Through Deep Siamese Neural Network
Data Science Institute, University of Virginia（弗吉尼亚大学数据科学研究所）
由于互联网上的数据量不断增加，找到一个高信息量，低维的文本表示是有效的自然语言处理任务，包括文本分类的主要挑战之一。这种表示应该捕获文本的语义信息，同时保留它们的相关性级别用于文档分类。该方法将具有相似主题的文档映射到向量空间表示中的相似空间。为了获得大文本的表示，我们提出了利用深连体神经网络。为了在分布式表示中嵌入主题中的文档相关性，我们使用连体神经网络来共同学习文档表示。我们的连体网络由两个多层感知器的子网络组成。我们检查我们的表示为文本分类任务的BBC新闻数据集。结果表明，所提出的表示优于传统的和国家的最先进的表示在文本分类任务在这个数据集上。
2020-05-31 cs.CL cs.IR cs.LG
Evaluating Multimodal Representations on Sentence Similarity: vSTS, Visual Semantic Textual Similarity Dataset
UPV/EHU University of the Basque Country（巴斯克大学）
在本文中，我们介绍了vSTS，一个新的数据集测量文本相似性的句子使用多模态信息。数据集由图像及其相应的文本标题组成。我们描述的数据集定量和定性，并声称它是一个有效的金标准，用于测量自动多模态文本相似性系统。我们还描述了初始实验结合多模态信息。
2018-09-11 cs.AI cs.CL
Phonetic-enriched Text Representation for Chinese Sentiment Analysis with Reinforcement Learning
Nanyang Technological University（南洋理工大学）
汉语语音系统有两个区别于其他语言的特点：深层音位正字法和语调变化。我们是第一个认为，这两个重要的属性可以发挥重要作用，在中国的情感分析。特别地，我们提出了两个有效的特征来编码语音信息。接下来，我们开发了一个歧义消除语调情感分析（DISA）网络使用的强化网络。它的功能是为每个汉字（“音”）消除歧义。因此，学习了汉语的精确语音表示。此外，我们还融合语音特征与文本和视觉特征，以模仿人类阅读和理解中文文本的方式。在五个不同的中文情感分析数据集上的实验结果表明，语音特征的引入显著提高了文本和视觉表示的性能，并使最先进的汉字级表示脱颖而出。
2019-01-23 cs.CL cs.LG
Learning Interpretable and Discrete Representations with Adversarial Training for Unsupervised Text Classification
National Taiwan University（台湾大学）
从未标记的文本数据中学习连续表示已被越来越多地研究，以利于半监督学习。虽然解释离散表示相对容易，但由于训练的困难，学习未标记文本数据的离散表示尚未得到广泛探索。这项工作提出了TIGAN，它学习将文本编码成两个分离的表示，包括离散代码和连续噪声，其中离散代码表示可解释的主题，而噪声控制主题内的方差。TIGAN学习的离散代码可用于无监督文本分类。与其他无监督基线相比，建议的TIGAN在六个不同的语料库上取得了优异的性能。此外，性能与最近提出的弱监督文本分类方法相当。提取的代表潜在主题的主题词表明，TIGAN学习连贯和高度可解释的主题。
2020-04-28 cs.CL cs.IR cs.LG
Meta-learning of textual representations
INAOE（国家天体物理、光学与电子研究所）；CINVESTAV（高级研究中心）；ChaLearn
AutoML的最新进展导致了最先进的方法（例如，AutoSKLearn），非专家可以很容易地使用它来处理任何监督学习问题。虽然这些方法非常有效，但它们仍然受到限制，因为它们仅适用于表格（矩阵格式）数据。本文介绍了一个步骤，试图自动化的监督学习方法的设计，在文本挖掘的背景下。我们介绍了一个元学习方法，自动获得一个代表性的文本挖掘任务从原始文本。我们报告的实验考虑60种不同的文本表示和80多个文本挖掘数据集与各种各样的任务。实验结果表明，该方法是一个很有前途的解决方案，以获得高效的外壳文本分类管道。
2019-07-19 cs.CL cs.LG stat.ML
Representation learning for very short texts using weighted word embedding aggregation
Ghent University（根特大学）；iMinds
短文本消息（如tweets）在词汇使用方面非常嘈杂和稀疏。传统的文本表示，如tf-idf，很难把握这样的文本，这是重要的应用程序，如事件检测，意见挖掘，新闻推荐等，我们构建了一个基于语义词嵌入和频率信息的方法，以达到低维表示短文本旨在捕捉语义相似性。为此，我们设计了一个基于权重的模型和一个学习过程的基础上，一个新的中位数为基础的损失函数。本文讨论了我们的模型和优化方法的细节，以及在维基百科和Twitter数据上的实验结果。我们发现，我们的方法优于基线方法在实验中，它概括以及不同的词嵌入，而无需再培训。因此，我们的方法能够保留文本中的大部分语义信息，并且开箱即用。
2016-07-02 cs.CL cs.IR
TextNAS: A Neural Architecture Search Space tailored for Text Representation
Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）；ETH Zürich（苏黎世联邦理工学院）；University of Science and Technology of China（中国科学技术大学）
学习文本表示对于文本分类和其他与语言相关的任务至关重要。在文献中有各种各样的文本表示网络，如何找到最佳的是一个不平凡的问题。最近，新兴的神经结构搜索（NAS）技术已经显示出很好的潜力来解决这个问题。然而，现有的NAS研究大多集中在搜索算法上，而对搜索空间的研究较少。在本文中，我们认为，搜索空间也是一个重要的人之前，成功的NAS在不同的应用程序。因此，我们提出了一种新的搜索空间适合于文本表示。通过自动搜索，发现的网络架构在文本分类和自然语言推理任务上的各种公共数据集上的表现优于最先进的模型。此外，在自动网络中发现的一些设计原则与人类的直觉非常吻合。
2019-12-23 cs.CL cs.LG cs.NE
A Survey of Text Representation Methods and Their Genealogy
TU Dortmund University（多特蒙德工业大学）
近年来，随着高度可扩展的基于人工神经网络的文本表示方法的出现，自然语言处理领域出现了前所未有的增长和复杂性。它已经成为可能，提取复杂的语言信息的文本到多维密集的数字向量与使用的分布假设。因此，文本表示方法一直在以如此快的速度发展，以至于研究界正在努力保留这些方法及其相互关系的知识。我们通过提供当前方法的调查，通过将它们排列在家谱中，以及通过概念化文本表示方法的分类来检查和解释最新技术，对这种缺乏编译，合成和系统化的情况做出了三方面的贡献。我们的研究对于人工智能研究人员和对自然语言处理应用感兴趣的从业者来说是一个有价值的指南和参考，例如推荐系统，聊天机器人和情感分析。
2022-11-26 cs.AI cs.CL cs.LG
Conditional Supervised Contrastive Learning for Fair Text Classification
University of Virginia（弗吉尼亚大学）；UC Berkeley（加州大学伯克利分校）；UCLA（加州大学洛杉矶分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
对比表示学习由于其在图像和序列数据表示学习方面的优越性能而受到广泛关注。然而，学习的表示可能会导致下游任务的性能差异，例如在毒性评论分类中代表性不足的群体的沉默增加。鉴于这一挑战，在这项工作中，我们研究了通过对比学习学习满足公平性概念的公平表示，即文本分类的均衡化几率。具体来说，我们首先从理论上分析了公平约束的学习表示和条件监督对比目标之间的联系，然后提出使用条件监督对比目标来学习文本分类的公平表示。我们在两个文本数据集上进行实验，以证明我们的方法在平衡现有文本分类基线之间的任务性能和偏见缓解之间的权衡方面的有效性。此外，我们还表明，所提出的方法是稳定的，在不同的超参数设置。
2022-10-31 cs.AI cs.CL cs.CY
Nonsymbolic Text Representation
LMU Munich（慕尼黑大学）
我们介绍了第一个通用的文本表示模型，这是完全非符号，即，它不需要尝试识别文本中的单词或其它符号单元的分段或标记化方法的可用性。这适用于在训练语料库上训练模型的参数，以及在计算新文本的表示时应用它。我们表明，我们的模型在信息抽取和文本去噪任务上的性能优于先前的工作。
2017-05-01 cs.CL
Improving Graph-Based Text Representations with Character and Word Level N-grams
University of Sheffield（谢菲尔德大学）
基于图的文本表示关注如何将文本文档表示为图，以利用语料库中的令牌和文档之间的依赖信息。尽管对图表示学习的兴趣越来越大，但在探索基于图的文本表示的新方法方面的研究有限，这在下游自然语言处理任务中很重要。在本文中，我们首先提出了一个新的异构单词字符文本图，它将单词和字符n-gram节点与文档节点结合在一起，使我们能够更好地学习这些实体之间的依赖关系。此外，我们提出了两个新的基于图的神经模型，WCTextGCN和WCTextGAT，为我们提出的文本图建模。在文本分类和自动文本摘要基准测试中的大量实验表明，我们提出的模型始终优于竞争基线和最先进的基于图的模型。
2022-10-12 cs.CL
Joint Representations of Text and Knowledge Graphs for Retrieval and Evaluation
Université de Lorraine（洛林大学）
神经模型的一个关键特征是它们可以产生对象（文本、图像、语音等）的语义向量表示。确保相似的对象在向量空间中彼此接近。虽然很多工作都集中在学习其他模态的表示，但没有对齐的文本和知识库（KB）元素的跨模态表示。学习这种表示的一个挑战是缺乏并行数据，我们使用基于统计学的数据集的对比训练和数据增强来克服，在（KB图形，文本）对上训练嵌入模型。在WebNLG上，一个更干净的手工制作的数据集，我们展示了它们学习适合检索的对齐表示。然后，我们对注释数据进行微调，以创建EREDAT（用于评估数据到文本的集成表示），这是英语文本和KB图之间的相似性度量。EREDAT在与人类对WebNLG的判断的相关性方面优于或匹配最先进的指标，尽管与它们不同的是，它不需要参考文本进行比较。
2023-02-28 cs.CL
Knowledge Representation via Joint Learning of Sequential Text and Knowledge Graphs
Tsinghua University（清华大学）
文本信息被认为是知识表示学习的重要补充。从纯文本中构造知识表示面临两个主要挑战：（1）如何充分利用纯文本中实体的顺序上下文进行知识学习。(2)如何动态地为KRL选择对应实体的信息句。在本文中，我们提出了顺序文本体现知识表示学习建立知识表示从多个句子。给定一个实体的每一个参考句子，我们首先利用循环神经网络与池或长短期记忆网络编码的句子相对于实体的语义信息。然后，我们进一步设计了一个注意力模型来衡量每个句子的信息量，并建立基于文本的实体表示。我们评估我们的方法上的两个任务，包括三重分类和链接预测。实验结果表明，我们的方法优于其他基线上的两个任务，这表明我们的方法是能够选择信息的句子和编码的文本信息很好地到知识表示。
2016-09-22 cs.CL
STEPs-RL: Speech-Text Entanglement for Phonetically Sound Representation Learning
在本文中，我们提出了一种新的多模态深度神经网络架构，该架构使用语音和文本纠缠来学习语音声音口语表示。STEPs-RL以监督的方式进行训练，以使用其上下文口语单词的语音和文本来预测目标口语单词的语音序列，使得模型对其有意义的潜在表示进行编码。与现有的工作不同，我们已经使用文本和语音进行听觉表示学习，以捕获语义和句法信息以及声学和时间信息。我们的模型产生的潜在表示不仅能够以89.47%的准确率预测目标语音序列，而且在四个广泛使用的单词相似性基准数据集上进行评估时，还能够实现与文本单词表示模型Word 2 Vec和FastText（在文本转录上训练）竞争的结果。此外，生成的向量空间的调查也证明了该模型捕捉语音结构的口语单词的能力。据我们所知，现有的作品都没有使用语音和文本纠缠来学习口语词表示，这使得这项工作成为同类作品中的第一项。
2020-11-23 cs.CL
Representation Learning for Short Text Clustering
Deakin University（迪肯大学）；University of Technology Sydney（悉尼科技大学）
由于短文本语料的稀疏性、高维性和噪声性，有效的表示学习是短文本聚类的关键。现有的预训练模型（例如，Word 2 vec和BERT）与传统的词袋（Bag-of-Words，BoW）模型相比，大大提高了短文本表示的表达能力，具有更精简、低维和连续的特征。然而，这些模型是为了通用目的而训练的，因此对于短文本聚类任务来说是次优的。在本文中，我们提出了两种方法来利用无监督自动编码器（AE）框架，根据这些预训练的文本模型进一步调整短文本表示，以获得最佳聚类性能。第一种方法STN-GAE（Structural Text Network Graph Autoencoder）通过构建文本网络，充分利用语料库中的结构化文本信息，然后采用图卷积网络作为编码器，将结构化特征与预先训练好的文本特征融合，进行文本表示学习。在我们的第二种方法软聚类分配自动编码器（SCA-AE）中，我们对自动编码器的潜在空间采用了额外的软聚类分配约束，以鼓励学习的文本表示更加聚类友好。我们在7个流行的短文本数据集上对两种方法进行了测试，实验结果表明，当只使用预训练好的模型进行短文本聚类时，BERT的性能优于BoW和Word 2 vec。然而，只要我们进一步调整预训练的表示，所提出的方法，如SCA-AE可以大大提高聚类性能，与单独使用BERT相比，准确率提高可以达到14%。
2021-09-21 cs.CL
Generating Continuous Representations of Medical Texts
KU Leuven（鲁汶大学）
我们提出了一个架构，生成医疗文本，同时学习一个信息丰富的，连续的表示与歧视性的功能。在训练过程中，系统的输入是医疗X射线的字幕数据集。所获得的连续表示对于在文本输入的离散和高维性质是障碍的许多机器学习技术中使用是特别感兴趣的。我们使用Adversarially Regularized Autoencoder在无条件和条件设置中创建逼真的文本。我们表明，这种技术是适用于医疗文本，往往包含句法和特定领域的简写。定量评估表明，我们实现了比传统LSTM生成器更低的模型复杂度。
2018-05-15 cs.CL
Text and author-level political inference using heterogeneous knowledge representations
University of São Paulo（圣保罗大学）
从文本数据中推断政治信息是自然语言处理（NLP）在文本和作者级别上的热门研究课题。近年来，这类研究已经实施与援助的表示从Transformers，如BERT。尽管取得了相当大的成功，但是，我们可能会问，是否可以通过将基于转换的模型与附加的知识表示相结合来进一步改进结果。为了阐明这个问题，目前的工作描述了一系列的实验，比较替代模型配置的政治推理，从文本中的英语和葡萄牙语。结果表明，某些文本表示-特别是结合使用BERT预训练的语言模型与句法依赖模型-可能会在多个实验设置中优于替代方案，为进一步研究在这些和其他可能的NLP任务中使用异构文本表示提供了潜在的强有力的理由。
2022-07-29 cs.CL
Text comparison using word vector representations and dimensionality reduction
Aalto University（阿尔托大学）
本文描述了一种使用词向量表示（word 2 vec）和降维（t-SNE）比较大型文本源的技术，以及如何使用Python实现该技术。该技术提供了文本源的鸟瞰图，例如文本摘要及其源材料，并使用户能够像地理地图一样探索文本源。词向量表示捕捉了许多语言属性，如性别，时态，复数，甚至语义概念，如“首都”。使用降维，可以计算2D图，其中语义相似的单词彼此接近。该技术使用gensim Python库中的word 2 vec模型和scikit-learn中的t-SNE。
2016-07-02 cs.CL
Analyzing Text Representations by Measuring Task Alignment
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文提出基于层次聚类的任务对齐分数，验证文本表示的分类性能主要源于其与任务的对齐程度，而非空间几何性质。
2023-05-31 cs.CL
Unsupervised Representation Disentanglement of Text: An Evaluation on Synthetic Datasets
Monash University（莫纳什大学）；University of Cambridge（剑桥大学）
为了突出在无监督环境中实现文本域表示解纠缠的挑战，本文选择了一组具有代表性的成功应用模型。我们评估这些模型的6个解纠缠指标，以及下游分类任务和同伦。为了便于评估，我们提出了两个已知生成因子的合成数据集。我们的实验突出了文本域中现有的差距，并说明了某些元素，如表示稀疏性（作为一种归纳偏差），或表示与解码器的耦合可能会影响解纠缠。据我们所知，我们的工作是对无监督表示解纠缠和文本交叉的首次尝试，并为研究这一方向的未来发展提供了实验框架和数据集。
2021-06-07 cs.CL
Neural Text Generation from Rich Semantic Representations
University of Washington（华盛顿大学）
我们提出了神经模型，以基于最小递归语义（MRS）的结构化表示生成高质量的文本。MRS是一种丰富的语义表示，它比其他表示（如抽象意义表示（AMR））编码更精确的语义细节。我们发现，一个序列到序列的模型，映射的线性化的依赖MRS，MRS的基于图形的表示，英语文本可以达到66.11的BLEU分数时，训练黄金数据。使用高精度、广泛覆盖的基于语法的解析器来生成大型银训练语料库，可以进一步提高性能，在完整测试集上实现77.17的最终BLEU分数，并且在最接近匹配银数据域的测试数据的子集上实现83.37。我们的研究结果表明，MRS为基础的表示是一个很好的选择，既需要结构化的语义和能力，以产生自然语言文本作为输出的应用程序。
2019-04-25 cs.CL
Mimicking Human Process: Text Representation via Latent Semantic Clustering for Classification
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
考虑到文本中具有不同特征的词对分类的重要性不同，将它们单独分组可以加强各部分的语义表达。因此，我们提出了一种新的文本表示方案，通过聚类的话，根据其潜在的语义和组合在一起，得到一组聚类向量，然后连接作为最终的文本表示。五个分类基准的评估证明了我们的方法的有效性。我们进一步进行可视化分析，显示统计聚类结果，并验证我们的动机的有效性。
2019-06-18 cs.CL
Representations for Question Answering from Documents with Tables and Text
Google Research（谷歌研究院）；University of Washington（华盛顿大学）
Web文档中的表是普遍存在的，可以直接用于回答Web上搜索的许多查询，从而促进了它们在问答中的集成。表格中提供的信息通常很简洁，很难用标准语言表示来解释。另一方面，表格通常出现在文本上下文中，例如描述表格的文章。使用来自项目的信息作为附加上下文可以潜在地丰富表表示。在这项工作中，我们的目标是改善问答从表中提炼表表示从周围的文本信息的基础上。我们还提出了一种有效的方法来结合文本和基于表格的预测，从完整的文档中的问答，获得显着的改进自然问题数据集。
2021-01-26 cs.CL
Autoencoder as Assistant Supervisor: Improving Text Representation for Chinese Social Media Text Summarization
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
目前的摘要模型大多是基于序列到序列模型（Seq2Seq）的。社交媒体的源内容很长且有噪声，因此Seq2Seq很难学习准确的语义表示。与源内容相比，注释摘要简短且写得很好。此外，它与源内容具有相同的含义。在这项工作中，我们监督学习的表示源内容的摘要。在实现上，我们将摘要自动编码器作为Seq2Seq的辅助管理器。在之前的工作之后，我们在一个流行的中国社交媒体数据集上评估了我们的模型。实验结果表明，我们的模型在基准数据集上达到了最先进的性能。
2018-05-13 cs.CL
Analysis and representation of Igbo text document for a text-based system
Rhema University（雷马大学）；University of Port Harcourt（哈科特港大学）；African Language Technology Initiative (ALT-i)（非洲语言技术倡议组织）
信息技术的进步有助于将尼日利亚的三种主要语言用于文本挖掘、信息检索和自然语言处理等基于文本的应用。本文的兴趣是伊博语，它使用复合词作为一种常见的构词方式，也有许多复合词的词汇。搭配、词序和复合词在伊格博语中占有重要地位。处理这些复合词的模糊性使得伊博语文本文档的表示非常困难，因为这不能使用文本表示的词袋（BOW）模型的最常见和标准方法来解决，该模型忽略了词序和关系。然而，这引起了人们的关注，需要开发一个改进的模型来捕捉这种情况。本文介绍了分析伊博语文本文档，考虑到其复合性质，并描述了其表示与基于词的N-gram模型，以适当地准备任何基于文本的应用程序。结果表明，Bigram和Trigram n-gram文本表示模型提供了更多的语义信息，并解决了Igbo语言中的复合、词序和搭配问题。它们在任何基于Igbo文本的系统中使用时可能会提供更好的性能。
2020-09-05 cs.CL
A Cross-Task Analysis of Text Span Representations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
许多自然语言处理（NLP）任务涉及文本跨度的推理，包括问答、实体识别和共指消解。虽然广泛的研究集中在表示单词和句子的功能架构上，但在表示句子中任意跨度的文本方面的工作较少。在本文中，我们使用八个预训练的语言表征模型对六个跨度表征方法进行了全面的实证评估，包括我们介绍的两个任务。我们发现，虽然一些简单的跨度表示是相当可靠的跨任务，在一般情况下，最佳跨度表示不同的任务，也可以在不同方面的个别任务。我们还发现，跨度表示的选择对固定的预训练编码器的影响比微调编码器的影响更大。
2020-06-06 cs.CL
Still a Pain in the Neck: Evaluating Text Representations on Lexical Composition
Bar-Ilan University（巴伊兰大学）
构建有意义的短语表示是具有挑战性的，因为短语含义不仅仅是其组成含义的总和。词汇合成可以改变组成词的意义，引入隐含信息。我们测试了广泛的文本表示，以解决这些问题的能力。我们发现，正如预期的那样，语境化的词表征比静态的词嵌入表现更好，更多的是在检测意义转移比在恢复隐含信息，其中他们的表现仍然是远离人类。我们的评估套件，包括5个任务相关的词汇组成的影响，可以为未来的研究，旨在改善这种表征。
2019-05-19 cs.CL
How do Multimodal Foundation Models Encode Text and Speech? An Analysis of Cross-Lingual and Cross-Modal Representations
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文分析三个多模态基础模型在跨语言文本与语音语义等价句子上的激活，揭示表征随层收敛、长度适配作用及模态与语言差距规律。
2025-02-20 cs.CL
word representation or word embedding in Persian text
文本处理是自然语言处理的一个分支。最近，机器学习和神经网络方法的使用得到了更多的考虑。因此，文字的表现变得非常重要。本文介绍的是波斯语文本中的单词表示或将单词转换为矢量。在这项研究中，GloVe，CBOW和skip-gram方法更新，以产生嵌入向量的波斯语单词。为了训练一个神经网络，我们将Bijankhan语料库、Hamshahri语料库和UPEC语料库进行了合成和使用。最后，我们有342，362个单词在所有三个模型中获得了这些单词的向量。这些向量在波斯语自然语言处理中有许多用途。
2017-12-18 cs.CL
Inspecting the Representation Manifold of Differentially-Private Text
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
该研究针对文本差分隐私的表示空间几何扭曲问题，通过估算不同隐私预算下释义文本本征维度，发现句级方法流形更贴合人工释义，且掩码释义比因果释义更能保留结构复杂度，揭示了自回归生成的扭曲传播机制。
2025-03-19 cs.CL
Robust Open-Vocabulary Translation from Visual Text Representations
Center for Language and Speech Processing（语言与语音处理中心）；Human Language Technology Center of Excellence（人类语言技术卓越中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
机器翻译模型具有离散的词汇表，并且通常使用子词切分技术来实现“开放词汇表”。“这种方法依赖于一致且正确的底层unicode序列，并使模型容易受到常见类型的噪音和变化的影响。出于人类语言处理的鲁棒性，我们提出了使用视觉文本表示，它免除了一组有限的文本嵌入有利于连续的词汇表通过处理视觉呈现的文本与滑动窗口。我们表明，使用视觉文本表示的模型在小型和大型数据集上接近或匹配传统文本模型的性能。更重要的是，具有视觉嵌入的模型对各种类型的噪声表现出显著的鲁棒性，例如，25.9 BLEU在字符排列的德语-英语任务中，子词模型降级为1.9。
2021-12-09 cs.CL
Enhancing Medication Recommendation with LLM Text Representation
针对现有药物推荐模型未充分利用非结构化医疗数据的问题，提出利用LLM文本表示增强推荐的方法，可适配多种基础模型，在双数据集上提升性能，是通用的推荐增强方案。
2024-07-15 cs.CL
Learning Easily Updated General Purpose Text Representations with Adaptable Task-Specific Prefixes
University of California, Los Angeles（加州大学洛杉矶分校）；Meta AI
提出基于任务特定前缀的方法学习固定文本表示，优于多任务训练，且更新成本更低。
2023-10-14 cs.CL
Joint Representation Learning of Text and Knowledge for Knowledge Graph Completion
Tsinghua University（清华大学）；Jiangsu Normal University（江苏师范大学）
在统一的语义空间中进行文本和知识的联合表示学习，能够更准确地完成知识图谱的补全。在这项工作中，我们提出了一个新的框架嵌入词，实体和关系到同一个连续的向量空间。在该模型中，实体和关系嵌入都是通过知识图谱和纯文本来学习的。在实验中，我们评估的联合学习模型的三个任务，包括实体预测，关系预测和关系分类的文本。实验结果表明，与其他基线相比，我们的模型可以显着和一致地提高三个任务的性能。
2016-11-13 cs.CL
Privacy-preserving Neural Representations of Text
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文在隐私保护的背景下讨论了针对自然语言处理（NLP）的深度学习系统的对抗攻击。我们研究了一种特定类型的攻击：攻击者窃听神经文本分类器的隐藏表示，并试图恢复有关输入文本的信息。这种场景可能出现在当神经网络的计算跨多个设备共享时的情况下，例如，某些隐藏表示由用户的设备计算并发送到基于云的模型。我们测量的隐私的隐藏表示的攻击者准确预测特定的私人信息，从它和特征的隐私和实用程序的神经表示之间的权衡的能力。最后，我们提出了几种基于修改后的训练目标的防御方法，并表明它们提高了神经表征的隐私性。
2018-08-28 cs.CL
Deduction over Mixed-Level Logic Representations for Text Passage Retrieval
描述了一种系统，该系统使用自然语言文档的（部分）含义的混合级别表示（基于标准霍恩子句逻辑）和可变深度搜索策略，该搜索策略区分知识表示中的不同抽象级别以定位文档中的特定段落。混合层次表示以及可变深度搜索策略适用于NLP之外的领域。
1999-12-15 cs.CL
Semi-supervised Clustering for Short Text via Deep Representation Learning
IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）
在这项工作中，我们提出了一个半监督的方法，短文本聚类，我们表示文本作为分布式向量与神经网络，并使用少量的标记数据来指定我们的意图聚类。我们设计了一个新的目标，将表示学习过程和k-means聚类过程结合在一起，并通过三个步骤迭代地优化目标，包括标记数据和未标记数据，直到收敛：（1）根据当前神经网络的表示将每个短文本分配到最近的质心;（2）根据步骤（1）的聚类分配重新估计聚类质心;（3）通过保持质心和聚类分配固定，根据目标更新神经网络。在四个数据集上的实验结果表明，该方法的效果明显优于其他几种文本聚类方法。
2017-07-14 cs.CL
Learning Patient Representations from Text
Loyola University Chicago（洛约拉大学芝加哥分校）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
挖掘满足一组预定义标准的患者的电子健康记录在医学信息学中被称为表型分析。表型分析有许多应用，如结果预测，临床试验招募和回顾性研究。用于表型分析的监督机器学习通常依赖于稀疏的患者表示，例如词袋。我们考虑一种替代方案，涉及学习病人的陈述。我们开发了一个神经网络模型，用于学习患者的陈述，并表明学习的陈述是足够普遍的，以获得国家的最先进的性能在一个标准的并发症检测任务。
2018-05-05 cs.CL
Disentangled Representations for Manipulation of Sentiment in Text
Sigma Embedded Engineering（Sigma嵌入式工程公司）；Zenuity（Zenuity公司）；Chalmers University of Technology（查尔姆斯理工大学）
改变文本的任意方面同时保持核心消息不变的能力可以通过实现例如消息影响的自动优化和适应接收者简档的个性化语言来在诸如营销和政治的领域中产生强烈的影响。在本文中，我们采取这样一个系统的第一步，提出了一个算法，可以操纵的文本的情绪，同时保留其语义使用解开表示。通过检查嵌入空间中的轨迹和分析转换后的句子进行语义保留，同时表达所需的情感转移来进行验证。
2017-12-22 cs.CL
Adversarial Learning of Privacy-Preserving Text Representations for De-Identification of Medical Records
Universität Hamburg（汉堡大学）；Saarland University（萨尔兰大学）
去识别是检测医学文本中受保护的健康信息的任务。这是清理电子健康记录（EHR）以供研究共享的关键步骤。自动去识别分类器可以显著加快清理过程。然而，由于隐私法禁止共享原始医疗记录，因此获得大型且多样化的数据集来训练这样一个在许多类型的医疗文本中工作良好的分类器是一个挑战。我们介绍了一种方法来创建隐私保护共享表示的医疗文本（即它们不包含PHI），不需要昂贵的手动匿名化。这些表示可以在组织之间共享，以创建用于训练去识别模型的统一数据集。我们的表示允许将简单的LSTM-CRF去识别模型训练到97.4%的F1分数，这与在其表示中暴露私人信息的强基线相当。一个强大的，广泛使用的去识别分类器的基础上，我们的代表可能会使研究，否则去识别将过于昂贵。
2019-06-12 cs.CL
Enhancing AMR-to-Text Generation with Dual Graph Representations
Technische Universität Darmstadt（达姆施塔特工业大学）；CNRS/LORIA（法国国家科学研究中心/洛里亚实验室）
从基于图形的数据生成文本，例如抽象意义表示（AMR），是一项具有挑战性的任务，因为在如何正确编码具有标记边缘的图形的结构方面存在固有的困难。为了解决这一困难，我们提出了一种新的图形到序列模型，编码AMR图中包含的结构信息的不同但互补的观点。该模型学习并行的自上而下和自下而上的节点表示，捕获图的对比视图。我们还研究了使用不同的节点消息传递策略，采用不同的国家的最先进的图形编码器来计算节点表示的基础上传入和传出的观点。在我们的实验中，我们证明了对偶图表示导致AMR到文本生成的改进，在两个AMR数据集上实现了最先进的结果。
2019-09-01 cs.CL
VIRT: Improving Representation-based Models for Text Matching through Virtual Interaction
University of Science and Technology of China（中国科学技术大学）；Meituan（美团）；MetaAI（Meta人工智能研究院）
随着预训练的Transformers的蓬勃发展，基于Siamese Transformer编码器的基于表示的模型已经成为高效文本匹配的主流技术。然而，与基于交互的模型相比，这些模型由于文本对之间缺乏交互而遭受严重的性能下降。现有技术试图通过对连体编码表示执行额外的交互来解决这个问题，而编码期间的交互仍然被忽略。为了弥补这一点，我们提出了一个\textit{Virtual} InterRacTion机制（VIRT），通过注意力图蒸馏将交互式知识从基于交互的模型转移到暹罗编码器。VIRT作为一个仅训练时间的组件，完全保持了Siamese结构的高效率，并且在推理过程中不会带来额外的计算开销。为了充分利用所学的交互知识，我们进一步设计了一个适应VIRT的交互策略。在多个文本匹配数据集上的实验结果表明，我们的方法优于最先进的基于表示的模型。更重要的是，VIRT可以很容易地集成到现有的基于表示的方法，以实现进一步的改进。
2022-10-19 cs.CL
Towards Robust and Privacy-preserving Text Representations
School of Computing and Information Systems（计算与信息系统学院）；The University of Melbourne（墨尔本大学）
书面文本通常提供足够的线索来识别作者，他们的性别，年龄和其他重要属性。因此，培训和评估语料库的作者身份可能会产生不可预见的影响，包括不同用户组的不同模型性能，以及隐私问题。在本文中，我们提出了一种在训练时显式模糊重要作者特征的方法，这样学习到的表示对这些属性是不变的。在两个任务上进行评估，我们发现这会导致学习表示中的隐私增加，以及对不同评估条件（包括域外语料库）的更强大模型。
2018-05-16 cs.CL
Text Revision by On-the-Fly Representation Optimization
The Chinese University of Hong Kong（香港中文大学）；Mila；McGill University（麦吉尔大学）；Microsoft Research Asia（微软亚洲研究院）
文本修改是指一类自然语言生成任务，其中源序列和目标序列在表面形式上具有适度的相似性，但在属性上存在差异，例如文本的正式性和简单性。目前最先进的方法将这些任务表述为序列到序列的学习问题，这依赖于大规模的并行训练语料库。在本文中，我们提出了一个迭代的就地编辑方法的文本修订，它不需要并行数据。在这种方法中，我们简单地使用掩码语言建模和属性分类来微调预训练的Transformer。在推理过程中，每次迭代的编辑都是通过两步跨度替换来实现的。在第一步，文本的分布式表示朝着属性函数动态优化。在第二步，一个文本跨度被掩盖，并提出另一个新的条件下的优化表示。对文本形式化和文本简化这两个典型的文本修改任务的实验表明了该方法的有效性。它在文本简化方面比最先进的监督方法具有竞争力甚至更好的性能，并且在文本形式化\footnote{Code and model are available at \url{https://github.com/jingjingli01/OREO}}方面比强无监督方法具有更好的性能。
2022-04-15 cs.CL
Text Summarization using Abstract Meaning Representation
CSE Department, IIT Kanpur（印度理工学院坎普尔分校计算机科学与工程系）；Microsoft Research, Bangalore（微软研究院班加罗尔）
随着互联网上文本的不断增长，摘要的自动生成仍然是自然语言理解的一个重要问题。在这项工作中，我们探索了一种新颖的完整的管道，用于文本摘要，中间步骤是抽象意义表示（AMR）。我们提出的流水线首先生成输入故事的AMR图，通过AMR图提取摘要图，最后从摘要图生成摘要句子。我们提出的方法实现了国家的最先进的结果相比，其他文本摘要例程的基础上AMR。同时指出了现有评价方法中存在的一些问题，这些问题使它们不适合于对摘要质量的评价。
2017-07-17 cs.CL
KeypartX: Graph-based Perception (Text) Representation
大数据的可用性为个人、企业和学者提供了巨大的机会，让他们能够深入了解世界上正在发生的事情。以往的文本表征研究多从大量词汇的出现频率或共现程度来研究其信息量。然而，大数据是一把双刃剑，它的数量很大，但在格式上是非结构化的。非结构化边缘需要特定的技术来将“大”转换为有意义的，而不仅仅是信息。本研究提出了KeypartX，一个基于图形的方法来表示感知（一般文本）的关键部分的讲话。与基于词袋/向量的机器学习不同，该技术是类似于人类的学习，可以从语言（语义，句法和语用）信息中提取含义。此外，KeypartX具有大数据能力，但并不饥饿，这甚至适用于最小文本单元：句子。
2022-09-23 cs.CL
Optimizing text representations to capture (dis)similarity between political parties
University of Stuttgart（斯图加特大学）；University of Bremen（不来梅大学）
尽管微调的神经语言模型在实现“深度”自动文本分析方面至关重要，但针对特定应用程序优化文本表示仍然是一个关键瓶颈。在这项研究中，我们看看这个问题的背景下，从计算社会科学的任务，即建模成对的政党之间的相似性。我们的研究问题是什么水平的结构信息是必要的，以创建强大的文本表示，对比强烈知情的方法（使用索赔跨度和索赔类别注释）与方法，放弃一种或两种类型的注释与文档结构为基础的语法。评估我们的模型对德国政党的2021年联邦选举的宣言。我们发现，最大限度地提高党内超过党之间的相似性，以及一个规范化的步骤，导致可靠的党的相似性预测，而不需要手动注释。
2022-10-21 cs.CL
Effective Feature Representation for Clinical Text Concept Extraction
Roam Analytics；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
关于医疗保健实践的关键信息仅以自由形式的文本记录，这为高影响力的NLP创造了巨大的机会。然而，带注释的医疗数据集往往很小，而且获取成本很高，这就提出了如何最有效地利用可用数据的问题。为此，我们开发了一个LSTM-CRF模型，用于将来自公共医疗保健本体的无监督单词表示和手工构建的特征表示相结合。我们表明，这种组合模型在五种不同类型的医疗保健文本（临床，社会，科学，商业）的数据集上具有优异的性能。每一个都涉及到复杂的标签，多词跨度，挑选出不同的医疗保健概念。我们还介绍了一种新的标记数据集，用于识别药物和疾病之间的治疗关系。
2019-04-05 cs.CL
LDIR: Low-Dimensional Dense and Interpretable Text Embeddings with Relative Representations
College of Computer Science and Software Engineering, Shenzhen University（计算机科学与软件工程学院，深圳大学）
针对现有文本嵌入可解释性差或维度高的问题，提出低维稠密可解释文本嵌入LDIR，通过最远点采样锚定文本实现语义相关性表征，性能接近黑盒模型且优于同类可解释基线。
2025-05-16 cs.CL
