Delta-training: Simple Semi-Supervised Text Classification using Pretrained Word Embeddings
Seoul National University(首尔国立大学)
我们提出了一种新颖而简单的半监督文本分类方法。该方法源于这样的假设,即具有预训练的词嵌入的分类器总是优于具有随机初始化的词嵌入的相同分类器,正如在NLP任务中经验观察到的那样。我们的方法首先构建两组分类器作为模型集成的一种形式,然后以不同的方式嵌入它们的词嵌入:一个使用随机,另一个使用预训练的词嵌入。我们专注于两个分类器对未标记数据的不同预测,同时遵循自训练框架。我们还使用早期停止元时期,以提高我们的方法的性能。我们的方法Delta-training在4个不同的文本分类数据集中优于自训练和协同训练框架,显示出对错误积累的鲁棒性。
2019-09-28 cs.CL
TF-CR: Weighting Embeddings for Text Classification
Queen Mary University of London(伦敦大学玛丽皇后学院)
文本分类是信息科学中的一项常见任务,是为文本实例分配类别的任务。学习单词的分布式表示的方法,例如词嵌入,近年来已经成为用于文本分类任务的特征。尽管越来越多地使用词嵌入进行文本分类,但这些通常以无监督的方式使用,即不利用从训练数据中的类别标签导出的信息。虽然词嵌入本质上捕获了词的分布特征,以及在大型数据集中观察到的上下文,但它们并没有优化以考虑手头分类数据集中跨类别的词的分布。为了优化文本表示的基础上词嵌入通过将类分布在训练数据,我们提出了使用加权方案,分配一个权重的基础上,在每个类中的显着性嵌入每个字。为了实现这一点,我们引入了一种新的加权方案,词频类别比(TF-CR),它可以加权高频,类别独占的话更高时,计算词嵌入。我们在16个分类数据集上的实验表明了TF-CR的有效性,与现有的加权方案相比,TF-CR的性能分数得到了提高,并且随着训练数据的增长,性能差距会增加。
2020-12-11 cs.CL
Redundancy, Isotropy, and Intrinsic Dimensionality of Prompt-based Text Embeddings
Graduate School of Informatics, Nagoya University(名古屋大学信息科学研究生院)
本文研究基于提示的文本嵌入降维对分类、聚类、检索和STS任务的影响,发现分类与聚类嵌入高度冗余,并借助内在维度与各向同性分析揭示了其冗余成因。
2025-06-02 cs.CL
Khmer Text Classification Using Word Embedding and Neural Networks
Techo Startup Center(Techo创业中心)
文本分类是自然语言处理中的基本任务之一,用于标记开放式文本,并且对于诸如情感分析的各种应用是有用的。在本文中,我们讨论了各种分类方法的高棉文本,从一个经典的TF-IDF算法与支持向量机分类器的现代词嵌入为基础的神经网络分类器,包括线性层模型,递归神经网络和卷积神经网络。在3000万高棉词语料库上训练高棉词嵌入模型,以构建用于训练三个不同神经网络分类器的词向量表示。我们评估了不同方法在新闻文章数据集上进行多类和多标签文本分类任务的性能。结果表明,使用词嵌入模型的神经网络分类器始终优于使用TF-IDF的传统分类器。与卷积网络和线性层网络相比,递归神经网络分类器提供稍好的结果。
2021-12-13 cs.CL
Medical Concept Normalization in User Generated Texts by Learning Target Concept Embeddings
NIT Trichy(蒂鲁吉拉伯利国家理工学院)
医学概念规范化有助于在自由形式的文本中发现标准概念,即,将与健康相关的提及映射到词汇表中的标准概念。它远远超出了简单的字符串匹配,需要对概念提及有深入的语义理解。最近的研究方法的概念规范化,无论是文本分类或文本匹配。现有的文本分类方法的主要缺点是:a)在学习输入概念提及表示时忽略了有价值的目标概念信息; b)文本匹配方法需要单独生成目标概念嵌入,这是耗时和资源消耗的。我们提出的模型克服了这些缺点,共同学习的表示输入概念提及和目标概念。首先,它使用RoBERTa学习输入概念提及表示。其次,它发现输入概念提及的嵌入与所有目标概念之间的余弦相似性。在这里,目标概念的嵌入是随机初始化的,然后在训练过程中更新。最后,将余弦相似度最大的目标概念分配给输入概念提及。我们的模型通过将准确率提高到2.31%,超过了三个标准数据集上的所有现有方法。
2020-06-07 cs.CL
From Image to Text Classification: A Novel Approach based on Clustering Word Embeddings
University of Bucharest(布加勒斯特大学)
受计算机视觉中广泛应用的视觉词袋模型的启发,提出了一种基于聚类词嵌入的文本分类方法。在使用预训练的词嵌入模型将文档集合中的每个词表示为词向量之后,对词向量应用k均值算法以获得固定大小的聚类集。每个聚类的质心被解释为一个超级词嵌入,它包含了嵌入空间某个区域中所有语义相关的词向量。然后将文档集合中的每个嵌入词分配到最近的聚类质心。最后,通过计算每个超级词嵌入在相应文档中的频率,将每个文档表示为一个超级词嵌入包。我们还偏离了为整个文档集合构建单个词汇表的想法,并建议构建特定于类的词汇表以获得更好的性能。使用这种表示,我们报告结果的两个文本挖掘任务,即文本分类的主题和极性分类。在这两个任务上,我们的模型都比标准的单词袋有更好的性能。
2017-07-25 cs.CL
AWE: Asymmetric Word Embedding for Textual Entailment
IBM Research(IBM研究院);Georgia Institute of Technology(佐治亚理工学院)
文本蕴涵是自然语言处理中的一项基本任务。它指的是文本片段之间的方向关系,使得“前提”可以推断出“假设”。近年来,深度学习方法在这项任务中取得了巨大成功。他们中的许多人都考虑了句间词与词之间的相互作用的前提假设对,然而,很少有人考虑这些相互作用的“不对称”。与释义识别或句子相似性评价不同,语篇蕴涵本质上是确定前提与假设之间的方向性(非对称性)关系。在本文中,我们提出了一个简单而有效的方法来增强现有的文本蕴涵算法,通过使用非对称词嵌入。在SciTail和SNLI数据集上的实验结果表明,学习的非对称词嵌入能显著改善基于词-词交互的文本蕴涵模型.值得注意的是,所提出的AWE-DeIsTe模型可以在SciTail上获得比现有技术高2.1%的准确性。
2018-09-12 cs.CL
Sentence-T5: Scalable Sentence Encoders from Pre-trained Text-to-Text Models
Google Research(谷歌研究院)
我们提供了文本到文本Transformers(T5)的句子嵌入的第一次探索。句子嵌入在语言处理任务中有着广泛的应用。虽然T5在序列到序列映射问题的语言任务上取得了令人印象深刻的性能,但目前还不清楚如何从编码器-解码器模型中生成句子嵌入。我们研究了三种提取T5句子嵌入的方法:两种只利用T5编码器,一种使用完整的T5编码器-解码器模型。为了支持我们的调查,我们建立了一个新的句子表示转移基准,SentGLUE,它扩展了SentEval工具包从GLUE基准的九个任务。我们的仅编码器模型在SentEval和SentGLUE传输任务上的性能优于Sentence-BERT和SimCSE句子嵌入,包括语义文本相似性(STS)。发现将T5从数百万个参数放大到数十亿个参数可以产生一致的进一步改进。最后,我们的编码器-解码器方法实现了一个新的国家的最先进的STS时,使用句子嵌入。我们的模型发布在https://tfhub.dev/google/collections/sentence-t5/1。
2021-12-14 cs.CL
HinFlair: pre-trained contextual string embeddings for pos tagging and text classification in the Hindi language
Medi-Caps University(麦迪卡普斯大学)
基于递归神经网络和Transformers架构的语言模型的最新进展已经在广泛的自然语言处理任务上取得了最先进的结果,例如pos标记,命名实体识别和文本分类。然而,这些语言模型中的大多数都是用高资源语言(如英语,德语,西班牙语)进行预训练的。多语言语言模型在其训练语料库中包括印地语、泰卢固语、孟加拉语等印度语言,但它们往往不能代表这些语言的语言特征,因为它们不是研究的主要语言。我们介绍HinFlair,这是一个语言表示模型(上下文字符串嵌入)预先训练的大型单语印地语语料库。在6个文本分类数据集和一个印地语依赖树库上进行了实验,以分析这些上下文化的印地语字符串嵌入的性能。结果表明,HinFlair在文本分类和pos标记等下游任务中的表现优于之前公开提供的最先进的预训练嵌入。此外,HinFlair与FastText嵌入相结合时,性能优于许多基于transformers的语言模型,特别是为印地语训练的。
2021-01-18 cs.CL
Semantic Adapter for Universal Text Embeddings: Diagnosing and Mitigating Negation Blindness to Enhance Universality
Amadeus France(法国阿玛德斯公司)
针对通用文本嵌入模型在评估基准偏差下存在的否定感知缺失问题,提出一种无需修改模型参数的嵌入重加权方法,在简单与复杂否定理解任务中显著提升了模型及大语言模型嵌入的否定感知能力。
2025-07-16 cs.AI cs.CL
Joint Embedding of Words and Labels for Text Classification
Duke University(杜克大学)
词嵌入是在学习文本序列表示时捕捉词间语义重叠的有效中间表示。我们建议将文本分类视为标签-词联合嵌入问题:每个标签与词向量嵌入在同一空间中。我们引入了一个注意力框架,衡量文本序列和标签之间的嵌入的兼容性。注意力是在标记样本的训练集上学习的,以确保在给定文本序列的情况下,相关单词的权重高于不相关单词。我们的方法保持了词嵌入的可解释性,并且除了输入文本序列之外,还具有利用替代信息源的内置能力。在几个大型文本数据集上的广泛结果表明,所提出的框架在准确性和速度方面都大大优于最先进的方法。
2018-05-10 cs.CL cs.LG
AspectCSE: Sentence Embeddings for Aspect-based Semantic Textual Similarity Using Contrastive Learning and Structured Knowledge
Technical University of Munich(慕尼黑工业大学);DFKI GmbH(德国人工智能研究中心)
本文提出AspectCSE方法,利用对比学习和Wikidata知识图谱属性训练基于方面的句子嵌入,在信息检索任务上平均提升3.97%,并证明多方面嵌入优于单方面嵌入。
2023-09-24 cs.AI cs.CL
Attacks against Ranking Algorithms with Text Embeddings: a Case Study on Recruitment Algorithms
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
最近的一些研究表明,文本分类任务容易受到中毒和逃避攻击。然而,很少有工作调查攻击决策算法,使用文本嵌入,其输出是一个排名。在本文中,我们专注于招聘过程中的排名算法,采用文本嵌入排名申请人的简历相比,职位描述。我们展示了白盒和黑盒攻击,识别文本项,根据其位置在嵌入空间中,有显着的贡献,在增加简历和职位描述之间的相似性得分。然后,对手使用这些文本项来提高其简历的排名。我们测试了使用从通用句子编码器(USE)和词频逆文档频率(TF IDF)向量获得的相似性得分的招聘算法。我们的研究结果表明,在这两种对抗性设置中,平均而言,攻击者是成功的。我们还发现,与USE相比,对TF IDF的攻击更成功。
2021-08-12 cs.CL cs.LG
Text classification problems via BERT embedding method and graph convolutional neural network
CREATORY
本文提出了一种将BERT嵌入方法与图卷积神经网络相结合的新方法。这种组合被用来解决文本分类问题。首先,我们将BERT嵌入方法应用于文本(在BBC新闻数据集和IMDB电影评论数据集中),以便将所有文本转换为数值向量。然后,图卷积神经网络将被应用于这些数字向量,以将这些文本分类到其适当的类别/标签。实验表明,图卷积神经网络模型的性能优于BERT嵌入方法与经典机器学习模型相结合的性能。
2022-09-03 cs.CL cs.LG stat.ML
On Geodesic Distances and Contextual Embedding Compression for Text Classification
University of Washington(华盛顿大学)
在一些内存受限的设置中,如物联网设备和网络数据管道,具有较小的上下文嵌入可能是有利的。我们调查的效果投影上下文嵌入数据(BERT)到一个流形上,并使用非线性降维技术来压缩这些嵌入。特别是,我们提出了一种新型的后处理方法,应用Isomap和PCA的组合。我们发现,测地线距离估计,估计黎曼流形上的最短路径,从Isomap的k-最近邻图支撑的压缩嵌入的性能,可与原来的BERT嵌入。在一个数据集上,我们发现,尽管降维了12倍,但在下游分类任务中,压缩嵌入的性能在原始BERT嵌入的0.1%以内。此外,我们发现,这种方法的效果特别好的任务依赖于句法数据,线性降维相比。这些结果表明,一种新的几何方法,以实现低维的文本嵌入从现有的Transformers和铺平道路的数据特定的和特定于应用程序的嵌入压缩的承诺。
2021-04-22 cs.CL cs.LG
Exploiting Class Labels to Boost Performance on Embedding-based Text Classification
Queen Mary University of London(伦敦玛丽女王大学)
文本分类是处理文本数据最常见的任务之一,有助于从大规模数据集进行研究。不同种类的嵌入最近已经成为文本分类的事实标准。这些嵌入有能力捕获从大型外部集合中出现的单词推断出的含义。虽然它们是由外部集合构建的,但它们不知道手头的分类数据集中单词的分布特征,最重要的是包括训练数据中单词在类中的分布。为了充分利用这些嵌入作为特征并提高使用它们的分类器的性能,我们引入了一个加权方案,词频类别比(TF-CR),它可以在计算词嵌入时对高频,类别独占词进行更高的加权。我们在8个数据集上的实验表明了TF-CR的有效性,在大多数情况下,与著名的加权方案TF-IDF和KLD以及没有加权方案相比,TF-CR的性能得分得到了提高。
2020-09-01 cs.CL cs.IR
An empirical study on large scale text classification with skip-gram embeddings
University of Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Coffreo(Coffreo公司)
我们研究了在大规模文本分类的背景下,将词嵌入作为分类特征。这种表示已被用于过多的任务,但它们在分类场景中的应用与成千上万的类还没有得到广泛的研究,部分是由于硬件的限制。在这项工作中,我们研究了有效的组合功能,以获得文档级的字级嵌入,我们随后调查他们的组合与传统的一热编码表示。通过对大型、多类、多标签分类问题的经验证据,我们证明了这种组合的效率和性能优势。
2016-06-21 cs.CL cs.IR
Adapting Text Embeddings for Causal Inference
Columbia University(哥伦比亚大学)
在论文中增加一个定理会影响它被接受的机会吗?用作者的性别标记帖子会影响帖子的受欢迎程度吗?本文开发了一种方法来估计这样的因果关系的观察文本数据,调整的文本,如主题或写作质量的混淆功能。我们假设,文本足以进行因果调整,但在实践中,它是令人望而却步的高维。为了解决这一挑战,我们开发了因果充分的嵌入,低维的文档表示,保留足够的信息,因果识别,并允许有效的估计因果关系的影响。因果充分嵌入结合了两个概念。第一种是监督降维:因果调整只需要预测治疗和结果的文本方面。第二个是有效的语言建模:文本的表示被设计为处理语言上不相关的信息,并且这些信息也是因果上不相关的。我们的方法适应语言模型(特别是词嵌入和主题模型)来学习能够预测治疗和结果的文档嵌入。我们研究了因果充分嵌入与半合成数据集,并发现它们改善了相关嵌入方法的因果估计。我们通过回答两个激励问题来说明方法--定理对论文接受度的影响和性别标签对帖子流行度的影响。代码和数据可在https://github.com/vveitch/cause-text-embeddings-tf2}{github.com/vveitch/cause-text-embeddings-tf2
2020-07-25 cs.CL cs.LG stat.ML
IDEA: Interactive DoublE Attentions from Label Embedding for Text Classification
Shanghai University of Finance and Economics(上海财经大学)
目前的文本分类方法通常只将文本编码为嵌入到简单或复杂的分类器之前,忽略了标签文本中包含的暗示性信息。事实上,人类主要根据子类别的语义对文档进行分类。我们提出了一种新颖的模型结构,通过连体的BERT和名为IDEA(Interactive DoublE Attentions)的交互式双重注意力来捕获文本和标签名称的信息交换。交互式的双重关注使模型能够从粗到细地利用类间和类内信息,这涉及到区分所有标签并匹配地面真值标签的语义子类。我们提出的方法优于使用标签文本的最先进的方法,具有更稳定的结果。
2022-09-23 cs.AI cs.CL
Text classification with word embedding regularization and soft similarity measure
Masaryk University(马萨里克大学);Faculty of Informatics(信息学院)
自从Mikolov等人的开创性工作以来,词嵌入已经成为许多自然语言处理任务的优选单词表示。从词嵌入中提取的文档相似性度量,如软余弦度量(SCM)和词移动者距离(WMD),被报道在语义文本相似性和文本分类方面达到最先进的性能。尽管WMD在文本分类和语义文本相似性方面表现出色,但其超立方平均时间复杂度是不切实际的。SCM具有二次最坏情况时间复杂度,但其在文本分类上的性能从未与WMD进行过比较。最近,两种词嵌入正则化技术被证明可以减少存储和内存成本,并提高训练速度,文档处理速度以及词类比,词相似性和语义文本相似性的任务性能。然而,这些技术对文本分类的影响尚未得到研究。在我们的工作中,我们调查的两个词嵌入正则化技术的文档处理速度和任务性能的SCM和WMD对文本分类的单独和联合效果。为了进行评估,我们使用$k$ NN分类器和六个标准数据集:BBCSPORT,TWITTER,OHSUMED,REUTERS-21578,AMAZON和20 NEWS。我们发现,与非正则化词嵌入相比,正则化词嵌入的平均$k$ NN测试错误减少了39%。我们描述了一个实用的程序,通过Cholesky分解得到这样的正则化嵌入。我们还表明,具有正则化词嵌入的SCM在文本分类方面明显优于WMD,并且速度快了10,000倍以上。
2020-03-10 cs.CL cs.IR cs.LG
Word-Class Embeddings for Multiclass Text Classification
Istituto di Scienza e Tecnologie dell’Informazione(信息科学与技术研究所);Consiglio Nazionale delle Ricerche(国家研究委员会)
预训练的词嵌入对自然语言的一般单词语义和词汇语义进行编码,并且已经证明在许多NLP任务中是有用的,包括词义消歧,机器翻译和情感分析,仅举几例。在有监督的任务中,如多类文本分类(本文的重点),似乎很有吸引力,可以通过对特定于任务的信息进行编码的特设嵌入来增强单词表示。我们提出了(监督)词类嵌入(WCE),并表明,当连接到(无监督)预训练的词嵌入时,它们大大促进了深度学习模型在多类分类中的训练。我们展示了经验证据,表明WCE在多类分类准确性方面得到了一致的提高,使用了四种流行的神经架构和六种广泛使用和公开可用的多类文本分类数据集。我们实现WCE的代码可在https://github.com/AlexMoreo/word-class-embeddings上公开获取
2019-11-26 cs.CL cs.LG stat.ML
Effect of Text Processing Steps on Twitter Sentiment Classification using Word Embedding
Tennessee State University(田纳西州立大学);Old Dominion University(欧道明大学)
原始文本的处理是文本分类和情感分析中至关重要的第一步。然而,文本处理步骤通常使用现成的例程和预构建的单词词典来执行,而不针对域、应用和上下文进行优化。本文研究了七种文本处理方案对特定文本域(Twitter)和应用程序(情感分类)的影响。基于跳过语法的词嵌入被开发为包括Twitter口语词、表情符号和主题标签关键词,这些关键词通常由于在传统文学语料库中不可用而被移除。我们的实验揭示了两个常见的文本处理步骤对情感分类的负面影响:1)停止词去除和2)平均词向量来表示单个推文。新的有效步骤1)包括非ASCII表情符号字符,2)从词嵌入中测量词的重要性,3)将词向量聚合到推文嵌入中,以及4)开发线性可分离的特征空间,以优化情感分类管道。文本处理步骤的最佳组合在对具有三个情感标签的14,640条推文进行分类时产生最高的平均曲线下面积(AUC)88.4(+/-0.4)。从上下文驱动的词嵌入中进行的词选择显示,只有推文中最重要的十个词累积产生超过98%的最大准确率。结果表明,数据驱动的选择的重要的话,而不是使用预先建立的单词词典的推文分类的手段。所提出的推文嵌入对几个文本处理步骤是鲁棒的,并且简化了对几个文本处理步骤的需要。
2020-07-25 cs.CL cs.IR cs.LG
Multi-Task Contrastive Learning for 8192-Token Bilingual Text Embeddings
Jina AI GmbH(吉纳人工智能有限公司)
本文提出支持8192 token长文本的双语嵌入模型,通过多任务对比学习提升跨语言语义相似度性能,并扩展MTEB基准以覆盖德语和西班牙语。
2024-02-26 cs.AI cs.CL cs.IR
Text Classification through Glyph-aware Disentangled Character Embedding and Semantic Sub-character Augmentation
Hosei University(法政大学)
我们提出了一个新的基于字符的文本分类框架的非字母的语言,如中文和日语。我们的框架包括一个变分字符编码器(VCE)和字符级文本分类器。VCE由一个$β$ -变分自动编码器($β$ -VAE)组成,该编码器学习所提出的字形感知解纠缠字符嵌入(GDCE)。由于GDCE提供了零均值单位方差的特征嵌入,是维度独立的,它适用于我们的可解释的数据增强,即语义子字符增强(SSA)。在本文中,我们评估了我们的框架,使用日本文本分类任务的文件和文件级别。我们证实,我们的GDCE和SSA不仅提供了嵌入的可解释性,但也提高了分类性能。我们的建议取得了竞争力的结果,国家的最先进的模型,同时还提供模型的可解释性。我们的代码可在https://github.com/IyatomiLab/GDCE-SSA上获得
2020-11-09 cs.AI cs.CL cs.LG
Debiasing Embeddings for Reduced Gender Bias in Text Classification
Google(谷歌)
(Bolukbasi等人,2016)证明了预训练的词嵌入可以从它们所训练的数据中继承性别偏见。我们使用职业分类的案例研究(De-Arteaga et al.,2019年)。我们发现,传统的去偏置嵌入技术实际上可以通过提供一个噪声较小的通道来传达性别信息,从而恶化下游分类器的偏差。然而,通过相对较小的调整,我们展示了如何使用这些相同的技术来同时减少偏差并保持高分类精度。
2019-08-07 cs.CL cs.LG stat.ML
GuideWalk: A Novel Graph-Based Word Embedding for Enhanced Text Classification
University of Kirkuk(基尔库克大学);Ankara University(安卡拉大学)
本文提出基于加权词图随机游走的 GTPM 文本嵌入方法,利用句法、语义及隐藏信息提升二分类与多分类性能,并在少量训练数据下显著优于八种基线算法。
2024-09-08 cs.AI cs.CL cs.LG
A Novel Method of Extracting Topological Features from Word Embeddings
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
近年来,拓扑数据分析已被广泛用于处理高维噪声数据的问题。然而文本表示往往是高维和噪声的,拓扑数据分析在自然语言处理中的应用还很少。在本文中,我们介绍了一种新的算法来提取拓扑特征的词嵌入表示的文本,可用于文本分类。拓扑数据分析以词嵌入为研究对象,可以解释嵌入的高维空间,发现不同嵌入维数之间的关系。我们将使用持久同源性,拓扑数据分析中最常用的工具,用于我们的实验。检查我们的拓扑算法长文本文档,我们将显示我们定义的拓扑功能可能优于传统的文本挖掘功能。
2020-04-19 cs.CL cs.LG math.AT
Neural Embeddings for Text
Primer Technologies Inc.(Primer科技公司)
我们提出了一种新的嵌入自然语言文本,深入代表语义。标准文本嵌入使用来自预训练的语言模型的隐藏层的输出。在我们的方法中,我们让一个语言模型从文本中学习,然后从字面上挑选它的大脑,获取模型神经元的实际权重来生成一个向量。我们将这种文本的表示称为神经嵌入。我们通过分析它在几个数据集上的行为,并通过将神经嵌入与最先进的句子嵌入进行比较,证实了这种表示反映文本语义的能力。
2022-11-20 cs.CL
Out-of-the-Box Conditional Text Embeddings from Large Language Models
Cyberagent Inc.(Cyberagent公司)
本文提出无监督条件文本嵌入方法PonTE,利用因果大语言模型和条件提示,无需微调即可生成条件嵌入,在相似性和聚类任务上性能媲美监督方法,并具备可解释性。
2025-04-23 cs.CL
Global Textual Relation Embedding for Relational Understanding
University of California, Santa Barbara(加州大学圣巴巴拉分校);The Ohio State University(俄亥俄州立大学)
预先训练的嵌入,如词嵌入和句子嵌入,是促进广泛的下游NLP任务的基本工具。在这项工作中,我们研究如何学习一个通用的嵌入文本关系,定义为实体之间的最短依赖路径。文本关系嵌入提供了词/短语级别和句子级别之间的知识水平,我们表明,它可以促进下游的任务,需要对文本的关系理解。为了学习这样的嵌入,我们通过将整个英语语料库连接到Freebase来创建最大的远程监督数据集。我们使用文本和知识库关系之间的全局共现统计作为监督信号来训练嵌入。两个关系理解任务的评价表明,学习的文本关系嵌入的有用性。数据和代码可以在https://github.com/czyssrs/GloREPlus上找到
2019-06-03 cs.CL
SEA-LION-Embedding: Open and Reproducible Text Embeddings for Southeast Asia
AI Singapore(AI新加坡);School of Information Science and Technology, VISTEC(信息科学与技术学院,VISTEC)
提出SEA-Embedding,一个完全开放且可复现的东南亚语言文本嵌入管道,通过研究数据组成、训练目标和基础编码器初始化三个核心因素,在SEA-BED上取得最优结果。
2026-09-10 cs.CL
jina-embeddings-v5-text: Task-Targeted Embedding Distillation
Jina AI GmbH
本文提出结合模型蒸馏与任务特定对比损失的训练方法,生成紧凑高效嵌入模型,实验表明其在小型模型训练中效果优于纯对比或蒸馏方法,模型在多语言长文本处理中表现稳健。
2026-04-28 cs.CL
Learning Conceptual-Contextual Embeddings for Medical Text
University of Oregon(俄勒冈大学);Baidu Research(百度研究院);Tsinghua University(清华大学)
外部知识对于自然语言理解任务通常是有用的。我们引入了一个上下文文本表示模型,称为概念上下文(CC)嵌入,它将结构化知识的文本表示。与实体嵌入方法不同,我们的方法将知识图谱编码为上下文模型。CC嵌入可以很容易地重复用于各种任务,就像预先训练的语言模型一样。我们的模型有效地利用语义泛化编码的巨大UMLS数据库。电子健康记录(EHRs)和医疗文本处理基准测试的实验表明,我们的模型提供了一个监督医疗NLP任务的性能大大提高。
2020-03-12 cs.CL
Diffusion vs. Autoregressive Language Models: A Text Embedding Perspective
Nanyang Technological University(南洋理工大学);Yale University(耶鲁大学);NYU Shanghai(纽约大学上海校区);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-国立科技大学新加坡联合研究机构);Center for Data Science New York University(纽约大学数据科学中心)
针对自回归大语言模型单向注意力与文本嵌入双向特性不匹配的问题,提出采用扩散语言模型做文本嵌入,系统性研究证实其在多类检索任务上性能更优,双向注意力对长复杂文本全局编码很关键。
2025-05-21 cs.CL
Towards General Text Embeddings with Multi-stage Contrastive Learning
Alibaba Group(阿里巴巴集团)
本文提出通用文本嵌入模型 GTE,通过多阶段对比学习并在预训练与微调阶段大幅增加数据,以 110M 参数超越 OpenAI 嵌入 API 及更大模型,并在代码检索任务中表现优异。
2023-08-07 cs.CL
Ruri: Japanese General Text Embeddings
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科)
针对日语通用文本嵌入模型开发不足、数据集与专业知识匮乏的问题,研究团队开发了Ruri系列模型,详述了用LLM合成数据集训练、重排序器过滤与蒸馏及性能评估的全流程。
2024-09-12 cs.CL
Learning Domain-Specific Word Embeddings from Sparse Cybersecurity Texts
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校);IBM(IBM公司)
词嵌入是一种自然语言处理(NLP)技术,它自动将词汇表中的词映射到嵌入空间中的实数向量。近年来,它已被广泛用于提高各种NLP任务的性能,如命名实体识别,句法分析和情感分析。经典的词嵌入方法,如Word2Vec和GloVe,在大型文本语料库中工作良好。当输入文本像在许多专门领域中那样稀疏时(例如,网络安全),这些方法往往不能产生高质量的载体。本文提出了一种从稀疏文本中训练特定领域词嵌入的新方法。除了领域文本,我们的方法还利用了不同类型的领域知识,如领域词汇和语义关系。具体来说,我们首先提出了一个通用的框架,编码不同类型的领域知识的文本注释。在此基础上,提出了一种新的词标注嵌入算法(WAE),将不同类型的文本标注融合到词嵌入中。我们已经评估了我们的方法在两个网络安全文本语料库:恶意软件描述语料库和常见的漏洞和暴露(CVE)语料库。我们的评估结果证明了我们的方法在学习特定领域的词嵌入方面的有效性。
2017-09-21 cs.CL
LDIR: Low-Dimensional Dense and Interpretable Text Embeddings with Relative Representations
College of Computer Science and Software Engineering, Shenzhen University(计算机科学与软件工程学院,深圳大学)
针对现有文本嵌入可解释性差或维度高的问题,提出低维稠密可解释文本嵌入LDIR,通过最远点采样锚定文本实现语义相关性表征,性能接近黑盒模型且优于同类可解释基线。
2025-05-16 cs.CL
Text Simplification with Sentence Embeddings
Manchester Metropolitan University(曼彻斯特 Metropolitan 大学)
本研究探索句子嵌入在文本简化中的应用,用小型前馈神经网络学习高低复杂度文本的句子嵌入转换,在小样本设置下效果可比Seq2Seq和LLM方法,还可跨数据集和跨语言应用,为轻量化文本简化模型提供新方向。
2025-10-28 cs.CL
Focusing Condition: Inference-Time Self-Contrastive Steering Elicits Better Conditional Text Embeddings in LLMs
本文提出推理时自对比引导(SCS)方法,通过构建无条件嵌入并干预注意力机制,提升大语言模型的条件文本嵌入质量,无需训练且即插即用。
2026-09-29 cs.CL
jina-embeddings-v5-omni: Geometry-preserving Embeddings via Locked Aligned Towers
Jina by Elastic(Jina 由 Elastic 公司)
本文提出GELATO方法,通过冻结对齐塔实现多模态嵌入,生成统一语义空间,训练效率高且保持文本嵌入一致性。
2026-08-18 cs.CL
Greenback Bears and Fiscal Hawks: Finance is a Jungle and Text Embeddings Must Adapt
Balyasny Asset Management(巴利亚斯尼资产管理公司)
针对金融文本术语和行话挑战,提出在1430万查询-段落对上微调的BAM embeddings,其Recall@1达62.8%且在FinanceBench上问答准确率提升8%,证明了领域特定训练的优势。
2024-11-11 cs.CL
ReverseEOL: Improving Training-free Text Embeddings via Text Reversal in Decoder-only LLMs
Institute of Science Tokyo(东京科学研究所);Tencent(腾讯)
提出ReverseEOL方法,通过反转输入文本生成互补嵌入,结合前向嵌入提升冻结解码器仅LLM的文本表示能力,在STS和MTEB基准上显著提升无训练基线性能。
2026-06-04 cs.CL
LT3 at SemEval-2020 Task 9: Cross-lingual Embeddings for Sentiment Analysis of Hinglish Social Media Text
Ghent University(根特大学)
本文描述了我们对SemEval-2020任务9的贡献,该任务是关于代码混合社交媒体文本的情感分析。我们研究了两种解决印度式英语情感分析任务的方法。第一种方法使用跨语言嵌入,这是通过在同一空间中投射Hinglish和预先训练的英语FastText词嵌入而产生的。第二种方法结合了预先训练的英语嵌入,这些嵌入是用一组Hinglish tweets进行增量再训练的。结果表明,第二种方法的性能最好,在保留的测试数据上的F1分数为70.52%。
2020-10-21 cs.CL
Rotate King to get Queen: Word Relationships as Orthogonal Transformations in Embedding Space
Stanford University(斯坦福大学);University of Toronto(多伦多大学)
词嵌入的一个显著特性是词关系可以作为线性子结构存在于嵌入空间中。例如,$\textit{gender}$对应于$\vec{\textit{woman}} - \vec{\textit{man}}$和$\vec{\textit{queen}} - \vec{\textit{king}}$。这反过来又允许用算术来解决单词类比:$\vec{\textit{king}} - \vec{\textit{man}} + \vec{\textit{woman}} \approx \vec{\textit{queen}}$。这个属性值得注意,因为它表明在词嵌入上训练的模型可以很容易地学习几何翻译等关系。然而,没有证据表明模型$\textit{exclusively}$以这种方式表示关系。我们记录了下游模型可能学习这些关系的另一种方式:正交和线性变换。例如,给定$\textit{gender}$的平移向量,我们可以找到表示旋转和反射的正交矩阵$R$,使得$R(\vec{\textit{king}}) \approx \vec{\textit{queen}}$和$R(\vec{\textit{man}}) \approx \vec{\textit{woman}}$。使用正交变换的类比推理几乎与使用向量算术一样精确;使用线性变换比两者都精确。我们的研究结果表明,这些转换可以很好地表示词的关系作为翻译向量…
2019-09-05 cs.CL
niksss at HinglishEval: Language-agnostic BERT-based Contextual Embeddings with Catboost for Quality Evaluation of the Low-Resource Synthetically Generated Code-Mixed Hinglish Text
Manipal University Jaipur(马尼帕尔大学斋浦尔分校)
本文描述了INLG 2022上HinglishEval挑战赛的系统描述。本课题的目的是研究影响混合代码文本生成系统质量的因素。该任务分为两个子任务,质量评级预测和注释者分歧预测的合成Hinglish数据集。我们尝试使用上下文级嵌入来解决这些任务,这些嵌入是通过对文本中所有输入标记的上下文化词嵌入进行平均池化而获得的。我们在为各自任务生成的嵌入之上试验了各种分类器。我们表现最好的系统在子任务B上排名第一,在子任务A上排名第三。
2022-06-17 cs.CL
Why Mean Pooling Works: Quantifying Second-Order Collapse in Text Embeddings
Tohoku University(东洋大学);The University of Tokyo(东京大学);Kyoto University(京都大学);RIKEN(日本科学技术研究所);MBZUAI;NINJAL
本文研究均值池化在真实模型中的有效性,发现其可能造成信息丢失,但现代文本编码器对这种崩溃具有鲁棒性,且鲁棒性与下游任务性能相关。
2026-04-30 cs.CL
Towards robust word embeddings for noisy texts
Universidade de Vigo(维戈大学);Universidade da Coruña(拉科鲁尼亚大学)
对词嵌入的研究主要集中在提高它们在标准语料库上的性能,而忽略了来自社交媒体的推特和其他类型的非标准写作形式的嘈杂文本所带来的困难。在这项工作中,我们提出了一个简单的扩展skipgram模型中,我们引入了桥字的概念,这是人工的话添加到模型中,以加强标准的话和他们的噪声变体之间的相似性。我们的新嵌入在各种内在和外在的评估任务上都优于噪声文本的基线模型,同时在标准文本上保持良好的性能。据我们所知,这是在词嵌入级别处理这种类型的噪声文本的第一个明确的方法,它超越了对词汇表外词的支持。
2020-09-30 cs.CL
Statistical Depth for Ranking and Characterizing Transformer-Based Text Embeddings
Dartmouth College(达特茅斯学院)
本文提出基于Transformer的文本嵌入(TTE)统计深度,用于排序文本中心性并衡量分布,通过秩和检验比较语料库,在上下文学习提示选择任务中提升性能,并揭示了合成数据增强引起的分布偏移。
2023-10-23 cs.CL
Smaller Text Classifiers with Discriminative Cluster Embeddings
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
在用于自然语言处理的神经方法中,词嵌入参数通常支配整体模型大小。我们减少部署的文本分类器的模型大小,通过学习一个硬词聚类在一个端到端的方式。我们使用Gumbel-Softmax分布来最大化潜在聚类,同时最小化任务损失。我们提出了选择性地为单词分配额外参数的变化,这进一步提高了准确性,同时仍然保持参数效率。
2019-06-23 cs.CL
Exploring Reasoning-Infused Text Embedding with Large Language Models for Zero-Shot Dense Retrieval
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊)
针对现有文本嵌入方法缺乏推理能力的问题,提出融合推理的文本嵌入方法RITE,通过生成式大语言模型在嵌入计算前生成中间推理文本,在BRIGHT基准上显著提升了多领域零样本稠密检索性能。
2025-08-29 cs.CL
Expanding the Text Classification Toolbox with Cross-Lingual Embeddings
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Swisscom (Switzerland) AG(瑞士电信(瑞士)股份公司);University of Southern California (USC)(南加利福尼亚大学);Swisscom AG(瑞士电信股份公司)
文本分类和自然语言处理(NLP)的大部分工作都集中在英语或其他少数几种拥有数亿单词文本语料库的语言上。这正在创造一个新版本的数字鸿沟:人工智能(AI)鸿沟。基于迁移的方法,如跨语言文本分类(CLTC)-将不同语言编写的文本分类到一个共同的分类法中的任务,是解决新兴AI鸿沟的一个很有前途的解决方案。CLTC最近的工作集中在展示使用双语词嵌入作为特征的好处,将CLTC问题降级为仅仅基于简单平均感知器的基准。在本文中,我们更广泛和系统地探讨了CLTC问题的两种风格:新闻主题分类和社交媒体中的文本流失意图检测(TCID)。特别是,我们测试的假设,嵌入上下文更有效,多任务的学习多语言词嵌入和文本分类;我们探索CLTC的神经架构;我们从双到多语言词嵌入。对于所有架构、词嵌入类型和数据集,我们注意到支持多语言联合训练的一致增益趋势,特别是对于低资源语言。
2019-03-26 cs.CL
PL-MTEB: Polish Massive Text Embedding Benchmark
National Information Processing Institute(国家信息处理研究所)
本文提出PL-MTEB,一个涵盖波兰语言文本嵌入的综合基准,包含30个不同NLP任务,新增12个波兰任务和两个新数据集,评估30种公开文本嵌入模型并公开结果。
2026-04-24 cs.CL
Improving General Text Embedding Model: Tackling Task Conflict and Data Imbalance through Model Merging
Beihang University(北京航空航天大学)
本文针对多任务联合训练中的任务冲突和数据不平衡问题,提出自定位模型合并方法,在MTEB上提升0.7个点并降低计算成本。
2024-10-19 cs.CL