Neural Embeddings for Text
Primer Technologies Inc.(Primer科技公司)
我们提出了一种新的嵌入自然语言文本,深入代表语义。标准文本嵌入使用来自预训练的语言模型的隐藏层的输出。在我们的方法中,我们让一个语言模型从文本中学习,然后从字面上挑选它的大脑,获取模型神经元的实际权重来生成一个向量。我们将这种文本的表示称为神经嵌入。我们通过分析它在几个数据集上的行为,并通过将神经嵌入与最先进的句子嵌入进行比较,证实了这种表示反映文本语义的能力。
2022-11-20 cs.CL
Improving General Text Embedding Model: Tackling Task Conflict and Data Imbalance through Model Merging
Beihang University(北京航空航天大学)
本文针对多任务联合训练中的任务冲突和数据不平衡问题,提出自定位模型合并方法,在MTEB上提升0.7个点并降低计算成本。
2024-10-19 cs.CL
On Self-improving Token Embeddings
Georgia State University(佐治亚州立大学);Technische Universität Ilmenau(伊伦姆阿大学);FernUniversität in Hagen(哈根弗伦大学)
本文提出一种自改进词元嵌入方法,通过结合相邻词元嵌入持续更新表示,解决词汇表外问题,并在主题同质语料库中增强词元表示,应用于风暴事件分析。
2025-04-21 cs.AI cs.CL cs.IR
Out-of-the-Box Conditional Text Embeddings from Large Language Models
Cyberagent Inc.(Cyberagent公司)
本文提出无监督条件文本嵌入方法PonTE,利用因果大语言模型和条件提示,无需微调即可生成条件嵌入,在相似性和聚类任务上性能媲美监督方法,并具备可解释性。
2025-04-23 cs.CL
Causal2Vec: Improving Decoder-only LLMs as Embedding Models through a Contextual Token
Institute of Science Tokyo(东京科学研究所);Tencent(腾讯)
Causal2Vec通过引入上下文标记提升解码器-only LLMs的嵌入性能,无需修改原有架构或增加计算开销,实现了在MTEB基准上的新状态。
2026-05-02 cs.AI cs.CL
Learning Conceptual-Contextual Embeddings for Medical Text
University of Oregon(俄勒冈大学);Baidu Research(百度研究院);Tsinghua University(清华大学)
外部知识对于自然语言理解任务通常是有用的。我们引入了一个上下文文本表示模型,称为概念上下文(CC)嵌入,它将结构化知识的文本表示。与实体嵌入方法不同,我们的方法将知识图谱编码为上下文模型。CC嵌入可以很容易地重复用于各种任务,就像预先训练的语言模型一样。我们的模型有效地利用语义泛化编码的巨大UMLS数据库。电子健康记录(EHRs)和医疗文本处理基准测试的实验表明,我们的模型提供了一个监督医疗NLP任务的性能大大提高。
2020-03-12 cs.CL
Improving Contrastive Learning of Sentence Embeddings from AI Feedback
Fudan University(复旦大学)
本文提出CLAIF方法,利用大型预训练语言模型的AI反馈构建带细粒度相似度分数的样本对,并结合人类反馈提供监督信号,显著提升了句子嵌入对比学习在语义文本相似性等任务上的性能。
2023-05-20 cs.AI cs.CL
SemPA: Improving Sentence Embeddings of Large Language Models through Semantic Preference Alignment
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);School of Computer Science and Electronic Engineering, University of Surrey(Surrey大学计算机科学与电子工程学院)
SemPA通过语义偏好对齐提升大语言模型的句子嵌入能力,同时保持其生成能力。
2026-01-08 cs.CL
Diffusion vs. Autoregressive Language Models: A Text Embedding Perspective
Nanyang Technological University(南洋理工大学);Yale University(耶鲁大学);NYU Shanghai(纽约大学上海校区);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-国立科技大学新加坡联合研究机构);Center for Data Science New York University(纽约大学数据科学中心)
针对自回归大语言模型单向注意力与文本嵌入双向特性不匹配的问题,提出采用扩散语言模型做文本嵌入,系统性研究证实其在多类检索任务上性能更优,双向注意力对长复杂文本全局编码很关键。
2025-05-21 cs.CL
LDIR: Low-Dimensional Dense and Interpretable Text Embeddings with Relative Representations
College of Computer Science and Software Engineering, Shenzhen University(计算机科学与软件工程学院,深圳大学)
针对现有文本嵌入可解释性差或维度高的问题,提出低维稠密可解释文本嵌入LDIR,通过最远点采样锚定文本实现语义相关性表征,性能接近黑盒模型且优于同类可解释基线。
2025-05-16 cs.CL
Improving Uncertainty Quantification in Large Language Models via Semantic Embeddings
Australian National University(澳大利亚国立大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61)
针对大语言模型现有语义不确定性量化方法易高估不确定性的问题,提出基于语义嵌入的估计方法及摊销版本,在降低计算开销的同时实现更准确细致的量化。
2024-10-30 cs.AI cs.CL cs.LG
When Can We Work in Embedding Space? What Text Embeddings Preserve
Federal Reserve Bank of Philadelphia(费城联邦储备银行)
该研究探讨文本嵌入用于实证分析的假设,在文档为潜在主题混合的生成模型下明确该假设,通过对363个美国大都市区的应用,发现基于LLM生成经济描述的嵌入聚类效果优于其他聚类方式。
2026-09-01 cs.CL econ.EM stat.ML
LLM-Assisted Content Conditional Debiasing for Fair Text Embedding
The University of British Columbia(不列颠哥伦比亚大学);Google Cloud(谷歌云)
该研究针对文本嵌入的偏见问题,提出内容条件等距公平性与对应去偏损失,并用LLM指令增强数据,在保持嵌入效用的同时提升公平性,还构建了新的公平评估基准。
2024-06-24 cs.AI cs.CL cs.CY
Extending and Improving Wordnet via Unsupervised Word Embeddings
Princeton University(普林斯顿大学)
这项工作提出了一种无监督的方法来改善WordNet,建立在最近的进展,通过分布式语义的文档和意义表示。我们应用我们的方法来构建法语和俄语的Wordnets,这两种语言都缺乏良好的手动构造。1这些在两个新的600字测试集上进行了评估,用于单词到同义词集的匹配,并发现在同义词集的召回率上有很大的提高,在F分数上优于最好的自动化Wordnets。我们的方法需要很少的语言资源,因此适用于低资源语言的Wordnet建设,并可能进一步应用于意义聚类和其他Wordnet的改进。
2017-04-29 cs.CL cs.IR
Improving Twitter Sentiment Classification via Multi-Level Sentiment-Enriched Word Embeddings
Pingdingshan University(平顶山学院)
现有的大多数工作学习特定于情感的词表示来改进Twitter情感分类,在学习过程中对n-gram和远程监督的tweet情感信息进行编码。他们假设推文中的所有单词都具有与整个推文相同的情感极性,这忽略了单词本身的情感极性。为了解决这个问题,我们提出了学习特定的情感词嵌入,同时利用词典资源和远程监督信息。提出了一种多层次情感丰富的词嵌入学习方法,该方法在学习过程中使用并行非对称神经网络对n-gram、词级情感和tweet级情感进行建模。标准基准测试的实验表明,我们的方法优于国家的最先进的方法。
2016-11-01 cs.CL
Improving the Accuracy of Pre-trained Word Embeddings for Sentiment Analysis
University of Waterloo(滑铁卢大学);University of Tehran(德黑兰大学)
情感分析是自然语言处理和文本分类领域的一个重要研究课题。这种技术已经成为广泛应用的重要组成部分,包括政治,商业,广告和营销。情感分析有多种技术,但最近词嵌入方法已被广泛用于情感分类任务。Word 2 Vec和GloVe是目前最准确和可用的词嵌入方法之一,可以将词转换为有意义的向量。然而,这些方法忽略了文本的情感信息,并且需要大量的文本来训练和生成精确的向量,这些向量被用作深度学习模型的输入。因此,由于某些语料库的规模较小,研究人员往往不得不使用预先训练好的词嵌入,这些词嵌入是在其他大型文本语料库(如Google News)上训练的,大约有1000亿个词。预训练词嵌入准确性的提高对情感分析研究产生了很大的影响。在本文中,我们提出了一种新的方法,改进的词向量(IWV),它提高了情感分析中的预训练词嵌入的准确性。我们的方法是基于词性(POS)标记技术,基于词汇的方法和Word 2 Vec/GloVe方法。我们通过不同的深度学习模型和情感数据集测试了我们方法的准确性。实验结果表明,改进的词向量(IWV)是非常有效的情感分析。
2017-11-23 cs.CL cs.IR
Unsupervised Morphological Expansion of Small Datasets for Improving Word Embeddings
Kohli Center On Intelligent Systems (KCIS)(科利智能系统中心);International Institute of Information Technology Hyderabad (IIIT-H)(海得拉巴国际信息技术学院)
我们提出了一种独立于语言的,无监督的方法来构建词嵌入使用形态扩展的文本。我们的模型处理数据稀疏的问题,并通过依赖于人工生成的句子上的训练词嵌入来产生改进的词嵌入。我们评估我们的方法使用小规模的训练集11个测试集的词相似性任务在七种语言。此外,对于英语,我们使用三个标准测试集的大型训练集评估了我们的方法的影响。我们的方法改进了所有语言的结果。
2017-11-15 cs.CL
Embedding-Enhanced Giza++: Improving Alignment in Low- and High- Resource Scenarios Using Embedding Space Geometry
Johns Hopkins University(约翰斯·霍普金斯大学);The Chinese University of Hong Kong(香港中文大学)
几十年前,单词对齐是一项流行的自然语言处理任务,直到最近,它一直由GIZA++主导,GIZA ++是一种基于30年前IBM模型的统计方法。优于GIZA++的新方法主要依赖于大型机器翻译模型、大规模多语言语言模型或GIZA++比对本身的监督。我们引入了嵌入增强的GIZA++,并且在没有任何上述因素的情况下优于GIZA++。仅利用源语言和目标语言的单语嵌入空间,我们在三种语言对的每个测试场景中都超过了GIZA++的性能。在最低的资源设置中,我们分别以8.5,10.9和12 AER的Ro-En,De-En和En-Fr优于GIZA++。我们在https://github.com/kellymarchisio/ee-giza上发布代码。
2022-10-11 cs.CL
Improving Entity Linking through Semantic Reinforced Entity Embeddings
Zhejiang Gongshang University(浙江工商大学);Massey University(梅西大学);National University of Defense Technology(国防科技大学);Shanghai Research Center for Brain Science and Brain-Inspired Intelligence(上海脑科学与类脑研究中心);Zhangjiang Lab(张江实验室)
实体嵌入是神经实体链接模型的关键组成部分,它用单个向量(如词嵌入)表示每个实体的不同方面。现有的实体嵌入是从规范的维基百科文章和目标实体周围的本地上下文中学习的。这样的实体嵌入是有效的,但对于链接模型来说太独特了,无法学习上下文的共性。我们提出了一个简单而有效的方法,FGS2EE,注入细粒度的语义信息到实体嵌入,以减少独特性,促进学习的上下文共性。FGS2EE首先使用语义类型词的嵌入生成语义嵌入,然后通过线性聚合将其与现有的实体嵌入相结合。大量的实验表明了这种嵌入的有效性。基于我们的实体嵌入,我们在实体链接上实现了新的最先进的性能。
2021-06-16 cs.CL
Applying Text Embedding Models for Efficient Analysis in Labeled Property Graphs
NASK National Research Institute(波兰国家研究 institute)
本文提出在标注属性图中应用预训练文本嵌入模型,以提升节点分类和关系预测的语义分析能力。
2026-02-05 cs.CL cs.IR
Improving Zero Shot Learning Baselines with Commonsense Knowledge
Nanyang Technological University(南洋理工大学);Singapore University of Technology and Design(新加坡科技设计大学);University of Michigan(密歇根大学)
零样本学习--在完全不相交的类集合上进行训练和测试的问题--在很大程度上依赖于它将知识从训练类转移到测试类的能力。传统的语义嵌入由人类定义的属性(HA)或分布式词嵌入(DWE),用于促进这种转移,通过改善视觉和语义嵌入之间的关联。在本文中,我们利用显式的关系定义在ConceptNet,常识知识图谱,生成常识嵌入的类标签,通过使用基于图卷积网络的自动编码器。当我们将常识嵌入与现有的语义嵌入(即HA和DWE)融合时,我们在三个标准基准数据集上进行的实验超过了强基线。
2020-12-11 cs.CL
Improving Document Classification with Multi-Sense Embeddings
University of Utah(犹他大学);IIT Guwahati(印度理工学院古瓦哈提分校);IISC Bangalore(印度科学学院班加罗尔分院)
文本文档的有效表示是许多NLP任务中的重要组成部分。对长文本分类的研究表明,简单的词向量加权平均用于句子表示通常优于更复杂的神经模型。最近提出的稀疏复合文档向量(SCDV)(Mekala et. al,2017)使用词向量上的软聚类将这种方法从句子扩展到文档。然而,SCDV忽视了词的多义性,也遭受了更高维度的诅咒。在这项工作中,我们解决这些缺点,并提出SCDV-MS。SCDV-MS利用多意义的词嵌入和学习一个低维流形。通过在多个真实数据集上的广泛实验,我们表明SCDV-MS嵌入在多类和多标签文本分类任务上优于以前最先进的嵌入。此外,SCDV-MS嵌入在文本分类任务的时间和空间复杂度方面比SCDV更有效。
2019-11-18 cs.CL cs.IR cs.LG
Understanding and Improving Multi-Sense Word Embeddings via Extended Robust Principal Component Analysis
Peking University(北京大学)
由于无监督学习方法对上下文变化过于敏感,因此多义词的无监督学习表示产生了大量的伪多义。在本文中,我们解决了伪多义检测词嵌入的意义对降维。我们提出了一种新的主分析方法,称为前RPCA,旨在检测伪多感官和真正的多感官。与Ex-RPCA,我们的经验表明,伪多感官系统产生的无监督的方法。此外,多义词嵌入可以通过基于Ex-RPCA的简单线性变换来改进。我们改进的词嵌入在斯坦福大学上下文词相似度(SCWS)数据集上的性能比原来的提高了5.6个百分点。我们希望我们简单而有效的方法将有助于未来的多义词嵌入的语言分析。
2018-03-03 cs.CL
Improving Document Representations by Generating Pseudo Query Embeddings for Dense Retrieval
University of Chinese Academy of Sciences(中国科学院大学);Meituan(美团)
近年来,基于稠密表示的检索模型逐渐应用于文档检索任务的第一阶段,表现出比传统稀疏向量空间模型更好的性能。为了获得高效率,这些模型的基本结构在大多数情况下是双编码器。然而,这种简单的结构可能会导致严重的信息丢失,在编码的文档,因为查询是不可知的。为了解决这个问题,我们设计了一种方法,通过迭代聚类过程来模拟对每个文档的查询,并通过多个伪查询(即,集群质心)。为了提高检索过程中使用近似最近邻搜索库,我们还优化了匹配函数的两步得分计算过程。在几个流行的排名和QA数据集上的实验结果表明,我们的模型可以达到最先进的结果。
2021-08-19 cs.CL cs.IR
Improving BERT Fine-tuning with Embedding Normalization
像BERT这样的大型预训练句子编码器开启了自然语言处理的新篇章。将预训练的BERT应用于序列分类任务(例如,句子或句子对的分类)是通过将[CLS]标记的嵌入(在最后一层中)馈送到特定于任务的分类层,然后联合地微调BERT和分类器的模型参数。在本文中,我们对几个序列分类数据集进行系统分析,以检查微调阶段之前[CLS]令牌的嵌入值,并提出有偏嵌入分布问题-即,[CLS]的嵌入值集中在几个维度上,并且是非零中心的。这种有偏嵌入在微调期间给优化过程带来了挑战,因为[CLS]嵌入的梯度可能会爆炸并导致模型性能下降。我们进一步提出了几种简单而有效的归一化方法来修改[CLS]嵌入在微调。与以往的实验结果相比,基于归一化嵌入的神经网络分类模型在多个文本分类任务上都有明显的改进,证明了该方法的有效性。
2020-02-25 cs.CL
Improving a tf-idf weighted document vector embedding
TripAdvisor, Inc.(猫途鹰公司(TripAdvisor, Inc.))
我们研究了一些方法来计算一个密集的向量嵌入语料库中的文档,给定一组词向量,如word 2 vec或GloVe。我们描述了两种方法,可以提高一个简单的加权和,这是最佳的意义上说,他们最大限度地提高了一个特定的加权余弦相似性度量。我们考虑了几个加权函数,包括逆文档频率(idf),平滑逆频率(SIF),以及word 2 vec中使用的子采样函数。我们发现idf最适合我们的应用。我们还使用Arora等人提出的公共组件删除作为后处理,并发现它在大多数情况下是有用的。我们将这些嵌入变化与使用TripAdvisor评论的新评估任务上的doc 2 vec嵌入进行了比较,并对文献中的CQADupStack基准进行了比较。
2019-02-26 cs.CL
PromptBERT: Improving BERT Sentence Embeddings with Prompts
Beihang University(北京航空航天大学);Microsoft(微软);Zhongguancun Laboratory(中关村实验室);Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院)
我们提出了一种新的对比学习方法,用于学习更好的句子表示。本文首先分析了当前基于BERT的句子嵌入算法的不足,发现其主要原因是静态的标记嵌入偏差和无效的BERT层。然后提出了第一种基于提示的句子嵌入方法,并讨论了两种提示表示方法和三种提示搜索方法,使BERT能够实现更好的句子嵌入。此外,我们提出了一种新的无监督训练目标的模板去噪技术,这大大缩短了监督和无监督设置之间的性能差距。大量的实验表明了该方法的有效性。与SimCSE相比,在无监督设置下,基于BERT和RoBERTa的BertBert实现了2.29和2.58点的改进。
2022-10-13 cs.CL
Improving Low Compute Language Modeling with In-Domain Embedding Initialisation
University of Michigan(密歇根大学)
很多NLP应用,比如生物医学数据和技术支持,都有1000万到1亿个域内数据的token,用于学习的计算资源有限,在这种场景下,我们应该如何训练一个语言模型呢?大多数语言建模研究要么考虑具有封闭词汇表的小数据集(如标准的100万令牌Penn Treebank),要么考虑具有字节对编码的整个Web。我们表明,对于我们的目标设置在英语中,初始化和冻结使用域内数据的输入嵌入,可以提高语言模型的性能,通过提供一个有用的表示罕见的话,这种模式适用于几个不同的领域。在这个过程中,我们表明,绑定输入和输出嵌入的标准惯例并没有改善困惑时,初始化与嵌入训练域内数据。
2020-09-30 cs.CL
Rethinking the Privacy of Text Embeddings: A Reproducibility Study of "Text Embeddings Reveal (Almost) As Much As Text"
University of Amsterdam(阿姆斯特丹大学)
本研究复现了Vec2Text框架,验证了文本嵌入存在严重隐私泄露风险,发现高斯噪声和量化技术能有效缓解该风险,强调了NLP系统鲁棒防御机制的重要性。
2025-07-10 cs.CL cs.IR
Swivel: Improving Embeddings by Noticing What's Missing
Google Inc.(谷歌公司)
我们提出了子矩阵式向量嵌入学习器(Swivel),一种从特征共生矩阵生成低维特征嵌入的方法。Swivel通过随机梯度下降执行逐点互信息矩阵的近似因式分解。它使用分段损失,并对未观察到的同现进行特殊处理,从而利用矩阵中的所有信息。虽然这需要与整个矩阵的大小成比例的计算,但我们使用向量化乘法来同时处理数千个行和列,以计算数百万个预测值。此外,我们将矩阵划分为分片,以便在许多节点上并行计算。这种方法比只考虑观察到的同现的方法更准确地嵌入,并且可以扩展到比采样方法更大的语料库。
2016-02-06 cs.CL
Improving the Diversity of Unsupervised Paraphrasing with Embedding Outputs
Google LLC(谷歌有限责任公司);Indian Institute of Technology Madras(马德拉斯印度理工学院);Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
提出了一种新的zero-shot释义生成技术。其关键贡献是一个端到端的多语言释义模型,该模型使用翻译的并行语料库进行训练,以将释义生成“意义空间”--用词嵌入替换最终的softmax层。这种架构修改,加上一个训练过程,结合了自动编码的目标,使有效的参数共享跨语言更流畅的单语重写,并促进流畅性和多样性的生成。我们的连续输出释义生成模型优于zero-shot释义基线时,使用电池的计算指标,以及在人类评估的两种语言进行评估。
2021-10-25 cs.CL
Interactive Re-Fitting as a Technique for Improving Word Embeddings
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
词嵌入是从词共现中学习到的语料库中词的上下文的固定的、分布的表示。虽然词嵌入已被证明在自然语言处理任务中有许多实际用途,但它们反映了它们所训练的语料库的属性。最近的研究表明,对词嵌入进行后处理,以应用在词典中找到的信息,可以提高其质量。我们通过使其具有交互性来建立这种后处理技术。我们的方法使人类有可能通过移动单词集合来调整词嵌入空间的部分。该功能的一个激励用例是使用户能够识别并减少词嵌入中存在的偏见。我们的方法允许用户触发选择性的后处理,因为他们与词嵌入和评估潜在的偏见。
2020-09-30 cs.CL cs.LG
Improving Multilingual Sentence Embedding using Bi-directional Dual Encoder with Additive Margin Softmax
Google AI Language(谷歌AI语言部门)
在本文中,我们提出了一种方法来学习多语言句子嵌入使用一个双向的双重编码器与附加的余量softmax。在联合国(UN)平行语料库检索任务中,嵌入能够实现最先进的结果。在所有测试的语言中,系统达到了86%或更高的P@1。我们使用通过我们的方法检索的对来训练NMT模型,其实现与在黄金对上训练的模型相似的性能。我们探索通过平均我们的句子嵌入构造的简单文档级嵌入。在联合国文档级检索任务中,所有实验语言对的文档嵌入在P@1上实现了约97%。最后,我们评估所提出的模型上的BUCC挖掘任务。与当前最先进的模型相比,具有原始余弦相似性分数的学习嵌入实现了具有竞争力的结果,并且使用第二阶段评分器,我们在这项任务上实现了新的最先进水平。
2019-06-14 cs.CL
Improving Distantly-Supervised Relation Extraction through BERT-based Label & Instance Embeddings
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
远程监督关系抽取(RE)是一种有效的方法,规模RE大型语料库,但受到噪声标签。现有的方法试图通过多实例学习和提供额外的信息来减轻噪音,但主要是设法识别最频繁的关系,忽略了长尾中的关系。我们提出了REDSandT(关系抽取与远程监督和Transformers),一种新的远程监督的transformer为基础的RE方法,管理,以捕捉更广泛的关系,通过高度翔实的实例和标签嵌入RE,利用BERT的预训练模型,标签和实体之间的关系,分别。我们通过对结构化输入(包括连接实体对和实体类型的子树)进行BERT微调,引导REDSandT只关注关系令牌。使用提取的信息向量,我们形状的标签嵌入,我们也使用的注意力机制的实例,以进一步减少噪音。最后,我们通过连接关系和实例嵌入来表示句子。在NYT-10数据集中的实验表明,REDSandT以更高的置信度捕获了更广泛的关系集,实现了最先进的AUC(0.424)。
2021-02-01 cs.CL cs.IR cs.LG
Improving Chemical Named Entity Recognition in Patents with Contextualized Word Embeddings
The University of Melbourne(墨尔本大学);Elsevier(爱思唯尔)
化学专利是重要的化学信息资源。然而,很少有化学命名实体识别(NER)系统已被评估的专利文件,部分原因是其结构和语言的复杂性。在本文中,我们探讨了NER性能的BiLSTM-CRF模型利用预训练的词嵌入,字符级的词表示和上下文ELMo词表示化学专利。我们比较了在生物医学和化学专利语料库上预训练的词嵌入。还探讨了针对化学领域优化的标记器对化学专利中NER性能的影响。两个专利语料库的结果表明,从ELMo生成的上下文化的词表示大大提高化学NER性能w.r.t.我们还表明,特定领域的资源,如词嵌入培训的化学专利和化学特定的标记器对NER性能有积极的影响。
2019-07-05 cs.CL
Improving Cross-Lingual Word Embeddings by Meeting in the Middle
Universidade de Vigo(维戈大学);Cardiff University(卡迪夫大学)
跨语言词嵌入在多语言NLP中变得越来越重要。最近,已经表明,这些嵌入可以通过线性变换对齐两个不相交的单语向量空间来有效地学习,使用不超过一个小的双语词典作为监督。在这项工作中,我们建议在初始对齐步骤之后应用额外的转换,该转换将跨语言同义词移向它们之间的中间点。通过应用这种转换,我们的目标是获得更好的向量空间的跨语言整合。此外,也许令人惊讶的是,单语空间也通过这种转换得到改善。这与原始对齐形成对比,原始对齐通常被学习为使得单语空间的结构被保留。我们的实验证实,由此产生的跨语言嵌入优于国家的最先进的模型在单语和跨语言的评估任务。
2018-08-27 cs.CL
Improving Textual Network Embedding with Global Attention via Optimal Transport
构造高信息量的网络嵌入是网络分析的重要工具。它将网络拓扑结构以及其他有用的辅助信息编码为低维的基于节点的特征表示,可以通过统计建模来利用。这项工作的重点是学习上下文感知的网络嵌入与文本数据增强。我们重新制定的网络嵌入问题,并提出了两个新的策略,以改善传统的注意力机制:($i$)的内容感知稀疏注意力模块的基础上最佳的运输,和($ii$)的高层次的注意力解析模块。我们的方法产生自然稀疏和自我规范化的关系推理。它可以捕获序列之间的长期相互作用,从而解决了现有文本网络嵌入方案所面临的挑战。进行了大量的实验,以证明我们的模型可以始终优于替代国家的最先进的方法。
2019-06-05 cs.CL cs.LG
Improving Cross-Domain Chinese Word Segmentation with Word Embeddings
Alibaba Group(阿里巴巴集团);Peking University(北京大学);Westlake University(西湖大学)
跨领域中文分词(CWS)仍然是一个挑战,尽管最近的进展,基于神经的CWS。目标域中有限数量的带注释数据一直是令人满意的性能的关键障碍。在本文中,我们提出了一个半监督的基于词的方法,以提高跨域CWS给定的基线分割。特别是,我们的模型只部署了在目标领域的原始文本上训练的词嵌入,丢弃了复杂的手工制作的特征和特定于领域的字典。创新的子采样和负采样方法,提出了获得词嵌入优化CWS。我们在五个特定领域的数据集上进行了实验,涵盖了小说,医学和专利领域。实验结果表明,该模型能明显提高跨领域的CWS,尤其是在领域专有名词实体的切分方面。在四个数据集上,单词F-度量增加了3.0%以上,远远优于最先进的半监督和无监督跨域CWS方法。我们在Github上提供代码和数据。
2019-03-29 cs.CL
Improving Lexical Embeddings for Robust Question Answering
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);The Chinese University of Hong Kong(香港中文大学)
近年来,问答技术在性能上取得了显著的进步,一些问答模型的性能甚至超过了人工。然而,这些模型在真正理解语言方面的能力仍然值得怀疑,并且这些模型在面对对抗性示例时显示出局限性。为了增强QA模型的鲁棒性和泛化能力,提出了一种基于语义和上下文约束的表示增强(ESC)方法来提高词汇嵌入的鲁棒性。具体来说,我们插入扰动与语义约束和训练增强上下文表示通过上下文约束损失,以更好地区分上下文线索的正确答案。实验结果表明,该方法在四个对抗测试集上获得了显著的鲁棒性提高。
2022-02-28 cs.CL
Improving Opinion-Target Extraction with Character-Level Word Embeddings
Bielefeld University(比勒费尔德大学)
细粒度的情感分析近年来受到越来越多的关注。在评论中提取意见目标表达(OTE)通常是细粒度的、基于方面的情感分析中的重要步骤。然而,从用户生成的文本中检索这些信息可能很困难。例如,客户评论很容易包含拼写错误的单词,并且由于其特定于领域的语言而难以处理。在这项工作中,我们调查是否字符级模型可以提高性能的意见目标表达的识别。我们整合到一个序列标签系统使用字符级词嵌入的字结构的信息,并显示其对系统的性能的积极影响。具体而言,我们获得了3.3点F1分数相对于我们的基线模型增加。在进一步的实验中,我们揭示了学习嵌入的编码字符模式,并给出了两种模型的性能差异的细微差别。
2017-09-19 cs.CL
Improving Multimodal Contrastive Learning of Sentence Embeddings with Object-Phrase Alignment
The University of Tokyo(东京大学)
针对多模态句子嵌入训练中图像-字幕对存在噪声的问题,提出结合细粒度对象-短语对齐的MCSEO方法,利用分割与检测模型提取配对优化对比学习目标,在STS任务上 consistently 优于强基线。
2025-08-01 cs.CL
Improving Interpretability of Word Embeddings by Generating Definition and Usage
Beijing University of Technology(北京工业大学)
词嵌入在捕捉词之间的语义关系方面是非常成功的。然而,这些词汇语义很难解释。定义建模提供了一种更直观的方法来评估嵌入,利用它们来生成相应单词的自然语言定义。这一任务对于词汇表征的实际应用和深入理解具有重要意义。我们提出了一个新的框架定义建模,它可以产生合理的和可理解的上下文相关的定义。此外,我们介绍了使用建模和研究是否有可能利用嵌入生成例句的话。这些方法更直接、更明确地表达了嵌入的语义,提高了嵌入的可解释性。我们将单任务模型扩展到多任务环境,并研究了几种联合多任务模型,将使用建模和定义建模结合在一起。在现有的Oxford数据集和新收集的Oxford-2019数据集上的实验结果表明,我们的单任务模型在定义建模方面达到了最先进的结果,多任务学习方法有助于提高两个任务的性能。
2020-07-18 cs.CL
Rare Tokens Degenerate All Tokens: Improving Neural Text Generation via Adaptive Gradient Gating for Rare Token Embeddings
Seoul National University(首尔国立大学);AIRS Company, Hyundai Motor Group(现代汽车集团AIRS公司)
最近的研究已经确定,大规模神经语言模型的学习令牌嵌入退化为具有窄锥形状的各向异性。这种现象被称为表示退化问题,它促进了令牌嵌入之间的整体相似性的增加,从而对模型的性能产生负面影响。虽然现有的方法,解决退化问题的基础上观察的现象所引发的问题,提高了文本生成的性能,退化问题背后的令牌嵌入的训练动态仍然没有探索。在这项研究中,我们分析了令牌嵌入的训练动态,重点是稀有令牌嵌入。我们证明了稀有令牌嵌入的梯度的特定部分是训练阶段所有令牌退化问题的关键原因。在此基础上,提出了一种新的自适应梯度门控(AGG)方法. AGG通过门控稀有令牌嵌入的梯度的特定部分来解决退化问题。语言建模、词相似度和机器翻译任务的实验结果定量和定性地验证了AGG的有效性。
2022-06-08 cs.CL
MTEB: Massive Text Embedding Benchmark
Hugging Face
文本嵌入通常在单个任务的一小部分数据集上进行评估,而不包括它们在其他任务中的可能应用。目前还不清楚最先进的语义文本相似性(STS)嵌入是否可以同样很好地应用于其他任务,如聚类或重新排序。这使得该领域的进展难以跟踪,因为不断有人提出各种模式,但没有进行适当的评价。为了解决这个问题,我们引入了海量文本嵌入基准(MTEB)。MTEB包含8个嵌入任务,覆盖58个数据集和112种语言。通过对MTEB上的33个模型进行基准测试,我们建立了迄今为止最全面的文本嵌入基准。我们发现,没有特定的文本嵌入方法在所有任务中占主导地位。这表明该领域尚未收敛于通用的文本嵌入方法,并将其扩展到足以在所有嵌入任务上提供最先进的结果。MTEB带有开源代码和一个公共排行榜,网址是https://github.com/embeddings-benchmark/mteb。
2023-03-19 cs.CL cs.IR cs.LG
Improving Word Embedding Factorization for Compression Using Distilled Nonlinear Neural Decomposition
University of British Columbia(不列颠哥伦比亚大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
词嵌入是自然语言处理(NLP)模型的重要组成部分,并已被广泛研究。然而,它们消耗大量内存,这对边缘部署构成了挑战。嵌入矩阵通常包含语言模型的大部分参数,以及机器翻译系统的大约三分之一。本文提出了一种基于低秩矩阵分解和知识蒸馏的(输入/输出)嵌入压缩方法--蒸馏嵌入。首先,我们通过学习重建完整的预训练词嵌入来初始化分解矩阵的权重,然后对分解的嵌入采用知识蒸馏进行端到端的微调。我们在机器翻译和语言建模上使用不同的压缩率进行了广泛的实验,使用不同的数据集,其中嵌入矩阵和词汇投影矩阵都具有共享的单词嵌入矩阵。我们表明,所提出的技术是简单的复制,与一个固定的参数控制压缩大小,具有较高的BLEU分数的翻译和较低的困惑语言建模相比,复杂的,难以调整的最先进的方法。
2020-11-10 cs.CL cs.LG
Improving Narrative Relationship Embeddings by Training with Additional Inverse-Relationship Constraints
Emory University(埃默里大学)
我们考虑的问题,嵌入字符实体的关系,从减少的语义空间的叙述,提出和评估的假设,这些关系下的反射操作。我们分析了这一假设,并将该方法与基线最先进的模型进行了比较,该模型具有独特的评估,该评估模拟了人类创建标签的下游聚类任务的功效。尽管我们的模型创建的聚类达到了-0.084的Silhouette分数,超过了基线-0.227,但我们的分析表明,这些模型处理任务的方式非常不同,并且在非常不同的示例中表现良好。我们的结论是,我们的假设可能是有用的特定类型的数据,并应在更广泛的任务进行评估。
2022-12-21 cs.CL cs.LG
Visually Grounded Word Embeddings and Richer Visual Features for Improving Multimodal Neural Machine Translation
University of Mons(蒙斯大学)
在多模态神经机器翻译(MNMT)中,神经模型生成描述图像的翻译句子,给定图像本身和英语的一个源描述。这被认为是多模态图像字幕翻译任务。用卷积神经网络(CNN)处理图像以提取可由翻译模型利用的视觉特征。到目前为止,所使用的CNN是在目标检测和定位任务上进行预训练的。我们假设,更丰富的架构,如密集的字幕模型,可能更适合MNMT,并可能导致改进的翻译。我们将这种直觉扩展到词嵌入,在那里我们为我们的语料库词汇计算语言和视觉表示。我们结合并比较了不同的配置,
2017-12-16 cs.CL
From Fully Trained to Fully Random Embeddings: Improving Neural Machine Translation with Compact Word Embedding Tables
Thomson Reuters(汤森路透);Amazon(亚马逊);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);McGill University(麦吉尔大学)
嵌入矩阵是神经自然语言处理(NLP)模型中的关键组件,负责提供输入标记的数值表示。\footnote{In this paper words and subwords are referred to as \textit{tokens} and the term \textit{embedding} only refers to embeddings of inputs.}在本文中,我们分析了神经机器翻译(NMT)的背景下,这种矩阵的影响和效用。我们发现,从词嵌入中提取句法和语义信息,并使用随机嵌入运行NMT系统,并不像最初听起来那样具有破坏性。我们还展示了如何从经过充分训练的嵌入中只整合有限数量的特定于任务的知识,从而提高NMT系统的性能。我们的研究结果表明,在交换性能可以忽略不计的恶化,任何NMT模型可以运行部分随机嵌入。使用这种结构意味着最小的内存需求,因为不再需要存储大型嵌入表,这在工业和设备设置中是一个显着的增益。我们在将{English}翻译成{German}和{French}时评估了我们的嵌入,并实现了$5.3$ x压缩率。尽管有一个相当小的架构,我们的模型在某些情况下甚至能够超越最先进的基线。
2022-04-18 cs.CL cs.LG
Improving Chinese Segmentation-free Word Embedding With Unsupervised Association Measure
University of Chinese Academy of Sciences(中国科学院大学);Chinese Academy of Sciences(中国科学院);Shanghai Advanced Research Institute(上海高等研究院);Shanghai Carbon Data Research Center(上海碳数据研究中心);Centre for Excellence in Brain Science and Intelligence Technology(脑科学与智能技术卓越创新中心)
最近关于无分割词嵌入(sembei)的工作为未分割的语言开发了一种新的词嵌入管道,同时避免了作为预处理步骤的分割。然而,在嵌入词汇表中存在太多的噪声n-gram,这些噪声n-gram在字符之间不具有强的关联强度,这将限制学习的词嵌入的质量。针对这一问题,提出了一种新的无分割词嵌入模型,该模型通过一种新的无监督关联测度--带时间信息的逐点关联(PATI)来收集n-gram词汇。与常用的n-gram过滤方法(如sembei中使用的频率和逐点互信息(PMI))相比,该方法利用了语料库中更多的潜在信息,从而能够在未分割的语言数据(如中文文本)中收集更多具有更强凝聚力的有效n-gram作为嵌入目标。在中文SNS数据上的进一步实验表明,该模型提高了下游任务中词嵌入的性能。
2020-07-05 cs.CL cs.LG
Interpretable Text Embeddings and Text Similarity Explanation: A Survey
University of Zurich(苏黎世大学);University of Stuttgart(斯图加特大学)
该综述针对文本嵌入可解释性及相似性解释的研究缺口,系统梳理了固有可解释文本嵌入与文本相似性解释的相关方法、思路、权衡与评估方式,并总结经验、指出未来研究方向。
2025-10-02 cs.AI cs.CL cs.IR
Improving embedding with contrastive fine-tuning on small datasets with expert-augmented scores
BA Inc.(BA公司)
本文提出在带有专家增强分数的小数据集上通过对比微调改进文本嵌入模型,使用软标签微调以提升语义相似性和检索能力,在MTEB多个检索任务上优于基准模型,适用于标记数据稀缺的现实场景。
2024-08-19 cs.AI cs.CL cs.LG
Improving Textual Network Learning with Variational Homophilic Embeddings
Duke University(杜克大学);Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究)
许多网络学习应用的性能关键取决于网络嵌入算法的成功,该算法旨在将丰富的网络信息编码为基于低维顶点的矢量表示。本文考虑了一种新的变分形式的网络嵌入,特别关注文本网络。不同于大多数现有的方法,优化一个歧视性的目标,我们引入变分同伦嵌入(VHE),一个完全生成的模型,学习网络嵌入通过建模的语义(文本)信息与变分自编码器,同时占结构(拓扑)信息通过一个新的同伦先验设计。同构顶点嵌入鼓励相关(连接)顶点的相似嵌入向量。建议的VHE承诺更好的推广下游任务,不完整的观测鲁棒性,并能够推广到看不见的顶点。在现实世界的网络上进行的大量实验,多个任务,表明所提出的方法始终实现优越的性能相对于竞争国家的最先进的方法。
2019-09-30 cs.CL cs.LG stat.ML
Analyzing And Improving Neural Speaker Embeddings for ASR
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
神经说话人嵌入通过DNN模型对说话人的语音特征进行编码,并普遍用于说话人验证任务。然而,很少有研究调查使用的神经扬声器嵌入的ASR系统。在这项工作中,我们提出了我们的努力w.r.t集成神经扬声器嵌入到一个基于conformer的混合HMM ASR系统。对于ASR,我们改进的嵌入提取管道与加权简单相加集成方法相结合,使x向量和c向量达到与i向量相当的性能。我们进一步比较和分析不同的说话人嵌入。我们提出了我们的声学模型的改进,通过从newbob学习率调度切换到一个周期的学习时间表,从而在Switchboard上减少了约3%的相对WER,另外减少了17%的整体训练时间。通过进一步添加神经说话人嵌入,我们在Hub 5 '00上获得了额外的~3%的相对WER改进。我们最好的基于Conformer的混合ASR系统,具有扬声器嵌入,在Hub 5 '00和Hub 5'01上实现了9.0%的WER,并在SWB 300 h上进行了训练。
2023-09-20 cs.CL eess.AS stat.ML
Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE
University of Alberta(阿尔伯塔大学)
针对 SimCSE 未充分利用难负样本的问题,提出结合难负样本挖掘的无监督对比学习框架,通过在对比目标中引入自定步长调制项的 focal-InfoNCE 函数,使模型聚焦于难负样本,在 STS 基准上有效提升了句子嵌入质量。
2023-10-20 cs.CL cs.LG