Improving Entity Linking through Semantic Reinforced Entity Embeddings
Zhejiang Gongshang University(浙江工商大学);Massey University(梅西大学);National University of Defense Technology(国防科技大学);Shanghai Research Center for Brain Science and Brain-Inspired Intelligence(上海脑科学与类脑研究中心);Zhangjiang Lab(张江实验室)
实体嵌入是神经实体链接模型的关键组成部分,它用单个向量(如词嵌入)表示每个实体的不同方面。现有的实体嵌入是从规范的维基百科文章和目标实体周围的本地上下文中学习的。这样的实体嵌入是有效的,但对于链接模型来说太独特了,无法学习上下文的共性。我们提出了一个简单而有效的方法,FGS2EE,注入细粒度的语义信息到实体嵌入,以减少独特性,促进学习的上下文共性。FGS2EE首先使用语义类型词的嵌入生成语义嵌入,然后通过线性聚合将其与现有的实体嵌入相结合。大量的实验表明了这种嵌入的有效性。基于我们的实体嵌入,我们在实体链接上实现了新的最先进的性能。
2021-06-16 cs.CL
Improving Zero Shot Learning Baselines with Commonsense Knowledge
Nanyang Technological University(南洋理工大学);Singapore University of Technology and Design(新加坡科技设计大学);University of Michigan(密歇根大学)
零样本学习--在完全不相交的类集合上进行训练和测试的问题--在很大程度上依赖于它将知识从训练类转移到测试类的能力。传统的语义嵌入由人类定义的属性(HA)或分布式词嵌入(DWE),用于促进这种转移,通过改善视觉和语义嵌入之间的关联。在本文中,我们利用显式的关系定义在ConceptNet,常识知识图谱,生成常识嵌入的类标签,通过使用基于图卷积网络的自动编码器。当我们将常识嵌入与现有的语义嵌入(即HA和DWE)融合时,我们在三个标准基准数据集上进行的实验超过了强基线。
2020-12-11 cs.CL
Understanding and Improving Multi-Sense Word Embeddings via Extended Robust Principal Component Analysis
Peking University(北京大学)
由于无监督学习方法对上下文变化过于敏感,因此多义词的无监督学习表示产生了大量的伪多义。在本文中,我们解决了伪多义检测词嵌入的意义对降维。我们提出了一种新的主分析方法,称为前RPCA,旨在检测伪多感官和真正的多感官。与Ex-RPCA,我们的经验表明,伪多感官系统产生的无监督的方法。此外,多义词嵌入可以通过基于Ex-RPCA的简单线性变换来改进。我们改进的词嵌入在斯坦福大学上下文词相似度(SCWS)数据集上的性能比原来的提高了5.6个百分点。我们希望我们简单而有效的方法将有助于未来的多义词嵌入的语言分析。
2018-03-03 cs.CL
Improving BERT Fine-tuning with Embedding Normalization
像BERT这样的大型预训练句子编码器开启了自然语言处理的新篇章。将预训练的BERT应用于序列分类任务(例如,句子或句子对的分类)是通过将[CLS]标记的嵌入(在最后一层中)馈送到特定于任务的分类层,然后联合地微调BERT和分类器的模型参数。在本文中,我们对几个序列分类数据集进行系统分析,以检查微调阶段之前[CLS]令牌的嵌入值,并提出有偏嵌入分布问题-即,[CLS]的嵌入值集中在几个维度上,并且是非零中心的。这种有偏嵌入在微调期间给优化过程带来了挑战,因为[CLS]嵌入的梯度可能会爆炸并导致模型性能下降。我们进一步提出了几种简单而有效的归一化方法来修改[CLS]嵌入在微调。与以往的实验结果相比,基于归一化嵌入的神经网络分类模型在多个文本分类任务上都有明显的改进,证明了该方法的有效性。
2020-02-25 cs.CL
Improving a tf-idf weighted document vector embedding
TripAdvisor, Inc.(猫途鹰公司(TripAdvisor, Inc.))
我们研究了一些方法来计算一个密集的向量嵌入语料库中的文档,给定一组词向量,如word 2 vec或GloVe。我们描述了两种方法,可以提高一个简单的加权和,这是最佳的意义上说,他们最大限度地提高了一个特定的加权余弦相似性度量。我们考虑了几个加权函数,包括逆文档频率(idf),平滑逆频率(SIF),以及word 2 vec中使用的子采样函数。我们发现idf最适合我们的应用。我们还使用Arora等人提出的公共组件删除作为后处理,并发现它在大多数情况下是有用的。我们将这些嵌入变化与使用TripAdvisor评论的新评估任务上的doc 2 vec嵌入进行了比较,并对文献中的CQADupStack基准进行了比较。
2019-02-26 cs.CL
PromptBERT: Improving BERT Sentence Embeddings with Prompts
Beihang University(北京航空航天大学);Microsoft(微软);Zhongguancun Laboratory(中关村实验室);Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院)
我们提出了一种新的对比学习方法,用于学习更好的句子表示。本文首先分析了当前基于BERT的句子嵌入算法的不足,发现其主要原因是静态的标记嵌入偏差和无效的BERT层。然后提出了第一种基于提示的句子嵌入方法,并讨论了两种提示表示方法和三种提示搜索方法,使BERT能够实现更好的句子嵌入。此外,我们提出了一种新的无监督训练目标的模板去噪技术,这大大缩短了监督和无监督设置之间的性能差距。大量的实验表明了该方法的有效性。与SimCSE相比,在无监督设置下,基于BERT和RoBERTa的BertBert实现了2.29和2.58点的改进。
2022-10-13 cs.CL
Swivel: Improving Embeddings by Noticing What's Missing
Google Inc.(谷歌公司)
我们提出了子矩阵式向量嵌入学习器(Swivel),一种从特征共生矩阵生成低维特征嵌入的方法。Swivel通过随机梯度下降执行逐点互信息矩阵的近似因式分解。它使用分段损失,并对未观察到的同现进行特殊处理,从而利用矩阵中的所有信息。虽然这需要与整个矩阵的大小成比例的计算,但我们使用向量化乘法来同时处理数千个行和列,以计算数百万个预测值。此外,我们将矩阵划分为分片,以便在许多节点上并行计算。这种方法比只考虑观察到的同现的方法更准确地嵌入,并且可以扩展到比采样方法更大的语料库。
2016-02-06 cs.CL
Improving the Diversity of Unsupervised Paraphrasing with Embedding Outputs
Google LLC(谷歌有限责任公司);Indian Institute of Technology Madras(马德拉斯印度理工学院);Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
提出了一种新的zero-shot释义生成技术。其关键贡献是一个端到端的多语言释义模型,该模型使用翻译的并行语料库进行训练,以将释义生成“意义空间”--用词嵌入替换最终的softmax层。这种架构修改,加上一个训练过程,结合了自动编码的目标,使有效的参数共享跨语言更流畅的单语重写,并促进流畅性和多样性的生成。我们的连续输出释义生成模型优于zero-shot释义基线时,使用电池的计算指标,以及在人类评估的两种语言进行评估。
2021-10-25 cs.CL
Improving Multilingual Sentence Embedding using Bi-directional Dual Encoder with Additive Margin Softmax
Google AI Language(谷歌AI语言部门)
在本文中,我们提出了一种方法来学习多语言句子嵌入使用一个双向的双重编码器与附加的余量softmax。在联合国(UN)平行语料库检索任务中,嵌入能够实现最先进的结果。在所有测试的语言中,系统达到了86%或更高的P@1。我们使用通过我们的方法检索的对来训练NMT模型,其实现与在黄金对上训练的模型相似的性能。我们探索通过平均我们的句子嵌入构造的简单文档级嵌入。在联合国文档级检索任务中,所有实验语言对的文档嵌入在P@1上实现了约97%。最后,我们评估所提出的模型上的BUCC挖掘任务。与当前最先进的模型相比,具有原始余弦相似性分数的学习嵌入实现了具有竞争力的结果,并且使用第二阶段评分器,我们在这项任务上实现了新的最先进水平。
2019-06-14 cs.CL
Improving Chemical Named Entity Recognition in Patents with Contextualized Word Embeddings
The University of Melbourne(墨尔本大学);Elsevier(爱思唯尔)
化学专利是重要的化学信息资源。然而,很少有化学命名实体识别(NER)系统已被评估的专利文件,部分原因是其结构和语言的复杂性。在本文中,我们探讨了NER性能的BiLSTM-CRF模型利用预训练的词嵌入,字符级的词表示和上下文ELMo词表示化学专利。我们比较了在生物医学和化学专利语料库上预训练的词嵌入。还探讨了针对化学领域优化的标记器对化学专利中NER性能的影响。两个专利语料库的结果表明,从ELMo生成的上下文化的词表示大大提高化学NER性能w.r.t.我们还表明,特定领域的资源,如词嵌入培训的化学专利和化学特定的标记器对NER性能有积极的影响。
2019-07-05 cs.CL
Improving Cross-Lingual Word Embeddings by Meeting in the Middle
Universidade de Vigo(维戈大学);Cardiff University(卡迪夫大学)
跨语言词嵌入在多语言NLP中变得越来越重要。最近,已经表明,这些嵌入可以通过线性变换对齐两个不相交的单语向量空间来有效地学习,使用不超过一个小的双语词典作为监督。在这项工作中,我们建议在初始对齐步骤之后应用额外的转换,该转换将跨语言同义词移向它们之间的中间点。通过应用这种转换,我们的目标是获得更好的向量空间的跨语言整合。此外,也许令人惊讶的是,单语空间也通过这种转换得到改善。这与原始对齐形成对比,原始对齐通常被学习为使得单语空间的结构被保留。我们的实验证实,由此产生的跨语言嵌入优于国家的最先进的模型在单语和跨语言的评估任务。
2018-08-27 cs.CL
Direction is what you need: Improving Word Embedding Compression in Large Language Models
Jagiellonian University(雅盖隆大学);EPFL(洛桑联邦理工学院)
在自然语言处理(NLP)中采用基于transformer的模型,使用大量参数取得了巨大成功。然而,由于边缘设备中的部署限制,人们对压缩这些模型以改善其推理时间和内存占用的兴趣越来越大。本文提出了一种新的损失目标,通过利用AutoEncoder架构来压缩基于Transformer的模型中的令牌嵌入。更具体地说,我们强调压缩嵌入的方向相对于原始未压缩嵌入的重要性。所提出的方法是任务不可知的,不需要进一步的语言建模预训练。在初始语言模型复杂度方面,我们的方法明显优于常用的基于SVD的矩阵分解方法。此外,我们在SQuAD v1.1数据集和GLUE基准测试的几个下游任务上评估了我们提出的方法,在大多数情况下,我们的性能也优于基线。代码是公开的。
2021-08-03 cs.CL
Improving Cross-Domain Chinese Word Segmentation with Word Embeddings
Alibaba Group(阿里巴巴集团);Peking University(北京大学);Westlake University(西湖大学)
跨领域中文分词(CWS)仍然是一个挑战,尽管最近的进展,基于神经的CWS。目标域中有限数量的带注释数据一直是令人满意的性能的关键障碍。在本文中,我们提出了一个半监督的基于词的方法,以提高跨域CWS给定的基线分割。特别是,我们的模型只部署了在目标领域的原始文本上训练的词嵌入,丢弃了复杂的手工制作的特征和特定于领域的字典。创新的子采样和负采样方法,提出了获得词嵌入优化CWS。我们在五个特定领域的数据集上进行了实验,涵盖了小说,医学和专利领域。实验结果表明,该模型能明显提高跨领域的CWS,尤其是在领域专有名词实体的切分方面。在四个数据集上,单词F-度量增加了3.0%以上,远远优于最先进的半监督和无监督跨域CWS方法。我们在Github上提供代码和数据。
2019-03-29 cs.CL
Improving Lexical Embeddings for Robust Question Answering
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);The Chinese University of Hong Kong(香港中文大学)
近年来,问答技术在性能上取得了显著的进步,一些问答模型的性能甚至超过了人工。然而,这些模型在真正理解语言方面的能力仍然值得怀疑,并且这些模型在面对对抗性示例时显示出局限性。为了增强QA模型的鲁棒性和泛化能力,提出了一种基于语义和上下文约束的表示增强(ESC)方法来提高词汇嵌入的鲁棒性。具体来说,我们插入扰动与语义约束和训练增强上下文表示通过上下文约束损失,以更好地区分上下文线索的正确答案。实验结果表明,该方法在四个对抗测试集上获得了显著的鲁棒性提高。
2022-02-28 cs.CL
Improving Opinion-Target Extraction with Character-Level Word Embeddings
Bielefeld University(比勒费尔德大学)
细粒度的情感分析近年来受到越来越多的关注。在评论中提取意见目标表达(OTE)通常是细粒度的、基于方面的情感分析中的重要步骤。然而,从用户生成的文本中检索这些信息可能很困难。例如,客户评论很容易包含拼写错误的单词,并且由于其特定于领域的语言而难以处理。在这项工作中,我们调查是否字符级模型可以提高性能的意见目标表达的识别。我们整合到一个序列标签系统使用字符级词嵌入的字结构的信息,并显示其对系统的性能的积极影响。具体而言,我们获得了3.3点F1分数相对于我们的基线模型增加。在进一步的实验中,我们揭示了学习嵌入的编码字符模式,并给出了两种模型的性能差异的细微差别。
2017-09-19 cs.CL
ReverseEOL: Improving Training-free Text Embeddings via Text Reversal in Decoder-only LLMs
Institute of Science Tokyo(东京科学研究所);Tencent(腾讯)
提出ReverseEOL方法,通过反转输入文本生成互补嵌入,结合前向嵌入提升冻结解码器仅LLM的文本表示能力,在STS和MTEB基准上显著提升无训练基线性能。
2026-06-04 cs.CL
Improving Multimodal Contrastive Learning of Sentence Embeddings with Object-Phrase Alignment
The University of Tokyo(东京大学)
针对多模态句子嵌入训练中图像-字幕对存在噪声的问题,提出结合细粒度对象-短语对齐的MCSEO方法,利用分割与检测模型提取配对优化对比学习目标,在STS任务上 consistently 优于强基线。
2025-08-01 cs.CL
Improving Interpretability of Word Embeddings by Generating Definition and Usage
Beijing University of Technology(北京工业大学)
词嵌入在捕捉词之间的语义关系方面是非常成功的。然而,这些词汇语义很难解释。定义建模提供了一种更直观的方法来评估嵌入,利用它们来生成相应单词的自然语言定义。这一任务对于词汇表征的实际应用和深入理解具有重要意义。我们提出了一个新的框架定义建模,它可以产生合理的和可理解的上下文相关的定义。此外,我们介绍了使用建模和研究是否有可能利用嵌入生成例句的话。这些方法更直接、更明确地表达了嵌入的语义,提高了嵌入的可解释性。我们将单任务模型扩展到多任务环境,并研究了几种联合多任务模型,将使用建模和定义建模结合在一起。在现有的Oxford数据集和新收集的Oxford-2019数据集上的实验结果表明,我们的单任务模型在定义建模方面达到了最先进的结果,多任务学习方法有助于提高两个任务的性能。
2020-07-18 cs.CL
Rare Tokens Degenerate All Tokens: Improving Neural Text Generation via Adaptive Gradient Gating for Rare Token Embeddings
Seoul National University(首尔国立大学);AIRS Company, Hyundai Motor Group(现代汽车集团AIRS公司)
最近的研究已经确定,大规模神经语言模型的学习令牌嵌入退化为具有窄锥形状的各向异性。这种现象被称为表示退化问题,它促进了令牌嵌入之间的整体相似性的增加,从而对模型的性能产生负面影响。虽然现有的方法,解决退化问题的基础上观察的现象所引发的问题,提高了文本生成的性能,退化问题背后的令牌嵌入的训练动态仍然没有探索。在这项研究中,我们分析了令牌嵌入的训练动态,重点是稀有令牌嵌入。我们证明了稀有令牌嵌入的梯度的特定部分是训练阶段所有令牌退化问题的关键原因。在此基础上,提出了一种新的自适应梯度门控(AGG)方法. AGG通过门控稀有令牌嵌入的梯度的特定部分来解决退化问题。语言建模、词相似度和机器翻译任务的实验结果定量和定性地验证了AGG的有效性。
2022-06-08 cs.CL
Visually Grounded Word Embeddings and Richer Visual Features for Improving Multimodal Neural Machine Translation
University of Mons(蒙斯大学)
在多模态神经机器翻译(MNMT)中,神经模型生成描述图像的翻译句子,给定图像本身和英语的一个源描述。这被认为是多模态图像字幕翻译任务。用卷积神经网络(CNN)处理图像以提取可由翻译模型利用的视觉特征。到目前为止,所使用的CNN是在目标检测和定位任务上进行预训练的。我们假设,更丰富的架构,如密集的字幕模型,可能更适合MNMT,并可能导致改进的翻译。我们将这种直觉扩展到词嵌入,在那里我们为我们的语料库词汇计算语言和视觉表示。我们结合并比较了不同的配置,
2017-12-16 cs.CL
Improving Text Embeddings for Smaller Language Models Using Contrastive Fine-tuning
Tsinghua University(清华大学)
本文针对较小语言模型嵌入质量不足的问题,对MiniCPM、Phi-2和Gemma在NLI数据集上进行对比微调,在多个基准上提升文本嵌入质量,其中MiniCPM平均性能提升56.33%。
2024-08-02 cs.CL
A Cluster-based Approach for Improving Isotropy in Contextual Embedding Space
Iran University of Science and Technology(伊朗科技大学);Tehran Institute for Advanced Studies(德黑兰高等研究院)
上下文词表示(Contextual Word Representations,CWRs)中的表示退化问题通过形成各向异性的圆锥来损害嵌入空间的表达能力,其中即使不相关的词也具有过度的正相关性。解决这个问题的现有技术需要一个学习过程来重新训练具有额外目标的模型,并且大多采用全局评估来研究各向同性。我们对各向同性的定量分析表明,由于CWRs的聚集结构,局部评估可能更准确。基于这一观察,我们提出了一种基于局部聚类的方法来解决上下文嵌入空间中的退化问题。我们发现,在包括标点符号和停用词的聚类中,局部主导方向编码结构信息,去除这些信息可以提高CWRs在语义任务上的性能。此外,我们还发现动词表征中的时态信息支配着语义。我们发现,去除动词表征的主导方向可以改变空间,以更好地适应语义应用。我们的实验表明,所提出的基于聚类的方法可以减轻退化问题的多个任务。
2021-06-02 cs.CL
Improving General Text Embedding Model: Tackling Task Conflict and Data Imbalance through Model Merging
Beihang University(北京航空航天大学)
本文针对多任务联合训练中的任务冲突和数据不平衡问题,提出自定位模型合并方法,在MTEB上提升0.7个点并降低计算成本。
2024-10-19 cs.CL
Improving Retrieval Modeling Using Cross Convolution Networks And Multi Frequency Word Embedding
Department of Computer Science, CUNY Graduate Center, USA(纽约市立大学研究生中心计算机科学系,美国);Department of Mathematics and Computer Science, York College (CUNY), USA(纽约市立大学约克学院数学与计算机科学系,美国);Department of Electrical Engineering, Columbia University, USA(哥伦比亚大学电气工程系,美国);OATH Inc, USA(OATH公司,美国)
为了构建一个令人满意的聊天机器人,能够管理以目标为导向的多轮对话,人类对话的准确建模至关重要。在本文中,我们集中在多轮人机对话与给定的背景下的响应选择的任务。以前的方法在捕获出现在上下文或正确响应中的罕见关键字的信息方面表现出弱点,并且与长输入序列作斗争。我们提出了交叉卷积网络(CCN)和多频词嵌入来解决这两个问题。我们使用Ubuntu Dialogue数据集训练了几个模型,该数据集是最大的免费提供的基于多回合的对话语料库。我们进一步通过对多个模型的预测进行平均来建立一个系综模型。我们在这个数据集上实现了一个新的最先进的技术,与以前的最佳结果相比有了相当大的改进。
2018-02-16 cs.CL
SimCSE++: Improving Contrastive Learning for Sentence Embeddings from Two Perspectives
Nanyang Technological University(南洋理工大学);Tencent AI Lab(腾讯人工智能实验室)
本文从处理dropout噪声和解决特征损坏两个视角改进句子嵌入的对比学习,提出通用方法,在SimCSE和DiffCSE上分别提升1.8和1.4分。
2023-10-20 cs.CL
Improving Medical Short Text Classification with Semantic Expansion Using Word-Cluster Embedding
Peking University(北京大学);ShenZhen Institute of Information Technology(深圳信息职业技术学院)
自动文本分类(TC)研究可以用于现实世界的问题,如住院患者出院摘要和医疗文本报告的分类,这有利于使医生更容易理解医疗文档。然而,在电子病历(EMR)中,包含句子的文本比一般领域中的文本要短,这导致了语义特征的缺乏和语义的模糊。为了应对这一挑战,我们提出将词簇嵌入到深度神经网络中,以提高短文本分类。具体地说,我们首先使用层次凝聚聚类在语义空间中的词向量聚类。然后计算聚类中心向量,该向量代表聚类中词的隐含主题信息。最后,我们使用聚类中心向量扩展词向量,并分别使用CNN和LSTM实现分类器。为了评估我们提出的方法的性能,我们进行了实验上的公共数据集TREC和医疗短句数据集,这是我们构建和发布。实验结果表明,我们提出的方法优于国家的最先进的基线在医学领域和一般领域的短句分类。
2018-12-05 cs.CL
ATEB: Evaluating and Improving Advanced NLP Tasks for Text Embedding Models
Yale University(耶鲁大学);Google Deepmind(谷歌DeepMind);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出ATEB基准评估文本嵌入模型在事实性、安全性等高级NLP任务上的局限,并提出将分类任务重构为检索任务的新方法,通过单任务微调在事实性分类上提升8%,安全性分类上提升13%。
2025-03-03 cs.CL
SemPA: Improving Sentence Embeddings of Large Language Models through Semantic Preference Alignment
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);School of Computer Science and Electronic Engineering, University of Surrey(Surrey大学计算机科学与电子工程学院)
SemPA通过语义偏好对齐提升大语言模型的句子嵌入能力,同时保持其生成能力。
2026-01-08 cs.CL
Improving the Generalizability of Collaborative Dialogue Analysis with Multi-Feature Embeddings
University of Central Florida(中佛罗里达大学)
通信中的冲突预测是虚拟代理设计的一部分,虚拟代理通过提供及时的帮助来支持成功的团队合作。我们的研究目的是分析话语来预测合作成功。遗憾的是,由于难以收集大量的训练样本,资源稀缺是团队研究者普遍面临的问题。为了缓解这个问题,本文引入了一种多特征嵌入(MFeEmb),它提高了在对话序列上训练的冲突预测模型的泛化能力。MFeEmb通过合并词汇、对话行为和情感特征,利用来自对话的文本、结构和语义信息。对话行为和情感特征的使用减少了主要由词汇变化引起的自然分布偏移的性能损失。本文展示了性能的MFeEmb的领域自适应的问题,该模型是训练的话语从一个任务域,并应用于预测团队的表现在不同的域。使用Bontonou等人(2021)提出的相似性度量来量化MFeEmb的可推广性。我们的研究结果表明,MFeEmb作为一个优秀的域不可知表示元预训练的Few-Shot模型的协作多方对话。
2023-02-09 cs.CL
Improve Transformer Models with Better Relative Position Embeddings
AWS AI(亚马逊云服务人工智能(AWS AI))
Transformer体系结构依赖于显式的位置编码,以保持词序的概念。在本文中,我们认为,现有的工作并没有充分利用位置信息。例如,正弦曲线嵌入的初始建议是固定的,不可学习。在本文中,我们首先回顾绝对位置嵌入和相对位置嵌入的现有方法。然后,我们提出了新的技术,鼓励增加查询,关键和相对位置嵌入在自我注意力机制之间的互动。我们最有前途的方法是绝对位置嵌入的推广,与以前的位置嵌入方法相比,SQuAD 1.1的结果有所改善。此外,我们解决的归纳属性的位置嵌入是否可以足够强大,以处理长序列。我们的经验表明,我们的相对位置嵌入方法是合理的推广和强大的归纳的角度来看。最后,我们表明,我们提出的方法可以作为一个近下降的替代,以提高大型模型的精度与一个小的计算预算。
2020-09-28 cs.CL
Improving Quotation Attribution with Fictional Character Embeddings
Deezer Research(迪泽尔研究院);LORIA(洛里亚实验室);CNRS(法国国家科学研究中心)
针对文学作品中回指和隐式引语归因困难的问题,提出将基于文体模型的全局人物嵌入融入BookNLP系统,并构建DramaCV语料库,在28部小说上达到最先进性能。
2024-10-04 cs.CL
ConFit v2: Improving Resume-Job Matching using Hypothetical Resume Embedding and Runner-Up Hard-Negative Mining
Columbia University(哥伦比亚大学);University of Toronto(多伦多大学);Intellipro Group Inc.(英泰利普罗集团公司)
针对简历-职位匹配中交互标签稀疏的问题,提出ConFit v2,通过大语言模型生成假设参考简历增强职位数据,并利用新颖的难负样本挖掘策略生成高质量难负样本以改进对比训练,在两个真实数据集上显著超越已有方法。
2025-03-02 cs.CL
Improving Multi-lingual Alignment Through Soft Contrastive Learning
Yonsei University(延世大学);Linq
提出软对比学习改进多语言句子对齐,利用单语言模型相似性作为软标签,在双语挖掘和STS任务上超越硬标签方法及LaBSE。
2024-05-28 cs.CL
Interactive Re-Fitting as a Technique for Improving Word Embeddings
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
词嵌入是从词共现中学习到的语料库中词的上下文的固定的、分布的表示。虽然词嵌入已被证明在自然语言处理任务中有许多实际用途,但它们反映了它们所训练的语料库的属性。最近的研究表明,对词嵌入进行后处理,以应用在词典中找到的信息,可以提高其质量。我们通过使其具有交互性来建立这种后处理技术。我们的方法使人类有可能通过移动单词集合来调整词嵌入空间的部分。该功能的一个激励用例是使用户能够识别并减少词嵌入中存在的偏见。我们的方法允许用户触发选择性的后处理,因为他们与词嵌入和评估潜在的偏见。
2020-09-30 cs.CL cs.LG
Improving Entity Linking by Modeling Latent Entity Type Information
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院);Peng Cheng Laboratory(鹏城实验室)
现有技术的神经实体链接模型采用基于注意力的词袋上下文模型和从词嵌入引导的预训练实体嵌入来评估主题级上下文兼容性。然而,在提到的直接上下文中的潜在实体类型信息被忽略,这导致模型往往链接到不正确的实体与不正确的类型。为了解决这个问题,我们提出了基于预训练的BERT的实体嵌入注入潜在的实体类型信息。此外,我们将基于BERT的实体相似性得分集成到最先进模型的局部上下文模型中,以更好地捕获潜在的实体类型信息。我们的模型显着优于国家的最先进的实体链接模型的标准基准(AIDA-CoNLL)。详细的实验分析表明,我们的模型纠正了直接基线产生的大部分类型错误。
2020-01-06 cs.CL
PROMPT2BOX:Improving LLM Weakness Discovery and Specificity Estimation by Uncovering Entailment Structure among Prompts
CICS, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校计算机信息科学中心);Amazon AWS AI(亚马逊AWS人工智能);A10 Networks(A10网络)
提出PROMPT2BOX方法,通过盒嵌入空间捕捉提示间的特异性关系,并开发降维技术,在层次聚类中比向量基线多发现8.9%的LLM弱点。
2026-09-07 cs.CL
Improving Textual Network Embedding with Global Attention via Optimal Transport
构造高信息量的网络嵌入是网络分析的重要工具。它将网络拓扑结构以及其他有用的辅助信息编码为低维的基于节点的特征表示,可以通过统计建模来利用。这项工作的重点是学习上下文感知的网络嵌入与文本数据增强。我们重新制定的网络嵌入问题,并提出了两个新的策略,以改善传统的注意力机制:($i$)的内容感知稀疏注意力模块的基础上最佳的运输,和($ii$)的高层次的注意力解析模块。我们的方法产生自然稀疏和自我规范化的关系推理。它可以捕获序列之间的长期相互作用,从而解决了现有文本网络嵌入方案所面临的挑战。进行了大量的实验,以证明我们的模型可以始终优于替代国家的最先进的方法。
2019-06-05 cs.CL cs.LG
Extending and Improving Wordnet via Unsupervised Word Embeddings
Princeton University(普林斯顿大学)
这项工作提出了一种无监督的方法来改善WordNet,建立在最近的进展,通过分布式语义的文档和意义表示。我们应用我们的方法来构建法语和俄语的Wordnets,这两种语言都缺乏良好的手动构造。1这些在两个新的600字测试集上进行了评估,用于单词到同义词集的匹配,并发现在同义词集的召回率上有很大的提高,在F分数上优于最好的自动化Wordnets。我们的方法需要很少的语言资源,因此适用于低资源语言的Wordnet建设,并可能进一步应用于意义聚类和其他Wordnet的改进。
2017-04-29 cs.CL cs.IR
Improving Neural Protein-Protein Interaction Extraction with Knowledge Selection
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);School of Mathematical Sciences, Dalian University of Technology(大连理工大学数学科学学院)
从已发表的科学文献中提取蛋白质-蛋白质相互作用(PPI)为精准医学工作提供了额外的支持。同时,知识库(KBs)包含了大量的蛋白质实体及其关系的结构化信息,这些信息可以编码在实体和关系嵌入中,以帮助PPI提取。然而,必须有选择地使用蛋白质-蛋白质对的先验知识,以便它适用于不同的背景。本文提出了一种知识选择模型(KSM)融合选择的先验知识和上下文信息的PPI提取。首先,两个Transformers根据每个蛋白质嵌入分别编码蛋白质对的上下文序列。然后,将两个输出馈送到相互关注以捕获针对蛋白质对的重要上下文特征。然后,利用上下文特征通过知识选择器提取关系嵌入。最后,所选择的关系嵌入和上下文特征连接PPI提取。在BioCreative VI PPI数据集上的实验表明,KSM通过添加知识选择实现了新的最先进的性能(38.08%F1分数)。
2019-12-11 cs.CL
Improving Word Embedding Factorization for Compression Using Distilled Nonlinear Neural Decomposition
University of British Columbia(不列颠哥伦比亚大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
词嵌入是自然语言处理(NLP)模型的重要组成部分,并已被广泛研究。然而,它们消耗大量内存,这对边缘部署构成了挑战。嵌入矩阵通常包含语言模型的大部分参数,以及机器翻译系统的大约三分之一。本文提出了一种基于低秩矩阵分解和知识蒸馏的(输入/输出)嵌入压缩方法--蒸馏嵌入。首先,我们通过学习重建完整的预训练词嵌入来初始化分解矩阵的权重,然后对分解的嵌入采用知识蒸馏进行端到端的微调。我们在机器翻译和语言建模上使用不同的压缩率进行了广泛的实验,使用不同的数据集,其中嵌入矩阵和词汇投影矩阵都具有共享的单词嵌入矩阵。我们表明,所提出的技术是简单的复制,与一个固定的参数控制压缩大小,具有较高的BLEU分数的翻译和较低的困惑语言建模相比,复杂的,难以调整的最先进的方法。
2020-11-10 cs.CL cs.LG
Improving Narrative Relationship Embeddings by Training with Additional Inverse-Relationship Constraints
Emory University(埃默里大学)
我们考虑的问题,嵌入字符实体的关系,从减少的语义空间的叙述,提出和评估的假设,这些关系下的反射操作。我们分析了这一假设,并将该方法与基线最先进的模型进行了比较,该模型具有独特的评估,该评估模拟了人类创建标签的下游聚类任务的功效。尽管我们的模型创建的聚类达到了-0.084的Silhouette分数,超过了基线-0.227,但我们的分析表明,这些模型处理任务的方式非常不同,并且在非常不同的示例中表现良好。我们的结论是,我们的假设可能是有用的特定类型的数据,并应在更广泛的任务进行评估。
2022-12-21 cs.CL cs.LG
From Fully Trained to Fully Random Embeddings: Improving Neural Machine Translation with Compact Word Embedding Tables
Thomson Reuters(汤森路透);Amazon(亚马逊);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);McGill University(麦吉尔大学)
嵌入矩阵是神经自然语言处理(NLP)模型中的关键组件,负责提供输入标记的数值表示。\footnote{In this paper words and subwords are referred to as \textit{tokens} and the term \textit{embedding} only refers to embeddings of inputs.}在本文中,我们分析了神经机器翻译(NMT)的背景下,这种矩阵的影响和效用。我们发现,从词嵌入中提取句法和语义信息,并使用随机嵌入运行NMT系统,并不像最初听起来那样具有破坏性。我们还展示了如何从经过充分训练的嵌入中只整合有限数量的特定于任务的知识,从而提高NMT系统的性能。我们的研究结果表明,在交换性能可以忽略不计的恶化,任何NMT模型可以运行部分随机嵌入。使用这种结构意味着最小的内存需求,因为不再需要存储大型嵌入表,这在工业和设备设置中是一个显着的增益。我们在将{English}翻译成{German}和{French}时评估了我们的嵌入,并实现了$5.3$ x压缩率。尽管有一个相当小的架构,我们的模型在某些情况下甚至能够超越最先进的基线。
2022-04-18 cs.CL cs.LG
Improving Chinese Segmentation-free Word Embedding With Unsupervised Association Measure
University of Chinese Academy of Sciences(中国科学院大学);Chinese Academy of Sciences(中国科学院);Shanghai Advanced Research Institute(上海高等研究院);Shanghai Carbon Data Research Center(上海碳数据研究中心);Centre for Excellence in Brain Science and Intelligence Technology(脑科学与智能技术卓越创新中心)
最近关于无分割词嵌入(sembei)的工作为未分割的语言开发了一种新的词嵌入管道,同时避免了作为预处理步骤的分割。然而,在嵌入词汇表中存在太多的噪声n-gram,这些噪声n-gram在字符之间不具有强的关联强度,这将限制学习的词嵌入的质量。针对这一问题,提出了一种新的无分割词嵌入模型,该模型通过一种新的无监督关联测度--带时间信息的逐点关联(PATI)来收集n-gram词汇。与常用的n-gram过滤方法(如sembei中使用的频率和逐点互信息(PMI))相比,该方法利用了语料库中更多的潜在信息,从而能够在未分割的语言数据(如中文文本)中收集更多具有更强凝聚力的有效n-gram作为嵌入目标。在中文SNS数据上的进一步实验表明,该模型提高了下游任务中词嵌入的性能。
2020-07-05 cs.CL cs.LG
Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE
University of Alberta(阿尔伯塔大学)
针对 SimCSE 未充分利用难负样本的问题,提出结合难负样本挖掘的无监督对比学习框架,通过在对比目标中引入自定步长调制项的 focal-InfoNCE 函数,使模型聚焦于难负样本,在 STS 基准上有效提升了句子嵌入质量。
2023-10-20 cs.CL cs.LG
Improving Contrastive Learning of Sentence Embeddings with Case-Augmented Positives and Retrieved Negatives
Alibaba Group(阿里巴巴集团)
继SimCSE之后,基于对比学习的方法在学习句子嵌入方面取得了最先进的(SOTA)性能。然而,无监督的对比学习方法仍然远远落后于有监督的同类方法。我们将此归因于阳性和阴性样本的质量,并旨在改善两者。具体来说,对于阳性样本,我们提出了开关情况下的增强翻转的情况下,随机选择的单词在一个句子中的第一个字母。这是为了抵消预先训练的标记嵌入对频率、词格和子词的固有偏见。对于阴性样本,我们基于预训练的语言模型从整个数据集中抽取硬阴性样本。将上述两种方法与SimCSE相结合,我们提出的对比学习与增强和检索数据的句子嵌入(Sentence embedding)方法显着优于当前的SOTA在STS基准在无监督设置。
2022-06-06 cs.CL cs.IR
DoubleCCA: Improving Foundation Model Group Robustness with Random Sentence Embeddings
Osaka University(大阪大学);Sichuan University(四川大学)
本文提出 DoubleCCA 方法,通过随机句子增强和双重典型相关分析对齐文本嵌入,以简单有效的方式提升基础模型对群体偏见的鲁棒性,并在多个任务上优于现有方法。
2024-11-25 cs.CL cs.CV
Improving Knowledge Graph Embedding Using Simple Constraints
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
在连续向量空间中嵌入知识图谱是当前研究的热点。早期的作品通过在KG三元组上开发的简单模型来执行这项任务。最近的尝试集中在设计更复杂的三重评分模型,或纳入额外的信息以外的三重。相比之下,本文研究了使用非常简单的约束来改进KG嵌入的潜力。我们研究了实体表示的非负性约束和关系表示的近似蕴涵约束。前者有助于学习实体的紧凑和可解释的表示。后者进一步将关系之间的逻辑蕴涵编码到它们的分布式表示中。这些约束将先验信念强加在嵌入空间的结构上,而不会对效率或可扩展性产生负面影响。在WordNet、Freebase和DBpedia上的评估表明,我们的方法简单而有效,显著且持续优于竞争对手的基线。所施加的约束确实提高了模型的可解释性,从而大大增加了嵌入空间的结构。代码和数据可在https://github.com/iieir-km/ComplEx-NNE_AER上获得。
2018-05-08 cs.AI cs.CL
Improving Sentence Embeddings with Automatic Generation of Training Data Using Few-shot Examples
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科)
本文提出利用大语言模型通过少样本学习自动生成NLI数据集来微调PromptEOL,从而在无需大规模人工标注数据的情况下改进句子嵌入,并在STS任务上优于现有模型。
2024-08-02 cs.CL cs.LG
Improving Generalization of Transformer for Speech Recognition with Parallel Schedule Sampling and Relative Positional Embedding
Tsinghua University(清华大学);Sogou(搜狗);UCLA(加州大学洛杉矶分校)
Transformer最近在许多序列到序列转换任务中显示出了有希望的结果。它利用了一些前馈自注意层,以取代递归神经网络(RNN)在基于注意力的编码器解码器(AED)架构。自我注意层通过将符号的正弦位置嵌入序列中以进行并行计算来学习时间依赖性。在训练过程中,可以获得比RNN顺序运算更快的迭代速度。Transformer的更深层也使其性能优于基于RNN的AED。然而,这种并行化能力在应用预定的采样训练时丢失。正弦位置嵌入的自注意可能会导致在不同位置具有相似声学或语义信息的较长序列的性能下降。为了解决这些问题,我们建议使用并行调度采样(PSS)和相对位置嵌入(RPE),以帮助Transformer推广到看不见的数据。我们提出的方法实现了7%的相对改善短话语和70%的相对增益长话语的10,000小时的普通话ASR任务。
2020-11-30 cs.CL eess.AS
Improving Text Embeddings with Large Language Models
Microsoft Corporation(微软公司)
本文提出一种仅用合成数据和不到1k步训练获取高质量文本嵌入的方法,利用专有LLMs生成多语言合成数据微调开源模型,在BEIR和MTEB等基准上取得SOTA结果。
2024-05-31 cs.CL cs.IR
Improving embedding with contrastive fine-tuning on small datasets with expert-augmented scores
BA Inc.(BA公司)
本文提出在带有专家增强分数的小数据集上通过对比微调改进文本嵌入模型,使用软标签微调以提升语义相似性和检索能力,在MTEB多个检索任务上优于基准模型,适用于标记数据稀缺的现实场景。
2024-08-19 cs.AI cs.CL cs.LG
Improving Textual Network Learning with Variational Homophilic Embeddings
Duke University(杜克大学);Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究)
许多网络学习应用的性能关键取决于网络嵌入算法的成功,该算法旨在将丰富的网络信息编码为基于低维顶点的矢量表示。本文考虑了一种新的变分形式的网络嵌入,特别关注文本网络。不同于大多数现有的方法,优化一个歧视性的目标,我们引入变分同伦嵌入(VHE),一个完全生成的模型,学习网络嵌入通过建模的语义(文本)信息与变分自编码器,同时占结构(拓扑)信息通过一个新的同伦先验设计。同构顶点嵌入鼓励相关(连接)顶点的相似嵌入向量。建议的VHE承诺更好的推广下游任务,不完整的观测鲁棒性,并能够推广到看不见的顶点。在现实世界的网络上进行的大量实验,多个任务,表明所提出的方法始终实现优越的性能相对于竞争国家的最先进的方法。
2019-09-30 cs.CL cs.LG stat.ML
Analyzing And Improving Neural Speaker Embeddings for ASR
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
神经说话人嵌入通过DNN模型对说话人的语音特征进行编码,并普遍用于说话人验证任务。然而,很少有研究调查使用的神经扬声器嵌入的ASR系统。在这项工作中,我们提出了我们的努力w.r.t集成神经扬声器嵌入到一个基于conformer的混合HMM ASR系统。对于ASR,我们改进的嵌入提取管道与加权简单相加集成方法相结合,使x向量和c向量达到与i向量相当的性能。我们进一步比较和分析不同的说话人嵌入。我们提出了我们的声学模型的改进,通过从newbob学习率调度切换到一个周期的学习时间表,从而在Switchboard上减少了约3%的相对WER,另外减少了17%的整体训练时间。通过进一步添加神经说话人嵌入,我们在Hub 5 '00上获得了额外的~3%的相对WER改进。我们最好的基于Conformer的混合ASR系统,具有扬声器嵌入,在Hub 5 '00和Hub 5'01上实现了9.0%的WER,并在SWB 300 h上进行了训练。
2023-09-20 cs.CL eess.AS stat.ML
Improving Quality of Hierarchical Clustering for Large Data Series
Aarhus University(奥胡斯大学)
布朗聚类是一种对词汇表中的单词进行严格的、层次化的、自下而上的聚类。根据词在给定语料库中的使用模式将词分配到聚类。所得到的聚类和层次结构可以用于构建基于类的语言模型,并用于生成要在NLP任务中使用的特征。由于其高计算成本,布朗聚类的最常用版本是一种使用窗口来限制其搜索空间的贪心算法。像其他聚类算法一样,Brown聚类找到了一个次优的,但仍然有效的词到聚类的映射。由于它能够产生高质量的、人类可理解的聚类,布朗聚类在NLP研究社区中得到了很高的应用,它被用于预处理和特征生成步骤。很少有研究已经做了对提高质量的布朗集群,尽管贪婪和启发式的性质的算法。到目前为止,尝试的方法集中在:研究在类似的算法中的初始化的效果;调整用于定义所需数量的集群和算法的行为的参数;以及包括一个单独的参数来区分窗口和所需数量的集群。然而,其中一些方法并没有显着提高集群质量。在这篇论文中,布朗算法提供了一个密切的分析,揭示了重要的规格和弱点,在原来的算法。这些都严重影响了布朗聚类的聚类质量和重复性。在论文的第二部分,提出了两个修改。最后,一个彻底的评估进行,同时考虑布朗聚类的优化标准和性能的基于类的语言模型。
2016-08-03 cs.CL cs.LG