Sentiment-Aware Word and Sentence Level Pre-training for Sentiment Analysis
Xiamen University(厦门大学);The University of Melbourne(墨尔本大学);IDEA Research(IDEA研究院);Microsoft Research Asia(微软亚洲研究院)
大多数现有的预训练语言表示模型(PLM)在情感分析任务中是次优的,因为它们从词级捕获情感信息,而不充分考虑句子级信息。在本文中,我们提出了SentiWSP,一种新的情感感知预训练语言模型,结合单词级和句子级预训练任务。词级预训练任务通过生成器-语义框架检测替换的情感词,以增强PLM关于情感词的知识。句子级预训练任务通过对比学习框架进一步加强了语义,将相似的句子作为否定样本,以编码句子中的情感。大量的实验结果表明,SentiWSP实现了新的国家的最先进的性能在各种不同的层次和方面的情感分类基准。我们已经在https://github.com/XMUDM/SentiWSP上公开了我们的代码和模型。
2022-10-19 cs.CL
Personalized sentence generation using generative adversarial networks with author-specific word usage
University of Electronic Science and Technology of China(中国电子科技大学);National Pingtung University(国立屏东大学)
作者专用词的使用是读者感知作者写作风格的重要特征。在这项工作中,个性化的句子生成方法的基础上生成对抗网络(GANs),提出了解决这个问题。在GAN训练中,将常用的功能词和内容词作为输入特征和句子结构约束。对于由用户决定的相关主题的句子生成,输入词的命名实体识别(NER)信息也用于网络训练。将该方法与基于GAN的句子生成方法进行了比较,实验结果表明,基于BLEU和SimHash评分等客观评价,使用该方法生成的句子与同一作者的原始句子更相似。
2019-04-20 cs.CL
Word Usage Similarity Estimation with Sentence Representations and Automatic Substitutes
LIMSI, CNRS(法国国家科学研究中心机械与工程计算机科学实验室);Univ. Paris Sud(巴黎第十一大学);Université Paris-Saclay(巴黎-萨克雷大学);LLF, CNRS(法国国家科学研究中心语言形式实验室);Univ. Paris Diderot(巴黎狄德罗大学)
使用相似度估计解决了不同上下文中单词实例的语义接近度。我们将上下文化(ELMo和BERT)的单词和句子嵌入应用于此任务,并提出了利用这些表示进行预测的监督模型。我们的模型还得到了由context2vec自动分配给单词实例的词汇替代注释的帮助,context2vec是一种依赖于双向LSTM的神经模型。我们对现有的单词和句子表示在基准数据集上进行了广泛的比较,以解决分级和二进制相似性问题。性能最好的模型在这两种情况下都优于以前的方法。
2019-05-20 cs.CL
Charagram: Embedding Words and Sentences via Character n-grams
Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
我们提出了Charagram嵌入,一个简单的方法学习基于字符的组成模型嵌入文本序列。一个单词或句子使用字符n-gram计数向量表示,然后进行单个非线性变换以产生低维嵌入。我们使用三个任务进行评估:单词相似性,句子相似性和词性标记。我们证明了Charagram嵌入优于基于字符级递归和卷积神经网络的更复杂的架构,在几个相似性任务上实现了新的最先进的性能。
2016-07-10 cs.CL
Word Embedding Perturbation for Sentence Classification
CS 682, UMass Amherst(马萨诸塞大学阿默斯特分校)
在这份技术报告中,我们的目标是通过应用数据增强方法来缓解自然语言的过拟合问题。具体地说,我们尝试了几种类型的噪声干扰输入词嵌入,如高斯噪声,伯努利噪声,对抗噪声等,我们也适用于不同类型的噪声的几个限制。通过实施这些提出的数据增强方法,基线模型可以在几个句子分类任务上获得改进。
2018-04-22 cs.CL
Verb Argument Structure Alternations in Word and Sentence Embeddings
New York University(纽约大学)
动词出现在不同的句法环境或框架中。我们调查是否人工神经网络编码语法的区别推断动词的特质框架选择属性。我们介绍了五个数据集,统称为FAVA,包含在聚合近10K的句子标记为语法的可接受性,说明不同的口头论点结构的交替。然后,我们测试模型是否可以区分可接受的英语动词框架组合从不可接受的单独使用句子嵌入。为了获得收敛的证据,我们进一步构建了相应的词级数据集LaVA,并研究是否可以从词嵌入中提取相同的句法特征。我们的模型对某些语言变化进行了可靠的分类,但对其他语言变化则没有,这表明虽然这些表示确实编码了细粒度的词汇信息,但它是不完整的,或者很难提取。此外,词级模型和句子级模型之间的差异表明,词嵌入中存在的一些信息不会传递给下游的句子嵌入。
2018-11-27 cs.CL
Context-Aware Cross-Lingual Mapping
The George Washington University(乔治·华盛顿大学);AWS, Amazon AI(亚马逊云服务,亚马逊人工智能(AWS, Amazon AI))
跨语言词向量通常通过拟合将双语词典的条目从源向量空间映射到目标向量空间的正交矩阵来获得。然而,词向量最常用于句子或文档级表示,这些表示被计算为词嵌入的加权平均值。在本文中,我们提出了一种替代词级映射,更好地反映了词典级跨语言的相似性。我们通过直接映射平行语料库中对齐句子的平均嵌入来将上下文纳入转换矩阵。我们还实现了跨语言映射的深度上下文词嵌入使用平行的句子与词对齐。在我们的实验中,这两种方法导致跨语言的句子嵌入,优于上下文无关的词映射在句子翻译检索。此外,词级转换可以用于词级映射,而不会损失词翻译质量。
2019-03-31 cs.CL
Learning Neural Word Salience Scores
University of Liverpool(利物浦大学);Science and Technology Facilities Council(科学技术设施委员会)
测量一个词的显著性是许多NLP任务中必不可少的步骤。启发式的方法,如tfidf已被用于迄今估计的显着性的话。我们建议\emph{Neural Word Salience}(NWS)的分数,不像统计学,是从语料库中学习。具体来说,我们学习单词显著性分数,以便使用预先训练的词嵌入作为输入,可以准确地预测出现在句子中的单词,给定出现在该句子之前或之后的句子中的单词。句子相似性预测的实验结果表明,学习的单词显着性分数执行三倍或更好的一些国家的最先进的方法来表示句子的基准数据集上的句子相似性,而只使用一小部分的训练和预测时间所需的现有方法。此外,我们的NWS分数正相关的心理语言学措施,如具体性,和imagerity意味着一个密切的联系,由人类感知的显着性。
2017-09-04 cs.CL
Syntactically Look-Ahead Attention Network for Sentence Compression
Institute of Innovative Research, Tokyo Institute of Technology(东京工业大学创新研究所)
句子压缩是通过删除冗余单词将长句压缩成短句的任务。在基于序列到序列(Seq 2Seq)的模型中,解码器单向决定保留或删除单词。因此,它通常不能显式地捕获解码的单词和将在未来时间步长中解码的未看到的单词之间的关系。因此,为了避免产生不合语法的句子,解码器有时会在压缩句子时丢弃重要的单词。为了解决这个问题,我们提出了一种新的Seq 2Seq模型,语法前瞻注意力网络(SLAHAN),它可以通过在解码过程中显式跟踪依赖父单词和子单词并捕获将来将被解码的重要单词来生成信息摘要。在Google句子压缩数据集上的自动评估结果显示,SLAHAN实现了最好的基于保留标记的F1,ROUGE-1,ROUGE-2和ROUGE-L得分,分别为85.5,79.3,71.3和79.1。SLAHAN还提高了较长句子的摘要性能。此外,在人工评估中,SLAHAN在不损失可读性的情况下提高了信息量。
2020-05-17 cs.CL
Calculating the similarity between words and sentences using a lexical database and corpus statistics
Lakehead University(湖首大学)
计算句子之间的语义相似度是自然语言处理领域中一个长期存在的问题。语义分析领域在文本分析的相关研究中起着至关重要的作用。语义相似度随着操作域的不同而不同。在本文中,我们提出了一种方法,处理这个问题,将语义相似性和语料库统计。为了计算单词和句子之间的语义相似度,所提出的方法遵循基于边缘的方法使用词汇数据库。该方法可以应用于各种领域。该方法已测试的基准标准和平均人类相似性数据集。当在这两个数据集上进行测试时,它为单词和句子相似度提供了最高的相关值,优于其他类似的模型。对于单词相似度,我们得到的皮尔逊相关系数为0.8753,对于句子相似度,得到的相关系数为0.8794。
2018-02-20 cs.CL
Unsupervised Sentence Representations as Word Information Series: Revisiting TF--IDF
Universidad Nacional Autónoma de México (UNAM)(墨西哥国立自治大学);Centro de ciencias genómicas (CCG–UNAM)(基因组科学中心(墨西哥国立自治大学));Instituto de ingeniería (IIngen–UNAM)(工程研究所(墨西哥国立自治大学));Laboratoire Informatique d’Avignon (LIA–UAPV)(阿维尼翁计算机科学实验室(阿维尼翁大学));Centro de investigación en computación (CIC–IPN)(计算机研究中心(国立理工学院))
语义层次的句子表示是自然语言处理和人工智能的一个具有挑战性的任务。尽管在词嵌入(即词向量表示)方面取得了进展,但由于词之间语义交互的复杂性,捕获句子含义仍然是一个悬而未决的问题。在本文中,我们提出了一种嵌入方法,这是针对学习无监督的句子表示从未标记的文本。我们提出了一种无监督的方法,模型的一个句子作为一个加权系列的词嵌入。词嵌入的权重是通过使用由词频-逆文档频率(TF--IDF)变换提供的Shannon词熵来拟合的。模型的超参数可以根据数据的属性(例如句子长度和文本性别)进行选择。超参数选择涉及词嵌入方法和维度,以及加权模式。我们的方法提供了优于现有方法的优势:可识别模块,短期培训,(看不见的)句子表示的在线推理,以及独立于领域,外部知识和语言资源。结果表明,我们的模型在著名的语义文本相似性(STS)基准测试中的表现优于现有技术。此外,我们的模型达到了最先进的性能相比,监督和基于知识的STS系统。
2017-10-20 cs.CL
Sentence Modeling via Multiple Word Embeddings and Multi-level Comparison for Semantic Textual Similarity
Japan Advanced Institute of Science and Technology (JAIST)(日本先进科学技术学院(JAIST));Toshiba Research & Development Center, Japan(日本东芝研发中心)
不同的词嵌入模型捕捉语言属性的不同方面。这启发我们提出了一个模型(M-MaxLSTM-CNN),用于采用多组词嵌入来评估句子相似性/关系。MaxLSTM-CNN编码器通过多个词嵌入来表示每个词,从而生成新颖的句子嵌入。然后,我们通过多级比较来学习我们的句子嵌入之间的相似性/关系。我们的方法M-MaxLSTM-CNN在几个任务中始终表现出很强的性能(即,测量文本相似性、识别释义、识别文本蕴涵)。根据STS Benchmark数据集和SemEval的SICK数据集上的实验结果,M-MaxLSTM-CNN在文本相似性任务中的表现优于最先进的方法。我们的模型不使用手工制作的功能(例如,对齐特征、Ngram重叠、依赖性特征),并且不需要预先训练的词嵌入具有相同的维度。
2018-05-21 cs.CL
OmniAlign: A Unified Multilingual Aligner for Word and Sentence Alignment
WPS Qingqiu(WPS清qiu(WPS清秋))
OmniAlign是一款轻量级多语言对齐工具,采用四阶段训练流程,可同时支持词级和句子级对齐,在基准测试中表现具竞争力且泛化性良好,短文本微调可提升其对齐质量与长文本稳健性。
2026-08-20 cs.CL
Automatic classification of bengali sentences based on sense definitions present in bengali wordnet
College of Engineering and Management, Kolaghat(科拉加特工程与管理学院);Jadavpur University, Kolkata(加尔各答贾达夫普尔大学);Indian Statistical Institute, Kolkata(加尔各答印度统计研究所)
基于孟加拉语WordNet中可用的词的意义定义,尝试将孟加拉语句子根据其潜在的意义自动分类为不同的组。输入的句子收集从50个不同类别的孟加拉语文本语料库中开发的TDIL项目的印度政府,而信息的不同意义上的特定的歧义词汇项收集从孟加拉语WordNet。在实验的基础上,我们使用朴素贝叶斯概率模型作为一个有用的句子分类。我们已经应用该算法超过1747个句子,其中包含一个特定的孟加拉语词汇,由于其模糊的性质,能够触发不同的意义,使句子在不同的意义。在我们的实验中,我们已经取得了约84%的准确率的结果,对总的输入句子的意义分类。我们分析了那些不符合我们的实验,并影响结果的剩余句子,注意到在许多情况下,错误的句法结构和语义信息少的句子语义分类的主要障碍。本研究在自动文本分类、机器学习、信息抽取、词义消歧等方面具有一定的应用价值。
2015-08-06 cs.CL
Expect the unexpected: Harnessing Sentence Completion for Sarcasm Detection
Indian Institute of Technology Bombay(印度孟买理工学院);Monash University(莫纳什大学);IITB-Monash Research Academy(IITB-莫纳什研究学院)
本文将讽刺检测建模为观察词与预期词的不协调识别,利用基于双向 LSTM 的 Context2Vec 预测预期词,并提出全词与仅不协调词两种方法,验证了句子完成用于讽刺检测的潜力。
2017-07-19 cs.CL
Concatenated Power Mean Word Embeddings as Universal Cross-Lingual Sentence Representations
Technische Universität Darmstadt(达姆施塔特工业大学)
平均词嵌入是更复杂的句子嵌入技术的共同基线。然而,它们通常无法达到更复杂的模型(如InferSent)的性能。在这里,我们将平均词嵌入的概念推广到幂平均词嵌入。我们表明,不同类型的功率平均词嵌入的串联大大缩小了差距,以国家的最先进的方法单语言和大大优于这些更复杂的技术跨语言。此外,我们提出的方法优于不同的最近提出的基线,如SIF和Sent2Vec的坚实的保证金,从而构成了一个更难击败单语基线。我们的数据和代码是公开的。
2018-09-12 cs.CL
Bag-of-Words as Target for Neural Machine Translation
Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
一个句子可以翻译成不止一个正确的句子。然而,现有的神经机器翻译模型大多只使用其中一个正确的翻译作为目标,而其他正确的句子在训练阶段被当作不正确的句子进行惩罚。由于一个句子的大多数正确的翻译共享相似的词袋,因此可以通过词袋来区分正确的翻译和错误的翻译。在本文中,我们提出了一种在训练阶段同时使用句子和词袋作为目标的方法,以鼓励模型生成训练集中没有出现的潜在正确句子。我们在一个汉英翻译数据集上对我们的模型进行了评估,实验表明我们的模型比强基线的BLEU得分高出4.55。
2018-05-13 cs.CL
Neural Summarization by Extracting Sentences and Words
University of Edinburgh(爱丁堡大学)
传统的提取摘要方法在很大程度上依赖于人类工程特征。在这项工作中,我们提出了一个基于神经网络和连续句特征的数据驱动方法。我们开发了一个通用的框架,单文档摘要组成的分层文档编码器和基于注意力的提取器。这种架构允许我们开发不同类别的摘要模型,可以提取句子或单词。我们在包含数十万文档摘要对的大规模语料库上训练我们的模型。在两个摘要数据集上的实验结果表明,我们的模型在没有任何语言注释的情况下获得了与现有技术相当的结果。
2016-07-01 cs.CL
Unsupervised Sentence Representation Learning with Frequency-induced Adversarial Tuning and Incomplete Sentence Filtering
Jilin University(吉林大学)
针对预训练语言模型因词频导致嵌入各向异性,提出SLT-FAI框架,通过频率诱导对抗调优和不完整句子过滤,实现频率不变嵌入空间,提升无监督句子表示质量,优于现有基线。
2023-05-15 cs.CL
pair2vec: Compositional Word-Pair Embeddings for Cross-Sentence Inference
University of Washington(华盛顿大学);Facebook AI Research(脸书人工智能研究院)
关于隐含关系的推理(例如,词对之间的释义、常识、百科全书)对于许多跨句推理问题至关重要。本文提出了新的方法来学习和使用嵌入的词对,隐含地表示背景知识,这种关系。我们的成对嵌入被计算为单词表示的组合函数,这是通过最大化两个单词共同出现的上下文的逐点互信息(PMI)来学习的。我们将这些表示添加到现有推理模型的跨句注意力层(例如,QA的Biorean,NLI的ESIM),而不是扩展或替换现有的词嵌入。实验表明,在最近发布的SQuAD 2.0上的增益为2.7%,在MultiNLI上的增益为1.3%。我们的表示还有助于更好地泛化,在对抗SQuAD数据集上获得约6-7%的收益,在Glockner et al.(2018)的对抗蕴涵测试集上获得8.8%的收益。
2019-04-05 cs.CL
Parameter-free Sentence Embedding via Orthogonal Basis
Stanford University(斯坦福大学);Microsoft(微软)
我们提出了一个简单而强大的非参数化的方法来建立句子表示。受几何理论中Gram-Schmidt过程的启发,我们构造了一个词与其周围语境在句子中所构成的子空间的正交基。我们基于两个方面对句子中的词的语义进行建模。一个是它与已经被它的上下文词所覆盖的词向量子空间的相关性。另一个是这个词的新的语义,这将被引入作为一个新的基向量垂直于这个现有的子空间。基于这个动机,我们开发了一种基于正交基的创新方法,将预训练的词嵌入组合成句子表示。这种方法需要零参数,以及高效的推理性能。我们在11个下游NLP任务上评估了我们的方法。与非参数化的替代方案相比,我们的模型显示出优越的性能,并且与依赖于大量标记数据或延长训练时间的其他方法相比具有竞争力。
2019-12-06 cs.CL
Evaluating Word Embeddings for Sentence Boundary Detection in Speech Transcripts
CPqD
本文的动机是自动化的神经心理学测试,涉及话语分析的复述叙述的患者有潜在的认知障碍。在这种情况下,语音转录中的句子边界检测的任务是重要的,因为话语分析涉及自然语言处理工具的应用,例如标记器和解析器,其依赖于句子作为处理单元。在本文中,我们的目的是验证嵌入感应方法最适合句子边界检测任务,特别是它是否是那些被提出来捕捉语义,句法或形态相似性。
2017-08-15 cs.CL
Automatic Detection of Vague Words and Sentences in Privacy Policies
University of Central Florida(中佛罗里达大学)
网站隐私政策是用户衡量公司如何收集、使用和共享其个人数据的唯一最重要的信息来源。然而,隐私政策往往是模糊的,人们很难理解的内容。它们的不透明性对用户和政策监管者都构成了重大挑战。在本文中,我们试图确定隐私政策中的模糊内容。我们构建了第一个人工标注的模糊词语和句子语料库,并对自动模糊检测进行了实证研究。特别是,我们调查上下文感知和上下文不可知模型预测模糊的话,并探索分类器生成对抗网络的特点句子的模糊性。我们的实验结果证明了所提出的方法的有效性。最后,本文提出了解决隐私策略不合理性和提高隐私策略可用性的建议。
2018-08-28 cs.CL
Fast Neural Chinese Word Segmentation for Long Sentences
Shanghai Jiao Tong University(上海交通大学)
近年来,神经网络模型在中文分词中取得了与传统分词模型相当的性能。然而,大多数方法遇到的计算效率低,特别是对于长句,因为增加的模型复杂度和较慢的解码器。本文提出了一种简单的神经分割器,它直接标记相邻字符之间的间隙存在,以减轻现有的缺点。我们的分割器是完全端到端的,能够非常快速地执行分割。我们还显示了不同的标记集的性能差异。实验表明,我们的分割器可以提供与国家的最先进的性能相当。
2019-01-29 cs.CL
With Measured Words: Simple Sentence Selection for Black-Box Optimization of Sentence Compression Algorithms
句子压缩是生成给定句子的较短但合乎语法的版本的任务,保留原始句子的本质。本文提出了一个黑盒优化压缩(B-BOC):给定一个黑盒压缩算法,并假设不是所有的句子都需要压缩-找到最好的候选压缩,以最大限度地提高压缩率和质量。给定所需的压缩比,我们考虑两种情况:(i)单句压缩,以及(ii)句子序列压缩。在第一种情况下,我们的优化器经过训练,以预测每个句子在满足指定比率要求的同时可以压缩的程度。在后者中,将期望的压缩比应用于句子序列(例如,一个段落)作为一个整体,而不是在每一个单独的句子。为了实现这一目标,我们使用B-BOC为每个句子分配最佳压缩比,然后将其转换为背包问题,我们使用有界动态规划解决。我们在三个数据集上对这两种情况下的B-BOC进行了评估,表明与直接应用其他压缩算法相比,我们的优化器提高了准确性和Rouge-F1分数。
2021-01-25 cs.CL
Enhancing Cross-lingual Sentence Embedding for Low-resource Languages with Word Alignment
The University of Tokyo(东京大学)
针对低资源语言跨语言词表征对齐不足的问题,本文提出基于现成词对齐模型的显式词对齐框架,结合三项训练目标,显著提升低资源句子嵌入并保持高资源任务性能。
2024-04-03 cs.CL
A Strong Baseline for Learning Cross-Lingual Word Embeddings from Sentence Alignments
University of Washington(华盛顿大学);University of Copenhagen(哥本哈根大学);Bar-Ilan University(巴伊兰大学)
虽然跨语言词嵌入近年来得到了广泛的研究,不同算法之间的定性差异仍然模糊。我们观察到,算法是否使用特定的特征集(句子ID)占这些算法之间的显着性能差距。传统的对齐算法(如IBM Model-1)也使用此功能集,这些算法在各种基准测试中表现出与最先进的嵌入算法相似的性能。总的来说,我们观察到,利用句子ID特征空间的不同算法方法会导致类似的性能。本文得出了嵌入和对齐文献之间的经验和理论上的相似之处,并建议增加额外的信息来源,这超出了双语词典对齐语料库的传统信号,可能会大大提高跨语言词嵌入,未来的基线至少应该考虑到这些功能。
2017-01-09 cs.CL
Contrastive Learning-based Sentence Encoders Implicitly Weight Informative Words
Tohoku University(东北大学);RIKEN(理化学研究所);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文从理论和实验两方面揭示,基于对比损失微调的句编码器会根据信息论量隐式地对词进行加权,更具信息量的词会获得更大权重。
2023-10-24 cs.CL
Sentence Analogies: Exploring Linguistic Relationships and Regularities in Sentence Embeddings
Rutgers University(罗格斯大学)
虽然词向量表征的重要性质已被广泛研究,但对句子向量表征的性质知之甚少。词向量的评估通常是通过评估它们在词类比中考虑的那种关系方面表现出多大程度的相似性来进行的。在本文中,我们调查在何种程度上常用的句子向量表示空间,以及反映某些类型的语义。我们提出了一些计划,以诱导评估数据,词汇类比数据的基础上,以及句子之间的语义关系。我们的实验考虑了广泛的句子嵌入方法,包括基于BERT风格的上下文嵌入。我们发现,不同的模型有很大的不同,在他们的能力,以反映这种不确定性。
2020-03-09 cs.CL
A Novel Word Pair-based Gaussian Sentence Similarity Algorithm For Bengali Extractive Text Summarization
Institute of Information Technology(信息技术研究所);University of Dhaka(达卡大学);Centre for Advanced Research in Science(高级科学研究中心)
针对孟加拉语抽取式文本摘要现有方法语义关系表达不足的问题,提出基于词对的高斯句相似度(WGSS)算法,结合谱聚类与TF-IDF排序,在多个数据集上平均ROUGE分数优于现有模型43.2%,还构建新数据集并可扩展至其他低资源语言。
2024-11-27 cs.CL
Evaluating Semantic Rationality of a Sentence: A Sememe-Word-Matching Neural Network based on HowNet
Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
语义合理性的自动评价是一项重要而又具有挑战性的任务,现有的自动技术不能很好地识别句子的语义是否合理。基于语言模型的方法不是用合理性来衡量句子,而是用共性来衡量句子。基于与人类书面句子相似性的方法在没有人类书面参考文献的情况下会失效。本文提出了一种新的模型--义素词匹配神经网络(SWM-NN),利用义素知识库知网来解决语义合理性评价问题。其优点是,我们的模型可以利用一个适当的义位组合来表示一个词在特定的上下文中的细粒度的语义含义。我们使用细粒度的语义表示来帮助模型学习词之间的语义依赖。为了评估所提出的模型的有效性,我们建立了一个大规模的合理性评估数据集。在该数据集上的实验结果表明,该模型比竞争基线的准确率提高了5.4%。
2018-09-11 cs.CL
Contextual Salience for Fast and Accurate Sentence Vectors
Stanford University(斯坦福大学);Salesforce Research(Salesforce 研究院)
句子或文档的无监督向量表示是许多语言任务(如情感分类)的主要构建块。然而,目前的方法是不可解释的和缓慢的或需要大量的训练数据集。最近的词向量为基础的建议隐含地假设,在词嵌入空间的距离是同样重要的,无论上下文。我们引入上下文显着性(CoSal),一个词的重要性,使用上下文向量的分布来规范化的距离和权重的措施。CoSal依赖于不寻常的词向量不成比例地影响短语向量的洞察力。一个基于CoSal-based权重的词袋模型产生准确的无监督句子或文档表示用于分类,需要很少的计算来评估,只需要一个协方差计算来"训练“。“CoSal支持小上下文,上下文外的单词,在大多数基准测试中优于SkipThought,在所有基准测试中击败tf-idf,并与无监督的最先进技术竞争。
2020-11-02 cs.CL
Unsupervised Parsing by Searching for Frequent Word Sequences among Sentences with Equivalent Predicate-Argument Structures
The University of Tokyo(东京大学);Imperial College London(伦敦帝国学院);The University of Liverpool(利物浦大学)
本文提出基于频率的无监督成分句法解析器span-overlap,利用PAS等价句子集合中成分对应频繁词序列的特性,通过最大化span-overlap分数识别成分结构,在十种语言中的八种上达到最先进水平,并发现参与者成分与事件成分之间的统计差异。
2024-08-12 cs.CL
Discrete Optimization for Unsupervised Sentence Summarization with Word-Level Extraction
Heidelberg University(海德堡大学);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));University of Waterloo(滑铁卢大学)
自动句子摘要生成句子的较短版本,同时保留其最重要的信息。一个好的摘要的特点是语言流畅,与源句的信息重叠度高。我们在一个无监督的目标函数,包括语言建模和语义相似性度量这两个方面的模型。我们通过离散优化来寻找高分摘要。我们提出的方法实现了一个新的国家的最先进的无监督句子摘要根据ROUGE分数。此外,我们证明,通常报告的ROUGE F1度量是敏感的摘要长度。由于这是不情愿地利用在最近的工作中,我们强调,未来的评估应明确分组摘要系统的输出长度括号。
2020-05-04 cs.CL
MGNC-CNN: A Simple Approach to Exploiting Multiple Word Embeddings for Sentence Classification
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们介绍了一种新颖的,简单的卷积神经网络(CNN)架构-多组范数约束CNN(MGNC-CNN),它利用多组词嵌入进行句子分类。MGNC-CNN从输入嵌入集中独立提取特征,然后在网络的倒数第二层将这些特征连接起来,形成最终的特征向量。然后,我们采用了一种组正则化策略,该策略对与从各个嵌入集生成的子分量相关联的权重进行差分惩罚。该模型比类似的替代架构简单得多,并且需要的训练时间大大减少。此外,它是灵活的,因为它不要求输入词嵌入具有相同的维度。我们证明了MGNC-CNN始终优于基线模型。
2016-03-27 cs.CL
Multilingual Sentence Transformer as A Multilingual Word Aligner
Shanghai University of Finance and Economics(上海财经大学);Southern University of Science and Technology(南方科技大学)
多语言预训练语言模型(mPLM)在多语言词对齐归纳中表现出了其有效性。然而,这些方法通常从mBERT或XLM-R开始。在本文中,我们调查是否多语言句子Transformer LaBSE是一个强大的多语言词对齐。这个想法是不平凡的,因为LaBSE被训练来学习语言不可知的单词级嵌入,而对齐提取任务需要更细粒度的单词级嵌入是语言不可知的。我们证明了香草LaBSE优于其他mPLM目前使用的对齐任务,然后提出微调LaBSE并行语料库进一步改进。七个语言对的实验结果表明,我们最好的对齐优于以前的国家的最先进的模型的所有品种。此外,我们的对齐器在单个模型中支持不同的语言对,甚至在微调过程中不会出现的zero-shot语言对上实现了新的最先进技术。
2023-01-28 cs.CL
Exploring sentence informativeness
LIMSI, CNRS(法国国家科学研究中心机械与工程计算机科学实验室);Univ. Paris-Sud(巴黎第十一大学);Univ. Paris-Saclay(巴黎-萨克雷大学);Société Générale(法国兴业银行)
这项研究是对信息量概念的初步探索-一个句子提供了多少关于它所包含的单词的信息-以及它对从稀缺数据中构建高质量单词表征的潜在好处。我们提出了几个层次的分类器来预测信息量,我们执行一组句子的手动注释。我们的结论是,这两种措施对应于不同的概念的信息。然而,我们的实验表明,使用分类器的预测训练词嵌入对嵌入质量有影响。
2019-07-22 cs.CL
Compositional Sentence Representation from Character within Large Context Text
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
本文描述了一个层次组合递归网络(HCRN),它包括一个3级层次的组合模型:字符,单词和句子。该模型的目的是克服两个问题的基础上表示一个句子的组成词序列。第一个是词嵌入中的数据稀疏问题,另一个是没有使用句间依赖。在HCRN中,单词表示是从字符中构建的,从而解决了数据稀疏性问题,并且在句子组成的级别上将句间依赖嵌入到句子表示中。我们采用分层学习方案,以减轻以端到端方式学习深度分层递归网络的优化困难。HCRN的定量和定性评估的对话行为分类任务。特别是,具有句间依赖性的句子表示能够捕获句子的隐式和显式语义,显着提高性能。最后,HCRN在SWBD-DAMSL数据库上的对话行为分类测试出错率为22.7%,达到了最先进的性能。
2016-06-03 cs.CL
Evaluating semantic models with word-sentence relatedness
The Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
语义文本相似度(STS)系统被设计用于编码和评估单词、短语、句子和文档之间的语义相似度。评估这些系统中编码的语义信息的质量或真实性的一种方法是与人类判断进行比较。开发了一个用于评估语义模型的数据集,由775个英语单词-句子对组成,每个单词-句子对由参与最大差异缩放(MDS)任务的人类评分员注释语义相关性,以及更快的替代任务。作为这种相关性数据的一个示例应用,将基于行为的相关性与通过四种现成的STS模型计算的相关性进行了比较:n-gram,潜在语义分析(LSA),Word 2 Vec和UMBC Ebiquity。一些STS模型捕捉到了收集到的人类判断中的大部分差异,但它们对参与者处理和考虑的含义和蕴涵并不敏感。所有的文本刺激和判断数据都是免费提供的。
2017-01-03 cs.CL
Learning to Embed Sentences Using Attentive Recursive Trees
Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
句子嵌入是大多数基于深度学习的NLP任务的有效特征表示。一种流行的方法是使用递归潜在树结构网络来嵌入具有特定任务结构的句子。然而,现有的模型没有明确的机制,强调任务信息的字在树结构。为此,我们提出了一个注意递归树模型(AR树),其中的话是动态定位根据其在任务中的重要性。具体来说,我们构造的潜在树的一个句子在一个建议的重要优先战略,并把更多的关注的话更接近根,因此,AR树可以内在地强调重要的话在自下而上的组成句子嵌入。我们提出了一个端到端的强化训练策略的AR树,这被证明是一贯优于,或至少是可比的,国家的最先进的句子嵌入方法对三个句子理解任务。
2018-11-15 cs.CL
Representing Sentences as Low-Rank Subspaces
University of Illinois at Urbana Champaign(伊利诺伊大学香槟分校)
句子是自然语言的重要语义单位。一个通用的,分布式表示的句子,可以捕捉潜在的语义是有益的多个下游应用程序。我们观察到一个简单的句子几何--给定句子的单词表示(在所有SemEval数据集中平均10.23个单词,标准差为4.84)大致位于低秩子空间(大致为4)。基于这种观察,我们用词向量所构成的低秩子空间来表示句子。这种无监督的表示通过19个不同数据集上的语义文本相似性任务进行了经验验证,平均比复杂的神经网络模型(包括跳过思维向量)高出15%。
2017-04-18 cs.CL
Sentiment Classification with Word Attention based on Weakly Supervised Learning with a Convolutional Neural Network
Korea University(高丽大学)
为了使情感分析结果的适用性最大化,不仅需要对给定文档的整体情感(积极/消极)进行分类,而且还需要识别有助于分类的主要词。然而,大多数用于情感分析的数据集只有每个文档或句子的情感标签。换句话说,没有关于哪些词在情感分类中起重要作用的信息。在本文中,我们提出了一种识别关键词区分积极和消极的句子,通过使用弱监督学习方法的基础上的卷积神经网络(CNN)。在我们的模型中,每个单词被表示为一个连续值向量,每个句子被表示为一个矩阵,其行对应于句子中使用的单词向量。然后,使用这些句子矩阵作为输入并使用情感标签作为输出来训练CNN模型。一旦CNN模型被训练,我们就实现了单词注意力机制,该机制使用学习的CNN模型结束时的全连接层的权重,通过类激活图识别对分类结果有高贡献的单词。为了验证所提出的方法,我们使用两个电影评论数据集的极性词的分类精度和包含率进行了评估。实验结果表明,该模型不仅能正确地对句子极性进行分类,而且能成功地识别出极性得分高的对应词。
2017-09-29 cs.CL
Debiasing Sentence Embedders through Contrastive Word Pairs
CITEC, University of Bielefeld(比勒费尔德大学CITEC(认知交互技术中心))
针对现有去偏方法直接从词嵌入转移而忽略句子嵌入非线性特性的问题,本文提出通过对比词对去除句子嵌入中线性和非线性偏见信息的方法,且不影响下游任务性能。
2024-03-27 cs.CL
Construct a Sentence with Multiple Specified Words
Nuance Communications Inc.(Nuance通讯公司)
本文演示了一个微调BART模型的任务,以便它可以从任意一组单词中构建一个句子,这曾经是一个困难的NLP任务。训练任务是用四个单词造句,但训练后的模型可以在提供更少或更多单词时生成句子。输出的句子总体上质量较高。该模型可以有一些实际的应用,并且该任务也可以用作任何语言模型的评估机制。
2022-06-25 cs.AI cs.CL
Sentence Similarity Learning by Lexical Decomposition and Composition
IBM T.J. Watson Research Center(IBM T.J. Watson 研究中心)
传统的句子相似度方法大多只关注两个输入句子中相似的部分,而忽略了不相似的部分,这些部分通常会给我们一些关于句子的线索和语义意义。在这项工作中,我们提出了一个模型,以考虑到的相似性和不同之处,通过分解和组成句子的词汇语义。该模型将每个单词表示为一个向量,并根据另一个句子中的所有单词为每个单词计算语义匹配向量。然后,每个词向量被分解为一个相似的组件和一个不相似的组件的基础上的语义匹配向量。在此之后,一个双通道CNN模型被用来捕捉特征,通过组成的相似和不相似的组件。最后,在组合特征向量上估计相似性得分。实验结果表明,该模型在回答句选择任务上取得了最好的性能,在释义识别任务上也取得了相当的效果。
2017-07-14 cs.CL
Simplifying Sentences with Sequence to Sequence Models
Australian National University(澳大利亚国立大学);Data to Decision CRC(数据到决策合作研究中心);ShanghaiTech University(上海科技大学)
我们使用专注的神经网络序列到序列模型简化句子,称为S4。该模型包括一个新的词复制机制和损失函数,利用原始和简化的句子之间的语言相似性。它还联合使用预训练和微调的词嵌入来捕获复杂句子的语义并减轻有限数据的影响。当对来自数千篇新闻文章的成对句子进行训练和评估时,我们观察到BLEU得分比序列到序列基线提高了8.8分;然而,学习单词替换仍然很困难。这样的序列到序列模型是有前途的其他文本生成任务,如风格转移。
2018-05-15 cs.CL
Learning Probabilistic Sentence Representations from Paraphrases
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
概率词嵌入在捕捉概括性和蕴涵概念方面表现出了有效性,但对句子进行类似类型的研究的工作很少。在本文中,我们定义概率模型,产生分布的句子。我们表现最好的模型将每个单词视为应用于多元高斯分布的线性变换算子。我们训练我们的模型的释义,并证明他们自然捕捉句子的特异性。虽然我们提出的模型总体上实现了最佳性能,但我们还表明,通过句子向量的范数,特异性由更简单的架构表示。定性分析表明,我们的概率模型捕捉到了语义蕴涵,并提供了分析单个词的特异性和精确性的方法。
2020-05-16 cs.CL
XL-DURel: Finetuning Sentence Transformers for Ordinal Word-in-Context Classification
Institute for Natural Language Processing, University of Stuttgart(语言处理研究所,斯图加特大学)
本文提出多语言句子Transformer模型XL-DURel,通过复空间角距离排序目标优化序数词境分类,证明二值WiC是序数WiC的特例,并实现统一建模。
2025-11-06 cs.CL
Towards Automatic Construction of Filipino WordNet: Word Sense Induction and Synset Induction Using Sentence Embeddings
De La Salle University(德拉萨大学);Samsung R&D Institute Philippines(三星菲律宾研发院)
本研究提出一种仅依赖未标注语料库和句子嵌入语言模型进行词义与同义词集归纳的方法,并应用于 Filipino 文本,实证表明30%归纳词义有效、40%归纳同义词集有效(含20%新颖集),助力低资源语言 wordnet 自动构建。
2023-10-19 cs.CL
NMT-Obfuscator Attack: Ignore a sentence in translation with only one word
EPFL(洛桑联邦理工学院);Armasuisse S+T(阿马祖斯科技公司)
本文提出一种新型NMT对抗攻击,通过在两个句子间插入一个自然单词,使模型在超过50%的情况下忽略并漏译第二个句子,同时保持低困惑度,从而隐藏恶意信息。
2024-11-19 cs.CL
A Multilingual Study of Multi-Sentence Compression using Word Vertex-Labeled Graphs and Integer Linear Programming
University of La Rochelle(拉罗谢尔大学);University of Avignon(阿维尼翁大学);Polytechnique Montréal(蒙特利尔高等理工学院);Inst. Federal de Educação, Ciência e Tecnologia da Paraiba(帕拉伊巴联邦教育、科学与技术学院);Univ. Federal Fluminense(弗鲁米嫩塞联邦大学);Universidade Federal do Ceará(塞阿拉联邦大学)
多句子压缩(MSC)的目的是从一组相似的句子中提取关键信息,生成一个短句。MSC使摘要和问答系统能够从一个或多个文档中生成组合完整句子的输出。本文描述了一种基于线性规划的MSC方法,该方法使用顶点标记图来选择不同的关键字,其目标是在保持语法性的同时生成更多信息的句子。我们的系统质量很好,在以三种语言(法语、葡萄牙语和西班牙语)进行的新闻数据集评估方面优于最先进的水平。我们进行了自动和手动评估,以确定每个数据集压缩的信息量和语法性。在额外的测试中,利用压缩的长度可以调节的事实,我们仍然使用更短的输出句子来提高ROUGE分数。
2020-04-09 cs.CL
Efficient Sentence Embedding via Semantic Subspace Analysis
Univ. of Southern California(南加州大学);Signal and Image Processing Institute Department of Electrical and Computer Engineering University of Southern California(南加州大学电气工程与计算机科学系信号与图像处理研究所);University of Southern California(南加州大学)
本文提出了一种基于语义子空间分析的句子嵌入方法--语义子空间句子嵌入(S3 E)。鉴于词嵌入可以捕捉语义关系,而语义相似的词往往形成语义组在一个高维的嵌入空间,我们开发了一个句子表示方案,通过分析其组成词的语义子空间。具体来说,我们从两个方面构建了一个句子模型。首先,我们使用组内描述符来表示位于同一语义组中的单词。其次,我们用组间描述符刻画了多个语义组之间的交互。所提出的S3 E方法在文本相似性任务和监督任务上进行了评估。实验结果表明,它提供了相当或更好的性能比国家的最先进的。我们的S3 E方法的复杂性也远远低于其他参数化模型。
2020-03-04 cs.CL
Sentence level estimation of psycholinguistic norms using joint multidimensional annotations
University of Southern California(南加州大学)
心理语言规范词使用数字分数表示各种情感和心理结构,并用于自然语言处理中的各种应用。它们通常用于句子级别,其分数通过使用简单的聚合策略外推单词级别分数来估计,这可能并不总是最佳的。在这项工作中,我们提出了一个新的方法来估计心理语言规范在句子水平。我们应用多维注释融合模型的注释在字的水平,以估计一个参数,捕捉不同的规范之间的关系。然后,我们使用这个参数在句子水平估计的规范。我们评估我们的方法,预测句子水平的分数为各种规范的尺寸和标准的词聚合方案进行比较。
2020-05-20 cs.CL
QuickEdit: Editing Text & Translations by Crossing Words Out
Facebook AI Research(Facebook人工智能研究院)
我们提出了一个计算机辅助文本编辑的框架。它适用于翻译后编辑和释义。我们的建议依赖于非常简单的交互:人类编辑通过标记他们希望系统更改的标记来修改句子。然后,我们的模型生成一个新的句子,通过避免标记的单词来重新表达初始句子。该方法建立在神经序列到序列建模的基础上,并引入了一个神经网络,该网络将一个句子连同变化标记作为输入。我们的模型通过模拟后期编辑在翻译双文本上进行训练。我们证明了我们的翻译后编辑方法的优势,通过模拟后编辑。我们还通过用户研究来评估我们的模型。
2018-03-28 cs.CL