Separating Constraint Compliance from Semantic Accuracy: A Novel Benchmark for Evaluating Instruction-Following Under Compression
Independent Researcher(独立研究者)
本文提出CDCT基准,揭示LLMs在压缩下约束合规性与语义准确性之间的矛盾,发现中等压缩时约束违规主要由RLHF训练的有用性行为导致。
2025-12-02 cs.AI cs.CL
Compression of Generative Pre-trained Language Models via Quantization
The University of Hong Kong(香港大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
生成式预训练语言模型(PLM)的规模不断增大,极大地增加了对模型压缩的需求。尽管有各种方法来压缩BERT或其变体,但很少有人尝试压缩生成PLM,并且潜在的困难仍然不清楚。在本文中,我们压缩生成PLM量化。我们发现,以前的量化方法失败的生成任务,由于\textit{homogeneous word embeddings}所造成的能力降低,和\textit{varied distribution of weights}。相应地,我们提出了一个令牌级的对比蒸馏学习可区分的词嵌入,和一个模块的动态缩放,使量化器适应不同的模块。各种任务的实证结果表明,我们提出的方法优于国家的最先进的压缩方法生成PLM的一个明确的保证金。与全精度模型相比,我们在GPT-2和BART上分别实现了14.4倍和13.4倍的压缩率。
2022-07-16 cs.CL cs.CV
MOOSComp: Improving Lightweight Long-Context Compressor via Mitigating Over-Smoothing and Incorporating Outlier Scores
OPPO CTG
提出MOOSComp,通过缓解过平滑并引入离群分数增强轻量级长上下文压缩,在多种压缩比下性能优越,并在移动设备上实现3.3倍加速。
2025-04-23 cs.CL cs.LG
Understanding and Improving Information Preservation in Prompt Compression for LLMs
University of Stavanger(斯塔万格大学);AWS AI Labs(AWS AI实验室);Technical University of Catalonia (UPC)(加泰罗尼亚理工大学)
本文提出一个整体评估框架,深入分析提示压缩方法在下游性能、上下文基础性和信息保留方面的表现,并通过控制压缩粒度改进软提示方法,实现下游性能提升23%,最终发现软提示结合序列级训练达到最佳权衡。
2025-10-10 cs.CL cs.IR cs.LG
Super Tickets in Pre-Trained Language Models: From Model Compression to Improving Generalization
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院);Microsoft Azure AI(微软Azure人工智能部门)
彩票假说表明,一个过度参数化的网络由“彩票”组成,并训练它们的某个集合(即,子网络)可以匹配完整模型的性能。在本文中,我们研究了这样一个集合的门票,这是被称为“中奖门票”,在非常过度参数化的模型,例如,预训练的语言模型。我们观察到,在一定的压缩比,推广性能的中奖门票不仅可以匹配,而且超过了完整的模型。特别是,我们观察到一个相变现象:随着压缩比的增加,推广性能的中奖彩票首先提高,然后恶化后,一定的阈值。我们把门槛上的票称为“超级票”。我们进一步表明,相变是任务和模型相关的-随着模型大小变得更大,训练数据集变得更小,过渡变得更加明显。我们在GLUE基准测试上的实验表明,超级票在任务平均得分方面提高了BERT-base上的$0.9$点和BERT-large上的$1.0$点。我们还证明了自适应地在任务之间共享超级门票有利于多任务学习。
2021-06-08 cs.CL cs.LG
Towards Understanding and Improving Refusal in Compressed Models via Mechanistic Interpretability
The Ohio State University(俄亥俄州立大学)
本文从机制可解释性视角研究压缩模型的安全性问题,通过分析拒绝行为机制,提出一种轻量高效的方法以在不影响性能的前提下提升压缩模型的安全性。
2025-04-05 cs.AI cs.CL
With Measured Words: Simple Sentence Selection for Black-Box Optimization of Sentence Compression Algorithms
句子压缩是生成给定句子的较短但合乎语法的版本的任务,保留原始句子的本质。本文提出了一个黑盒优化压缩(B-BOC):给定一个黑盒压缩算法,并假设不是所有的句子都需要压缩-找到最好的候选压缩,以最大限度地提高压缩率和质量。给定所需的压缩比,我们考虑两种情况:(i)单句压缩,以及(ii)句子序列压缩。在第一种情况下,我们的优化器经过训练,以预测每个句子在满足指定比率要求的同时可以压缩的程度。在后者中,将期望的压缩比应用于句子序列(例如,一个段落)作为一个整体,而不是在每一个单独的句子。为了实现这一目标,我们使用B-BOC为每个句子分配最佳压缩比,然后将其转换为背包问题,我们使用有界动态规划解决。我们在三个数据集上对这两种情况下的B-BOC进行了评估,表明与直接应用其他压缩算法相比,我们的优化器提高了准确性和Rouge-F1分数。
2021-01-25 cs.CL
Sense Vocabulary Compression through the Semantic Knowledge of WordNet for Neural Word Sense Disambiguation
Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG(格勒诺布尔大学、法国国家科学研究中心、格勒诺布尔工业大学、信息与信号处理实验室)
在这篇文章中,我们解决了有限数量的手动意义标注语料库的词义消歧任务的问题,通过利用意义之间的语义关系,如同义关系,上位关系和下位关系,以压缩普林斯顿WordNet的意义词汇,从而减少必须观察到的不同的意义标签的数量,以消除词汇数据库中的所有单词的歧义。我们提出了两种不同的方法,大大减少了神经WSD模型的大小,其好处是提高其覆盖率,而无需额外的训练数据,并且不会影响其精度。除了我们的方法,我们提出了一个WSD系统,它依赖于预先训练的BERT词向量,以实现的结果,显着优于所有WSD评估任务的最先进的。
2019-08-27 cs.CL
Syntactically Look-Ahead Attention Network for Sentence Compression
Institute of Innovative Research, Tokyo Institute of Technology(东京工业大学创新研究所)
句子压缩是通过删除冗余单词将长句压缩成短句的任务。在基于序列到序列(Seq 2Seq)的模型中,解码器单向决定保留或删除单词。因此,它通常不能显式地捕获解码的单词和将在未来时间步长中解码的未看到的单词之间的关系。因此,为了避免产生不合语法的句子,解码器有时会在压缩句子时丢弃重要的单词。为了解决这个问题,我们提出了一种新的Seq 2Seq模型,语法前瞻注意力网络(SLAHAN),它可以通过在解码过程中显式跟踪依赖父单词和子单词并捕获将来将被解码的重要单词来生成信息摘要。在Google句子压缩数据集上的自动评估结果显示,SLAHAN实现了最好的基于保留标记的F1,ROUGE-1,ROUGE-2和ROUGE-L得分,分别为85.5,79.3,71.3和79.1。SLAHAN还提高了较长句子的摘要性能。此外,在人工评估中,SLAHAN在不损失可读性的情况下提高了信息量。
2020-05-17 cs.CL
Improving sentence compression by learning to predict gaze
University of Copenhagen(哥本哈根大学);Bar-Ilan University(巴伊兰大学)
我们展示了如何眼动追踪语料库可以用来改善句子压缩模型,提出了一种新的多任务学习算法的基础上,多层LSTM。我们获得的性能与最先进的方法相比具有竞争力或更好。
2016-04-12 cs.CL
Generalized Biwords for Bitext Compression and Translation Spotting
Universitat d’Alacant(阿利坎特大学);Universidad de Valladolid(巴利亚多利德大学)
大型双语平行文本(也称为双文本)通常以压缩形式存储,以前的工作表明,如果利用两个文本相互翻译的事实,它们可以更有效地压缩。例如,一个双文本可以被看作是一个双字序列-具有高概率同现的平行单词对-它可以在压缩过程中用作中间表示。然而,文献中描述的简单的双字方法只能利用一对一的单词对齐,不能解决单词的重新排序。因此,我们引入了一个泛化的双字,它可以描述多词的表达和重排。我们还描述了一些方法的二进制压缩的广义双字序列,并比较它们的性能时,不同的方案被应用到双字序列的提取。此外,我们表明,这种泛化的biwords允许实现一个有效的算法来寻找压缩的bitext中的一个文本中的单词或文本段,并检索其对应的翻译在其他文本-一个应用程序通常被称为翻译发现-只有一些微小的修改,在压缩算法。
2014-01-18 cs.CL
A Multilingual Study of Multi-Sentence Compression using Word Vertex-Labeled Graphs and Integer Linear Programming
University of La Rochelle(拉罗谢尔大学);University of Avignon(阿维尼翁大学);Polytechnique Montréal(蒙特利尔高等理工学院);Inst. Federal de Educação, Ciência e Tecnologia da Paraiba(帕拉伊巴联邦教育、科学与技术学院);Univ. Federal Fluminense(弗鲁米嫩塞联邦大学);Universidade Federal do Ceará(塞阿拉联邦大学)
多句子压缩(MSC)的目的是从一组相似的句子中提取关键信息,生成一个短句。MSC使摘要和问答系统能够从一个或多个文档中生成组合完整句子的输出。本文描述了一种基于线性规划的MSC方法,该方法使用顶点标记图来选择不同的关键字,其目标是在保持语法性的同时生成更多信息的句子。我们的系统质量很好,在以三种语言(法语、葡萄牙语和西班牙语)进行的新闻数据集评估方面优于最先进的水平。我们进行了自动和手动评估,以确定每个数据集压缩的信息量和语法性。在额外的测试中,利用压缩的长度可以调节的事实,我们仍然使用更短的输出句子来提高ROUGE分数。
2020-04-09 cs.CL
Improving Twitter Sentiment Classification via Multi-Level Sentiment-Enriched Word Embeddings
Pingdingshan University(平顶山学院)
现有的大多数工作学习特定于情感的词表示来改进Twitter情感分类,在学习过程中对n-gram和远程监督的tweet情感信息进行编码。他们假设推文中的所有单词都具有与整个推文相同的情感极性,这忽略了单词本身的情感极性。为了解决这个问题,我们提出了学习特定的情感词嵌入,同时利用词典资源和远程监督信息。提出了一种多层次情感丰富的词嵌入学习方法,该方法在学习过程中使用并行非对称神经网络对n-gram、词级情感和tweet级情感进行建模。标准基准测试的实验表明,我们的方法优于国家的最先进的方法。
2016-11-01 cs.CL
Improving End-to-end Speech Recognition with Pronunciation-assisted Sub-word Modeling
Johns Hopkins University(约翰斯·霍普金斯大学)
大多数端到端语音识别系统直接将文本建模为字符或子词的序列。当前的子词提取方法仅考虑字符序列频率,这有时会产生可能导致错误的语音识别输出的较差的子分词。我们提出了发音辅助子词建模(PASM),一个子词提取方法,利用一个词的发音信息。实验结果表明,该方法可以大大提高基于字符的基线,也优于常用的字节对编码方法。
2019-02-21 cs.CL
Improving Word Embedding Factorization for Compression Using Distilled Nonlinear Neural Decomposition
University of British Columbia(不列颠哥伦比亚大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
词嵌入是自然语言处理(NLP)模型的重要组成部分,并已被广泛研究。然而,它们消耗大量内存,这对边缘部署构成了挑战。嵌入矩阵通常包含语言模型的大部分参数,以及机器翻译系统的大约三分之一。本文提出了一种基于低秩矩阵分解和知识蒸馏的(输入/输出)嵌入压缩方法--蒸馏嵌入。首先,我们通过学习重建完整的预训练词嵌入来初始化分解矩阵的权重,然后对分解的嵌入采用知识蒸馏进行端到端的微调。我们在机器翻译和语言建模上使用不同的压缩率进行了广泛的实验,使用不同的数据集,其中嵌入矩阵和词汇投影矩阵都具有共享的单词嵌入矩阵。我们表明,所提出的技术是简单的复制,与一个固定的参数控制压缩大小,具有较高的BLEU分数的翻译和较低的困惑语言建模相比,复杂的,难以调整的最先进的方法。
2020-11-10 cs.CL cs.LG
Improving Reliability of Word Similarity Evaluation by Redesigning Annotation Task and Performance Measure
Bar-Ilan University(巴伊兰大学)
我们提出了一种新的方法来创建和使用金标准数据集的词相似性评估。我们的目标是提高评估的可靠性,我们通过重新设计注释任务来实现更高的评分者间一致性,并通过定义一个性能指标来实现这一目标,该指标将数据集中每个注释决策的可靠性考虑在内。
2017-02-27 cs.CL
Improving Cross-Domain Chinese Word Segmentation with Word Embeddings
Alibaba Group(阿里巴巴集团);Peking University(北京大学);Westlake University(西湖大学)
跨领域中文分词(CWS)仍然是一个挑战,尽管最近的进展,基于神经的CWS。目标域中有限数量的带注释数据一直是令人满意的性能的关键障碍。在本文中,我们提出了一个半监督的基于词的方法,以提高跨域CWS给定的基线分割。特别是,我们的模型只部署了在目标领域的原始文本上训练的词嵌入,丢弃了复杂的手工制作的特征和特定于领域的字典。创新的子采样和负采样方法,提出了获得词嵌入优化CWS。我们在五个特定领域的数据集上进行了实验,涵盖了小说,医学和专利领域。实验结果表明,该模型能明显提高跨领域的CWS,尤其是在领域专有名词实体的切分方面。在四个数据集上,单词F-度量增加了3.0%以上,远远优于最先进的半监督和无监督跨域CWS方法。我们在Github上提供代码和数据。
2019-03-29 cs.CL
Unsupervised Morphological Expansion of Small Datasets for Improving Word Embeddings
Kohli Center On Intelligent Systems (KCIS)(科利智能系统中心);International Institute of Information Technology Hyderabad (IIIT-H)(海得拉巴国际信息技术学院)
我们提出了一种独立于语言的,无监督的方法来构建词嵌入使用形态扩展的文本。我们的模型处理数据稀疏的问题,并通过依赖于人工生成的句子上的训练词嵌入来产生改进的词嵌入。我们评估我们的方法使用小规模的训练集11个测试集的词相似性任务在七种语言。此外,对于英语,我们使用三个标准测试集的大型训练集评估了我们的方法的影响。我们的方法改进了所有语言的结果。
2017-11-15 cs.CL
On Improving Informativity and Grammaticality for Multi-Sentence Compression
University of New South Wales(新南威尔士大学);National ICT(国家信息与通信技术机构)
多句子压缩在很多实际应用中具有重要的价值,如引导式微博摘要、意见摘要和新闻摘要。最近,基于词图的方法已被提出,并成为流行的MSC。他们的关键假设是,一组相关句子之间的冗余提供了一种可靠的方式来生成信息和语法句子。在本文中,我们提出了一种有效的方法来增强基于单词图的MSC,并解决了大多数最先进的MSC方法所面临的问题:即,同时提高信息量和语法性。我们的方法包括三个主要组成部分:(1)合并方法的基础上的多词表达式(MWE);(2)映射策略的基础上同义词之间的关系;(3)重新排序的步骤,以确定最佳的压缩候选人使用基于POS的语言模型(POS-LM)。我们证明了这种新方法的有效性,使用的数据集的英语新闻专线句子的集群。所观察到的信息量和语法的生成的压缩的改进表明,我们的方法是优于国家的最先进的MSC方法。
2016-05-07 cs.CL
Compressing Word Embeddings via Deep Compositional Code Learning
The University of Tokyo(东京大学)
自然语言处理(NLP)模型通常需要大量参数用于词嵌入,从而导致大量存储或内存占用。将神经NLP模型部署到移动设备需要压缩词嵌入,而不会在性能上有任何重大牺牲。为此,我们建议用很少的基向量来构造嵌入。对于每个单词,基向量的组成由散列码确定。为了最大限度地提高压缩率,我们采用了多码书量化的方法,而不是二进制编码方案。每个代码由多个离散数字组成,例如(3,2,1,8),其中每个分量的值被限制在固定范围内。我们建议通过应用Gumbel-softmax技巧直接学习端到端神经网络中的离散代码。实验结果表明,该算法在情感分析和机器翻译任务中的压缩率分别达到了98%和94% ~ 99%,且没有性能损失。在这两个任务中,所提出的方法可以通过略微降低压缩率来提高模型性能。与字符级分割等其他方法相比,该方法与语言无关,不需要修改网络结构。
2017-11-17 cs.CL
Understanding and Improving Multi-Sense Word Embeddings via Extended Robust Principal Component Analysis
Peking University(北京大学)
由于无监督学习方法对上下文变化过于敏感,因此多义词的无监督学习表示产生了大量的伪多义。在本文中,我们解决了伪多义检测词嵌入的意义对降维。我们提出了一种新的主分析方法,称为前RPCA,旨在检测伪多感官和真正的多感官。与Ex-RPCA,我们的经验表明,伪多感官系统产生的无监督的方法。此外,多义词嵌入可以通过基于Ex-RPCA的简单线性变换来改进。我们改进的词嵌入在斯坦福大学上下文词相似度(SCWS)数据集上的性能比原来的提高了5.6个百分点。我们希望我们简单而有效的方法将有助于未来的多义词嵌入的语言分析。
2018-03-03 cs.CL
A Multi-task Learning Approach for Improving Product Title Compression with User Search Log Data
iDST, Alibaba Group(阿里巴巴集团iDST);School of Computer Science and Software Engineering, East China Normal University(华东师范大学计算机科学与软件工程学院);Onehome (Beijing) Network Technology Co. Ltd.(北京一居网络科技有限公司);Shanghai Key Laboratory of Multidimensional Information Processing, P.R.China(上海市多维度信息处理重点实验室)
如何有效地压缩电子商务中冗长的产品标题是一个具有挑战性和实用性的研究问题。这一点尤其重要,因为越来越多的用户浏览移动电子商务应用程序,越来越多的商家使原始产品标题变得多余和冗长,以便进行搜索引擎优化。传统的文本摘要方法往往需要大量的预处理成本,并没有抓住电子商务中的重要问题的转换率。本文提出了一种新的多任务学习方法,以提高产品标题压缩与用户搜索日志数据。特别是,使用基于指针网络的序列到序列方法进行标题压缩,并使用注意机制作为提取方法,并且使用注意编码器-解码器方法来生成用户搜索查询。编码参数(即,原始标题的语义嵌入)在两个任务之间共享,并且注意力分布被联合优化。一组广泛的实验与人类注释的数据和在线部署证明了所提出的研究的压缩质量和在线业务价值的优势。
2018-01-05 cs.CL
LAST at SemEval-2021 Task 1: Improving Multi-Word Complexity Prediction Using Bigram Association Measures
Laboratoire d’analyse statistique des textes - LAST(文本统计分析实验室);Institut de recherche en sciences psychologiques(心理科学研究所);Université catholique de Louvain(鲁汶天主教大学)
本文描述了由文本分析统计学家(LAST)在SemEval-2021上为词汇复杂度预测共享任务开发的系统。该系统是由一个LightGBM模型美联储从许多词频列表,公布的词汇规范和心理测量数据获得的功能。为了解决多词任务的特殊性,它使用二元组关联措施。尽管使用的唯一上下文特征是句子长度,系统在多词任务中取得了良好的成绩,但在单字任务中表现较差。二元关联措施被发现是有用的,但在有限的程度上。
2021-05-20 cs.CL
Improving the Coverage and the Generalization Ability of Neural Word Sense Disambiguation through Hypernymy and Hyponymy Relationships
在词义消歧(WSD)中,主要的方法通常涉及在词义标注语料库上训练的监督系统。然而,这种语料库的数量有限,限制了这些系统的覆盖范围和性能。在这篇文章中,我们提出了一种新的方法,解决了这些问题,利用WordNet中存在的知识,特别是同义词之间的上位和下位关系,以减少不同的意义标签的数量是必要的消除歧义的词汇数据库中的所有单词。我们的方法在大多数WSD评估任务上都得到了最先进的结果,同时提高了监督系统的覆盖率,减少了训练时间和模型的大小,而无需额外的训练数据。此外,当我们的方法与集成技术相结合并添加WordNet Gloss Tagged作为训练语料库时,我们展示了显着优于最先进技术的结果。
2018-11-02 cs.CL
Improving Word Vector with Prior Knowledge in Semantic Dictionary
Peking University(北京大学);Beijing Key Laboratory of Internet Culture and Digital Dissemination Research(北京网络文化与数字传播重点实验室)
使用低维向量空间来表示单词在许多NLP任务中非常有效。然而,当遇到生僻字和未见过字的问题时,它并不能很好地工作。在本文中,我们提出利用语义词典中的知识结合一些形态信息来构建一个增强的向量空间。我们得到了2.3%的改进,比国家的最先进的海德尔时间系统在时间表达识别,并获得了很大的增益在其他名称实体识别(NER)的任务。语义词典知网单独也显示出有前途的结果,在计算词汇相似度。
2018-01-27 cs.CL
The Impact of Positional Encodings on Multilingual Compression
University of Oslo(奥斯陆大学);University of Copenhagen(哥本哈根大学)
为了在非自回归设置中保留词序信息,Transformer架构倾向于通过(例如)向令牌嵌入添加位置编码来包括位置知识。在原始Transformer架构中使用的正弦位置编码上已经提出了几种修改;例如,这些修改包括分离位置编码和标记嵌入,或者基于单词对之间的距离直接修改注意力权重。我们首先表明,令人惊讶的是,虽然这些修改往往会改善单语语言模型,没有一个更好的多语言语言模型的结果。然后我们回答为什么:正弦编码被明确设计为通过允许在任意时间步长上的线性投影来促进组合性。多语言训练分布的差异越大,就需要更高的压缩,在这种情况下,组合性就变得不可或缺。学习的绝对位置编码(例如,在mBERT中)倾向于在多语言环境中近似正弦嵌入,但更复杂的位置编码架构缺乏有效学习组合性和跨语言对齐的归纳偏差。换句话说,虽然正弦位置编码最初是为单语应用设计的,但它们在多语言语言模型中特别有用。
2021-09-11 cs.CL
Improving Sparse Word Representations with Distributional Inference for Semantic Composition
University of Sussex(苏塞克斯大学)
分布模型来自语料库中的同现,其中只有一小部分可能的合理同现将被观察到。这导致非常稀疏的向量空间,需要用于推断缺失知识的机制。大多数方法都面临着这一挑战,使得最终的单词表示无法解释,其结果是语义组合变得难以建模。在本文中,我们探讨了一种替代方案,涉及明确推断未观察到的同现使用的分布邻域。我们发现,分布推理提高了稀疏词表示在几个词相似性基准,并证明我们的模型是有竞争力的形容词-名词,名词-名词和动词-对象组成的最先进的,同时是完全可解释的。
2016-08-24 cs.CL
Improving Chemical Named Entity Recognition in Patents with Contextualized Word Embeddings
The University of Melbourne(墨尔本大学);Elsevier(爱思唯尔)
化学专利是重要的化学信息资源。然而,很少有化学命名实体识别(NER)系统已被评估的专利文件,部分原因是其结构和语言的复杂性。在本文中,我们探讨了NER性能的BiLSTM-CRF模型利用预训练的词嵌入,字符级的词表示和上下文ELMo词表示化学专利。我们比较了在生物医学和化学专利语料库上预训练的词嵌入。还探讨了针对化学领域优化的标记器对化学专利中NER性能的影响。两个专利语料库的结果表明,从ELMo生成的上下文化的词表示大大提高化学NER性能w.r.t.我们还表明,特定领域的资源,如词嵌入培训的化学专利和化学特定的标记器对NER性能有积极的影响。
2019-07-05 cs.CL
A Simple Post-Processing Technique for Improving Readability Assessment of Texts using Word Mover's Distance
National University(国立大学);De La Salle University(德拉萨大学)
一般来说,评估阅读材料或文本的适当难度是有效理解和学习的第一步。在这项研究中,我们改进了传统的自动可读性评估方法,将排名文本的词移动者的距离(WMD)作为一个额外的后处理技术,以进一步地面模型给出的难度水平。我们在菲律宾语、德语和英语三种多语言数据集上的实验结果表明,后处理技术的性能优于之前使用SVM的普通模型和基于排名的模型。
2021-09-19 cs.CL
Improving Factual Consistency in Summarization with Compression-Based Post-Editing
Salesforce AI Research(Salesforce人工智能研究院)
最先进的摘要模型仍然很难与输入文本保持一致。解决这个问题的一种与模型无关的方法是对生成的摘要进行后期编辑。然而,如果合适的输入实体替换不可用或者可能插入错误内容,则现有方法通常无法移除实体错误。在我们的工作中,我们专注于删除外部实体错误,或不在源代码中的实体,以提高一致性,同时保留摘要的基本信息和形式。我们建议使用压缩数据来训练后编辑模型,以获取带有用特殊标记标记的外部实体错误的摘要,并输出一个压缩的、格式良好的摘要,其中删除了这些错误。我们发现,该模型在保持ROUGE的同时提高了事实一致性,在XSum上将实体精度提高了30%,并且该模型可以应用于另一个后期编辑器,将实体精度提高了38%。我们进行了广泛的比较后编辑的方法,证明事实的一致性,信息量和语法之间的权衡,我们分析设置后编辑器显示最大的改进。
2022-11-11 cs.CL
Improving Word Representations: A Sub-sampled Unigram Distribution for Negative Sampling
The Chinese University of Hong Kong(香港中文大学)
Word 2 Vec是最流行的词表示模型,在文献中得到了广泛的研究。然而,其负采样噪声分布是由经验试验决定的,其最优性一直被忽视。我们认为,该分布是一个次优的选择,并建议使用子采样的unigram分布更好的负采样。我们的贡献包括:(1)提出了语义量化的概念,并推导出了适合不同训练语料的次采样率;(2)通过大量的评价任务,证明了该方法在负采样和噪声对比估计方面的优势;(3)提出了一种语义加权模型,用于MSR句子完成任务,结果有了很大的改进。我们的工作不仅提高了词向量的质量,而且有利于当前对Word 2 Vec的理解。
2019-10-21 cs.CL
Gzip versus bag-of-words for text classification
本文比较了文本分类中 gzip 压缩方法与词袋方法,发现词袋方法在效果上相似或更优且效率更高。
2023-08-08 cs.CL
Extending and Improving Wordnet via Unsupervised Word Embeddings
Princeton University(普林斯顿大学)
这项工作提出了一种无监督的方法来改善WordNet,建立在最近的进展,通过分布式语义的文档和意义表示。我们应用我们的方法来构建法语和俄语的Wordnets,这两种语言都缺乏良好的手动构造。1这些在两个新的600字测试集上进行了评估,用于单词到同义词集的匹配,并发现在同义词集的召回率上有很大的提高,在F分数上优于最好的自动化Wordnets。我们的方法需要很少的语言资源,因此适用于低资源语言的Wordnet建设,并可能进一步应用于意义聚类和其他Wordnet的改进。
2017-04-29 cs.CL cs.IR
Improving Graph-Based Text Representations with Character and Word Level N-grams
University of Sheffield(谢菲尔德大学)
基于图的文本表示关注如何将文本文档表示为图,以利用语料库中的令牌和文档之间的依赖信息。尽管对图表示学习的兴趣越来越大,但在探索基于图的文本表示的新方法方面的研究有限,这在下游自然语言处理任务中很重要。在本文中,我们首先提出了一个新的异构单词字符文本图,它将单词和字符n-gram节点与文档节点结合在一起,使我们能够更好地学习这些实体之间的依赖关系。此外,我们提出了两个新的基于图的神经模型,WCTextGCN和WCTextGAT,为我们提出的文本图建模。在文本分类和自动文本摘要基准测试中的大量实验表明,我们提出的模型始终优于竞争基线和最先进的基于图的模型。
2022-10-12 cs.CL
Improving Opinion-Target Extraction with Character-Level Word Embeddings
Bielefeld University(比勒费尔德大学)
细粒度的情感分析近年来受到越来越多的关注。在评论中提取意见目标表达(OTE)通常是细粒度的、基于方面的情感分析中的重要步骤。然而,从用户生成的文本中检索这些信息可能很困难。例如,客户评论很容易包含拼写错误的单词,并且由于其特定于领域的语言而难以处理。在这项工作中,我们调查是否字符级模型可以提高性能的意见目标表达的识别。我们整合到一个序列标签系统使用字符级词嵌入的字结构的信息,并显示其对系统的性能的积极影响。具体而言,我们获得了3.3点F1分数相对于我们的基线模型增加。在进一步的实验中,我们揭示了学习嵌入的编码字符模式,并给出了两种模型的性能差异的细微差别。
2017-09-19 cs.CL
Direct and indirect evidence of compression of word lengths. Zipf's law of abbreviation revisited
Universitat Politècnica de Catalunya (UPC)(加泰罗尼亚理工大学);University of Tübingen(蒂宾根大学)
本研究重访Zipf缩写定律,提供口语中46种语言、14个语系的广泛证据,并通过推导随机基线公式,直接证明词长系统性地低于偶然水平,为语言压缩提供直接与间接证据。
2023-05-27 cs.CL physics.soc-ph
Improving Sentiment Analysis in Arabic Using Word Representation
Coventry University(考文垂大学)
阿拉伯语在词法、拼写和方言方面的复杂性使得阿拉伯语的情感分析更具挑战性。此外,为了衡量情绪,从tweet等短消息中提取文本特征提取,使这项任务更加困难。近年来,深度神经网络经常被采用,并在情感分类和自然语言处理应用中表现出非常好的效果。词嵌入或词分布方法是一种从上下文文本中捕获最接近的词的有效工具。在本文中,我们描述了我们如何构建Word 2 Vec模型从一个大型的阿拉伯语语料库,从十份报纸在不同的阿拉伯国家。通过应用不同的机器学习算法和具有不同文本特征选择的卷积神经网络,我们报告了我们公开可用的阿拉伯语健康情感数据集上情感分类的准确性提高(91%-95%)[1]
2018-03-30 cs.CL
Improving Named Entity Recognition for Chinese Social Media with Word Segmentation Representation Learning
Human Language Technology Center of Excellence(人类语言技术卓越中心);Center for Language and Speech Processing(语言与语音处理中心);Johns Hopkins University(约翰斯·霍普金斯大学)
命名实体识别和其他信息抽取任务经常使用语言特征,例如词性标签或组块。对于在文本中不容易识别词边界的语言,分词是为NER系统生成特征的关键第一步。虽然使用词边界标签作为特征是有帮助的,但是帮助识别这些边界的信号可以为NER系统提供更丰富的信息。新的最先进的分词系统使用神经模型来学习用于预测词边界的表示。我们发现,这些相同的表示,与NER系统联合训练,对中国社交媒体的NER产生了显着的改善。在我们的实验中,使用LSTM-CRF模型联合训练NER和分词比以前发表的结果有近5%的绝对改善。
2017-03-28 cs.CL
Improving OOV Detection and Resolution with External Language Models in Acoustic-to-Word ASR
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
声学到字(A2 W)端到端自动语音识别(ASR)系统由于极其简化的架构和快速解码而引起关注。为了缓解数据稀疏的问题,由于不频繁的话,与声学字符(A2 C)模型的组合进行了研究。此外,A2 C模型可以用于恢复A2 W模型未覆盖的词汇表外(OOV)单词,但这需要准确检测OOV单词。A2 W模型通过声学和转录来学习上下文;因此它们倾向于错误地将OOV单词识别为词汇表中的单词。在本文中,我们通过使用外部语言模型(LM)来解决这个问题,该模型仅使用transmittance进行训练,并且具有更好的语言信息来检测OOV单词。A2 C模型用于解决这些OOV词。实验结果表明,外部LM不仅能减少错误率,还能增加OOV词的检测数量,该方法在英语会话和日语演讲语料库中的检测效果显著,尤其是在域外场景下。我们还研究了A2 W模型的词汇量和训练LM的数据量的影响。此外,我们的方法可以减少词汇量的大小几倍,边际性能下降。
2019-09-22 cs.CL
Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment
Beijing Institute of Technology(北京理工大学);Microsoft Research(微软研究院)
跨语言语言模型通常是在多语言文本或平行句子上使用掩蔽语言建模进行预训练的。在本文中,我们引入了去噪单词对齐作为一项新的跨语言预训练任务。具体来说,该模型首先为平行句子自标记单词对齐。然后,我们随机屏蔽一个bitext对中的标记。给定一个掩码标记,该模型使用指针网络来预测另一种语言中的对齐标记。我们以期望最大化的方式交替执行上述两个步骤。实验结果表明,该方法提高了跨语言的可移植性在各种数据集上,特别是在令牌级的任务,如问答,结构化预测。此外,该模型可以作为一个预先训练的字对齐器,实现合理的低出错率的对齐基准。代码和预训练参数可在https://github.com/CZWin32768/XLM-Align上获得。
2021-09-13 cs.CL
Improving word mover's distance by leveraging self-attention matrix
Kyoto University(京都大学);Tohoku University(东北大学);RIKEN AIP(理化学研究所革新智能统合研究中心)
本文针对WMD忽略词序的问题,提出结合BERT自注意力矩阵与Fused Gromov-Wasserstein距离的WSMD,同时建模词嵌入和句子结构,从而提升复述识别与语义文本相似性性能。
2023-11-02 cs.CL
Improving Interpretability of Word Embeddings by Generating Definition and Usage
Beijing University of Technology(北京工业大学)
词嵌入在捕捉词之间的语义关系方面是非常成功的。然而,这些词汇语义很难解释。定义建模提供了一种更直观的方法来评估嵌入,利用它们来生成相应单词的自然语言定义。这一任务对于词汇表征的实际应用和深入理解具有重要意义。我们提出了一个新的框架定义建模,它可以产生合理的和可理解的上下文相关的定义。此外,我们介绍了使用建模和研究是否有可能利用嵌入生成例句的话。这些方法更直接、更明确地表达了嵌入的语义,提高了嵌入的可解释性。我们将单任务模型扩展到多任务环境,并研究了几种联合多任务模型,将使用建模和定义建模结合在一起。在现有的Oxford数据集和新收集的Oxford-2019数据集上的实验结果表明,我们的单任务模型在定义建模方面达到了最先进的结果,多任务学习方法有助于提高两个任务的性能。
2020-07-18 cs.CL
Compression and the origins of Zipf's law for word frequencies
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
在这里,我们勾勒出一个新的推导齐普夫定律的词频最佳编码的基础上。推导的结构让人想起了曼德尔布罗特的随机类型模型,但它比随机类型有多个优点:(1)它从现实的认知压力开始(2)它不需要微调参数(3)它揭示了语言的其他统计规律的起源,从而可以导致语言规律的紧凑理论。我们的研究结果表明,齐普夫定律在人类语言中的重现可能源于对简单快速沟通的压力。
2016-07-20 cs.CL physics.data-an physics.soc-ph
Improving Medical Short Text Classification with Semantic Expansion Using Word-Cluster Embedding
Peking University(北京大学);ShenZhen Institute of Information Technology(深圳信息职业技术学院)
自动文本分类(TC)研究可以用于现实世界的问题,如住院患者出院摘要和医疗文本报告的分类,这有利于使医生更容易理解医疗文档。然而,在电子病历(EMR)中,包含句子的文本比一般领域中的文本要短,这导致了语义特征的缺乏和语义的模糊。为了应对这一挑战,我们提出将词簇嵌入到深度神经网络中,以提高短文本分类。具体地说,我们首先使用层次凝聚聚类在语义空间中的词向量聚类。然后计算聚类中心向量,该向量代表聚类中词的隐含主题信息。最后,我们使用聚类中心向量扩展词向量,并分别使用CNN和LSTM实现分类器。为了评估我们提出的方法的性能,我们进行了实验上的公共数据集TREC和医疗短句数据集,这是我们构建和发布。实验结果表明,我们提出的方法优于国家的最先进的基线在医学领域和一般领域的短句分类。
2018-12-05 cs.CL
Improving Distantly Supervised Relation Extraction using Word and Entity Based Attention
Indian Institute of Science(印度科学研究所);University of British Columbia(英属哥伦比亚大学)
关系抽取是对给定句子中两个实体之间的关系进行分类的问题。远程监督(DS)是一种流行的技术,用于从有限监督开始开发关系提取器。我们注意到,在远程监督关系抽取设置中的大多数句子都很长,并且可以受益于单词注意以获得更好的句子表示。我们在本文中的贡献有三个方面。首先,我们提出了两个新的词注意力模型的远程监督关系抽取:(1)双向门控递归单元(Bi-GRU)为基础的词注意力模型(BGWA),(2)以实体为中心的注意力模型(EA),和(3)组合模型,采用加权投票方法结合多个互补的模型改进的关系抽取。其次,介绍了一种新的用于关系抽取的远程监督数据集GDS。GDS消除了所有以前的远程监督基准数据集中存在的测试数据噪声,使可靠的自动评估成为可能。第三,通过在多个真实数据集上的大量实验,我们证明了所提出的方法的有效性。
2018-04-19 cs.CL
Improving Lexical Choice in Neural Machine Translation
University of Notre Dame(圣母大学)
我们探讨了神经机器翻译中生僻词误译问题的两种解决方案。首先,我们认为标准输出层,它计算一个向量的内积表示上下文与所有可能的输出词嵌入,奖励频繁的话不成比例,我们建议固定两个向量的范数为一个常数。其次,我们集成了一个简单的词汇模块,它与模型的其余部分联合训练。我们在8种语言对上评估了我们的方法,数据大小从10万到800万个单词,并实现了高达+4.3 BLEU的改进,几乎在所有设置中都超过了基于短语的翻译。
2018-04-17 cs.CL
Opinion Transmission Network for Jointly Improving Aspect-oriented Opinion Words Extraction and Sentiment Classification
Nanjing University(南京大学)
基于方面的情感分析(ABSA)的两个高度相关的子任务是面向方面的情感分类(ALSC)和观点词提取(AOWE)。它们分别针对句子中的某个方面检测情感极性并提取相应的意见词。以前的工作将它们分开,并通过在小规模标记数据上训练神经模型来关注其中一个,而忽略了它们之间的联系。在本文中,我们提出了一种新的联合模型,意见传输网络(OTN),利用ALSC和AOWE之间的潜在桥梁,以实现同时促进他们的目标。具体而言,我们设计了两个量身定制的意见传输机制,以控制意见线索的双向流动,分别从ALSC到AOWE和AOWE到ALSC。在两个基准数据集上的实验结果表明,我们的联合模型在这两个任务上的性能优于强基线。进一步的分析也验证了意见传导机制的有效性。
2020-11-01 cs.CL
Improving Interpretability via Explicit Word Interaction Graph Layer
University of Virginia(弗吉尼亚大学)
最近的NLP文献对提高模型的可解释性越来越感兴趣。沿着这个方向,我们提出了一个可训练的神经网络层,它学习单词之间的全局交互图,然后使用学习到的单词交互来选择更多信息的单词。我们的层,我们称之为WIGRAPH,可以插入任何基于神经网络的NLP文本分类器,就在它的词嵌入层之后。在多个SOTA NLP模型和各种NLP数据集上,我们证明了添加WIGRAPH层大大提高了NLP模型的可解释性,同时增强了模型的预测性能。
2023-02-03 cs.AI cs.CL
Visually Grounded Word Embeddings and Richer Visual Features for Improving Multimodal Neural Machine Translation
University of Mons(蒙斯大学)
在多模态神经机器翻译(MNMT)中,神经模型生成描述图像的翻译句子,给定图像本身和英语的一个源描述。这被认为是多模态图像字幕翻译任务。用卷积神经网络(CNN)处理图像以提取可由翻译模型利用的视觉特征。到目前为止,所使用的CNN是在目标检测和定位任务上进行预训练的。我们假设,更丰富的架构,如密集的字幕模型,可能更适合MNMT,并可能导致改进的翻译。我们将这种直觉扩展到词嵌入,在那里我们为我们的语料库词汇计算语言和视觉表示。我们结合并比较了不同的配置,
2017-12-16 cs.CL
Revisiting Character-Based Neural Machine Translation with Capacity and Compression
Google AI(谷歌人工智能)
翻译字符而不是单词或单词片段有可能简化神经机器翻译(NMT)的处理管道,并通过消除超参数和手动特征工程来改善结果。然而,它会导致更长的序列,其中每个符号包含的信息更少,从而产生建模和计算挑战。在本文中,我们表明,建模问题可以解决标准的序列到序列架构的足够的深度,并在字符级别上运行的深度模型优于相同的模型操作的单词片段。这一结果意味着,处理字符输入的替代架构更好地被视为减少计算时间的方法,而不是更长的序列建模的改进方法。从这个角度来看,我们评估了字符级NMT的几种技术,验证它们与我们的深度字符基线模型的性能不匹配,并评估它们提供的性能与计算时间的权衡。在这个框架内,我们还对NMT的条件计算随时间的变化进行了第一次评估,其中模型学习哪些时间步可以跳过,而不是让它们由训练开始前指定的固定时间表来决定。
2018-08-29 cs.CL
Dependency distance minimization predicts compression
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Universidade da Coruña(拉科鲁尼亚大学)
本研究通过平行树库检验依存距离最小化是否预测词长压缩,发现基于音素的新评分支持该二阶预测,而传统依存距离总和不支持,从而连接句法与词内部结构。
2021-12-04 cs.CL q-bio.NC
Optimal alphabet for single text compression
Alikhanyan National Laboratory (Yerevan Physics Institute)(阿里哈尼扬国家实验室(埃里温物理研究所));Envoy Media Group(Envoy传媒集团)
使用来自给定字母表的符号书写的文本可以使用霍夫曼代码压缩,这最小化了编码文本的长度。然而,有必要采用文本特定的码本,即符号-码字字典来解码原始文本。因此,压缩性能应该通过完整的码长来评估,即编码文本的长度加上码本的长度。我们研究了几种用于压缩文本的字母表--字母、字母的n-gram、音节、单词和短语。如果只保留足够短的文本,则字母表或两克字母是最佳的。对于大多数古腾堡计划文本,最佳字母表(最小化完整代码长度的字母表)由音节或单词给出,这取决于码本的表示。字母3和4-gram的平均长度与音节/单词相当,表现明显不如音节或单词。单词2-grams也从来都不是最好的字母表,因为它有一个非常大的密码本。我们还表明,码本表示是重要的-从一个天真的表示切换到一个紧凑的显着改善了大量的符号,最显着的话,字母表的事项。因此,语言中表达意义的元素(音节或单词)提供了最好的压缩字母表。
2022-07-31 cs.CL cs.IT math.IT
Improving Unsupervised Word-by-Word Translation with Language Model and Denoising Autoencoder
RWTH Aachen University(亚琛工业大学);Human Language Technology and Pattern Recognition Group(人类语言技术与模式识别小组)
跨语言词嵌入的无监督学习提供了跨语言的词的优雅匹配,但在翻译句子时有根本的局限性。在本文中,我们提出了简单而有效的方法来提高跨语言嵌入的逐字翻译,只使用单语语料库,但没有任何回译。我们集成了一个语言模型上下文感知搜索,并使用一种新的去噪自动编码器来处理重新排序。我们的系统超越了最先进的无监督神经翻译系统,无需昂贵的迭代训练。我们还分析了词汇量大小和去噪类型对翻译性能的影响,这为学习跨语言词嵌入及其在翻译中的使用提供了更好的理解。
2019-01-06 cs.CL cs.LG
Improving Cross-Lingual Word Embeddings by Meeting in the Middle
Universidade de Vigo(维戈大学);Cardiff University(卡迪夫大学)
跨语言词嵌入在多语言NLP中变得越来越重要。最近,已经表明,这些嵌入可以通过线性变换对齐两个不相交的单语向量空间来有效地学习,使用不超过一个小的双语词典作为监督。在这项工作中,我们建议在初始对齐步骤之后应用额外的转换,该转换将跨语言同义词移向它们之间的中间点。通过应用这种转换,我们的目标是获得更好的向量空间的跨语言整合。此外,也许令人惊讶的是,单语空间也通过这种转换得到改善。这与原始对齐形成对比,原始对齐通常被学习为使得单语空间的结构被保留。我们的实验证实,由此产生的跨语言嵌入优于国家的最先进的模型在单语和跨语言的评估任务。
2018-08-27 cs.CL