With Measured Words: Simple Sentence Selection for Black-Box Optimization of Sentence Compression Algorithms
句子压缩是生成给定句子的较短但合乎语法的版本的任务,保留原始句子的本质。本文提出了一个黑盒优化压缩(B-BOC):给定一个黑盒压缩算法,并假设不是所有的句子都需要压缩-找到最好的候选压缩,以最大限度地提高压缩率和质量。给定所需的压缩比,我们考虑两种情况:(i)单句压缩,以及(ii)句子序列压缩。在第一种情况下,我们的优化器经过训练,以预测每个句子在满足指定比率要求的同时可以压缩的程度。在后者中,将期望的压缩比应用于句子序列(例如,一个段落)作为一个整体,而不是在每一个单独的句子。为了实现这一目标,我们使用B-BOC为每个句子分配最佳压缩比,然后将其转换为背包问题,我们使用有界动态规划解决。我们在三个数据集上对这两种情况下的B-BOC进行了评估,表明与直接应用其他压缩算法相比,我们的优化器提高了准确性和Rouge-F1分数。
2021-01-25 cs.CL
Yunshan Cup 2020: Overview of the Part-of-Speech Tagging Task for Low-resourced Languages
Guangdong University of Foreign Studies(广东外语外贸大学)
2020年云山杯的重点是创建一个评估不同词性(POS)方法的框架。这条赛道有两个任务:(1)印度尼西亚语的POS标记,以及(2)老挝语的POS标记。印尼语数据集由29个标签内的10000个印尼语新闻句子组成。老挝的数据集由27个标签中的8000个句子组成。有25个团队报名参加了这项任务。参与者的方法从基于特征到使用经典机器学习技术或集成方法的神经网络不等。表现最好的结果达到了95.82%的准确率为印尼和93.03%,表明神经序列标记模型显着优于经典的基于特征的方法和基于规则的方法。
2022-04-06 cs.CL
Improving Part-of-Speech Tagging for NLP Pipelines
RAGE Frameworks(RAGE Frameworks 公司);Genpact(简柏特)
本文概述了基于句子级语言学的改进词性标注规则的结果。众所周知,如果初始阶段之一不完美,复杂NLP系统的性能就会受到负面影响。管道初始阶段的错误会对管道的最终性能产生滚雪球效应。我们已经创建了一套基于语言学的规则,在句子层面上调整部分的词性标签从国家的最先进的标签。在广泛使用的基准上与最先进的标记器进行比较,证明了标记准确性的显着提高,从而提高了NLP系统的质量和准确性。
2017-08-01 cs.CL
Larger-Context Tagging: When and Why Does It Work?
Fudan University(复旦大学);Carnegie Mellon University(卡内基梅隆大学)
神经网络和预训练技术的发展催生了许多在典型基准测试中实现卓越性能的高级标记系统。然而,一个相对较少讨论的话题是,如果更多的上下文信息被引入到当前得分最高的标记系统。虽然一些现有的作品已经试图将标记系统从文档级转移到文档级,但是关于何时以及为什么它起作用仍然没有一致的结论,这限制了大上下文方法在标记任务中的适用性。在本文中,我们不是通过架构探索来追求最先进的标记系统,而是专注于调查何时以及为什么大背景训练作为一种通用策略可以工作。为此,我们对四个用于收集上下文信息的聚合器进行了深入的比较研究,并提出了一种属性辅助评估方法来解释更大的上下文训练所带来的改进。在实验中,我们建立了一个基于四个标记任务和十三个数据集的测试床。希望我们的初步观察能加深对大语境训练的理解,并启发更多关于语境信息使用的后续工作。
2021-04-09 cs.CL
Auto-tagging of Short Conversational Sentences using Transformer Methods
根据语义特征对语音短句进行高精度的分类是自然语言处理的一个研究课题。在这项研究中,使用了一个由46个不同类别的样本创建的数据集。例子包括从公司的客户代表和公司的网站访问者之间的聊天对话中提取的句子。其主要目的是以最准确的方式自动标记访问者的问题和请求,用于聊天应用程序中的46个预定类别,以生成对网站访问者提出的问题的有意义的答案。为此,不同的BERT模型和一个GPT-2模型,在土耳其预先训练,是首选。对相关模型的分类性能进行了详细的分析和报告。
2021-06-04 cs.CL cs.LG
Human acceptability judgements for extractive sentence compression
College of Information and Computer Sciences(信息与计算机科学学院);Department of Linguistics(语言学系);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
最近的英语句子压缩方法依赖于由重复压缩对组成的平行语料库。然而,一个句子可以用许多不同的方式缩短,每一种方式都可能适合于特定应用的需要。因此,在这项工作中,我们收集和模型众包的判断,许多可能的句子缩短的可接受性。然后,我们将展示如何使用这种判断的模型来支持压缩任务的灵活方法。我们发布了我们的模型和数据集,以供未来工作使用。
2019-02-01 cs.CL
Improving sentence compression by learning to predict gaze
University of Copenhagen(哥本哈根大学);Bar-Ilan University(巴伊兰大学)
我们展示了如何眼动追踪语料库可以用来改善句子压缩模型,提出了一种新的多任务学习算法的基础上,多层LSTM。我们获得的性能与最先进的方法相比具有竞争力或更好。
2016-04-12 cs.CL
MaskParse@Deskin at SemEval-2019 Task 1: Cross-lingual UCCA Semantic Parsing using Recursive Masked Sequence Tagging
Orange Labs(奥兰治实验室);Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);LIS(信息与系统科学实验室)
本文描述了我们的SemEval-2019 \textit{ Task 1: Cross-lingual Semantic Parsing with UCCA}递归系统。每个递归步骤由两部分组成。我们首先执行语义解析使用序列标签估计的概率的UCCA类别的句子。然后,我们应用解码策略来解释这些概率并构建图节点。解析是递归进行的,我们对句子进行第一次推理以提取主要场景和链接,然后使用反映先前步骤中所做决定的掩蔽功能递归地将模型应用于句子。过程继续,直到到达终端节点。我们选择了一个标准的神经标记器,我们专注于我们的递归解析策略和跨语言迁移问题,开发一个强大的模型,为法语,只使用很少的训练样本。
2019-10-07 cs.CL
Sentence Compression as Tree Transduction
University of Edinburgh(爱丁堡大学)
本文提出了一种用于句子压缩的树到树转换方法。我们的模型是基于同步树替换语法,一种形式主义,允许局部扭曲的树拓扑结构,从而可以自然地捕捉结构不匹配。我们描述了一个算法在这个框架中的解码,并显示了如何在一个大的利润框架内的模型可以进行训练的歧视。句子压缩的实验结果带来了显着的改进,在一个国家的最先进的模型。
2014-01-15 cs.CL
Explicit Sentence Compression for Neural Machine Translation
Shanghai Jiao Tong University(上海交通大学);National Institute of Information and Communications Technology(日本国立信息与通信技术研究所)
现有的基于transformer的神经机器翻译(NMT)系统仍然遵循标准的编码器-解码器框架,其中源句子表示可以由具有自注意力机制的编码器很好地完成。虽然基于transformer的编码器可以有效地捕捉其产生的源句子表示的一般信息,骨干信息,代表一个句子的要旨,没有特别关注。本文中,我们提出了一个显式的句子压缩方法,以提高NMT的源句子表示。在实践中,一个显式的句子压缩目标用于学习句子中的主干信息。我们提出了三种方法,包括骨干源端融合,目标端融合,双方融合,压缩句子集成到NMT。我们的WMT英语到法语和英语到德语的翻译任务的实证测试表明,所提出的句子压缩方法显着提高了翻译性能超过强基线。
2019-12-27 cs.CL
Towards the Development of Balanced Synthetic Data for Correcting Grammatical Errors in Arabic: An Approach Based on Error Tagging Model and Synthetic Data Generating Model
King Abdulaziz University(阿卜杜勒阿齐兹大学);Saudi Electronic University(沙特电子大学)
本文提出错误标注模型与基于回译的合成数据生成模型,构建大规模阿拉伯语语法纠错合成数据,并在QALB-14上取得79.36% F1的新最优结果。
2025-02-07 cs.AI cs.CL
Efficient Unsupervised Sentence Compression by Fine-tuning Transformers with Reinforcement Learning
Aylien Ltd.(Aylien有限公司);Insight Centre for Data Analytics, University College Dublin(都柏林大学洞察数据分析中心)
句子压缩通过删除不必要的内容来减少文本的长度,同时保留重要的事实和语法。用于句子压缩的无监督目标驱动方法可以用于创建定制模型,而不需要地面实况训练数据,同时允许用于学习和推理的目标函数的灵活性。最近的无监督句子压缩方法使用自定义目标来指导离散搜索,然而,引导搜索在推理时是昂贵的。在这项工作中,我们探索使用强化学习来训练有效的句子压缩模型,这些模型在生成预测时也很快。特别是,我们将任务转换为二进制序列标记,并使用简单的策略梯度方法微调预训练的Transformer。我们的方法优于其他无监督模型,同时在推理时也更有效。
2022-05-17 cs.CL
Part-of-Speech Tagging on an Endangered Language: a Parallel Griko-Italian Resource
University of Notre Dame(圣母大学);University of Ioannina(约阿尼纳大学);ICREA(加泰罗尼亚高等研究院);Universitat Pompeu Fabra(庞培法布拉大学)
大多数词性标注的工作都集中在高资源语言上,或者通过模拟研究来检查低资源和主动学习设置。我们评估一个实际的濒危语言,Griko的POS标记技术。我们提出了一个资源,其中包含114个故事在Griko,随着意大利语的翻译水平,并提供黄金注释的测试集。基于以前收集的小语料库,我们研究了几种传统的方法,以及利用单语数据或项目跨语言的POS标签的方法。我们发现,半监督方法与跨语言迁移的结合更适合于这种极具挑战性的设置,最好的标记器实现了72.9%的准确率。通过应用主动学习方案,我们使用该方案在测试集上收集高级注释,我们实现了超过21个百分点的改进。
2018-06-11 cs.CL
A Sentence Compression Based Framework to Query-Focused Multi-Document Summarization
Cornell University(康奈尔大学);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们考虑使用句子压缩技术,以方便查询为重点的多文档摘要的问题。我们提出了一个基于解析压缩的框架,并设计了一系列基于学习的压缩模型建立在解析树。提出了一种创新的束搜索解码器,以有效地找到高度可能的压缩。在这个框架下,我们展示了如何整合各种指示性指标,如语言动机和查询相关性到压缩过程中推导出一种新的配方的压缩评分函数。我们最好的模型实现了统计上的显着改善,在几个指标(如8.0%和5.4%的改进ROUGE-2分别)的DUC 2006年和2007年的总结任务的最先进的系统。
2016-06-24 cs.CL
Fast k-best Sentence Compression
Google Research(谷歌研究院)
句子压缩的一种流行方法是将任务表示为约束优化问题,并使用整数线性规划(ILP)工具解决它。不幸的是,对ILP的依赖可能使压缩机慢得令人望而却步,因此已经提出了近似技术,这些技术通常是复杂的,并且提供了适度的速度增益。作为一种替代解决方案,我们引入了一种新的压缩算法,该算法依赖于本地删除决策生成k-最佳压缩。我们的算法是两个数量级的速度比最近的ILP为基础的方法,同时产生更好的压缩。此外,广泛的评估表明,压缩的质量并没有降低太多,因为我们从单一的最佳移动到前五名的结果。
2015-10-28 cs.CL
Query-focused Sentence Compression in Linear Time
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
搜索应用程序通常显示缩短的句子,这些句子必须包含某些查询项,并且必须适合用户界面的空间约束。这项工作介绍了一种新的过渡为基础的句子压缩技术开发的这种设置。我们的查询为重点的方法构造长度和词汇约束压缩在线性时间,通过增长一个子图中的依赖分析的句子。这种理论上有效的方法实现了11倍的经验加速比基线ILP方法,同时更好地重建黄金约束缩短。这样的加速有助于以查询为中心的应用程序,因为用户会受到界面延迟的明显阻碍。此外,我们的技术不需要ILP求解器或GPU。
2019-09-17 cs.CL
A Multilingual Study of Multi-Sentence Compression using Word Vertex-Labeled Graphs and Integer Linear Programming
University of La Rochelle(拉罗谢尔大学);University of Avignon(阿维尼翁大学);Polytechnique Montréal(蒙特利尔高等理工学院);Inst. Federal de Educação, Ciência e Tecnologia da Paraiba(帕拉伊巴联邦教育、科学与技术学院);Univ. Federal Fluminense(弗鲁米嫩塞联邦大学);Universidade Federal do Ceará(塞阿拉联邦大学)
多句子压缩(MSC)的目的是从一组相似的句子中提取关键信息,生成一个短句。MSC使摘要和问答系统能够从一个或多个文档中生成组合完整句子的输出。本文描述了一种基于线性规划的MSC方法,该方法使用顶点标记图来选择不同的关键字,其目标是在保持语法性的同时生成更多信息的句子。我们的系统质量很好,在以三种语言(法语、葡萄牙语和西班牙语)进行的新闻数据集评估方面优于最先进的水平。我们进行了自动和手动评估,以确定每个数据集压缩的信息量和语法性。在额外的测试中,利用压缩的长度可以调节的事实,我们仍然使用更短的输出句子来提高ROUGE分数。
2020-04-09 cs.CL
Syntactically Look-Ahead Attention Network for Sentence Compression
Institute of Innovative Research, Tokyo Institute of Technology(东京工业大学创新研究所)
句子压缩是通过删除冗余单词将长句压缩成短句的任务。在基于序列到序列(Seq 2Seq)的模型中,解码器单向决定保留或删除单词。因此,它通常不能显式地捕获解码的单词和将在未来时间步长中解码的未看到的单词之间的关系。因此,为了避免产生不合语法的句子,解码器有时会在压缩句子时丢弃重要的单词。为了解决这个问题,我们提出了一种新的Seq 2Seq模型,语法前瞻注意力网络(SLAHAN),它可以通过在解码过程中显式跟踪依赖父单词和子单词并捕获将来将被解码的重要单词来生成信息摘要。在Google句子压缩数据集上的自动评估结果显示,SLAHAN实现了最好的基于保留标记的F1,ROUGE-1,ROUGE-2和ROUGE-L得分,分别为85.5,79.3,71.3和79.1。SLAHAN还提高了较长句子的摘要性能。此外,在人工评估中,SLAHAN在不损失可读性的情况下提高了信息量。
2020-05-17 cs.CL
Unsupervised Sentence Compression using Denoising Auto-Encoders
Center for Data Science(数据科学中心);New York University(纽约大学)
在句子压缩中,缩短句子同时保留原始含义的任务,模型倾向于在包含冗长和压缩句子对的大型语料库上进行训练。为了消除对成对语料库的需求,我们模拟了一个摘要任务,并添加噪声来扩展句子,训练一个去噪自动编码器来恢复原始句子,构建了一个端到端的训练机制,而不需要任何压缩句子的例子。我们在标准文本摘要数据集上对我们的模型进行了人工评估,并表明它基于语法正确性和保留意义来执行监督基线。尽管没有目标数据,但我们的无监督模型学习生成不完美但可读的句子摘要。虽然我们基于ROUGE分数的监督模型表现不佳,但我们的模型与基于人类评估的监督基线相比,在语法正确性和保留意义方面具有竞争力。
2018-09-07 cs.CL
A Token-wise CNN-based Method for Sentence Compression
The Australian National University(澳大利亚国立大学);Data61/CSIRO(澳大利亚联邦科学与工业研究组织数据61中心);University of Turku(图尔库大学)
句子压缩是一项自然语言处理(NLP)任务,旨在缩短原始句子并保留其关键信息。它的应用可以使许多领域受益,例如可以构建语言教育工具。然而,目前的方法主要是基于递归神经网络(RNN)模型,其具有较差的处理速度。为了解决这个问题,在本文中,我们提出了一个令牌式卷积神经网络,一个基于CNN的模型,以及预训练的双向编码器表示Transformers(BERT)功能,用于基于删除的句子压缩。我们还将我们的模型与基于RNN的模型和微调的BERT进行了比较。虽然其中一个基于RNN的模型在相同输入下的性能略优于其他模型,但我们基于CNN的模型比基于RNN的方法快十倍。
2020-09-23 cs.CL
Sentence-Anchored Gist Compression for Long-Context LLMs
FusionBrainLab(融合脑实验室);HSE University(俄罗斯高等经济大学);Innopolis University(伊诺波利斯大学)
本研究针对长上下文大语言模型的内存与计算需求问题,提出句子锚定要点压缩方法,通过微调预训练模型实现2-8倍压缩且性能无显著下降,在30亿参数LLaMA模型上压缩比更高且效果与其他技术相当。
2025-11-11 cs.CL
SEQ^3: Differentiable Sequence-to-Sequence-to-Sequence Autoencoder for Unsupervised Abstractive Sentence Compression
National Technical University of Athens(雅典国立技术大学);Athens University of Economics and Business(雅典经济与商业大学);Heriot-Watt University(赫瑞-瓦特大学)
神经序列到序列模型是目前在几个自然语言处理任务中占主导地位的方法,但需要大型并行语料库。我们提出了一个序列到序列到序列的自动编码器(SEQ ^3),由两个链式编码器-解码器对组成,单词用作离散潜在变量的序列。我们将该模型应用于无监督抽象句压缩,其中第一个和最后一个序列分别是输入和重构的句子,而中间序列是压缩的句子。限制潜在单词序列的长度迫使模型从输入中提取重要信息。预先训练的语言模型作为潜在序列的先验,鼓励压缩的句子是人类可读的。连续松弛使我们能够从分类分布中采样,允许基于梯度的优化,而不像依赖于强化学习的替代方案。该模型不需要并行的文本摘要对,在基准数据集上的无监督句子压缩中取得了令人满意的结果。
2019-06-09 cs.CL
On Improving Informativity and Grammaticality for Multi-Sentence Compression
University of New South Wales(新南威尔士大学);National ICT(国家信息与通信技术机构)
多句子压缩在很多实际应用中具有重要的价值,如引导式微博摘要、意见摘要和新闻摘要。最近,基于词图的方法已被提出,并成为流行的MSC。他们的关键假设是,一组相关句子之间的冗余提供了一种可靠的方式来生成信息和语法句子。在本文中,我们提出了一种有效的方法来增强基于单词图的MSC,并解决了大多数最先进的MSC方法所面临的问题:即,同时提高信息量和语法性。我们的方法包括三个主要组成部分:(1)合并方法的基础上的多词表达式(MWE);(2)映射策略的基础上同义词之间的关系;(3)重新排序的步骤,以确定最佳的压缩候选人使用基于POS的语言模型(POS-LM)。我们证明了这种新方法的有效性,使用的数据集的英语新闻专线句子的集群。所观察到的信息量和语法的生成的压缩的改进表明,我们的方法是优于国家的最先进的MSC方法。
2016-05-07 cs.CL
Evaluation Discrepancy Discovery: A Sentence Compression Case-study
Bloomberg L.P.(彭博有限合伙企业);Ubiquitous Knowledge Processing Lab (UKP Lab)(普适知识处理实验室(UKP实验室));Technical University of Darmstadt(达姆施塔特工业大学)
可靠的评估协议对于可重复的NLP研究至关重要。在这项工作中,我们表明,有时既不是度量,也不是传统的人的评价是不够的,得出有关系统性能的结论。使用句子压缩作为示例任务,我们演示了系统如何与完善的数据集进行博弈,以获得最先进的结果。与以前的工作中报告的结果相比,显示了人类判断和度量分数之间的相关性,我们对最先进的系统输出的手动分析表明,高度量分数可能只表明更好地拟合数据,而不是更好的输出,正如人类所感知的那样。
2021-01-22 cs.CL
Sentence Embedding Models for Ancient Greek Using Multilingual Knowledge Distillation
Sattler College(萨特勒学院)
针对古希腊语缺乏训练数据难构建高质量句子嵌入模型的问题,研究采用多语言知识蒸馏方法,借助自建的希英平行句子数据集训练BERT模型生成古希腊语句子嵌入,在多项任务上验证了效果并公开了数据集。
2023-08-24 cs.CL
Grammar Detection for Sentiment Analysis through Improved Viterbi Algorithm
语法检测,也称为原始文本的词性标记,被认为是各种自然语言处理流水线(如命名实体识别、问答和情感分析)的基础构建块。简而言之,对于一个句子,词性标注是用名词、动词、形容词、副词等来指定和标注句子中的每个单词的任务。情感分析很可能是一种习惯于确定给定句子的情感基调是中性的、积极的还是消极的程序。为了将极性分数分配给短语内的论文或实体,结合了文本内分析和分析、机器学习和自然语言处理等方法。这种使用词性标注器的情感分析有助于我们敦促更广泛的公众对特定主题进行总结。为此,我们使用维特比算法,隐马尔可夫模型,基于约束的维特比算法进行词性标注。通过比较准确率,我们选择模型的最高准确率的结果进行情感分析以确定句子的特征。
2022-12-05 cs.CL cs.LG
A Novel Cascade Binary Tagging Framework for Relational Triple Extraction
Jilin University(吉林大学);Shenzhen Zhuiyi Technology Co., Ltd.(深圳追一科技有限公司);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
从非结构化文本中提取关系三元组是构建大规模知识图谱的关键。然而,很少有现有的作品擅长解决重叠三元组问题,在同一个句子中的多个关系三元组共享相同的实体。在这项工作中,我们引入了一个新的视角来重新审视关系三重提取任务,并提出了一个新的级联二进制标记框架(CasRel)来自一个原则性的问题制定。我们的新框架不是像以前的作品那样将关系视为离散标签,而是将关系建模为将句子中的主体映射到对象的函数,从而自然地处理重叠问题。实验表明,CasRel框架已经优于最先进的方法,即使其编码器模块使用随机初始化的BERT编码器,显示了新的标记框架的力量。当采用预训练的BERT编码器时,它的性能得到进一步提升,在两个公共数据集NYT和WebNLG上的F1得分分别比最强基线高出17.5和30.2的绝对增益。通过对重叠三元组的不同场景的深入分析表明,该方法在所有这些场景中都能提供一致的性能增益。源代码和数据在网上发布。
2020-06-22 cs.CL
Free as in Free Word Order: An Energy Based Model for Word Segmentation and Morphological Tagging in Sanskrit
IIT Kharagpur(印度理工学院克勒格布尔分校);Flipkart(Flipkart公司);University of Waterloo(滑铁卢大学);American Express India Pvt Ltd(美国运通印度私人有限公司);Chinmaya Vishwavidyapeeth(钦玛雅大学)
在自由词序语言(如梵语)的句子中,构形信息的使用是有限的。因此,即使对于诸如分词之类的基本处理任务,整个句子的上下文也将是期望的。我们提出了一个结构化的预测框架,共同解决了分词和形态标记的梵文任务。我们建立了一个基于能量的模型,其中我们采用了基于图的解析技术中通常采用的方法(McDonald等人,2005 a; Carreras,2007)。我们的模型以96.92的F分数(7.06%的百分比提高)优于最先进的技术,同时使用不到十分之一的特定于任务的训练数据。我们发现,使用基于图的方法,而不是传统的基于网格的顺序标记方法,导致分割任务的F分数的百分比增益为12.6%。
2018-10-25 cs.CL
Global Attention for Name Tagging
Rensselaer Polytechnic Institute(伦斯勒理工学院);Computer Science Department(计算机科学系)
许多名称标记方法使用本地上下文信息取得了很大的成功,但当本地上下文模糊或有限时则失败。我们提出了一个新的框架,以提高名称标记,利用本地,文档级和语料库级的上下文信息。我们从同一文档中的其他句子中检索文档级上下文,从其他主题相关文档中的句子中检索语料库级上下文。我们提出了一个模型,学习将文档级和语料库级的上下文信息与本地上下文信息一起通过全局注意力,动态加权各自的上下文信息,和门控机制,这决定了这些信息的影响。在基准数据集上进行的大量实验表明了我们方法的有效性,该方法在CoNLL-2002和CoNLL-2003数据集上为荷兰语,德语和西班牙语实现了最先进的结果。
2020-10-19 cs.AI cs.CL
Chinese Spelling Correction as Rephrasing Language Model
Shanghai Jiao Tong University(上海交通大学)
本文针对中文拼写纠错中字符级标注过度依赖错误、泛化与迁移受限的问题,提出通过填充槽位改写整句的 ReLM,在微调和零样本基准上取得显著领先结果。
2024-02-28 cs.CL
COCO-CN for Cross-Lingual Image Tagging, Captioning and Retrieval
Renmin University of China(中国人民大学)
本文在数据和基线方法方面对跨语言图像标注和检索做出了贡献。我们提出了COCO-CN,一个新的数据集丰富MS-COCO与手工编写的中文句子和标签。为了更有效地获取注释,我们开发了一个辅助的集体注释系统,自动提供注释者与几个标签和句子被认为是相关的图片内容。COCO-CN拥有20,342张图片,标注了27,218个中文句子和70,993个标签,是目前最大的中英文数据集,为跨语言的图像标记,字幕和检索提供了统一和具有挑战性的平台。我们为每个任务开发概念上简单而有效的方法,用于从跨语言资源中学习。在这三个任务上进行的大量实验证明了所提出的数据集和方法的可行性。数据和代码可在https://github.com/li-xirong/coco-cn上公开获取
2019-01-15 cs.CL cs.CV
A Noisy-Channel Model for Document Compression
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
我们提出了一个文件压缩系统,使用分层噪声通道模型的文本生产。我们的压缩系统首先自动推导出每个句子的句法结构和作为输入的文本的整体话语结构。然后,该系统使用文本生产的统计层次模型,以丢弃不重要的句法和话语成分,从而生成任意长度的连贯的、语法的文档压缩。该系统的性能优于基线和基于压缩的压缩系统,后者通过顺序简化文本中的所有句子来操作。我们的研究结果支持了语篇知识在文档摘要中起着重要作用的观点。
2009-07-04 cs.CL
Unsupervised Cross-Lingual Part-of-Speech Tagging with Monolingual Corpora Only
School of Foreign Languages, University of Electronic Science and Technology of China(电子科技大学外国语言学院);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
本文提出了一种仅使用单语语料的无监督跨语言词性标注框架,通过无监督神经机器翻译构建伪平行句子对,并利用多源投影技术提升词性标注性能。
2026-02-10 cs.CL
Sentence Compression in Spanish driven by Discourse Segmentation and Language Models
École Polytechnique de Montréal(蒙特利尔高等理工学院);Universitat Pompeu Fabra(庞培法布拉大学)
以前的工作表明,自动文本摘要(ATS)的句子提取可以提高使用句子压缩。在这项工作中,我们提出了一个句子压缩的方法指导下的水平句语篇分割和概率语言模型(LM)。这里给出的结果表明,所提出的解决方案是能够生成连贯的摘要与语法压缩的句子。这种方法很简单,可以移植到其他语言中。
2012-12-17 cs.CL cs.IR
Sentence Compression via DC Programming Approach
Shanghai Jiao Tong University(上海交通大学);SJTU-Paristech Elite Institute of Technology(上海交通大学巴黎高科卓越工程师学院)
句子压缩是自然语言处理中的一个重要问题。本文首先基于概率模型和句法分析树模型建立了一种新的句子压缩模型。我们的句子压缩模型等价于一个整数线性规划(ILP),既能保证压缩的语法正确性,又能保存句子的主要意思。我们建议使用DC(凸差分)规划方法(DCA)寻找我们的模型的局部最优解。将DCA与并行分支定界框架相结合,可以得到全局最优解。数值结果表明,我们的句子压缩模型的质量和我们提出的解决方案的算法的优异性能。
2019-02-13 cs.CL math.OC
Bidirectional LSTM-CRF Models for Sequence Tagging
Baidu research(百度研究院)
在本文中,我们提出了各种基于长短期记忆(LSTM)的序列标记模型。这些模型包括LSTM网络、双向LSTM(BI-LSTM)网络、带有条件随机场(CRF)层的LSTM(LSTM-CRF)和带有CRF层的双向LSTM(BI-LSTM-CRF)。我们的工作是第一个将双向LSTM CRF(表示为BI-LSTM-CRF)模型应用于NLP基准序列标记数据集。我们表明,由于双向LSTM组件,BI-LSTM-CRF模型可以有效地使用过去和未来的输入特征。它还可以使用句子级别的标签信息,这要归功于CRF层。BI-LSTM-CRF模型可以在POS,分块和NER数据集上产生最先进的(或接近)准确性。此外,它是鲁棒的,与以前的观察相比,对词嵌入的依赖性更小。
2015-08-09 cs.CL
Ancient Chinese Word Segmentation and Part-of-Speech Tagging Using Distant Supervision
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
古汉语分词和词性标注是古汉语研究的重要内容,但古汉语分词和词性标注的数据量还很少。本文提出了一种基于远程监督的平行语料库古汉语WSG和词性标注数据扩充方法。然而,在远程监督中,仍不可避免地存在着误标和未标的古汉语词语。针对这一问题,利用深度神经网络的记忆效应和少量标注数据,得到知识量大、噪声小的模型,并利用该模型对平行语料库中的古汉语句子进行重新标注。实验表明,在重新标记的数据上训练的模型优于在远程监督生成的数据和注释数据上训练的模型。我们的代码可在https://github.com/farlit/ACDS上获得。
2023-03-06 cs.CL
Task-agnostic Prompt Compression with Context-aware Sentence Embedding and Reward-guided Task Descriptor
Queen’s University(女王大学)
本文提出任务无关提示压缩框架 TPC,通过奖励引导的任务描述符评估句子相关性,无需问题或模板即可跨任务压缩提示,并在 LongBench 与 ZeroSCROLLS 上取得领先或可比性能。
2025-02-19 cs.CL
Primitive Part-of-Speech Tagging using Word Length and Sentential Structure
有人认为,当婴儿学习第一语言时,他们会使用一系列小线索来帮助识别和理解,其中一个线索就是单词长度。在本文中,我们提出了一个统计部分的语音标签,它只训练自己在一个句子中的每个单词的字母数。
1998-08-23 cmp-lg cs.CL
Unsupervised Abstractive Meeting Summarization with Multi-Sentence Compression and Budgeted Submodular Maximization
École Polytechnique(巴黎综合理工学院);Linagora(利纳戈拉公司);AUEB(雅典经济与商业大学)
我们介绍了一种新的基于图的框架,抽象的会议语音摘要,是完全无监督的,不依赖于任何注释。我们的工作结合了多种最新方法的优势,同时解决了它们的弱点。此外,我们利用应用于NLP的词嵌入和图退化的最新进展,考虑外部语义知识,并设计自定义多样性和信息量的措施。在AMI和ICSI语料库上的实验表明,我们的系统在现有技术的基础上有所改进,代码和数据是公开的,并且我们的系统可以进行交互式测试。
2018-11-14 cs.CL
Multi-document abstractive summarization using ILP based multi-sentence compression
The Pennsylvania State University(宾夕法尼亚州立大学);QCRI(卡塔尔计算研究所);National University of Singapore(新加坡国立大学)
摘要文摘是一种理想的文摘形式,它可以综合多个文档中的信息,生成简洁的信息摘要。在这项工作中,我们的目标是开发一个抽象的摘要。首先,我们提出的方法确定多文档集中最重要的文档。最重要文档中的句子与其他文档中的句子对齐,以生成相似句子的聚类。其次,我们使用词图结构从每个聚类中的句子生成K-最短路径。最后,我们选择句子从所有集群产生的最短路径集采用一种新的整数线性规划(ILP)模型的目标是最大限度地提高信息含量和可读性的最终摘要。我们的ILP模型将最短路径表示为二元变量,并在目标函数中考虑路径的长度、信息分数和语言质量分数。DUC 2004年和2005年的多文档摘要数据集上的实验结果表明,我们提出的方法优于所有的基线和国家的最先进的提取摘要衡量的ROUGE分数。我们的方法也优于最近的抽象摘要技术。在人工评估中,我们的方法也取得了可喜的成果的信息性和可读性。
2016-09-22 cs.CL
Rich Character-Level Information for Korean Morphological Analysis and Part-of-Speech Tagging
Korea University(高丽大学);Amazon Alexa(亚马逊Alexa)
由于韩语是一种高度粘着的、字符丰富的语言,因此以前关于韩语形态分析的工作通常采用被称为字素的子字符特征的使用,或者以其他方式利用全面的先验语言知识(即,已知形态变换形式或动作的字典)。这些模型是在假设字符级、无词典的形态分析由于所需动作的数量而难以处理的情况下创建的。在这项研究中,我们提出了一个多阶段的基于动作的模型,可以执行形态变换和词性标记使用任意单位的输入,并将其应用到字符级的朝鲜语形态分析的情况下。在不使用先验语言知识的模型中,我们使用我们提出的数据驱动的Bi-LSTM模型,在世宗朝鲜语语料库中实现了最先进的单词和单词级别的标记准确性。
2018-06-28 cs.CL
Data Augmentation via Dependency Tree Morphing for Low-Resource Languages
Technische Universität Darmstadt(达姆施塔特工业大学);University of Edinburgh(爱丁堡大学)
神经NLP系统在存在相当大的训练数据集的情况下获得高分。缺乏这样的数据集导致系统性能差的情况下,低资源的语言。我们提出了两个简单的文本增强技术,依赖树,灵感来自图像处理。我们通过删除依赖链接来裁剪句子,通过围绕根移动树片段来旋转句子。我们将这些技术应用于通用学习项目中的低资源语言的训练集。我们实现了一个字符级的序列标注模型,并在词性标注任务上对增强后的数据集进行了评估。我们表明,裁剪和旋转为大多数语言提供了非增强数据训练模型的改进,特别是对于具有丰富大小写标记系统的语言。
2019-03-22 cs.CL
Deleter: Leveraging BERT to Perform Unsupervised Successive Text Compression
Salesforce Research(赛富时研究院)
文本压缩有多种应用,如摘要、阅读理解和文本编辑。然而,几乎所有现有的方法都需要手工制作的功能,语法标签或并行数据。即使是在无监督环境中实现此任务的机器人,其架构也需要特定于任务的自动编码器。此外,这些模型只为每个源输入生成一个压缩句子,因此适应最终输出的不同风格要求(例如长度)通常意味着从头开始重新训练模型。在这项工作中,我们提出了一个完全无监督的模型,删除器,这是能够发现一个“最佳删除路径”的任意句子,其中沿路径的每个中间序列是前一个连贯的子序列。这种方法完全依赖于预训练的双向语言模型(BERT),根据结果句子的平均困惑度对每个候选删除进行评分,并执行渐进式贪婪前瞻搜索,为每个步骤选择最佳删除。我们将Deleter应用于提取句子压缩的任务,并发现我们的模型与在102万个具有类似压缩比的域内示例上训练的最先进的监督模型具有竞争力。定性分析以及自动和人工评估都验证了我们的模型可以产生高质量的压缩。
2019-09-07 cs.CL
Language as a Latent Variable: Discrete Generative Models for Sentence Compression
University of Oxford(牛津大学);Google Deepmind(谷歌DeepMind)
在这项工作中,我们探讨了深生成模型的文本中,一个文件的潜在表示本身是从离散的语言模型分布。我们制定了一个变分自动编码器在这个模型中的推理,并将其应用到压缩句子的任务。在该应用中,生成模型首先从背景语言模型中提取潜在概要语句,然后随后根据该潜在概要提取观察语句。在我们的经验评估中,我们表明,当在大量的监督数据上训练时,抽象和提取压缩的生成公式都可以产生最先进的结果。此外,我们还探索了半监督压缩场景,在这些场景中,我们证明了在对一小部分监督数据进行训练的同时,可以实现与先前提出的监督模型相竞争的性能。
2016-10-14 cs.AI cs.CL
Towards Lossless Encoding of Sentences
Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
利用机器学习进行图像压缩已经做了大量的工作,但是对自然语言的压缩还没有给予足够的关注。将文本压缩为无损表示,同时使功能易于检索不是一项微不足道的任务,但有巨大的好处。设计用于产生特征丰富的句子嵌入的大多数方法仅关注于在下游任务上表现良好,并且无法从学习的嵌入正确地重建原始序列。在这项工作中,我们提出了一个近无损的方法编码长序列的文本以及所有的子序列到功能丰富的表示。我们测试了我们的方法在情感分析,并显示出良好的性能在所有子句和句子嵌入。
2019-08-02 cs.CL
Low-Resource Name Tagging Learned with Weakly Labeled Data
National University of Singapore(新加坡国立大学);Tsinghua University(清华大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
低资源语言或域中的名称标记遭受不充分的训练数据。现有的工作严重依赖于额外的信息,而留下那些在网络上广泛存在的嘈杂的注释。在本文中,我们提出了一种新的神经模型的名称标记仅基于弱标记(WL)的数据,使其可以应用于任何低资源设置。为了充分利用所有WL语句,我们将它们分为高质量和噪声部分,分别用于两个模块:(1)分类模块专注于大部分噪声数据,可以通过捕获文本上下文语义来有效和鲁棒地预训练标签分类器;以及(2)集中于高质量数据的昂贵的序列标记模块利用具有非实体采样的部分CRF来实现全局最优。两个模块通过共享参数组合。涉及五种低资源语言和细粒度食物域的广泛实验证明了我们的卓越性能(平均6%和7.8%F1增益)以及效率。
2019-08-26 cs.CL
Transforming Sequence Tagging Into A Seq2Seq Task
Google Research(谷歌研究院)
预训练的大型生成式语言模型(LM)在广泛的序列标记和结构化预测任务中取得了巨大成功。将序列标记任务转换为Seq 2Seq任务需要决定输入和输出序列的格式。然而,我们缺乏对这些格式相关的权衡的原则性理解(例如对模型准确性,序列长度,多语言泛化,幻觉的影响)。在本文中,我们严格研究了可以用于将输入文本句子及其输出标签转换为输入和目标的不同格式(即,Seq 2Seq模型。在此过程中,我们引入了一种新的格式,我们证明它既简单又有效。此外,新格式在多语种环境中显示出显著的收益-zero-shot迁移学习和联合培训。最后,我们发现新格式更健壮,几乎完全没有幻觉-我们发现现有格式中常见的问题。通过超过1000个实验研究14种不同的格式,超过7种不同的公共基准-包括跨越7种语言的3种多语言数据集-我们相信我们的发现为理解我们应该如何处理序列标记任务提供了强有力的经验基础。
2022-10-25 cs.CL
EnComp: Lightweight Encoder-Only Context Compression for Retrieval-Augmented Question Answering
Korea Advanced Institute of Science and Technology(韩国科学技术院)
LooComp通过留一法策略提升仅编码器Transformer的查询感知上下文压缩效率,实现高效压缩与高吞吐量推理。
2026-09-24 cs.CL
Unknown Words Analysis in POS tagging of Sinhala Language
Virtusa Pvt. Ltd.(Virtusa私人有限公司);University of Kelaniya(凯拉尼亚大学)
词性分析是任何语言的自然语言处理(NLP)任务中的一个非常重要的课题,它涉及到分析语言的结构、行为和动态,这些知识可以用于计算语言学分析和自动化应用。在这种情况下,处理未知词(未出现在词典中的词称为未知词)也是一项重要任务,因为越来越多的NLP系统用于越来越多的新应用。预测未知词的词汇类别的一个辅助手段是使用语言的句法知识。在标注过程中,通过区分开类词和闭类词,并结合本研究所用语言的句法特征来预测未登录词的词汇类别。通过实验研究了该方法在没有人工干预的情况下利用句法知识解析未登录词的能力。这个实验表明,当词类区分与句法规则一起使用时,标记过程的性能得到增强,以解析包含未知词的句子在僧伽罗语。
2015-01-06 cs.CL
Graph-Based Multilingual Label Propagation for Low-Resource Part-of-Speech Tagging
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS));Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);LISN(LISN实验室)
词性标注是NLP管道的重要组成部分,但许多低资源语言缺乏用于训练的标记数据。在这种情况下,用于训练POS标注器的既定方法是通过从高资源语言转移来创建标记的训练集。在本文中,我们提出了一种新的方法,将标签从多个高资源源低资源的目标语言。我们正式POS标签投影为基于图的标签传播。给定一个句子在多种语言中的翻译,我们通过对齐所有语言对的单词来创建一个以单词为节点、对齐链接为边的图。然后,我们使用一个带有Transformer层的图神经网络将节点标签从源传播到目标。我们表明,我们的传播创建的训练集,使我们能够训练POS标记的一组不同的语言。当与增强的上下文嵌入相结合时,我们的方法实现了低资源语言的无监督POS标记的新的最先进技术。
2022-10-31 cs.CL
A Tree Search Algorithm for Sequence Labeling
Beijing University of Posts and Telecommunications(北京邮电大学);Institute of Computing Technology, Chinese Academy of Science(中国科学院计算技术研究所)
在本文中,我们提出了一种新的强化学习为基础的序列标记模型,简称为MM-Tag。受AlphaGo Zero的成功和方法的启发,MM-Tag使用蒙特卡罗树搜索(MCTS)增强马尔可夫决策过程(MDP)模型将序列标记问题形式化,其中时间步长对应于单词在句子中从左到右的位置,每个动作对应于为单词分配标签。两个长短期记忆网络(LSTM)用于总结过去的标签分配和句子中的单词。基于LSTM的输出,产生用于指导标记分配的策略和用于预测整个句子的整体标记准确度的值。然后,使用MCTS来加强策略和值,MCTS将产生的原始策略和值作为输入,模拟和评估后续位置处可能的标签分配,并输出用于分配标签的更好的搜索策略。提出了一种强化学习算法对模型参数进行训练。我们的工作是第一个应用MCTS增强MDP模型的序列标记任务。我们表明,MM-Tag可以准确地预测标签感谢MCTS引入的探索性决策机制。基于组块基准的实验结果表明,MM-Tag的性能优于最先进的序列标记基线,包括CRF和带有LSTM的CRF。
2018-05-18 cs.CL cs.IR
Prompt Compression with Context-Aware Sentence Encoding for Fast and Improved LLM Inference
Alterra AI(Alterra人工智能公司);Queen’s University(女王大学);Workday Inc.(Workday公司)
提出上下文感知提示压缩方法CPC,通过对比学习训练句子编码器进行句子级提示压缩,在基准数据集上显著优于现有方法且推理速度最高提升10.93倍。
2024-12-18 cs.CL cs.LG
Encode, Tag, Realize: High-Precision Text Editing
Google Research(谷歌研究院)
我们提出LaserTagger -一个序列标记的方法,铸造文本生成作为一个文本编辑任务。使用三个主要的编辑操作从输入重构目标文本:保留标记、删除标记以及在标记之前添加短语。为了预测编辑操作,我们提出了一种新的模型,它结合了一个BERT编码器与自回归Transformer解码器。这种方法是评估英语文本的四个任务:句子融合,句子分裂,摘要总结,语法纠正。LaserTagger在其中三项任务上取得了最新的成果,使用大量训练样本对一组强seq 2seq基线进行了测试,并在样本数量有限时表现出色。此外,我们表明,在推理时间标记可以比可比的seq 2seq模型快两个数量级以上,使其更有吸引力,在现场环境中运行。
2019-09-03 cs.CL