Automatic Difficulty Classification of Arabic Sentences
University of Leeds(利兹大学)
在本文中,我们提出了一个现代标准阿拉伯语(MSA)句子难度分类器,它预测句子的难度为语言学习者使用CEFR的熟练程度水平或二元分类为简单或复杂。我们比较了不同类型的句子嵌入(fastText,mBERT,XLM-R和Arabic-BERT)的使用,以及传统的语言功能,如POS标签,依赖树,可读性得分和频率列表的语言学习者。我们使用微调的Arabic-BERT实现了最佳结果。我们的三向CEFR分类的准确性是F-1的0.80和XLM-R分类分别为0.75和0.71斯皮尔曼相关回归。我们的二元难度分类器达到F-1 0.94和F-1 0.98的双对语义相似度分类器。
2021-03-07 cs.CL
EASSE: Easier Automatic Sentence Simplification Evaluation
University of Sheffield(谢菲尔德大学);Facebook AI Research(Facebook人工智能研究院);Inria(法国国家信息与自动化研究所);Imperial College London(帝国理工学院)
我们介绍了EASSE,一个Python软件包,旨在促进和简化句子简化(SS)系统的自动评估和比较。EASSE提供了一个单一的访问点,以广泛的评估资源:标准的自动度量评估SS输出(如SARI),单词级的准确性分数为某些简化转换,参考独立的质量估计功能(如压缩比),和标准的测试数据的SS评估(如TurkCorpus)。最后,EASSE生成关于上述各种指标和特性的易于可视化的报告,以及关于特定SS输出如何对抗参考简化的报告。通过实验,我们表明,这些功能可以更好地比较和理解SS系统的性能。
2019-09-13 cs.CL
BioSimplify: an open source sentence simplification engine to improve recall in automatic biomedical information extraction
Department of Biomedical Informatics, Arizona State University(亚利桑那州立大学生物医学信息学系)
Biocompatibility是一个用Java编写的开源工具,它引入并促进了一种用于自动话语分析和信息抽取的句子简化新模型的使用(与用于提高人类可读性的句子简化相反)。该模型基于一种“猎枪”方法,通过组合其组成要素的变体,产生原始句子的许多不同(更简单)版本。该工具针对处理生物医学科学文献进行了优化,例如PubMed中索引的摘要。我们测试了我们的工具对PPI提取任务的影响,它将PPI工具的f分数提高了约7%,召回率提高了约20%。生物统计工具和测试语料库可以从https://biosimplify.sourceforge.net下载。
2011-07-28 cs.CL
Automatic Translating between Ancient Chinese and Contemporary Chinese with Limited Aligned Corpora
Peking University(北京大学)
汉语在长期的发展过程中发生了很大的变化。因此,以汉语为母语的人现在在阅读古代汉语句子时有困难。在本文中,我们提出了建立一个端到端的神经模型,以自动翻译古代和现代汉语。然而,现有的古今汉语平行语料库在句子层面上的对齐程度不高,而且能够对齐的语料有限,这给模型的训练带来了困难。为了构建模型的句子级并行训练数据,我们提出了一种无监督的算法,该算法通过使用对齐的句子对共享许多标记的事实来构建对齐的古今对。基于对齐后的语料库,我们提出了一个具有复制机制和局部注意的端到端神经模型,用于古今汉语翻译。实验结果表明,本文提出的无监督算法在句子对齐方面取得了99.4%F1的成绩,翻译模型从古代到现代的BLEU达到26.95,从现代到古代的BLEU达到36.34。
2022-10-13 cs.CL
Automatic Readability Assessment of German Sentences with Transformer Ensembles
FH Aachen University of Applied Sciences(亚琛应用科学大学);ORDIX AG(ORDIX股份公司)
可靠的自动可读性评估方法有可能影响从机器翻译到自学的各个领域。最近,德语的大语言模型(如GBERT和GPT-2-Wechsel)已经可用,允许开发基于深度学习的方法,这些方法有望进一步改进自动可读性评估。在这篇文章中,我们研究了微调GBERT和GPT-2-Wechsel模型的集合可靠地预测德语句子可读性的能力。我们将这些模型与语言特征相结合,并研究了预测性能对集合大小和组成的依赖性。GBERT和GPT-2-Wechsel的混合系综比仅由GBERT或GPT-2-Wechsel模型组成的相同大小的系综表现更好。我们的模型在GermEval 2022共享任务中对德语句子的文本复杂性评估进行了评估。在样本外数据上,我们的最佳集成实现了0.435的均方根误差。
2022-09-09 cs.CL
Overview of the 2024 ALTA Shared Task: Detect Automatic AI-Generated Sentences for Human-AI Hybrid Articles
Macquarie University(麦考瑞大学);Monash University(莫纳什大学)
本文概述了 2024 ALTA 共享任务,旨在检测人机混合文章中的机器生成文本,并介绍了任务设置、评估标准及参与系统的结果。
2024-12-19 cs.CL
Neural paraphrasing by automatically crawled and aligned sentence pairs
University of Florence(佛罗伦萨大学);QuestIT S.r.l.(QuestIT有限公司);The Digital Box S.p.a.(数字盒股份公司);University of Siena(锡耶纳大学)
本文提出一种基于新闻和博客网站相同事件不同叙事风格假设的自动生成大型对齐语料库方法,利用带语言约束的相似性搜索从数百万句子中定位候选复述,并在意大利语环境下使用基于指针的深度神经架构验证了有效性。
2024-02-16 cs.CL
EASSE-DE: Easier Automatic Sentence Simplification Evaluation for German
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学)
本文提出多语言自动句子简化评估框架 EASSE-multi,并以德语版本 EASSE-DE 为例,通过比较不同语言和分词设置下的评估结果,为提升德语文本简化模型评估的透明性与可比性提供建议。
2024-04-05 cs.CL
WiSeBE: Window-based Sentence Boundary Evaluation
Université d’Avignon et des Pays de Vaucluse(阿维尼翁大学);École Polytechnique de Montréal(蒙特利尔高等理工学院)
句子边界检测(SBD)已经成为一个主要的研究课题,因为自动语音识别转录本已经用于进一步的自然语言处理任务,如词性标注、问答或自动摘要。但是评估呢?标准的评估指标,如精确度,召回率,F分数或分类错误;更重要的是,根据唯一的参考来评估自动系统足以得出结论,SBD系统在最终应用成绩单时表现如何?在本文中,我们提出了基于窗口的句子边界评估(WiSeBE),一个半监督的度量评估句子边界检测系统的基础上多参考(不)协议。我们评估和比较不同的SBD系统的性能在一组YouTube成绩单使用WiSeBE和标准指标。这种双重评估使我们了解WiSeBE如何成为SBD任务的更可靠指标。
2018-08-27 cs.CL
Automatic Inference of Minimalist Grammars using an SMT-Solver
MIT(麻省理工学院)
我们介绍(1)一种新的最简语法(MG),编码为一个系统的一阶逻辑公式,可以使用SMT求解器进行评估,和(2)一个新的程序推断最简语法使用这个解析器。这个过程的输入是一个句子序列,这些句子已经用语义角色标签(将参数连接到谓词)和主谓一致等句法关系进行了注释。该过程的输出是一组最简语法,其中的每一个都能够解析输入序列中的句子,使得对句子的解析具有与在该句子的注释中指定的那些句法关系相同的句法关系。我们将此过程应用到一组句子注释的句法关系和评估的推断语法使用成本函数的启发,最小描述长度原则和子集原则。推断的语法,这些成本函数的某些组合是最佳的,与当代理论的句法。
2019-05-08 cs.CL
Automatic Sentence Completion Using Bengali Audio Speech with a Transformer-Based Early Speech Recognition System
Daffodil International University(达福迪尔国际学校);Department of Computer Science and Engineering, Daffodil International University(达福迪尔国际学校计算机科学与工程系)
本研究针对孟加拉语这一代表性不足的语言,开发了结合Transformer语音识别与Bi-LSTM注意力机制的系统,用于检测痴呆症并实现对话中的句子自动补全,填补了相关领域空白。
2026-10-16 cs.CL
Extending Automatic Machine Translation Evaluation to Book-Length Documents
National Yang Ming Chiao Tung University(国家阳明交通大学);NVIDIA
本文提出SEGALE评估方案,通过句子分割与对齐将自动指标扩展到长文档翻译,显著优于现有方案,并发现许多开放权重LLMs在最大上下文长度下无法有效翻译书籍级文档。
2025-09-21 cs.CL
Simplify-then-Translate: Automatic Preprocessing for Black-Box Machine Translation
Virginia Tech(弗吉尼亚理工大学);Netflix Inc.(奈飞公司)
黑盒机器翻译系统已被证明对各种应用程序非常有用,但在设计上很难适应,调整到特定的领域,或建立在其之上。在这项工作中,我们介绍了一种方法来改善这种系统,通过自动预处理(APP)使用句子简化。首先提出了一种利用黑盒机器翻译系统通过回译自动生成大型领域内释义语料库的方法,并利用该方法训练释义模型,使原句“简化”,更有利于翻译。该模型用于对多个低资源语言对的源语句进行预处理。我们表明,这种预处理导致更好的翻译性能相比,非预处理的源句子。我们进一步进行并排的人工评估,以验证简化句子的翻译比原始句子更好。最后,我们通过调查语言对的翻译容易程度(由BLEU测量)与该语言对的反向翻译产生的简化模型质量(由SARI测量)之间的关系,为生成简化模型语料库提供了一些建议语言对的指导,并将其与低资源翻译的下游任务联系起来。
2020-05-27 cs.CL
Exploring Sentence Vector Spaces through Automatic Summarization
Williams College(威廉姆斯学院);University of Colorado, Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
给定单个单词的向量表示,有必要以组合的方式计算句子的向量表示,通常使用人工神经网络。相对较少的工作已经探讨了这种句子向量的内部结构和属性。在本文中,我们探讨了自动文摘的背景下,句子向量的性质。特别是,我们证明了句子向量和文档向量之间的余弦相似性与句子的重要性密切相关,并且向量语义可以识别和纠正迄今为止所选句子与文档之间的差距。此外,我们还确定了与有效摘要相关的具体维度。据我们所知,这是第一次将句子嵌入的特定维度与句子属性联系起来。我们还比较了不同的句子嵌入方法的特点。这些见解中的许多在句子嵌入的应用远远超出了摘要。
2018-10-16 cs.CL cs.LG stat.ML
Rethinking Automatic Evaluation in Sentence Simplification
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LIP6(巴黎第六大学计算机科学实验室);reciTAL;Facebook AI Research(Facebook人工智能研究院);Inria(法国国家信息与自动化研究所)
自动评测是自然语言生成领域的一个研究热点。在句子简化的上下文中,这尤其具有挑战性:这项任务本质上要求用具有相同含义的简单单词替换复杂单词。这限制了BLEU等基于n-gram的度量的有效性。与NLG的最新进展齐头并进,新的指标已经被提出,例如用于机器翻译的BERTScore。总之,QuestEval度量建议通过提问来自动比较两个文本。在本文中,我们首先提出了一个简单的修改QuestEval允许它处理句子简化。然后,我们广泛评估的相关性w.r.t.人类判断的几个指标,包括最近的BERTScore和QuestEval,并显示后者获得最先进的相关性,优于标准指标,如BLEU和SARI。更重要的是,我们还表明,很大一部分的相关性实际上是虚假的所有指标。为了进一步研究这种现象,我们发布了一个新的评估简化语料库,这次不是由系统生成,而是由人类编写。这使我们能够去除虚假的相关性,并得出与原始相关性非常不同的结论,从而更好地理解这些指标。特别是,我们对大多数传统指标的相关性非常低表示担忧。我们的研究结果表明,意义保存的唯一显着措施是我们的适应QuestEval。
2021-04-16 cs.CL
Automatic Argumentative-Zoning Using Word2vec
University of Nottingham Malaysia Campus(诺丁汉大学马来西亚校区)
与社会媒体和新闻通讯的文献摘要相比,论证性分区(AZ)是科学论文分析的一项重要任务。传统的方法学从不同的层次上进行特征工程。本文探讨并比较了三种用于句子分类任务的句子向量生成模型。该方法基于神经网络,利用学习到的嵌入构建句子表示。学习的词嵌入形成一个特征空间,被检查的句子被映射到该特征空间。这些特征被输入到用于监督分类的分类器中。采用10-交叉验证方案,对有争议的分区(AZ)注释的文章进行评价。结果表明,简单地平均句子中的词向量比段落向量算法效果更好,通过将特定的提示词集成到神经网络的损失函数中可以提高分类性能。与手工制作的功能相比,word 2 vec方法在大多数类别中获胜。然而,手工制作的功能显示了它们在分类某些类别时的优势。
2017-03-29 cs.CL
Japanese-English Sentence Translation Exercises Dataset for Automatic Grading
Tohoku University(东北大学);RIKEN(理化学研究所);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本研究提出第二语言学习早期阶段的句子翻译练习自动评分任务,构建含21道题、3498份作答的日英翻译练习数据集,实验显示微调BERT对正确作答分类F1约90%、错误作答不足80%,少样本GPT表现更差,该任务对大模型具挑战性。
2024-03-06 cs.CL
Improving Sentence Embeddings with Automatic Generation of Training Data Using Few-shot Examples
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科)
本文提出利用大语言模型通过少样本学习自动生成NLI数据集来微调PromptEOL,从而在无需大规模人工标注数据的情况下改进句子嵌入,并在STS任务上优于现有模型。
2024-08-02 cs.CL cs.LG
DiscoFuse: A Large-Scale Dataset for Discourse-Based Sentence Fusion
Tel Aviv University(特拉维夫大学);Google AI(谷歌人工智能);Allen Institute for AI(艾伦人工智能研究所)
句子融合是将几个独立的句子连接成一个连贯的文本的任务。目前用于句子融合的数据集很小,不足以训练现代神经模型。本文提出了一种从原始文本自动生成融合示例的方法,并介绍了DiscoFuse,这是一个用于基于话语的句子融合的大规模数据集。我们提出了一套规则,用于识别原始文本中的各种话语现象,并将文本分解为两个独立的句子。我们将我们的方法应用于两个文档集合:维基百科和体育文章,产生6000万个融合示例,其中注释了重建融合文本所需的话语信息。我们开发了一个序列到序列模型Discobews和彻底分析其优势和劣势方面的各种话语现象,使用自动以及人类的评价。最后,我们使用WebSplit进行了迁移学习实验,WebSplit是一个最近的文本简化数据集。我们发现,当被视为一个句子融合任务时,在Discobserver上的预训练大大提高了WebSplit的性能。
2019-03-18 cs.CL
memeBot: Towards Automatic Image Meme Generation
Arizona State University(亚利桑那州立大学)
图像模因已经成为人们在社交媒体、博客和公开信使上进行互动和交流思想的广泛工具。这项工作提出将自动图像模因生成视为翻译过程,并进一步提出了一种端到端的神经和概率方法,使用编码器-解码器架构为任何给定的句子生成基于图像的模因。对于给定的输入句子,通过组合模因模板图像和文本字幕来生成图像模因,其中模因模板图像是使用选择模块从流行候选集合中选择的,并且模因字幕是由编码器-解码器模型生成的。编码器用于将所选择的模因模板和输入句子映射到模因嵌入,并且解码器用于从模因嵌入解码模因标题。所生成的自然语言迷因标题以输入句子和所选择的迷因模板为条件。该模型学习模因标题和模因模板图像之间的依赖关系,并使用学习到的依赖关系生成新的模因。生成的字幕和生成的模因的质量通过自动和人工评估进行评估。一个实验的目的是得分如何生成模因可以代表从Twitter对话的推文。在Twitter数据上的实验表明,该模型在在线社交互动中生成句子模因的有效性。
2020-04-30 cs.CL
Sentence Level Human Translation Quality Estimation with Attention-based Neural Networks
Nanjing University of Information Science and Technology(南京信息工程大学);University of Leeds(利兹大学)
本文探讨了使用深度学习方法来自动评估人工翻译的质量。自动评估可以为翻译教学、考试和质量控制提供有用的反馈。解决此任务的传统方法依赖于手动设计的特征和外部知识。本文提出了一个端到端的神经模型,没有特征工程,结合交叉注意力机制,以检测句子对中的部分是最相关的质量评估。另一个贡献是预测用于衡量翻译质量不同方面的细粒度分数。在一个大型人类注释数据集上的实验结果表明,神经模型的性能明显优于基于特征的方法。数据集和工具可用。
2020-03-13 cs.CL
Prosody-Based Automatic Segmentation of Speech into Sentences and Topics
在处理语音音频数据以进行信息抽取、主题检测或浏览/回放的过程中,关键的一步是将输入分割成句子和主题单元。语音分割是具有挑战性的,因为通常用于分割文本(标题、段落、标点符号)的线索在口语中不存在。我们调查使用韵律(信息收集的时间和旋律的讲话)为这些任务。使用决策树和隐马尔可夫模型技术,我们结合韵律线索与基于词的方法,并评估两个语音语料库,广播新闻和总机的性能。结果表明,单独的韵律模型的表现与基于单词的统计语言模型相当,甚至更好-无论是真实的和自动识别的话在新闻讲话。韵律模型实现了相当的性能与显着更少的训练数据,不需要手工标记的韵律事件。在任务和语料库中,我们获得了显着的改善,只有单词模型使用的韵律和词汇信息的概率组合。检查发现,韵律模型捕获的语言独立的边界指标中描述的文献。最后,线索使用是任务和语料库依赖。例如,停顿和音高特征对于分割新闻语音是高度信息化的,而停顿、持续时间和基于单词的线索对于自然对话占主导地位。
2000-06-27 cs.CL
Modelling Adjectival Modification Effects on Semantic Plausibility
Institute for Natural Language Processing, University of Stuttgart(自然语言处理研究所,斯图加特大学)
本研究针对Adept基准,用句子转换器建模形容词修饰对事件语义合理性的影响,发现其性能不及RoBERTa,并通过错误分析揭示原因。
2026-09-17 cs.CL
Automatic Recognition and Classification of Future Work Sentences from Academic Articles in a Specific Domain
Nanjing University of Science and Technology(南京理工大学);Institute of Scientific & Technical Information of China(中国科学技术信息研究所)
未来工作句是指在学术论文中,作者对自己未来研究方向的描述。提出了一种从学术论文中自动提取模糊语义的方法,并根据论文内容中所体现的不同的未来发展方向对其进行分类。FWS识别方法将使后续研究者能够更准确、更快速地定位未来的工作句,减少获取语料库的时间和成本。目前对未来工作句自动识别的工作相对较少,现有研究无法从学术论文中准确识别出FWS,因而无法大规模进行数据采掘。再者,未来工作的内容有很多方面,对内容进行细分有利于分析具体的发展方向。本文以自然语言处理(NLP)为例,从学术论文中提取了FWS,并将其分为不同的类型。我们手动构建了一个带有六种不同类型FWS的注释语料库。然后,利用机器学习模型实现了FWS的自动识别和分类,并基于评价指标比较了这些模型的性能。实验结果表明,Bernoulli贝叶斯模型在自动识别任务中表现最好,Macro F1达到90.73%,SCIBERT模型在自动分类任务中表现最好,加权平均F1达到72.63%。最后,我们从FWS中提取关键词,并获得了FWS中描述的关键内容的深入理解,我们也证明了FWS中的内容确定将反映在后续的研究工作,通过测量未来的工作句子和摘要之间的相似性。
2022-12-28 cs.CL cs.DL
Finding Friends and Flipping Frenemies: Automatic Paraphrase Dataset Augmentation Using Graph Theory
University of Virginia(弗吉尼亚大学)
大多数NLP数据集都是手动标记的,因此存在不一致的标记或有限的大小。我们提出了自动改进数据集的方法,通过将它们视为具有预期语义属性的图形。我们从提供的句子对标签构建一个释义图,并通过使用传递性属性直接从原始句子对推断标签来创建增强数据集。我们使用结构平衡理论来识别图中可能的错误标签,并翻转它们的标签。我们评估了我们的方法在使用这些数据集从预训练的BERT模型开始训练的释义模型上,发现自动增强的训练集会产生更准确的模型。
2020-11-03 cs.CL
Overcoming the Curse of Sentence Length for Neural Machine Translation using Automatic Segmentation
Ecole Polytechnique(巴黎综合理工学院);Jacobs University(雅各布大学);Université de Montréal(蒙特利尔大学)
作者(Cho等人,2014 a)已经表明,与现有的基于短语的翻译系统不同,最近引入的神经网络翻译系统在翻译长句时遭受翻译质量的显著下降。在本文中,我们提出了一种方法来解决这个问题,自动分割成短语,可以很容易地翻译的神经网络翻译模型的输入句子。一旦每个片段已经由神经机器翻译模型独立地翻译,则翻译的子句被连接以形成最终翻译。实验结果表明,长句的翻译质量显着提高。
2014-10-07 cs.CL cs.LG cs.NE
Towards Automatic Construction of Filipino WordNet: Word Sense Induction and Synset Induction Using Sentence Embeddings
De La Salle University(德拉萨大学);Samsung R&D Institute Philippines(三星菲律宾研发院)
本研究提出一种仅依赖未标注语料库和句子嵌入语言模型进行词义与同义词集归纳的方法,并应用于 Filipino 文本,实证表明30%归纳词义有效、40%归纳同义词集有效(含20%新颖集),助力低资源语言 wordnet 自动构建。
2023-10-19 cs.CL
Towards Automatic Generation of Questions from Long Answers
University of Maryland College Park(马里兰大学帕克分校);Axogyan AI;University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research(微软研究院)
自动问题生成(AQG)在诸如辅导系统、会话代理、医疗素养和信息检索等领域具有广泛的适用性。AQG现有的努力仅限于两三句话的简短回答。然而,一些现实世界的应用程序需要从跨越几个句子的答案生成问题。因此,我们提出了一种新的评估基准来评估现有的AQG系统的长文本答案的性能。我们利用大规模开源Google Natural Questions数据集来创建上述长答案AQG基准。我们的经验表明,现有的AQG方法的性能显着下降的答案的长度增加。基于转换器的方法在自动和人工评估方面优于其他现有的AQG方法。然而,随着句子长度的增加,我们仍然观察到我们最好的模型的性能下降,这表明长答案QA是未来研究的一个具有挑战性的基准任务。
2020-04-15 cs.CL
Can an Old Dog Be Taught New Tricks? Taking LLMs Beyond Sentence Level Translation
探讨能否让大语言模型超越逐句翻译范式,提出基于RAG的PAT系统,通过与语料库结合让大语言模型进行全文翻译生成草稿,经评估发现其能朝重新表述发展,但提升重新表述有效性仍需更多工作,还讨论了相关设计与评估等要点。
2026-07-16 cs.CL
Unsupervised Sentence Simplification via Dependency Parsing
Monash University(莫纳什大学)
文本简化是重写文本的任务,使其可读性和易于理解。在本文中,我们提出了一个简单而新颖的无监督句子简化系统,利用解析结构与句子嵌入产生语言有效的简化。这意味着我们的模型能够引入实质性的修改来简化句子,同时保持其原始语义和足够的流畅性。我们在TurkCorpus集上建立了39.13 SARI的无监督最先进水平,并在各种质量指标上与监督基线进行了竞争。此外,我们证明了我们的框架的可扩展性,其他语言通过越南数据的概念验证。复制代码发布在\url{https://github.com/isVy08/USDP}上。
2022-06-10 cs.CL
Generating Gender Augmented Data for NLP
ADAPT Centre, Trinity College Dublin(都柏林圣三一学院ADAPT中心);ADAPT Centre, Dublin City University(都柏林城市大学ADAPT中心);Microsoft(微软);Tilburg University(蒂尔堡大学)
性别偏见在基于NLP的应用程序中经常发生,尤其是在性别变化的语言中。偏见可以通过某些形容词和有生命的名词与所指对象的自然性别的关联来出现,但也可能是由于屈折词的语法性别频率不平衡。这种类型的偏见在生成句子中没有指定性别的对话语句时变得更加明显,因为大多数当前的NLP应用程序仍然在会话级别的上下文上工作。作为迈向更包容的NLP的一步,本文提出了一种自动和可推广的短会话句子重写方法。重写方法可以应用于句子,没有额外的背景下,有多个等价的性别方面的替代品。该方法既可以用于创建性别平衡的输出,也可以用于创建性别平衡的训练数据。所提出的方法是基于神经机器翻译(NMT)系统训练“翻译”从一个性别的替代品到另一个。无论是自动和手动分析的方法显示出可喜的成果,自动生成的会话句子的性别选择在西班牙语。
2021-07-13 cs.CL
Evaluating Semantic Rationality of a Sentence: A Sememe-Word-Matching Neural Network based on HowNet
Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
语义合理性的自动评价是一项重要而又具有挑战性的任务,现有的自动技术不能很好地识别句子的语义是否合理。基于语言模型的方法不是用合理性来衡量句子,而是用共性来衡量句子。基于与人类书面句子相似性的方法在没有人类书面参考文献的情况下会失效。本文提出了一种新的模型--义素词匹配神经网络(SWM-NN),利用义素知识库知网来解决语义合理性评价问题。其优点是,我们的模型可以利用一个适当的义位组合来表示一个词在特定的上下文中的细粒度的语义含义。我们使用细粒度的语义表示来帮助模型学习词之间的语义依赖。为了评估所提出的模型的有效性,我们建立了一个大规模的合理性评估数据集。在该数据集上的实验结果表明,该模型比竞争基线的准确率提高了5.4%。
2018-09-11 cs.CL
A Shared Attention Mechanism for Interpretation of Neural Automatic Post-Editing Systems
University of Technology Sydney(悉尼科技大学);Capital Markets Cooperative Research Centre(资本市场合作研究中心)
自动译后编辑(APE)系统旨在纠正机器翻译人员的系统性错误。在本文中,我们提出了一个神经APE系统,编码源(src)和机器翻译(mt)的句子与两个单独的编码器,但利用共享的注意力机制,以更好地了解如何两个输入有助于生成编辑后(pe)的句子。我们的经验观察表明,当mt不正确时,注意力会将权重转移到src句子中的标记上,以正确地编辑不正确的翻译。该模型已在WMT16和WMT17 APE IT领域英语-德语共享任务的官方数据上进行了训练和评估。此外,我们还使用了共享任务提供的额外50万人工数据。我们的系统已经能够重现使用相同数据训练的系统的准确性,同时提供更好的可解释性。
2018-07-01 cs.CL
Inspiration through Observation: Demonstrating the Influence of Automatically Generated Text on Creative Writing
Language Weaver (RWS Group)(语言编织者(RWS集团))
让机器生成被认为具有创意的文本是一个长期追求的目标。越来越多的研究将这一目标导向增强人类作者的创造性写作能力。在本文中,我们追求这一目标,通过分析观察自动生成的文本的例子如何影响写作。特别是,我们研究了一个被称为句子填充的任务,它涉及到将一个单词列表转换成一个完整的句子。我们强调“故事性”作为一个可取的功能,产生的句子,其中“故事性”的句子是那些建议一个故事,读者会好奇地听到。人类和自动化系统(基于神经语言模型)都执行了这个句子填充任务。在一种情况下,人们自己写句子;在另一种情况下,人们在写自己的句子时观察模型产生的句子。然后,读者在随后的评估中将故事性偏好分配给所产生的句子。我们发现,人类创作的句子被判断为更故事时,作者观察生成的例子,和故事增加作者从例子中获得更多的语义内容。这一结果为人机协作写作提供了“通过观察获得灵感”的范例,通过这种范例,可以通过文本生成模型来增强人类写作,而无需直接复制其输出。
2021-07-08 cs.AI cs.CL cs.HC
Analysing Zero-Shot Readability-Controlled Sentence Simplification
School of Computer Science and Informatics, Cardiff University(卡迪夫大学计算机科学与信息学院);Faculty of Computing and Information Technology, King Abdulaziz University(阿卜杜勒阿齐兹大学计算与信息技术学院)
本研究分析零样本可读性受控句子简化,发现指令微调大模型难以简化至低可读性,且需定制评估指标。
2024-12-16 cs.CL
Automatic Knowledge Augmentation for Generative Commonsense Reasoning
Korea University(高丽大学)
生成式常识推理是语言模型根据常识知识生成具有给定概念集的句子的能力。然而,生成语言模型仍然难以提供输出,并且训练集不包含足以进行生成常识推理的模式。在本文中,我们提出了一个以数据为中心的方法,使用自动知识扩充,以扩大常识知识使用机器知识发生器。该方法可以生成半金句,提高生成常识推理的语言模型,而无需架构修改。此外,这种方法是一种与模型无关的方法,不需要人工进行数据构建。
2021-10-30 cs.CL
An Ensemble Approach for Automatic Structuring of Radiology Reports
CodaMetrix(科达矩阵);Amazon(亚马逊);Mass General Physicians Organization(麻省总医院医师组织)
电子医疗记录的自动结构化对于临床工作流程解决方案具有很高的要求,以便于提取、存储和查询患者护理信息。然而,开发可扩展的解决方案极具挑战性,特别是对于放射学报告,因为大多数医疗机构要么不使用模板,要么使用部门/机构特定的模板。此外,放射科医生的报告风格各不相同,因为句子是电报式的,不遵循一般的英语语法规则。我们提出了一个集成的方法,巩固了三个模型的预测,捕捉文本信息的各种属性的自动标签的句子与部分标签。这三种模式是:1)焦点句子模型,捕获目标句子的上下文; 2)周围上下文模型,捕获目标句子的邻近上下文;以及最后,3)布局/布局模型,旨在学习报告格式提示。我们利用双向LSTM,其次是句子编码器,以获取上下文。此外,我们定义了几个功能,包括报告的结构。我们将我们提出的方法与专有数据集上的多个基线和最先进的方法进行比较,以及来自MIMIC-III数据集的100个手动注释的放射学笔记,我们正在公开提供。我们提出的方法显著优于其他方法,达到97.1%的准确率。
2020-10-11 cs.CL cs.LG
Recoding latent sentence representations -- Dynamic gradient-based activation modification in RNNs
Institute for Logic, Language and Computation(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学)
在递归神经网络(RNN)中,以次优或错误的方式编码信息可能会影响基于序列中后续元素的表示质量,并随后导致错误的预测和更差的模型性能。在人类中,像花园小径句子这样具有挑战性的案例(例如臭名昭著的“马跑过谷仓瀑布”)会导致他们的语言理解误入歧途。然而,它们仍然能够相应地纠正它们的表示,并在遇到新信息时恢复。受此启发,我建议以基于梯度的校正机制的形式对标准RNN进行增强:通过这种方式,我希望使这些模型能够动态地适应句子的内部表示,增加一种方法来纠正偏差。因此,这可能会导致更强大的模型使用更灵活的表示,即使在推理时间。我在语言建模的背景下进行了不同的实验,详细研究了使用这种机制的影响。为此,我研究了基于不同类型的时间相关误差信号的修改以及它们如何影响模型性能。此外,这项工作包含了一个研究模型的信心,在其预测在训练过程中,并具有挑战性的测试样本和其操作的效果。最后,我还研究了这些新模型与标准LSTM基线相比的行为差异,并详细研究了错误情况,以确定未来研究的重点。我表明,虽然所提出的方法具有有前途的理论保证和吸引人的直觉,但由于其实际应用中的挑战和测试模型变体的有效性,它只能在基线上产生微小的改进。
2021-01-03 cs.AI cs.CL
GeBioToolkit: Automatic Extraction of Gender-Balanced Multilingual Corpus of Wikipedia Biographies
我们介绍GeBioToolkit,一个工具,用于提取多语言平行语料库在句子级别,从维基百科的传记文件和性别信息。尽管维基百科中存在性别不平等,但该工具包旨在提取性别平衡的语料库。虽然我们的工具包可以定制为任何数量的语言(和不同的领域),但在这项工作中,我们提供了英语,西班牙语和加泰罗尼亚语的2,000个句子的语料库,这些句子已经由母语人士进行了后期编辑,成为机器翻译评估的高质量数据集。虽然GeBioCorpus旨在成为第一个非合成性别平衡的测试数据集之一,但GeBioToolkit旨在为标准化程序铺平道路,以产生性别平衡的数据集
2019-12-10 cs.CL
DTATG: An Automatic Title Generator based on Dependency Trees
University of Massachusetts(马萨诸塞大学)
我们研究了给定文本块的自动标题生成,并提出了一种称为DTATG的方法来生成标题。DTATG首先提取少量的中心句子,这些句子传达了文本的主要含义,并且结构适合转换为标题。然后,DTATG为这些句子中的每一个构建依赖树,并使用我们设计的依赖树压缩模型删除某些分支。我们还设计了一个标题测试来确定一个句子是否可以用作标题。如果一个修剪过的句子通过了标题测试,那么它就成为标题候选。DTATG选择具有最高排名分数的标题候选者作为最终标题。实验结果表明,DTATG可以生成足够的标题。我们还表明,DTATG生成的标题有更高的F1分数比以前的方法产生的。
2017-10-01 cs.CL cs.IR
Evaluating Open-Domain Dialogues in Latent Space with Next Sentence Prediction and Mutual Information
Wuhan University(武汉大学);The University of Sheffield(谢菲尔德大学);Beihang University(北京航空航天大学)
针对开放域对话一对多的评估难题,提出融合下一句预测目标与互信息的CVAE-based评估指标CMN,在两个数据集上优于多种基线,尤其擅长处理语义偏离参考的回复。
2023-06-10 cs.CL
Warped Language Models for Noise Robust Language Understanding
Amazon Alexa AI(亚马逊Alexa人工智能部门)
Masked语言模型(MLM)是一种自我监督的神经网络,它被训练成用掩码标记来填充给定句子中的空白。尽管MLM对于各种基于文本的任务取得了巨大的成功,但是它们对于口语语言理解,特别是对于自发的会话语音识别噪声,并不鲁棒。在这项工作中,我们介绍了扭曲的语言模型(WLM),其中输入的句子在训练时经过相同的修改,在传销,加上两个额外的修改,即插入和丢弃随机令牌。这两个修改除了在MLMs中的修改之外,还扩展和收缩了句子,因此名称中的单词“warped”。在WLM的训练期间输入文本的插入和丢弃修改类似于由于自动语音识别(ASR)错误而引起的噪声类型,并且因此WLM可能对ASR噪声更鲁棒。通过计算结果,我们表明,建立在WLM之上的自然语言理解系统比建立在MLM之上的系统表现得更好,特别是在存在ASR错误的情况下。
2020-11-03 cs.AI cs.CL
Automatic Text Extractive Summarization Based on Graph and Pre-trained Language Model Attention
Peking University(北京大学)
将文本表示为图以获得自动文本摘要已经研究了十多年。随着自然语言处理(NLP)中注意力或注意力转换器(Transformer)的发展,在文本的图形和注意力结构之间建立联系成为可能。本文采用文本句子间的注意力矩阵作为文本全连通图的加权邻接矩阵,通过预训练的语言模型生成。GCN进一步应用于文本图模型,对每个节点进行分类,并从文本中找出显著句子。在两个典型数据集上的实验结果表明,与现有的模型相比,该模型可以获得具有竞争力的结果。
2022-07-26 cs.CL
Leveraging Closed-Access Multilingual Embedding for Automatic Sentence Alignment in Low Resource Languages
Bayero University Kano(卡诺州贝罗大学);University of Porto(波尔图大学);Northeastern University(东北大学);Arewa Data Science Nigeria(阿雷瓦尼日利亚数据科学机构);University Of Maiduguri(迈杜古里大学);Ahmadu Bello University(艾哈迈杜·贝洛大学)
本研究提出一种利用闭源 Cohere 多语言嵌入的平行句子对齐器,有效解决低资源语言数据获取难题,在 FLORES 和 MAFAND-MT 上 F1 分数远超 LASER,并显著提升翻译模型 BLEU 分数。
2023-11-20 cs.CL
Automatic Generation of Multiple-Choice Questions
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
创建多项选择题来评估给定文章的阅读理解,涉及生成问答对(QAP)和足够的干扰项。我们提出了两种方法来解决QAP生成的挑战:(1)基于T5 Transformer的基于深度学习的端到端问题生成系统,带有预处理和后处理管道(TP3)。我们将微调的T5模型用于问题生成的下游任务,并在预处理和后处理中使用各种NLP工具和算法的组合来选择适当的答案并过滤不需要的问题,从而提高准确性。(2)一个基于序列学习的方案,通过句子的元序列表示来生成适当的QAP。元序列是包括语义和句法标签的向量序列。我们设计了一种称为MetaQA的方案,用于从训练数据中学习元序列,以形成陈述句和相应疑问句的元序列对。TP3在看不见的数据上运行良好,这是MetaQA的补充。这两种方法都可以生成格式良好且语法正确的问题。此外,我们提出了一种新的方法来自动生成足够的干扰为一个给定的QAP。该方法是词性标注、命名实体标注、语义角色标注、正则表达式、领域知识库、词嵌入、词编辑距离、WordNet等算法的组合。
2023-03-25 cs.CL
Automatic Prediction of Discourse Connectives
Google(谷歌)
准确预测合适的话语联系语(然而,此外,等等)是任何旨在从较短的句子和段落中构建连贯流畅的话语的系统的关键组成部分。例如,一个对话系统可能会通过从Web上检索的不同文档中提取的段落进行采样,从而组合出一个长而信息丰富的答案。我们制定了话语连接词预测的任务,并发布了一个由话语连接词分隔的2.9M句子对的数据集。然后,我们评估了人类评分员的任务难度,将最近提出的可分解注意力(DA)模型应用于该任务,并观察到自动预测器具有比人类评分员更高的F1(32 vs. 30)。尽管如此,在特定条件下,评分者仍然优于DA模型,这表明未来还有改进的空间。
2018-02-01 cs.CL
Topological Sort for Sentence Ordering
Carnegie Mellon University(卡内基梅隆大学)
句子排序是将给定文本的句子以正确的顺序排列的任务。最近使用深度神经网络来完成这项任务的工作将其框定为序列预测问题。在本文中,我们提出了一个新的框架,这个任务作为一个约束求解问题,并介绍了一个新的技术来解决它。此外,我们提出了一个人的评价这个任务。在四个不同数据集上的自动和人工指标的结果表明,这种新技术在捕获文档中的一致性方面更好。
2020-05-01 cs.CL
DEPLAIN: A German Parallel Corpus with Intralingual Translations into Plain Language for Sentence and Document Simplification
Heinrich Heine University(海因里希·海涅大学)
本文提出德语简明语言平行语料库DEplain,包含新闻和网络领域的文档及句子对齐数据,并通过网络抓取与自动对齐动态扩展语料,实验证明其能有效训练基于transformer的文本简化模型。
2023-05-30 cs.CL
Human vs Automatic Metrics: on the Importance of Correlation Design
Université de Lorraine(洛林大学);LORIA(洛林计算机科学与应用实验室)
本文讨论了自然语言生成领域中两种现有的自动评测指标与人类评分之间的相关性分析方法。我们的实验表明,取决于使用的系统级或事件级相关分析,自动评分和人类判断之间的相关性结果是不一致的。
2021-03-12 cs.CL
MultiSubs: A Large-scale Multimodal and Multilingual Dataset
Imperial College London(帝国理工学院);Federal University of Mato Grosso(马托格罗索联邦大学)
本文介绍了一个大规模的多模态和多语种数据集,旨在促进研究接地的话,以图像在其语境中使用的语言。该数据集由选定的图像组成,以明确地说明电影字幕中句子表达的概念。该数据集是一个有价值的资源,因为(i)图像与文本片段而不是整个句子对齐;(ii)文本片段和句子可能有多个图像;(iii)句子是自由形式和真实世界;(iv)平行文本是多语言的。我们为人类设置了一个填空游戏来评估我们数据集的自动图像选择过程的质量。我们展示了数据集在两个自动任务上的实用性:(i)填空;(ii)词汇翻译。人工评估和自动模型的结果表明,图像可以是一个有用的补充,文本上下文。该数据集将有利于研究单词的视觉基础,特别是在自由形式句子的背景下,并且可以在知识共享许可下从https://doi.org/10.5281/zenodo.5034604获得。
2022-06-16 cs.CL
Verifying Claims About Metaphors with Large-Scale Automatic Metaphor Identification
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科)
本文利用Common Crawl语料和自动隐喻检测,大规模验证动词隐喻的语言学论断,发现隐喻动词的直接宾语在具体性、可意象性和熟悉度上更低,且更常出现在情感与主观句中。
2024-04-01 cs.CL
Extending Multi-Text Sentence Fusion Resources via Pyramid Annotations
Computer Science Department, Bar-Ilan University(巴伊兰大学计算机科学系)
比较或整合多个文档中信息的NLP模型在识别文本中大量信息冗余的挑战时往往会遇到困难。例如,在多文档摘要中,识别跨文本的显著信息,然后生成非冗余摘要是至关重要的,同时面对重复的且通常措辞不同的显著内容。为了便于研究这些挑战,提出了\textit{sentence fusion}的任务级别,但以前用于该任务的数据集在大小和范围上非常有限。在本文中,我们重新审视并大大扩展了以前的数据集创建工作。通过仔细修改,重新标记和采用补充数据源,我们能够将早期数据集的大小增加两倍。此外,我们还证明了我们的扩展版本在多文档任务中使用了更具代表性的文本,并提供了更大、更多样化的训练集,这大大改善了模型训练。
2021-10-09 cs.CL
Text Summarization using Deep Learning and Ridge Regression
Illinois Institute of Technology(伊利诺伊理工学院)
我们开发的模型和提取相关功能的自动文本摘要和DUC 2001数据集上的不同模型的性能进行了研究。开发了两种不同的模型,一种是岭回归器,另一种是多层感知器。超参数是不同的,并记录了它们的性能。我们将摘要任务分为两个主要步骤,第一步是句子排序,第二步是句子选择。在第一步中,给定一个文档,我们根据它们的重要性对句子进行排序,在第二步中,为了获得非冗余的句子,我们剔除与先前选择的句子具有高度相似性的句子。
2017-06-15 cs.CL
Discrete Optimization for Unsupervised Sentence Summarization with Word-Level Extraction
Heidelberg University(海德堡大学);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));University of Waterloo(滑铁卢大学)
自动句子摘要生成句子的较短版本,同时保留其最重要的信息。一个好的摘要的特点是语言流畅,与源句的信息重叠度高。我们在一个无监督的目标函数,包括语言建模和语义相似性度量这两个方面的模型。我们通过离散优化来寻找高分摘要。我们提出的方法实现了一个新的国家的最先进的无监督句子摘要根据ROUGE分数。此外,我们证明,通常报告的ROUGE F1度量是敏感的摘要长度。由于这是不情愿地利用在最近的工作中,我们强调,未来的评估应明确分组摘要系统的输出长度括号。
2020-05-04 cs.CL