What Have We Achieved on Text Summarization?
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Zhejiang University(浙江大学);Tencent SPPD(腾讯可持续社会价值事业部)
多年来,通过研究各种方法并提高报告的ROUGE分数,深度学习已经显着改善了文本摘要。然而,自动摘要器和人类专业人员制作的摘要之间仍然存在差距。为了更好地了解摘要系统在细粒度语法和语义层面上的优势和局限性,我们参考了多维质量度量(MQM),并手动量化了10个代表性摘要模型的8个主要错误来源。首先,我们发现:1)在相似的设置下,由于忠实性和事实一致性的优势,提取摘要通常优于抽象摘要; 2)复制,覆盖和混合提取/抽象方法等里程碑技术确实带来了具体的改进,但也表现出局限性; 3)预训练技术,特别是序列到序列的预训练,对于改进文本摘要非常有效,BART给出了最好的结果。
2020-10-09 cs.CL
Multi-document abstractive summarization using ILP based multi-sentence compression
The Pennsylvania State University(宾夕法尼亚州立大学);QCRI(卡塔尔计算研究所);National University of Singapore(新加坡国立大学)
摘要文摘是一种理想的文摘形式,它可以综合多个文档中的信息,生成简洁的信息摘要。在这项工作中,我们的目标是开发一个抽象的摘要。首先,我们提出的方法确定多文档集中最重要的文档。最重要文档中的句子与其他文档中的句子对齐,以生成相似句子的聚类。其次,我们使用词图结构从每个聚类中的句子生成K-最短路径。最后,我们选择句子从所有集群产生的最短路径集采用一种新的整数线性规划(ILP)模型的目标是最大限度地提高信息含量和可读性的最终摘要。我们的ILP模型将最短路径表示为二元变量,并在目标函数中考虑路径的长度、信息分数和语言质量分数。DUC 2004年和2005年的多文档摘要数据集上的实验结果表明,我们提出的方法优于所有的基线和国家的最先进的提取摘要衡量的ROUGE分数。我们的方法也优于最近的抽象摘要技术。在人工评估中,我们的方法也取得了可喜的成果的信息性和可读性。
2016-09-22 cs.CL
Semantic Similarity Measure of Natural Language Text through Machine Learning and a Keyword-Aware Cross-Encoder-Ranking Summarizer -- A Case Study Using UCGIS GIS&T Body of Knowledge
School of Geographical Sciences and Urban Planning, Arizona State University(亚利桑那州立大学地理科学与城市规划学院)
针对GIS&T BoK主题语义关系手动定义不完整的问题,评估多种NLP技术提取文本语义,并提出KACERS摘要器生成科学文献语义摘要,以指导BoK内容组织并展示长文本语义理解潜力。
2023-05-17 cs.AI cs.CL cs.IR
ChatGPT: Beginning of an End of Manual Linguistic Data Annotation? Use Case of Automatic Genre Identification
Jožef Stefan Institute(约泽夫·斯蒂芬研究所);Center za jezikovne vire in tehnologije(语言资源与技术中心);Univerze v Ljubljani(卢布尔雅那大学)
ChatGPT在自然语言生成任务中表现出了强大的能力,这自然会导致研究人员探索其能力的极限。在本文中,我们研究ChatGPT是否可以用于zero-shot文本分类,更具体地说,自动体裁识别。我们将ChatGPT与多语言XLM-RoBERTa语言模型进行了比较,该语言模型在数据集上进行了微调,并手动注释了流派。该模型进行了比较测试集在两种语言:英语和斯洛文尼亚语。结果表明,ChatGPT在应用于两个模型之前都没有见过的数据集时,性能优于微调模型。即使在斯洛文尼亚语作为一种资源不足的语言应用时,ChatGPT的表现也不比应用于英语时差。但是,如果模型完全以斯洛文尼亚语提示,性能会显着下降,显示ChatGPT在较小语言上使用的当前限制。所呈现的结果使我们质疑这是否是结束费力的手动注释活动的开始,即使是较小的语言,如斯洛文尼亚语。
2023-03-08 cs.CL cs.LG
Low-Level Linguistic Controls for Style Transfer and Content Preservation
Columbia University(哥伦比亚大学)
尽管风格转移在图像处理中取得了成功,但在自然语言生成中的进展有限。部分问题在于文本域中的内容不容易与样式分离。奇怪的是,在文体计量学领域,内容在区分文体元素(如作者身份和体裁)的实际方法中并不突出。而句法和虚词是最突出的特征。在这项工作的基础上,我们将风格建模为一套低层次的语言控制,如代词,介词和从句结构的频率。我们训练一个神经编码器-解码器模型来重建参考句子,只给出内容词和控件的设置。我们通过保持内容词固定,同时调整控件以指示另一种风格来执行风格转换。在实验中,我们表明,该模型可靠地响应语言控制,并进行自动和手动评估的风格转移。我们发现我们可以在84%的时间里欺骗风格分类器,并且我们的模型产生了高度多样化和风格独特的输出。这项工作介绍了一个正式的,可扩展的风格模型,可以添加控制任何神经文本生成系统。
2019-11-08 cs.CL
How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research(微软研究院);New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
当前的语言模型可以生成高质量的文本。他们只是简单地复制他们以前看过的文本,还是他们学会了概括的语言抽象?为了梳理除了这些可能性,我们介绍了RAVEN,一套分析,用于评估生成的文本的新颖性,专注于顺序结构(n-gram)和句法结构。我们将这些分析应用于四个神经语言模型(LSTM,Transformer,Transformer-XL和GPT-2)。对于本地结构-例如,个体依赖性-模型生成的文本基本上不如我们从每个模型的测试集中人工生成的文本的基线新颖。对于较大规模的结构,例如,整体句子结构-模型生成的文本与人类生成的基线一样新颖,甚至更新颖,但模型有时仍然大量复制,在某些情况下,从训练集中复制超过1,000个单词的段落。我们还进行了大量的手动分析,表明GPT-2的小说文本通常在形态和句法上都是格式良好的,但有相当频繁的语义问题(例如,自相矛盾)。
2021-11-18 cs.CL
Towards End-to-end Speech-to-text Summarization
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Universidade do Porto, Faculdade de Engenharia(波尔图大学工程学院);Priberam
该研究针对法语广播新闻语料库,提出借助预训练T2T摘要器迁移学习的端到端S2T抽象式摘要模型,实验显示其优于抽取式基线但仍落后于级联系统,并分析了差距与未来方向。
2023-06-06 cs.AI cs.CL cs.LG
Detecting (Un)Important Content for Single-Document News Summarization
Redfin Inc.(Redfin公司);University of Akron(阿克伦大学);University of Pennsylvania(宾夕法尼亚大学)
我们提出了一个强大的方法来检测内在的句子重要性的新闻,通过训练两个语料库的文档摘要对。当用于单文档摘要,我们的方法,结合“文档开头”的启发式,优于一个国家的最先进的摘要和文章的自动和手动评估的基准。这些结果代表了一个重要的进步,因为在没有跨文档重复的情况下,新闻的单文档摘要器无法始终优于强大的文章摘要基线。
2017-02-26 cs.CL
FlaCGEC: A Chinese Grammatical Error Correction Dataset with Fine-grained Linguistic Annotation
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学)
针对现有中文语法纠错数据集缺乏语法错误深层语言结构的问题,研究者构建了带细粒度语言标注的FlaCGEC数据集,实验表明该数据集具有挑战性,可用于模型泛化能力诊断。
2023-09-26 cs.AI cs.CL
Guiding Extractive Summarization with Question-Answering Rewards
University of Central Florida(中佛罗里达大学)
在阅读时突出显示是人们跟踪文档的显著内容的自然行为。希望教一个提取式摘要器做同样的事情。然而,一个主要的障碍,监督摘要的发展是缺乏地面真相。提取单元的手动注释成本高昂,而通过自动对齐人类摘要和源文档来获取标签可能会产生较差的结果。在本文中,我们描述了一个新颖的框架来指导具有问答奖励的监督式提取摘要系统。我们认为,高质量的摘要应作为一个文件的替代品,以回答重要的问题,这样的问答对可以方便地从人类摘要。该系统学习促进信息丰富,流畅,并在问答时表现出竞争力的摘要。我们的结果与自动指标和人类评估员评估的强汇总基线报告的结果相比毫不逊色。
2019-04-04 cs.CL
Evaluating the Factuality of Zero-shot Summarizers Across Varied Domains
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学)
本研究评估零样本摘要器在生物医学和法律等专业领域的事实性,通过专家标注错误并分析预训练语料领域普遍性的影响,发布标注数据集以促进事实准确摘要研究。
2024-02-05 cs.AI cs.CL cs.LG
Automatic Text Summarization Methods: A Comprehensive Review
由于互联网的迅速发展而出现的最紧迫的问题之一被称为信息过载。以摘要的形式简化相关信息将有助于许多人,因为互联网上任何主题的材料都很丰富。手动总结大量文本对人类来说是相当具有挑战性的。因此,它增加了对更复杂和更强大的摘要器的需求。自20世纪50年代以来,研究人员一直试图改进创建摘要的方法,以便机器生成的摘要与人类创建的摘要相匹配。这项研究提供了一个详细的最先进的分析文本摘要的概念,如摘要方法,使用的技术,标准数据集,评估指标和未来的研究范围。最普遍接受的方法是提取和抽象的,在这项工作中详细研究。评估总结并增加可重用资源和基础设施的开发有助于比较和复制结果,增加竞争以改善结果。本研究也讨论了不同的摘要评价方法。最后,在本研究的最后,几个挑战和研究机会相关的文本摘要研究提到,可能是有用的潜在的研究人员在这一领域的工作。
2022-03-03 cs.CL cs.IR cs.LG
Corpus-based Web Document Summarization using Statistical and Linguistic Approach
Khulna University of Engineering & Technology(库尔纳工程技术大学)
单文档摘要通过抽取文档中具有代表性的句子生成摘要。在本文中,我们提出了一种新的技术,从一个单一的Web文档,使用统计和语言分析的参考语料库和Web文档中的文本领域特定的文本摘要。该方法利用句子权重(SW)和主题权重(SuW)的组合函数来确定句子的排序,其中SW是句子中的术语数(t_n)和单词数(w_n)以及语料库中的术语频率(t_f)的函数,SuW是主题中的术语数(t_n)和单词数(w_n)以及语料库中的术语频率(t_f)的函数。30%的排序句子被认为是Web文档的摘要。我们使用我们的技术生成了三个Web文档摘要,并将它们与16个不同人类受试者手动开发的摘要进行了比较。结果表明,68%的摘要,我们的方法产生的满足人工摘要。
2013-04-09 cs.CL cs.IR
NeoN: A Tool for Automated Detection, Linguistic and LLM-Driven Analysis of Neologisms in Polish
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
NeoN结合参考语料库、语言过滤器、LLM精度提升和每日RSS监控的多层流水线,自动检测波兰语新词,生成定义并分类,在保持高准确率的同时大幅减少人工工作量。
2025-05-21 cs.CL
Building Tamil Treebanks
University of Jaffna(贾夫纳大学);University of Konstanz(康斯坦茨大学)
本文探讨了通过人工标注、计算语法和机器学习三种方法构建泰米尔语树库,分析了各自的优势与挑战,强调了其对推进语言学研究和改善泰米尔语NLP工具的重要性。
2024-09-23 cs.CL
Provenance for Linguistic Corpora Through Nanopublications
Business Web and Media(商业网络与媒体);VU Amsterdam(阿姆斯特丹自由大学)
计算语言学的研究依赖于文本语料库来训练和测试新的工具和方法。虽然存在过多的注释语言信息,但这些语料库通常在没有大量手工工作的情况下无法互操作。此外,这些注释可能已经演变成不同的版本,使研究人员难以了解数据的出处。本文通过对事件注释语料库的案例研究来解决这个问题,并以纳米出版物的形式创建了一种新的,更具互操作性的数据表示。我们演示了如何从一开始就可以可靠地链接来自不同语料库的语言注释,从而访问和查询,就好像它们是一个单一的数据集。我们描述了如何创建这样的nanopublications,并演示了如何SPARQL查询可以从新的表示提取有趣的内容。查询结果表明,由于不同语料库的信息以统一的数据格式表示,因此可以更方便、更有效地检索多个语料库的信息。
2020-11-02 cs.CL
Quality and Efficiency of Manual Annotation: Pre-annotation Bias
本文针对依存句法标注任务,分析自动预标注及规则检查、参考标注对人工标注质量与效率的影响,证实预标注可在不降低质量的前提下提升标注速度与结果一致性。
2023-06-15 cs.CL
TGSum: Build Tweet Guided Multi-Document Summarization Dataset
The Hong Kong Polytechnic University(香港理工大学);Peking University(北京大学);Microsoft Research(微软研究院)
摘要研究的发展一直受到昂贵的参考摘要获取的严重阻碍。本文提出了一种有效的方法来自动收集大规模的新闻相关的多文档摘要参考社会媒体的反应。我们在推文中使用两种类型的社交标签,即,标签和超链接主题标签用于将文档聚类到不同的主题集中。此外,带有超链接的推文通常会突出显示相应文档的某些关键点。我们合成一个链接的文档簇,形成一个参考摘要,可以涵盖大多数关键点。为此,我们采用了ROUGE度量来衡量覆盖率,并开发了一个线性规划的解决方案来发现达到ROUGE上界的句子集。由于我们允许从文档和高质量的推文中选择摘要句子,因此生成的参考摘要可以是抽象的。所收集的摘要的信息量和可读性均通过人工判断进行验证。此外,我们训练支持向量回归摘要DUC通用多文档摘要基准。将收集到的数据作为额外的训练资源,使摘要器在所有测试集上的性能都有了很大的提高。我们发布此数据集以供进一步研究。
2015-11-26 cs.CL cs.IR
Un modèle générique d'organisation de corpus en ligne: application à la FReeBank
少数可用的法语资源,用于评估语言模型或算法的其他语言水平比形态句法是不够的,从定量和定性的角度来看,或不能免费访问。基于这一事实,FREEBANK项目打算创建法语语料库构建使用手动修订的输出从一个混合约束语法分析器和注释的几个语言水平(结构,形态句法,句法,共指),其目标是使他们在线研究的目的。因此,我们将专注于使用标准的注释方案,整合现有资源和维护,以便不断丰富注释。在实际介绍已经实施的原型之前,本文描述了一个通用模型,用于组织和部署语言资源档案,符合目前在国际标准化倡议(TEI和ISO/TC 37/SC 4)中进行的各种工作。
2006-11-06 cs.CL
Unsupervised Discovery of Linguistic Structure Including Two-level Acoustic Patterns Using Three Cascaded Stages of Iterative Optimization
National Taiwan University(台湾大学)
声学模式的无监督发现技术正变得越来越有吸引力,因为大量的语音数据变得可用,但手动注释仍然很难获得。在本文中,我们提出了一种方法,无监督发现的语言结构的目标口语给定的原始语音数据。该语言结构包括两级声学模式(类子词和类词)、基于类子词模式的类词模式词典和基于类词模式的N-gram语言模型。所有的模式,模型和参数可以从未标记的语音语料库中自动学习。这是通过一个初始化步骤,其次是三个级联阶段的声学,语言和词汇迭代优化。类词模式的词典定义了类子词模式的允许的连续的HALTH序列。在每一次迭代中,模型训练和解码产生更新的标签,词典和障碍可以进一步更新。通过这种方式,在每次迭代中分别优化模型参数和解码标签,并且逐步逐层学习关于语言结构的知识。在普通话广播新闻语料库上进行了初步实验,对所提出的方法进行了测试,其中包括使用以监督方式训练的模型进行并行测试的口语术语检测任务。结果表明,该系统不仅产生合理的性能本身,但也是现有的大词汇量ASR系统的补充。
2015-09-07 cs.CL
ASL Video Corpora & Sign Bank: Resources Available through the American Sign Language Linguistic Research Project (ASLLRP)
Boston University(波士顿大学);Rutgers University(罗格斯大学)
美国手语语言学研究项目(ASLLRP)提供高质量手语视频数据的互联网访问,通常包括正面和侧面视图以及面部特写。签名的手动和非手动部分已经使用SignStream(R)进行了语言注释。最近扩展的视频语料库可以通过我们设计的数据访问接口(DAI 2)进行浏览和搜索;可以进行复杂的搜索。我们的语料库中的数据也可以下载;注释以XML导出格式提供。我们还开发了ASLLRP符号库,其中包含近6,000个词汇符号的符号条目,具有独特的基于英语的注释,共有41,830个词汇符号示例(此外还有大约300个手势,超过1,000个手指拼写符号和475个分类器示例)。同样,在互联网上也可以访问和搜索符号库;也可以从SignStream(R)(促进语言注释和视觉语言数据分析的软件)中访问该符号库,以使注释更加准确和有效。在这里,我们描述了可用的资源。这些数据已被用于许多类型的研究语言学和基于计算机的手语识别从视频;这样的研究的例子提供在本文的后半部分。
2022-01-19 cs.CL cs.CV cs.LG
SportsSum2.0: Generating High-Quality Sports News from Live Text Commentary
Soochow University(苏州大学);Fudan University(复旦大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);iFLYTEK Research(讯飞研究院);Anhui Toycloud Technology(安徽乐客云科技)
体育比赛摘要旨在从现场文本评论中生成新闻文章。最近的一项最先进的工作SportsSum不仅构建了一个大型基准数据集,而且还提出了一个两步框架。尽管该方法做出了巨大的贡献,但仍存在三个主要问题:1)SportsSum数据集存在的噪声影响了摘要的性能; 2)忽略了新闻和评论之间的词汇重叠,导致伪标记算法质量不高; 3)直接拼接重写句子形成新闻限制了其实用性。在本文中,我们发布了一个新的基准数据集SportsSum2.0,以及修改后的摘要框架。特别是,为了获得一个干净的数据集,我们雇用人群工作人员手动清理原始数据集。此外,词汇重叠的程度被纳入到伪标签的生成。此外,我们引入了一个reranker-enhanced的摘要,以考虑到流畅性和表现力的总结新闻。大量的实验表明,我们的模型优于国家的最先进的基线。
2021-10-12 cs.CL
TalkTag: Fine-Grained Morphosyntactic Error Annotation for Transcribed Speech
Karlsruhe Institute of Technology, Germany(德意志联邦共和国卡尔斯鲁厄理工大学);Karlsruhe University of Applied Sciences, Germany(德意志联邦共和国卡尔斯鲁厄应用科学大学)
提出基于LLM的轻量级工具TalkTag,在数据稀缺条件下自动进行口语转录文本的CHAT风格错误标注,实现低资源场景下的精确标注并识别歧义情况。
2026-06-01 cs.CL
UCCA's Foundational Layer: Annotation Guidelines v2.1
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Georgetown University(乔治城大学)
这是通用概念认知注释(UCCA; Abend和Rappoport,2013)的注释手册,特别是基础层。UCCA是基于类型语言学原理的基于图的语义标注方案。它已被应用于几种语言;为了便于说明,这些指南主要以英语给出示例。新的注释者可能希望从UCCA框架的教程开始(Abend等人,2020年)。更多资源可访问项目主页:https://universalconceptualcognitiveannotation.github.io
2020-12-31 cs.CL
Cross-linguistically Consistent Semantic and Syntactic Annotation of Child-directed Speech
University of Edinburgh(爱丁堡大学);Hebrew University of Jerusalem(耶路撒冷希伯来大学);Georgetown University(乔治城大学)
本文提出一种跨语言一致的句法与语义标注方法,构建英语和希伯来语儿童导向言语语料库,验证质量并展示其在语言习得研究中的效用。
2024-03-14 cs.CL
From Labels to Facets: Building a Taxonomically Enriched Turkish Learner Corpus
本文提出了一种半自动标注方法,构建了首个具有分类学丰富的土耳其学习者语料库,通过多维分类学实现更精细的标注与分析。
2026-02-02 cs.CL
Investigating accuracy of pitch-accent annotations in neural network-based speech synthesis and denoising effects
National Institute of Informatics(国立信息学研究所);KDDI Research Inc.(KDDI研究所)
我们研究了噪声语言特征对基于WaveNet声码器的神经网络的日语语音合成系统性能的影响。我们比较了一个理想的系统,使用手动校正的语言特征,包括音素和韵律信息的训练和测试集对其他几个系统,使用损坏的语言特征。主观和客观的结果表明,损坏的语言特征,特别是那些在测试集,影响了理想的系统的性能显着的统计意义上,由于训练和测试集之间的不匹配条件。有趣的是,虽然话语级图灵测试表明听众很难区分合成语音和自然语音,但它进一步表明,在训练集中向语言特征添加噪声可以部分减少失配的影响,正则化模型,并帮助系统在测试集的语言特征有噪声时表现得更好。
2018-08-02 cs.CL cs.SD eess.AS
Manual Annotation of Translational Equivalence: The Blinker Project
双语注释者被雇佣来将现代法语和现代英语的在线圣经版本之间的大约16000个对应单词联系起来。这些注释可从http://www.cis.upenn.edu/~melamed免费提供给研究社区。注释可用于多种目的。首先,它们可以用作开发和测试翻译词典和统计翻译模型的标准数据集。其次,词汇语义学的研究者将能够挖掘注释,以了解跨语言词汇化模式。第三,注释可以用于研究最近提出的单语词义消歧方法。本文介绍了注释文本,专门设计的注释工具,以及所采用的策略,以提高注释的一致性。注释过程由不同的注释者重复了五次。注释者之间的一致率表明,注释是合理可靠的,该方法是很容易复制。
1998-05-11 cmp-lg cs.CL
Understanding Social Media Cross-Modality Discourse in Linguistic Space
The Hong Kong Polytechnic University(香港理工大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
带有文本和图像的多媒体通信在社交媒体上很受欢迎。然而,有限的研究关注如何图像与文本的结构,形成连贯的意义在人类认知。为了填补这一空白,我们提出了一个新的跨模态话语的概念,反映了人类读者如何耦合图像和文本的理解。在多媒体环境中,文本描述首先来自图像(称为字幕)。五个标签-实体级插入,投影和具体化和场景级重述和扩展-进一步被用来塑造字幕和文本的结构,并呈现它们的联合意义。作为试点研究,我们还建立了第一个包含16 K多媒体推文的数据集,其中包含手动注释的话语标签。实验结果表明,基于带字幕的多头注意力的多媒体编码器能够获得较好的编码效果。
2023-02-26 cs.CL cs.MM cs.SI
InterView-C: A Synchronized Multimodal Corpus of VR Avatar-Mediated Survey Interviews
Goethe University(歌德大学);Leibniz Institute for Educational Trajectories (LIfBi)(莱布尼茨教育轨迹研究所)
InterView-C是一个德语多模态语料库,包含27次VR化身调查访谈,同步行为数据与人工转写,用于分析口语互动并解决ASR和迁移挑战。
2026-10-08 cs.CL
Global Contentious Politics Database (GLOCON) Annotation Manuals
数据库的创建利用了自动化的文本处理工具,这些工具检测新闻文章是否包含抗议事件,在文章中定位抗议信息,并提取关于检测到的抗议事件的信息片段。培训和测试自动化工具的基础是GLOCON Gold Standard Corpus(GSC),其中包含来自每个重点国家的多个来源的新闻文章。GSC中的文章由熟练的注释者在分类和提取任务中手动编码,具有自动化工具开发所需的最高准确性和一致性。为了确保这些,本文档中的注释手册列出了注释者对新闻文章进行编码的规则。注释者在所有注释任务中始终参考手册,并应用其中包含的规则。注释手册的内容建立在其他著名注释手册(如ACE,CAMEO和TimeML)中规定的语言注释的一般原则和标准之上。然而,这些原则已被改编或修改,以适应社会科学的概念和变量中使用的EMW项目。该手册是在长期的试错过程中形成的,伴随着GSC的注释。它现在的形状在很大程度上归功于高度专业化的注释者团队的细致工作和宝贵的反馈,他们的勤奋和专业知识大大提高了语料库的质量。
2022-05-17 cs.CL cs.CY cs.LG
LEPOR: An Augmented Machine Translation Evaluation Metric
University of Macau(澳门大学)
机器翻译是自然语言处理领域的研究热点之一。机器翻译中的一个重要问题是如何对机器翻译系统进行合理的评价,并告诉我们翻译系统是否有所改进。传统的人工判断方法成本高、耗时长、不可重复、一致性差。另一方面,目前流行的机器翻译自动评测方法也存在一些不足。首先,他们在以英语为目标语言的语言对上表现较好,而在以英语为源语言的语言对上表现较弱。其次,一些方法依赖于许多额外的语言特征来实现良好的性能,这使得度量无法复制和应用于其他语言对。第三,一些流行的指标使用不全面的因素,这导致在一些实际任务的性能低下。在本论文中,我们针对现有的问题,设计了新的机器翻译评估方法,并研究了它们在不同语言上的性能。首先,我们设计增强因子以产生高度准确的评估。其次,我们设计了一个可调的评估模型,其中的因素的权重可以根据语言的特点进行优化。第三,在我们的方法的增强版本中,我们使用词性(POS)设计简洁的语言特征,以表明我们的方法在使用一些外部语言资源时可以产生更高的性能。最后,我们介绍了我们的指标在ACL-WMT研讨会共享任务中的实际性能,这表明所提出的方法在不同语言中具有鲁棒性。此外,我们还提出了一些新的工作质量估计MT不使用参考翻译,包括使用概率模型的朴素贝叶斯(NB),支持向量机(SVM)分类算法,和CRF。
2022-01-24 cs.CL
Assessing the potential of LLM-assisted annotation for corpus-based pragmatics and discourse analysis: The case of apology
Beijing Foreign Studies University(北京外国语大学);Sichuan International Studies University(四川外国语大学);University of Birmingham(伯明翰大学)
针对语用话语特征人工标注效率低的问题,本研究探索LLM辅助语料库标注的潜力,对比发现GPT-4标注道歉成分的准确率接近人工,可提升标注效率与可扩展性。
2024-12-09 cs.AI cs.CL
A standardized Project Gutenberg corpus for statistical analysis of natural language and quantitative linguistics
Northwestern University(西北大学);University of Milan(米兰大学)
古腾堡计划(PG)作为一个文本语料库的使用已经非常流行的语言统计分析超过25年。然而,与其他具有类似重要性的主要语言数据集相比,迄今为止还没有一致同意的完整版本的PG。事实上,到目前为止,大多数PG研究要么只考虑少量手动选择的书籍,导致潜在的偏见子集,要么采用截然不同的预处理策略(通常详细说明不足),引起对已发表结果的可重复性的担忧。为了解决这些缺点,在这里,我们提出了标准化项目古腾堡语料库(SPGC),一个开放的科学方法,包含超过50,000本书和超过$3 \times 10^9$单词标记的完整PG数据的策划版本。使用不同来源的注释元数据,我们不仅提供了一个广泛的表征PG的内容,但也显示了不同的例子,突出SPGC的潜力,跨时间,主题和作者的语言变异性调查。我们详细发布了我们的方法,下载和处理数据的代码,以及在3个不同粒度级别上获得的语料库本身(原始文本,单词标记的时间序列和单词计数)。通过这种方式,我们提供了一个可复制的,预处理的,全尺寸版本的古腾堡项目作为语料库语言学,自然语言处理,和信息检索的新的科学资源。
2018-12-19 cs.CL cs.DL cs.IR
Investigation of learning abilities on linguistic features in sequence-to-sequence text-to-speech synthesis
National Institute of Informatics(国立信息学研究所);SOKENDAI (The Graduate University for Advanced Studies)(综合研究大学院大学);Centre for Speech Technology Research, University of Edinburgh(爱丁堡大学语音技术研究中心)
神经序列到序列文本转语音合成(TTS)可以直接从文本或简单的语言特征(如音素)生成高质量的语音。与传统的流水线TTS不同,神经序列到序列TTS不需要手动注释和复杂的语言特征,如词性标签和句法结构用于系统训练。然而,它必须精心设计和优化,以便它可以隐式地从输入特征中提取有用的语言特征。在本文中,我们研究了在什么条件下神经序列到序列TTS可以在日语和英语中很好地工作,并与基于深度神经网络(DNN)的管道TTS系统进行了比较。与过去的比较研究不同,管道系统还使用自回归概率建模和神经声码器。我们从三个方面研究了系统:a)模型架构,b)模型参数大小和c)语言。对于模型架构方面,我们采用了我们之前提出的修改后的Tacotron系统及其变体,使用Tacotron或Tacotron2的编码器。在模型参数大小方面,我们研究了两种模型参数大小。在语言方面,我们用日语和英语进行听力测试,看看我们的发现是否可以在不同语言中推广。我们的实验表明,a)神经序列到序列TTS系统应该有足够数量的模型参数来产生高质量的语音,b)当它将字符作为输入时,它还应该使用强大的编码器,c)编码器仍然有改进的空间,需要有一个改进的架构来更适当地学习超音段特征。
2020-10-07 cs.CL cs.SD eess.AS
From Visual Attributes to Adjectives through Decompositional Distributional Semantics
Thomas J. Watson Research Center, IBM(IBM托马斯·J·沃森研究中心);Center for Mind/Brain Sciences(心智/脑科学中心);University of Trento(特伦托大学)
随着自动化图像分析的发展,人们越来越感兴趣的是图片的更丰富的语言注释,具有对象的属性(例如,毛茸茸的,棕色的.)吸引了最多的注意力。通过建立在最近的“零样本学习“的方法,并注意到作为名词修饰语的属性的语言性质,特别是形容词,我们表明,即使没有包含相关注释的训练数据,也可以用表示属性的形容词来标记图像。我们的方法依赖于两个关键的观察结果。首先,对象可以被看作是属性的集合,通常用形容词修饰语来表示(狗是毛茸茸的、棕色的东西等),并且因此被训练为将对象的视觉表示映射到名义标签的函数可以隐式地学习将属性映射到形容词。第二,对象和属性在图片中聚集在一起(同样的东西是一只狗,它是棕色的)。因此,我们可以实现更好的属性(和对象)标签检索处理图像作为“视觉短语”,并将其语言表示分解成一个属性表示形容词和对象表示名词。我们的方法执行的方法,利用手动属性标注,它优于各种竞争对手的替代品在属性和对象注释,它自动构造属性为中心的表示,显着提高性能的监督对象识别。
2015-03-24 cs.CL cs.CV