Adverbs Revisited: Enhancing WordNet Coverage of Adverbs with a Supersense Taxonomy
Department of Linguistics Brown University Providence, RI 02912, United States(语言学系 布朗大学 罗得岛州普罗维登斯 02912 美国)
针对WordNet中副词语义分类缺失的问题,本文提出经标注验证的副词超义类分类体系,可有效提升WordNet副词覆盖度并支撑下游NLP任务。
2025-11-14 cs.CL
On the Definition of Japanese Word
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
通用依存关系(UD)的标注指南规定依存关系标注的基本单位是句法词,但日语中句法词的定义并不明确。在依存句法分析中,UD日语树库采用了短单位词,这与使用短语单位词进行依存句法分析的传统不同。然而,我们认为,他们不是句法词指定的注释准则。虽然我们发现非主流的尝试,语言学定义的日语单词,这样的定义从来没有被应用到语料库注释。我们将讨论采用这些不太熟悉的标准的成本和收益。
2019-06-24 cs.CL
SciNLI: A Corpus for Natural Language Inference on Scientific Text
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
现有的自然语言推理(NLI)数据集虽然有助于自然语言理解(NLU)研究的进步,但与科学文本无关。在本文中,我们介绍了SciNLI,这是一个用于NLI的大型数据集,它捕获了科学文本中的形式,包含从NLP和计算语言学的学术论文中提取的107,412个句子对。鉴于科学文献中使用的文本在词汇和句子结构方面与日常语言中使用的文本有很大不同,我们的数据集非常适合作为评估科学NLU模型的基准。我们的实验表明,SciNLI比现有的NLI数据集更难分类。我们使用XLNet的最佳性能模型的Macro F1得分仅为78.18%,准确率为78.23%,这表明还有很大的改进空间。
2022-03-15 cs.CL
Structural Scaffolds for Citation Intent Classification in Scientific Publications
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
识别科学论文中引用的意图(例如,背景信息、方法的使用、比较结果)对于单个出版物的机器阅读和科学文献的自动分析至关重要。我们提出了结构支架,一个多任务模型,将结构信息的科学论文引用有效分类的引用意图。我们的模型在现有ACL选集数据集(ACL-ARC)上实现了新的最先进水平,F1分数绝对增加了13.3%,而不依赖于现有方法中的外部语言资源或手工设计的特征。此外,我们还引入了一个新的引用意图数据集(SciCite),与现有数据集相比,该数据集的大小超过五倍,涵盖了多个科学领域。我们的代码和数据可在https://github.com/allenai/scicite上获得。
2019-09-30 cs.CL
International Standard for a Linguistic Annotation Framework
Vassar College(瓦萨学院);LORIA/INRIA(洛里亚/法国国家信息与自动化研究所)
本文介绍了ISO TC37 SC4 WG1正在开发的语言注释框架。语言注释框架旨在作为协调现有语言资源和开发新资源的基础。
2007-07-22 cs.CL
A Formal Framework for Linguistic Annotation
“语言注释”包括适用于原始语言数据的任何描述性或分析性符号。基本数据可以是时间函数的形式-音频、视频和/或生理记录-或者可以是文本。增加的注释可能包括各种类型的音译(从语音特征到话语结构)、词性和意义标注、句法分析、“命名实体”识别、共指注释等。虽然目前正在努力为这些注释提供格式和工具并出版注释语言数据库,但缺乏广泛接受的标准正成为一个关键问题。现有的拟议标准都集中在文件格式上。本文的重点是语言注释的逻辑结构。我们调查了各种现有的注释格式,并展示了一个共同的概念核心,注释图。这为构造、维护和搜索语言注释提供了一个正式的框架,同时与许多替代的数据结构和文件格式保持一致。
1999-03-02 cs.CL
Linguistically Conditioned Semantic Textual Similarity
Brandeis University(布兰迪斯大学)
本文针对条件语义文本相似度(C-STS)数据集存在的标注问题,提出基于问答的自动错误识别流程和新训练方法,并利用类型化特征结构为条件标注提供语言学基础。
2024-06-06 cs.AI cs.CL
Manual Annotation of Translational Equivalence: The Blinker Project
双语注释者被雇佣来将现代法语和现代英语的在线圣经版本之间的大约16000个对应单词联系起来。这些注释可从http://www.cis.upenn.edu/~melamed免费提供给研究社区。注释可用于多种目的。首先,它们可以用作开发和测试翻译词典和统计翻译模型的标准数据集。其次,词汇语义学的研究者将能够挖掘注释,以了解跨语言词汇化模式。第三,注释可以用于研究最近提出的单语词义消歧方法。本文介绍了注释文本,专门设计的注释工具,以及所采用的策略,以提高注释的一致性。注释过程由不同的注释者重复了五次。注释者之间的一致率表明,注释是合理可靠的,该方法是很容易复制。
1998-05-11 cmp-lg cs.CL
Active Annotation: bootstrapping annotation lexicon and guidelines for supervised NLU learning
自然语言理解(NLU)模型通常在监督学习框架中训练。在意图分类的情况下,预测的标签是预定义的,并且基于设计的注释模式,而标记过程是基于繁重的任务,其中注释者手动检查每个话语并分配相应的标签。我们提出了一种主动注释(AA)方法,在该方法中,我们结合了嵌入空间中的无监督学习方法、人在环验证过程和语言见解,以创建可以开放类别并随时间推移而适应的词典。特别地,注释器使用迭代过程在注释期间动态地定义y标签空间,而不需要关于输入数据的先验知识。我们在一个真实的用例NLU场景中评估了所提出的注释范例。结果表明,我们的主动标注范例实现了准确和更高质量的训练数据,与传统的人类驱动的基线标注方法相比,标注速度高出一个数量级。
2019-08-12 cs.CL cs.LG
MASALA: Modelling and Analysing the Semantics of Adpositions in Linguistic Annotation of Hindi
Georgetown University(乔治城大学)
我们提出了一个完整的,公开可用的语料库注释的语义关系的形容词和情况下标记在印地语。我们使用了多语言SNACS注释方案,该方案已应用于各种类型学上不同的语言。在过去的工作研究语言问题的SNACS注释的基础上,我们使用语言模型,尝试自动标记SNACS超意义在印地语和取得的结果与过去的工作英语竞争。我们期待在语义角色标签和扩展到相关语言,如古吉拉特语的上游应用程序。
2022-05-08 cs.CL
Annotation graphs as a framework for multidimensional linguistic data analysis
在最近的工作中,我们提出了一个正式的框架,语言标注的基础上标记无环有向图。这些“注释图”提供了一种简单而强大的方法,用于表示包含层次结构和重叠的复杂注释结构。在这里,我们激励和说明我们的方法使用话语级注释的文本和语音数据来自CALLHOME,COCONUT,MUC-7,DAMSL和TRAINS注释计划。在领域专家的帮助下,我们为波士顿大学广播语音语料库的一个片段构建了一个混合多层次标注,包括以下几个层次:段、词、呼吸、ToBI、词、树库、共指和命名实体。我们展示了如何注释图可以表示混合多层次的结构,从一组不同的文件格式。我们还展示了该方法如何促进基于不同理论模型的单个信号的多个注释的实质性比较。讨论显示了注释图如何为工具、格式和语料库的广泛集成打开大门。
1999-07-05 cs.CL
Creating a Large Multi-Layered Representational Repository of Linguistic Code Switched Arabic Data
The George Washington University(乔治华盛顿大学)
我们提出了我们的努力,以创建一个大型的语言代码交换阿拉伯语数据的多层代表性存储库。这一过程包括制定明确的注释标准和准则,简化注释过程,并实施质量控制措施。我们使用了两种主要的注释协议:实验室内的黄金注释和众包注释。我们开发了一个基于Web的注释工具,以方便管理的注释过程。当前版本的存储库总共包含886,252个标记,这些标记被标记到十六个代码转换标记之一中。这些数据展示了现代标准阿拉伯语和埃及方言阿拉伯语之间的代码切换,代表了三种数据类型:推文,评论和讨论论坛。总体注释者间一致性为93.1%。
2019-09-28 cs.CL
Psycho-linguistic Experiment on Universal Semantic Components of Verbal Humor: System Description and Annotation
Tyumen State University(秋明国立大学)
针对言语幽默通用语义成分的客观区分标准存在争议的问题,本文介绍了一款逐词阅读式幽默标注系统,可记录读者的阅读与标注操作,并提及了基于该系统开展的心理语言学实验及收集的数据。
2024-07-10 cs.CL
ATLAS: A flexible and extensible architecture for linguistic annotation
我们描述了一个正式的模型注释的语言工件,从中我们得到一个应用程序编程接口(API)的一套工具来操纵这些注释。抽象逻辑模型提供了一系列存储格式,并促进了通过此API进行交互的工具的重用。我们首先关注“注释图”,这是一个用于按间隔索引的线性信号(如文本和语音)注释的图模型,高效的数据库存储和查询技术适用于此。我们注意到如何广泛的现有注释语料库可以映射到这个注释图模型。然后,这个模型被推广到包括更广泛的语言"信号“,包括自然发生的现象(如记录在图像,视频,多模态交互等),以及对于自然语言处理系统的工程设计越来越重要的派生资源(例如单词列表、字典、对齐的双语语料库等)。最后,我们审查目前的努力,实现这一架构的关键部分。
2000-07-13 cs.CL
Understanding the effects of word-level linguistic annotations in under-resourced neural machine translation
该研究针对低资源神经机器翻译中词级语言标注的作用,通过多语言对、多架构、多标注类型的实验对比源/目标端不同标注的效果差异并分析原因。
2024-01-29 cs.CL
The Annotation Guideline of LST20 Corpus
National Electronics and Computer Technology Center(国家电子与计算机技术中心)
这份报告提出了LST 20的注释指南,LST 20是一个大型语料库,具有多层泰语语言注释。我们的指南包括五个层次的语言注释:分词,词性标注,命名实体,分句边界和句子边界。该数据集符合CoNLL-2003风格的格式,便于使用。LST 20语料库提供了五个层次的语言注释,如前所述。在大规模上,它由3,164,864个单词,288,020个命名实体,248,962个子句和74,180个句子组成,同时使用16个不同的POS标签进行注释。所有3,745份文件还附有15种新闻类型的注释。就其庞大的规模而言,该数据集被认为足够大,可以为NLP开发联合神经模型。有了这个公开可用的语料库,泰语第一次成为语言丰富的语言。
2020-08-12 cs.CL
LAF-Fabric: a data analysis tool for Linguistic Annotation Framework with an application to the Hebrew Bible
Max Planck Institute for Psycholinguistics(马克斯·普朗克心理语言学研究所);VU University(阿姆斯特丹自由大学);University of Amsterdam(阿姆斯特丹大学)
语言注释框架(LAF)为语料库提供了一个通用的、可扩展的间隔标记系统。本文讨论了LAF-Fabric,一个新的工具来分析LAF资源一般与扩展,特别是处理希伯来圣经。我们首先走查希伯来圣经的历史作为文本数据库在十年宽的步骤。然后,我们描述了如何LAF-Fabric可以作为这个语料库的分析工具。最后,我们描述了受益于新LAF表示的三个分析项目/工作流程:1)语言变异研究:提取圣经书籍之间的常见名词的共现数据(Martijn Naaijer); 2)《诗篇》中希伯来诗歌语法的研究:摘录从句类型学(Gino Kalkman); 3)用面向数据的解析法构造一个古典希伯来语的解析器:从数据库中生成树结构(Andreas van Cranenburgh)。
2014-10-01 cs.CL
Linguistically Regularized LSTMs for Sentiment Classification
Tsinghua University(清华大学)
在过去的几十年里,情感理解一直是人工智能的长期目标。本文研究了情感分类问题。尽管最近已经提出了各种神经网络模型,然而,先前的模型要么依赖于昂贵的短语级注释,其性能在仅用短语级注释训练时大幅下降;要么不完全采用语言资源(例如,情感词汇、否定词、强度词),从而不能产生语言上连贯的表示。在本文中,我们提出了用语义级注释训练的简单模型,但也试图通过使用正则化器来生成语言上连贯的表示,这些正则化器对情感词汇、否定词和强度词的语言角色进行建模。结果表明,我们的模型是有效的捕捉情绪,否定和强度词的情绪转移效果,同时仍然获得有竞争力的结果,而不牺牲模型的简单性。
2017-04-25 cs.CL
Observations on Annotations
DFKI GmbH(德国人工智能研究中心)
文本信息的标注是语言学和计算语言学的一项基本活动。这篇文章提出了关于注释的各种观察。本文从超文本、计算语言学和语言技术、人工智能和开放科学等几个角度对这一问题进行了探讨。可以沿着不同的维度检查注释。就复杂性而言,它们可以从微不足道到高度复杂,就成熟度而言,从实验到标准化。注释本身可以使用更抽象的注释来注释。主要研究数据,例如,文本文档可以同时在不同的层上进行注释,这些层是独立的,但是可以使用多层查询来利用。标准保证了数据集的互操作性和可重用性。本章最后提出了四个最后的意见,作为研究问题或对注释研究现状的挑衅性评论。
2020-04-21 cs.CL
Examining Scientific Writing Styles from the Perspective of Linguistic Complexity
Nanjing University of Science and Technology(南京理工大学);Indiana University(印第安纳大学);Nanjing University(南京大学);Wuhan University(武汉大学);University of Illinois(伊利诺伊大学)
在高影响力的英语期刊上发表文章对世界各地的学者来说都很困难,特别是对于非英语母语的学者(NNEs)来说,他们中的大多数人都在努力提高英语水平。为了揭示母语为英语的学者(NES)和NES之间英语科学写作的差异,我们收集了一个大规模的数据集,包含2006年至2015年期间发表在PLoS上的15万多篇全文文章。根据Ethnea的数据,我们将这些论文按照第一作者和通讯作者的民族背景分为三组,并从语言复杂性的两个方面考察了英语科技写作风格:(1)句法复杂性,包括句子长度和句子复杂性的测量;(2)词汇复杂度,包括词汇多样性、词汇密度和词汇复杂度。观察结果表明,在句法和词汇复杂性组之间的边际差异。
2018-09-13 cs.CL
A Formal Framework for Linguistic Annotation (revised version)
“语言注释”包括适用于原始语言数据的任何描述性或分析性符号。基本数据可以是时间函数的形式-音频、视频和/或生理记录-或者它可以是文本。增加的注释可能包括各种类型的音译(从语音特征到话语结构)、词性和意义标注、句法分析、“命名实体”识别、共指注释等。虽然目前正在努力为这些注释提供格式和工具并出版注释语言数据库,但缺乏广泛接受的标准正成为一个关键问题。现有的拟议标准都侧重于文件格式。本文的重点是语言注释的逻辑结构。我们调查了各种现有的注释格式,并展示了一个共同的概念核心,注释图。这为构造、维护和搜索语言注释提供了一个正式的框架,同时与许多替代的数据结构和文件格式保持一致。
2000-10-26 cs.CL cs.DB cs.DS
Generative Linguistics, Large Language Models, and the Social Nature of Scientific Success
Center for Data Science, New York University(纽约大学数据科学中心)
本文回应Chesi与Piantadosi关于生成语言学危机的论述,指出危机根源在于社会抱负有限而非严谨性不足,主张生成语言学家应扩大抱负以吸引外部投入。
2025-03-25 cs.CL
CLASSLA-web: Comparable Web Corpora of South Slavic Languages Enriched with Linguistic and Genre Annotation
Jožef Stefan Institute(约热夫·施特凡研究所);University of Ljubljana(卢布尔雅那大学);Institute of Contemporary History(当代史研究所)
本文构建了覆盖七种南斯拉夫官方语言的可比网络语料库,采用统一爬取与CLASSLA-Stanza标注及X-GENRE体裁分类,发现体裁分布与地区经济水平相关。
2024-03-26 cs.CL
Towards a General-Purpose Linguistic Annotation Backend
Carnegie Mellon University(卡内基梅隆大学);National Research Council Canada(加拿大国家研究委员会)
语言文献工作本质上是一个时间密集型的过程;转录、注释和语料库管理占据了文献语言学家工作的很大一部分。自然语言处理的进步可以帮助加速这项工作,使用语言学家过去的决定作为培训材料,但如何优先考虑人类参与的问题仍然存在。在这个扩展的摘要中,我们描述了一个新项目的开始,该项目将试图通过使用自然语言处理(NLP)技术来简化这种语言文档处理过程。它基于(1)基于大规模多语言神经网络的最新进展,使NLP工具适应新语言的方法,以及(2)允许语言学家上传数据的后端API和接口。然后,我们描述了我们目前的进展在两个方面:自动音素转录,和注释。最后,我们简要介绍了我们未来的发展方向。
2018-12-13 cs.CL
From Labels to Facets: Building a Taxonomically Enriched Turkish Learner Corpus
本文提出了一种半自动标注方法,构建了首个具有分类学丰富的土耳其学习者语料库,通过多维分类学实现更精细的标注与分析。
2026-02-02 cs.CL
Analyzing Linguistic Complexity and Scientific Impact
Nanjing University of Science and Technology(南京理工大学);Indiana University(印第安纳大学);Shandong Normal University(山东师范大学);Nanjing University(南京大学);Wuhan University(武汉大学);Université de Montréal(蒙特利尔大学)
出版物的数量和被引用的数量已经成为衡量学术成功的最常见指标。在这种背景下,科学写作在学者的科学生涯中扮演着越来越重要的角色。为了了解科技写作与科技影响力之间的关系,本文选取了12个语言复杂性变量作为描述科技写作的指标。然后,我们分析了36,400篇全文生物学文章和1,797篇全文心理学文章的这些特征。将这些特征与文章的科学影响进行比较,分为高,中,低类别。结果表明,在这两个学科的语言复杂性和引文层之间没有实际的显着关系。这表明,文本的复杂性在我们的数据集的科学影响中几乎没有发挥作用。
2019-07-27 cs.CL cs.DL physics.soc-ph
TalkSumm: A Dataset and Scalable Annotation Method for Scientific Paper Summarization Based on Conference Talks
IBM Research(IBM研究院)
目前,没有大规模的训练数据可用于科学论文摘要任务。在本文中,我们提出了一种新的方法,自动生成摘要的科学论文,利用视频的谈话在科学会议。我们假设,这样的谈话构成了论文内容的连贯和简洁的描述,并可以形成良好的总结的基础。我们收集了1716篇论文及其相应的视频,并创建了一个论文摘要数据集。在此数据集上训练的模型与在手动创建的汇总数据集上训练的模型具有相似的性能。此外,我们还通过人类专家验证了摘要的质量。
2019-06-13 cs.CL
Do Linguistic Style and Readability of Scientific Abstracts affect their Virality?
Trento-Rise(特伦托崛起研究所);Center for Astrophysics(天体物理学中心);Harvard University(哈佛大学);Media Lab(媒体实验室);Massachusetts Institute of Technology(麻省理工学院)
对在线社交网络中发布的文本内容的反应显示出不同的动态,这取决于提交内容的语言风格和可读性。对科学文章的反应是否存在类似的动力?我们的直觉得到了先前研究的支持,表明一篇科学文章的成功取决于它的内容,而不是它的语言风格。在这篇文章中,我们研究了一个科学摘要语料库和三种形式的相关反应:文章下载,引用和书签。通过基于类的心理语言学分析和可读性指数测试,我们表明,一定的风格和可读性的特点,摘要明确同意在确定成功和病毒能力的科学文章。
2012-03-19 cs.CL cs.DL cs.SI
How to Evaluate a Summarizer: Study Design and Statistical Analysis for Manual Linguistic Quality Evaluation
Heidelberg University(海德堡大学)
人工评估是判断自动文本摘要进展的关键。然而,我们进行了一项调查,最近的摘要系统的论文,揭示了如何进行这种评估研究的协议。我们对摘要的语言质量(连贯性和重复性)的两个方面进行了两个评价实验,比较了Likert类型和等级注释,并表明最佳评价方法的选择可以从一个方面到另一个方面而变化。在我们的调查中,我们还发现,研究参数,如注释者的总数和注释者的注释项目的分布往往没有完全报告,随后的统计分析忽略了分组因素所产生的一个注释判断多个摘要。使用我们的评估实验,我们表明,注释器的总数可以有很大的影响,学习的力量,目前的统计分析方法可以膨胀I型出错率高达8倍。此外,我们强调,为了系统比较的目的,目前的做法,每个摘要引起多个判断,导致不太强大和可靠的注释给定一个固定的研究预算。
2021-01-27 cs.CL
Editorial for the First Workshop on Mining Scientific Papers: Computational Linguistics and Bibliometrics
研讨会“采矿科学论文:计算语言学与文献计量学”(CLBib 2015),与第15届国际科学计量学和信息计量学会议位于同一地点(ISSI 2015),汇集了文献计量学和计算语言学的研究人员,以研究文献计量学如何从大规模文本分析和科学论文的意义挖掘中受益,从而探索文献计量学和自然语言处理(NLP)的交叉学科性。研讨会的目标是回答这样的问题:我们如何使用文本分析获得的数据来增强作者网络分析和文献计量学?自然语言处理能为科学写作的结构、引文网络和文本内引文分析提供什么样的见解?本次研讨会是促进对跨学科性的反思以及文献计量学和自然语言处理这两个学科可以从中获得的好处的第一步。
2015-06-17 cs.CL cs.DL cs.IR
Standardizing linguistic data: method and tools for annotating (pre-orthographic) French
École des Chartes(文献学院);Sorbonne Université(索邦大学);École normale supérieure de Lyon(里昂高等师范学院)
随着各个时期大型语料库的发展,尽管历时变化,但对语言注释(例如词元、词性标记、形态注释)进行简化以增加所产生数据的互操作性变得至关重要。在本文中,我们描述了方法上(通过提出注释原则)和技术上(通过创建所需的训练数据和相关模型)(早期)现代法语(16- 18 c.)的语言标记器的生产,尽可能多地考虑到当代,特别是中世纪法语的现有标准。
2020-11-22 cs.CL cs.LG
FlaCGEC: A Chinese Grammatical Error Correction Dataset with Fine-grained Linguistic Annotation
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学)
针对现有中文语法纠错数据集缺乏语法错误深层语言结构的问题,研究者构建了带细粒度语言标注的FlaCGEC数据集,实验表明该数据集具有挑战性,可用于模型泛化能力诊断。
2023-09-26 cs.AI cs.CL
Process-Level Representation of Scientific Protocols with Interactive Annotation
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Georgia Institute of Technology(佐治亚理工学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们开发了流程执行图(PEG),这是现实世界湿实验室生物化学协议的文档级表示,解决了跨句子关系,长距离共指,接地和隐式参数等挑战。我们手动注释PEG在语料库中的复杂的实验室协议与一种新的交互式文本模拟器,在注释过程中跟踪实体的特点和语义约束。我们使用这些数据来开发图形预测模型,发现它们擅长实体识别和局部关系抽取,而我们的语料库有助于进一步探索具有挑战性的长期关系。
2021-04-14 cs.CL
Provenance for Linguistic Corpora Through Nanopublications
Business Web and Media(商业网络与媒体);VU Amsterdam(阿姆斯特丹自由大学)
计算语言学的研究依赖于文本语料库来训练和测试新的工具和方法。虽然存在过多的注释语言信息,但这些语料库通常在没有大量手工工作的情况下无法互操作。此外,这些注释可能已经演变成不同的版本,使研究人员难以了解数据的出处。本文通过对事件注释语料库的案例研究来解决这个问题,并以纳米出版物的形式创建了一种新的,更具互操作性的数据表示。我们演示了如何从一开始就可以可靠地链接来自不同语料库的语言注释,从而访问和查询,就好像它们是一个单一的数据集。我们描述了如何创建这样的nanopublications,并演示了如何SPARQL查询可以从新的表示提取有趣的内容。查询结果表明,由于不同语料库的信息以统一的数据格式表示,因此可以更方便、更有效地检索多个语料库的信息。
2020-11-02 cs.CL
Is writing style predictive of scientific fraud?
University of Copenhagen(哥本哈根大学)
最近引入了利用机器学习检测科学欺诈的问题,从一个考虑到各种一般指标的模型中获得了初步的积极结果。结果似乎表明,写作风格是科学欺诈的预测。我们重新审视了这些最初的实验,并表明他们使用的留一检验程序可能会导致对可预测性的略微高估,但简单的模型也可以在一定程度上优于他们提出的模型。我们继续探索更抽象的语言特征,如语言的复杂性和语篇结构,只得到否定的结果。不过,在分析我们的模型时,我们确实看到了一些有趣的模式:例如,科学欺诈包含较少的比较,以及不同类型的对冲和呈现逻辑推理的方式。
2017-07-13 cs.CL
Ethical Questions in NLP Research: The (Mis)-Use of Forensic Linguistics
Indian Institute of Technology (BHU)(印度理工学院(巴纳拉斯印度大学))
法律语言学的思想现在经常被用于自然语言处理(NLP),使用机器学习技术。虽然早期法医语言学的作用更为温和,但现在它却被用于值得怀疑的目的。采用了法律语言学的某些方法,而没有考虑到它们的科学局限性和伦理问题。虽然我们以法律语言学的具体案例作为NLP和机器学习趋势的一个例子,但这个问题是一个更大的问题,存在于许多其他科学和数据驱动的领域。我们认为,这种趋势表明,一些应用科学正在超越他们的法律和科学摘要。我们强调,不小心实施的做法是如何缩短法律的正当程序,以及违反道德准则。
2017-12-20 cs.CL cs.CY
LinguistAgent Technical Report: A Reflective Multi-Model Platform for Automated Linguistic Annotation
University of Birmingham(伯明翰大学)
LinguistAgent通过反思多模型架构实现自动化语言标注,采用双代理工作流程模拟同行评审,支持多种标注范式并提供实时评估。
2026-07-22 cs.AI cs.CL cs.MA
A Linguistically Interpreted Corpus of German Newspaper Text
在本文中,我们报告的注释计划和注释工具的发展不受限制的德语文本。我们的表示格式是基于参数结构,但也允许提取其他类型的表示。我们讨论了几个方法论问题和一些现象的分析。其他重点是在我们的项目中开发的工具及其应用程序。
1998-07-17 cmp-lg cs.CL
Annotation Uncertainty in the Context of Grammatical Change
University of Zurich(苏黎世大学);Paderborn University(帕德博恩大学);Universität der Bundeswehr München(慕尼黑联邦国防军大学);LMU Munich(慕尼黑大学)
本文阐述了在大文本语料库中的注释背景下的不确定性概念,特别关注(但不限于)历史语言。这种不确定性可能是由于语言的固有属性,例如,语言歧义和语言描述的重叠类别,但也可能是由于缺乏注释专业知识造成的。通过更详细地研究注释不确定性,我们确定了来源,并加深了我们对日常注释实践中遇到的不确定性的性质和不同类型的理解。此外,我们的理论研究结果的一些实际意义也进行了讨论。最后但并非最不重要的是,这篇文章可以被看作是试图调和语料库项目,语言学和计算机科学涉及的主要科学学科的观点,以发展一个统一的观点,并强调这些学科之间的潜在协同作用。
2021-05-28 cs.AI cs.CL
Annotation and Detection of Emotion in Text-based Dialogue Systems with CNN
Beijing Institute of Technology(北京理工大学)
了解用户的情绪状态有助于改善人机交互。本文提出了一种基于深度卷积神经网络的汉语日常对话情感检测器-为了保持原有的语言特征,如顺序,我们没有采用常用的方法,如分割和关键字提取,而是增加了CNN的深度,并试图让CNN学习内部的语言关系。我们的主要贡献是,我们提出了一个新的模型和一个新的管道,可以在多语言环境中使用,以解决情感问题。实验结果表明,该算法具有较强的情感学习能力,并取得了比现有检测器更好的效果。
2017-10-03 cs.CL
Towards Responsible Natural Language Annotation for the Varieties of Arabic
Meta
在构建NLP模型时,有一种倾向是以更广泛的覆盖范围为目标,往往忽视了文化和(社会)语言的细微差别。在这份立场文件中,我们提出了照顾和关注这些细微差别的理由,特别是在数据集注释中,以及在这个过程中纳入文化和语言专业知识。我们提出了一个剧本,负责数据集创建多语种,多方言的语言。这项工作参考了一项关于社交媒体内容的阿拉伯文注释的研究。
2022-03-17 cs.CL cs.CY
ReFACT: A Benchmark for Scientific Confabulation Detection with Positional Error Annotations
Hasso Plattner Institute / University of Potsdam, Germany(霍普夫纳研究所 / 潘托姆大学,德国)
针对大语言模型易虚构科学事实的问题,提出带错误位置与类型标注的ReFACT基准以支持多阶段细粒度评估,测试发现9个主流大模型准确率仅约50%,凸显构建人工验证细粒度基准的必要性。
2025-10-01 cs.CL
Who and What? Using Linguistic Features and Annotator Characteristics to Analyze Annotation Variation
GESIS - Leibniz Institute for the Social Sciences(GESIS-莱布尼茨社会科学研究所);Heinrich-Heine University Düsseldorf(杜伊斯堡-艾希斯海姆海因里希-海涅大学)
本文通过分析四个有害语言检测数据集,探讨标注者特征与语言属性的交互作用,揭示交叉影响及词汇线索的作用,指出不同数据集的效果差异需谨慎推广。
2026-05-07 cs.CL cs.CY
NAVCON: A Cognitively Inspired and Linguistically Grounded Corpus for Vision and Language Navigation
University of Pennsylvania(宾夕法尼亚大学)
本文提出了NAVCON,一个基于R2R和RxR的大规模视觉语言导航标注语料库,引入了四个核心导航概念及银标注生成算法,并通过人工评估和模型训练验证了其质量与实用性。
2024-12-18 cs.CL cs.CV
ConceptX: A Framework for Latent Concept Analysis
Qatar Computing Research Institute(卡塔尔计算研究所);Faculty of Computer Science, Dalhousie University(达尔豪斯大学计算机学院);School of Engineering and Science, Steven Institute of Technology(史蒂文斯理工学院工程与科学学院)
深度神经网络的不透明性仍然是部署解决方案的一个挑战,其中解释与精度同样重要。我们提出了ConceptX,一个用于解释和注释预训练的语言模型(pLM)中的潜在表征空间的人在回路框架。我们使用一种无监督的方法来发现在这些模型中学习到的概念,并为人类提供一个图形界面来生成对概念的解释。为了促进这一过程,我们提供了概念的自动注释(基于传统的语言本体)。这样的注释使得能够开发直接表示在深度NLP模型中学习的潜在概念的语言资源。这些概念不仅包括传统的语言概念,还包括特定于任务或敏感的概念(根据性别或宗教内涵分组的单词),这些概念有助于注释者标记模型中的偏见。该框架由两部分组成:(i)概念发现和(ii)注释平台。
2022-11-12 cs.CL
Aesthetics of Sanskrit Poetry from the Perspective of Computational Linguistics: A Case Study Analysis on Siksastaka
IIT Kanpur(印度理工学院坎普尔分校);University of Hyderabad(海得拉巴大学);IIT Roorkee(印度理工学院鲁尔基分校);Utah State University(犹他州立大学);IIT Kharagpur(印度理工学院克勒格布尔分校);IIT Mandi(印度理工学院曼迪分校)
本文提出人机协同的可解释计算语言学框架,结合六大梵语诗学派对 Siksastaka 进行多层面标注与分析,并提供 Web 应用支持后续研究。
2023-08-14 cs.CL
Generative linguistics contribution to artificial intelligence: Where this contribution lies?
Ibb University(伊卜大学);University of Cyprus(塞浦路斯大学)
本文从独立科学视角论证生成语言学(乔姆斯基学派)对人工智能的巨大贡献,涵盖句法、语义、语言官能、普遍语法、计算系统、语言习得、人脑、编程语言及大语言模型等证据,并指出分歧点在于语言输入的性质与类型。
2024-11-02 cs.CL
Un modèle générique d'organisation de corpus en ligne: application à la FReeBank
少数可用的法语资源,用于评估语言模型或算法的其他语言水平比形态句法是不够的,从定量和定性的角度来看,或不能免费访问。基于这一事实,FREEBANK项目打算创建法语语料库构建使用手动修订的输出从一个混合约束语法分析器和注释的几个语言水平(结构,形态句法,句法,共指),其目标是使他们在线研究的目的。因此,我们将专注于使用标准的注释方案,整合现有资源和维护,以便不断丰富注释。在实际介绍已经实施的原型之前,本文描述了一个通用模型,用于组织和部署语言资源档案,符合目前在国际标准化倡议(TEI和ISO/TC 37/SC 4)中进行的各种工作。
2006-11-06 cs.CL
ChatGPT: Beginning of an End of Manual Linguistic Data Annotation? Use Case of Automatic Genre Identification
Jožef Stefan Institute(约泽夫·斯蒂芬研究所);Center za jezikovne vire in tehnologije(语言资源与技术中心);Univerze v Ljubljani(卢布尔雅那大学)
ChatGPT在自然语言生成任务中表现出了强大的能力,这自然会导致研究人员探索其能力的极限。在本文中,我们研究ChatGPT是否可以用于zero-shot文本分类,更具体地说,自动体裁识别。我们将ChatGPT与多语言XLM-RoBERTa语言模型进行了比较,该语言模型在数据集上进行了微调,并手动注释了流派。该模型进行了比较测试集在两种语言:英语和斯洛文尼亚语。结果表明,ChatGPT在应用于两个模型之前都没有见过的数据集时,性能优于微调模型。即使在斯洛文尼亚语作为一种资源不足的语言应用时,ChatGPT的表现也不比应用于英语时差。但是,如果模型完全以斯洛文尼亚语提示,性能会显着下降,显示ChatGPT在较小语言上使用的当前限制。所呈现的结果使我们质疑这是否是结束费力的手动注释活动的开始,即使是较小的语言,如斯洛文尼亚语。
2023-03-08 cs.CL cs.LG
What Makes a Scientific Paper be Accepted for Publication?
Imperial College London(帝国理工学院)
尽管自17世纪以来,同行评议一直是学术界的重要组成部分,但它因缺乏透明度和一致性而一再受到批评。我们认为,最近在机器学习和可解释的人工智能方面的工作提供了工具,可以从给定的同行评审过程中洞察决策。我们首先以语言特征的形式提取全局解释,这些语言特征影响科学论文在开放的同行评审数据集上发表的接受程度。第二,由于这种全球性的解释不证明因果解释,我们提供了一种方法来检测混杂效应的自然语言,以产生因果解释,假设下,在词汇的形式。我们提出的语言学解释方法在ICLR提交的案例数据集上表明了以下几点:a)组织委员会在很大程度上遵循审稿人的建议,b)导致审稿人建议接受发表的论文的主要特征是原创性,清晰度和实质内容。
2021-04-14 cs.CL
Investigating accuracy of pitch-accent annotations in neural network-based speech synthesis and denoising effects
National Institute of Informatics(国立信息学研究所);KDDI Research Inc.(KDDI研究所)
我们研究了噪声语言特征对基于WaveNet声码器的神经网络的日语语音合成系统性能的影响。我们比较了一个理想的系统,使用手动校正的语言特征,包括音素和韵律信息的训练和测试集对其他几个系统,使用损坏的语言特征。主观和客观的结果表明,损坏的语言特征,特别是那些在测试集,影响了理想的系统的性能显着的统计意义上,由于训练和测试集之间的不匹配条件。有趣的是,虽然话语级图灵测试表明听众很难区分合成语音和自然语音,但它进一步表明,在训练集中向语言特征添加噪声可以部分减少失配的影响,正则化模型,并帮助系统在测试集的语言特征有噪声时表现得更好。
2018-08-02 cs.CL cs.SD eess.AS
SciDTB: Discourse Dependency TreeBank for Scientific Abstracts
Key Laboratory of Computational Linguistics, Peking University, MOE, China(北京大学计算语言学重点实验室(教育部))
语篇关系标注语料库有利于机器翻译和问答等自然语言处理任务的实现。在本文中,我们提出了SciDTB,一个特定领域的话语树库标注的科学文章。与广泛使用的RST-DT和PDTB不同,SciDTB使用依存树来表示语篇结构,具有一定的灵活性和简化性,但不会牺牲结构的完整性。我们讨论了标签框架,注释工作流程和一些关于SciDTB的统计数据。此外,我们的树库是作为一个基准评估话语依赖分析器,我们提供了几个基线作为基础工作。
2018-06-10 cs.CL
Effectiveness of Counter-Speech against Abusive Content: A Multidimensional Annotation and Classification Study
Université Côte d’Azur(法国埃克塞特大学);Inria, CNRS, I3S(法国国家科学研究中心);Sophia Antipolis, France(法国索菲亚Antipolis)
针对反制言论有效性评估的挑战,提出基于语言学等概念的计算框架,定义六个核心维度标注4,214个实例,并通过多任务和依赖关系分类策略取得高F1值,揭示了维度间的强相互依赖性。
2025-10-13 cs.CL
Quality and Efficiency of Manual Annotation: Pre-annotation Bias
本文针对依存句法标注任务,分析自动预标注及规则检查、参考标注对人工标注质量与效率的影响,证实预标注可在不降低质量的前提下提升标注速度与结果一致性。
2023-06-15 cs.CL