ATLAS: A flexible and extensible architecture for linguistic annotation
我们描述了一个正式的模型注释的语言工件,从中我们得到一个应用程序编程接口(API)的一套工具来操纵这些注释。抽象逻辑模型提供了一系列存储格式,并促进了通过此API进行交互的工具的重用。我们首先关注“注释图”,这是一个用于按间隔索引的线性信号(如文本和语音)注释的图模型,高效的数据库存储和查询技术适用于此。我们注意到如何广泛的现有注释语料库可以映射到这个注释图模型。然后,这个模型被推广到包括更广泛的语言"信号“,包括自然发生的现象(如记录在图像,视频,多模态交互等),以及对于自然语言处理系统的工程设计越来越重要的派生资源(例如单词列表、字典、对齐的双语语料库等)。最后,我们审查目前的努力,实现这一架构的关键部分。
2000-07-13 cs.CL
Understanding the effects of word-level linguistic annotations in under-resourced neural machine translation
该研究针对低资源神经机器翻译中词级语言标注的作用,通过多语言对、多架构、多标注类型的实验对比源/目标端不同标注的效果差异并分析原因。
2024-01-29 cs.CL
The Annotation Guideline of LST20 Corpus
National Electronics and Computer Technology Center(国家电子与计算机技术中心)
这份报告提出了LST 20的注释指南,LST 20是一个大型语料库,具有多层泰语语言注释。我们的指南包括五个层次的语言注释:分词,词性标注,命名实体,分句边界和句子边界。该数据集符合CoNLL-2003风格的格式,便于使用。LST 20语料库提供了五个层次的语言注释,如前所述。在大规模上,它由3,164,864个单词,288,020个命名实体,248,962个子句和74,180个句子组成,同时使用16个不同的POS标签进行注释。所有3,745份文件还附有15种新闻类型的注释。就其庞大的规模而言,该数据集被认为足够大,可以为NLP开发联合神经模型。有了这个公开可用的语料库,泰语第一次成为语言丰富的语言。
2020-08-12 cs.CL
LAF-Fabric: a data analysis tool for Linguistic Annotation Framework with an application to the Hebrew Bible
Max Planck Institute for Psycholinguistics(马克斯·普朗克心理语言学研究所);VU University(阿姆斯特丹自由大学);University of Amsterdam(阿姆斯特丹大学)
语言注释框架(LAF)为语料库提供了一个通用的、可扩展的间隔标记系统。本文讨论了LAF-Fabric,一个新的工具来分析LAF资源一般与扩展,特别是处理希伯来圣经。我们首先走查希伯来圣经的历史作为文本数据库在十年宽的步骤。然后,我们描述了如何LAF-Fabric可以作为这个语料库的分析工具。最后,我们描述了受益于新LAF表示的三个分析项目/工作流程:1)语言变异研究:提取圣经书籍之间的常见名词的共现数据(Martijn Naaijer); 2)《诗篇》中希伯来诗歌语法的研究:摘录从句类型学(Gino Kalkman); 3)用面向数据的解析法构造一个古典希伯来语的解析器:从数据库中生成树结构(Andreas van Cranenburgh)。
2014-10-01 cs.CL
Observations on Annotations
DFKI GmbH(德国人工智能研究中心)
文本信息的标注是语言学和计算语言学的一项基本活动。这篇文章提出了关于注释的各种观察。本文从超文本、计算语言学和语言技术、人工智能和开放科学等几个角度对这一问题进行了探讨。可以沿着不同的维度检查注释。就复杂性而言,它们可以从微不足道到高度复杂,就成熟度而言,从实验到标准化。注释本身可以使用更抽象的注释来注释。主要研究数据,例如,文本文档可以同时在不同的层上进行注释,这些层是独立的,但是可以使用多层查询来利用。标准保证了数据集的互操作性和可重用性。本章最后提出了四个最后的意见,作为研究问题或对注释研究现状的挑衅性评论。
2020-04-21 cs.CL
A Formal Framework for Linguistic Annotation (revised version)
“语言注释”包括适用于原始语言数据的任何描述性或分析性符号。基本数据可以是时间函数的形式-音频、视频和/或生理记录-或者它可以是文本。增加的注释可能包括各种类型的音译(从语音特征到话语结构)、词性和意义标注、句法分析、“命名实体”识别、共指注释等。虽然目前正在努力为这些注释提供格式和工具并出版注释语言数据库,但缺乏广泛接受的标准正成为一个关键问题。现有的拟议标准都侧重于文件格式。本文的重点是语言注释的逻辑结构。我们调查了各种现有的注释格式,并展示了一个共同的概念核心,注释图。这为构造、维护和搜索语言注释提供了一个正式的框架,同时与许多替代的数据结构和文件格式保持一致。
2000-10-26 cs.CL cs.DB cs.DS
CLASSLA-web: Comparable Web Corpora of South Slavic Languages Enriched with Linguistic and Genre Annotation
Jožef Stefan Institute(约热夫·施特凡研究所);University of Ljubljana(卢布尔雅那大学);Institute of Contemporary History(当代史研究所)
本文构建了覆盖七种南斯拉夫官方语言的可比网络语料库,采用统一爬取与CLASSLA-Stanza标注及X-GENRE体裁分类,发现体裁分布与地区经济水平相关。
2024-03-26 cs.CL
Building Tamil Treebanks
University of Jaffna(贾夫纳大学);University of Konstanz(康斯坦茨大学)
本文探讨了通过人工标注、计算语法和机器学习三种方法构建泰米尔语树库,分析了各自的优势与挑战,强调了其对推进语言学研究和改善泰米尔语NLP工具的重要性。
2024-09-23 cs.CL
Towards a General-Purpose Linguistic Annotation Backend
Carnegie Mellon University(卡内基梅隆大学);National Research Council Canada(加拿大国家研究委员会)
语言文献工作本质上是一个时间密集型的过程;转录、注释和语料库管理占据了文献语言学家工作的很大一部分。自然语言处理的进步可以帮助加速这项工作,使用语言学家过去的决定作为培训材料,但如何优先考虑人类参与的问题仍然存在。在这个扩展的摘要中,我们描述了一个新项目的开始,该项目将试图通过使用自然语言处理(NLP)技术来简化这种语言文档处理过程。它基于(1)基于大规模多语言神经网络的最新进展,使NLP工具适应新语言的方法,以及(2)允许语言学家上传数据的后端API和接口。然后,我们描述了我们目前的进展在两个方面:自动音素转录,和注释。最后,我们简要介绍了我们未来的发展方向。
2018-12-13 cs.CL
From Labels to Facets: Building a Taxonomically Enriched Turkish Learner Corpus
本文提出了一种半自动标注方法,构建了首个具有分类学丰富的土耳其学习者语料库,通过多维分类学实现更精细的标注与分析。
2026-02-02 cs.CL
TalkTag: Fine-Grained Morphosyntactic Error Annotation for Transcribed Speech
Karlsruhe Institute of Technology, Germany(德意志联邦共和国卡尔斯鲁厄理工大学);Karlsruhe University of Applied Sciences, Germany(德意志联邦共和国卡尔斯鲁厄应用科学大学)
提出基于LLM的轻量级工具TalkTag,在数据稀缺条件下自动进行口语转录文本的CHAT风格错误标注,实现低资源场景下的精确标注并识别歧义情况。
2026-06-01 cs.CL
How to Evaluate a Summarizer: Study Design and Statistical Analysis for Manual Linguistic Quality Evaluation
Heidelberg University(海德堡大学)
人工评估是判断自动文本摘要进展的关键。然而,我们进行了一项调查,最近的摘要系统的论文,揭示了如何进行这种评估研究的协议。我们对摘要的语言质量(连贯性和重复性)的两个方面进行了两个评价实验,比较了Likert类型和等级注释,并表明最佳评价方法的选择可以从一个方面到另一个方面而变化。在我们的调查中,我们还发现,研究参数,如注释者的总数和注释者的注释项目的分布往往没有完全报告,随后的统计分析忽略了分组因素所产生的一个注释判断多个摘要。使用我们的评估实验,我们表明,注释器的总数可以有很大的影响,学习的力量,目前的统计分析方法可以膨胀I型出错率高达8倍。此外,我们强调,为了系统比较的目的,目前的做法,每个摘要引起多个判断,导致不太强大和可靠的注释给定一个固定的研究预算。
2021-01-27 cs.CL
Standardizing linguistic data: method and tools for annotating (pre-orthographic) French
École des Chartes(文献学院);Sorbonne Université(索邦大学);École normale supérieure de Lyon(里昂高等师范学院)
随着各个时期大型语料库的发展,尽管历时变化,但对语言注释(例如词元、词性标记、形态注释)进行简化以增加所产生数据的互操作性变得至关重要。在本文中,我们描述了方法上(通过提出注释原则)和技术上(通过创建所需的训练数据和相关模型)(早期)现代法语(16- 18 c.)的语言标记器的生产,尽可能多地考虑到当代,特别是中世纪法语的现有标准。
2020-11-22 cs.CL cs.LG
FlaCGEC: A Chinese Grammatical Error Correction Dataset with Fine-grained Linguistic Annotation
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学)
针对现有中文语法纠错数据集缺乏语法错误深层语言结构的问题,研究者构建了带细粒度语言标注的FlaCGEC数据集,实验表明该数据集具有挑战性,可用于模型泛化能力诊断。
2023-09-26 cs.AI cs.CL
Provenance for Linguistic Corpora Through Nanopublications
Business Web and Media(商业网络与媒体);VU Amsterdam(阿姆斯特丹自由大学)
计算语言学的研究依赖于文本语料库来训练和测试新的工具和方法。虽然存在过多的注释语言信息,但这些语料库通常在没有大量手工工作的情况下无法互操作。此外,这些注释可能已经演变成不同的版本,使研究人员难以了解数据的出处。本文通过对事件注释语料库的案例研究来解决这个问题,并以纳米出版物的形式创建了一种新的,更具互操作性的数据表示。我们演示了如何从一开始就可以可靠地链接来自不同语料库的语言注释,从而访问和查询,就好像它们是一个单一的数据集。我们描述了如何创建这样的nanopublications,并演示了如何SPARQL查询可以从新的表示提取有趣的内容。查询结果表明,由于不同语料库的信息以统一的数据格式表示,因此可以更方便、更有效地检索多个语料库的信息。
2020-11-02 cs.CL
LinguistAgent Technical Report: A Reflective Multi-Model Platform for Automated Linguistic Annotation
University of Birmingham(伯明翰大学)
LinguistAgent通过反思多模型架构实现自动化语言标注,采用双代理工作流程模拟同行评审,支持多种标注范式并提供实时评估。
2026-07-22 cs.AI cs.CL cs.MA
A Linguistically Interpreted Corpus of German Newspaper Text
在本文中,我们报告的注释计划和注释工具的发展不受限制的德语文本。我们的表示格式是基于参数结构,但也允许提取其他类型的表示。我们讨论了几个方法论问题和一些现象的分析。其他重点是在我们的项目中开发的工具及其应用程序。
1998-07-17 cmp-lg cs.CL
Annotation Uncertainty in the Context of Grammatical Change
University of Zurich(苏黎世大学);Paderborn University(帕德博恩大学);Universität der Bundeswehr München(慕尼黑联邦国防军大学);LMU Munich(慕尼黑大学)
本文阐述了在大文本语料库中的注释背景下的不确定性概念,特别关注(但不限于)历史语言。这种不确定性可能是由于语言的固有属性,例如,语言歧义和语言描述的重叠类别,但也可能是由于缺乏注释专业知识造成的。通过更详细地研究注释不确定性,我们确定了来源,并加深了我们对日常注释实践中遇到的不确定性的性质和不同类型的理解。此外,我们的理论研究结果的一些实际意义也进行了讨论。最后但并非最不重要的是,这篇文章可以被看作是试图调和语料库项目,语言学和计算机科学涉及的主要科学学科的观点,以发展一个统一的观点,并强调这些学科之间的潜在协同作用。
2021-05-28 cs.AI cs.CL
Towards Responsible Natural Language Annotation for the Varieties of Arabic
Meta
在构建NLP模型时,有一种倾向是以更广泛的覆盖范围为目标,往往忽视了文化和(社会)语言的细微差别。在这份立场文件中,我们提出了照顾和关注这些细微差别的理由,特别是在数据集注释中,以及在这个过程中纳入文化和语言专业知识。我们提出了一个剧本,负责数据集创建多语种,多方言的语言。这项工作参考了一项关于社交媒体内容的阿拉伯文注释的研究。
2022-03-17 cs.CL cs.CY
A Linguistic Analysis of Visually Grounded Dialogues Based on Spatial Expressions
The University of Tokyo(东京大学);Japan National Institute of Informatics(日本国家信息学研究所);NII(信息学研究所(NII))
最近的模型在视觉接地对话中取得了可喜的成果。然而,现有的数据集往往包含不受欢迎的偏见,缺乏复杂的语言分析,这使得人们很难理解当前的模型如何识别其精确的语言结构。为了解决这个问题,我们做了两个设计选择:首先,我们专注于OneCommon语料库\citep{udagawa2019natural,udagawa2020annotated},一个简单但具有挑战性的共同基础数据集,包含最小的设计偏差。其次,我们基于\textit{spatial expressions}分析了它们的语言结构,并为600个对话提供了全面可靠的注释。我们发现,我们的注释捕捉到重要的语言结构,包括谓词论元结构,修改和省略。在我们的实验中,我们通过参考分辨率来评估模型对这些结构的理解。我们证明了我们的注释可以揭示基线模型在基本细节水平上的优点和缺点。总的来说,我们提出了一个新的框架和资源调查细粒度的语言理解在视觉接地对话。
2020-10-07 cs.AI cs.CL
Annotation and Detection of Emotion in Text-based Dialogue Systems with CNN
Beijing Institute of Technology(北京理工大学)
了解用户的情绪状态有助于改善人机交互。本文提出了一种基于深度卷积神经网络的汉语日常对话情感检测器-为了保持原有的语言特征,如顺序,我们没有采用常用的方法,如分割和关键字提取,而是增加了CNN的深度,并试图让CNN学习内部的语言关系。我们的主要贡献是,我们提出了一个新的模型和一个新的管道,可以在多语言环境中使用,以解决情感问题。实验结果表明,该算法具有较强的情感学习能力,并取得了比现有检测器更好的效果。
2017-10-03 cs.CL
Who and What? Using Linguistic Features and Annotator Characteristics to Analyze Annotation Variation
GESIS - Leibniz Institute for the Social Sciences(GESIS-莱布尼茨社会科学研究所);Heinrich-Heine University Düsseldorf(杜伊斯堡-艾希斯海姆海因里希-海涅大学)
本文通过分析四个有害语言检测数据集,探讨标注者特征与语言属性的交互作用,揭示交叉影响及词汇线索的作用,指出不同数据集的效果差异需谨慎推广。
2026-05-07 cs.CL cs.CY
NAVCON: A Cognitively Inspired and Linguistically Grounded Corpus for Vision and Language Navigation
University of Pennsylvania(宾夕法尼亚大学)
本文提出了NAVCON,一个基于R2R和RxR的大规模视觉语言导航标注语料库,引入了四个核心导航概念及银标注生成算法,并通过人工评估和模型训练验证了其质量与实用性。
2024-12-18 cs.CL cs.CV
ConceptX: A Framework for Latent Concept Analysis
Qatar Computing Research Institute(卡塔尔计算研究所);Faculty of Computer Science, Dalhousie University(达尔豪斯大学计算机学院);School of Engineering and Science, Steven Institute of Technology(史蒂文斯理工学院工程与科学学院)
深度神经网络的不透明性仍然是部署解决方案的一个挑战,其中解释与精度同样重要。我们提出了ConceptX,一个用于解释和注释预训练的语言模型(pLM)中的潜在表征空间的人在回路框架。我们使用一种无监督的方法来发现在这些模型中学习到的概念,并为人类提供一个图形界面来生成对概念的解释。为了促进这一过程,我们提供了概念的自动注释(基于传统的语言本体)。这样的注释使得能够开发直接表示在深度NLP模型中学习的潜在概念的语言资源。这些概念不仅包括传统的语言概念,还包括特定于任务或敏感的概念(根据性别或宗教内涵分组的单词),这些概念有助于注释者标记模型中的偏见。该框架由两部分组成:(i)概念发现和(ii)注释平台。
2022-11-12 cs.CL
Aesthetics of Sanskrit Poetry from the Perspective of Computational Linguistics: A Case Study Analysis on Siksastaka
IIT Kanpur(印度理工学院坎普尔分校);University of Hyderabad(海得拉巴大学);IIT Roorkee(印度理工学院鲁尔基分校);Utah State University(犹他州立大学);IIT Kharagpur(印度理工学院克勒格布尔分校);IIT Mandi(印度理工学院曼迪分校)
本文提出人机协同的可解释计算语言学框架,结合六大梵语诗学派对 Siksastaka 进行多层面标注与分析,并提供 Web 应用支持后续研究。
2023-08-14 cs.CL
Argumentation in Waltz's "Emerging Structure of International Politics''
Bauhaus-Universität Weimar(魏玛包豪斯大学);Europa-Universität Viadrina(欧洲维阿德里纳大学);Jönköping University(延雪平大学)
本文提出一种针对国际关系理论文章的论证与领域标注方案,通过标注华尔兹1993年结构现实主义文本,验证了方案的可靠性并揭示了主张正当性研究问题的见解。
2023-12-31 cs.CL
Un modèle générique d'organisation de corpus en ligne: application à la FReeBank
少数可用的法语资源,用于评估语言模型或算法的其他语言水平比形态句法是不够的,从定量和定性的角度来看,或不能免费访问。基于这一事实,FREEBANK项目打算创建法语语料库构建使用手动修订的输出从一个混合约束语法分析器和注释的几个语言水平(结构,形态句法,句法,共指),其目标是使他们在线研究的目的。因此,我们将专注于使用标准的注释方案,整合现有资源和维护,以便不断丰富注释。在实际介绍已经实施的原型之前,本文描述了一个通用模型,用于组织和部署语言资源档案,符合目前在国际标准化倡议(TEI和ISO/TC 37/SC 4)中进行的各种工作。
2006-11-06 cs.CL
ChatGPT: Beginning of an End of Manual Linguistic Data Annotation? Use Case of Automatic Genre Identification
Jožef Stefan Institute(约泽夫·斯蒂芬研究所);Center za jezikovne vire in tehnologije(语言资源与技术中心);Univerze v Ljubljani(卢布尔雅那大学)
ChatGPT在自然语言生成任务中表现出了强大的能力,这自然会导致研究人员探索其能力的极限。在本文中,我们研究ChatGPT是否可以用于zero-shot文本分类,更具体地说,自动体裁识别。我们将ChatGPT与多语言XLM-RoBERTa语言模型进行了比较,该语言模型在数据集上进行了微调,并手动注释了流派。该模型进行了比较测试集在两种语言:英语和斯洛文尼亚语。结果表明,ChatGPT在应用于两个模型之前都没有见过的数据集时,性能优于微调模型。即使在斯洛文尼亚语作为一种资源不足的语言应用时,ChatGPT的表现也不比应用于英语时差。但是,如果模型完全以斯洛文尼亚语提示,性能会显着下降,显示ChatGPT在较小语言上使用的当前限制。所呈现的结果使我们质疑这是否是结束费力的手动注释活动的开始,即使是较小的语言,如斯洛文尼亚语。
2023-03-08 cs.CL cs.LG
Investigating accuracy of pitch-accent annotations in neural network-based speech synthesis and denoising effects
National Institute of Informatics(国立信息学研究所);KDDI Research Inc.(KDDI研究所)
我们研究了噪声语言特征对基于WaveNet声码器的神经网络的日语语音合成系统性能的影响。我们比较了一个理想的系统,使用手动校正的语言特征,包括音素和韵律信息的训练和测试集对其他几个系统,使用损坏的语言特征。主观和客观的结果表明,损坏的语言特征,特别是那些在测试集,影响了理想的系统的性能显着的统计意义上,由于训练和测试集之间的不匹配条件。有趣的是,虽然话语级图灵测试表明听众很难区分合成语音和自然语音,但它进一步表明,在训练集中向语言特征添加噪声可以部分减少失配的影响,正则化模型,并帮助系统在测试集的语言特征有噪声时表现得更好。
2018-08-02 cs.CL cs.SD eess.AS
Effectiveness of Counter-Speech against Abusive Content: A Multidimensional Annotation and Classification Study
Université Côte d’Azur(法国埃克塞特大学);Inria, CNRS, I3S(法国国家科学研究中心);Sophia Antipolis, France(法国索菲亚Antipolis)
针对反制言论有效性评估的挑战,提出基于语言学等概念的计算框架,定义六个核心维度标注4,214个实例,并通过多任务和依赖关系分类策略取得高F1值,揭示了维度间的强相互依赖性。
2025-10-13 cs.CL
A resource-based Korean morphological annotation system
我们描述了一种基于资源的方法的书面朝鲜语文本的形态注释。朝鲜语是一种黏着语。我们的系统的输出是一个图形的词素标注准确的语言信息。系统所使用的语言资源可以方便地更新,这使得用户可以控制系统性能的演变。我们发现,韩语文本的形态注释可以直接进行词汇和没有形态逻辑规则。
2007-11-21 cs.CL
Building Ontologies to Understand Spoken Tunisian Dialect
University of Sfax(斯法克斯大学)
本文提出了一种基于词汇语义的突尼斯方言口语理解方法。这种方法考虑到突尼斯方言的特殊性,因为它没有语言处理工具。该方法是基于本体的,它允许利用本体概念进行语义标注和本体关系进行语音解释。这种结合提高了理解速度,限制了对语言资源的依赖。本文还详细介绍了在受限领域对话系统的语音理解背景下,构建用于突尼斯方言注释和解释的本体的过程。
2011-09-03 cs.CL
Dense Contrastive Visual-Linguistic Pretraining
Beijing University of Posts and Telecommunications(北京邮电大学);Rutgers University(罗格斯大学);Shanghai AI Laboratory(上海人工智能实验室);Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索普拉特纳研究所);YITU Technology(依图科技)
受BERT成功的启发,已经提出了几种联合表示图像和文本的多模态表示学习方法。这些方法通过从大规模多模态预训练中捕获高级语义信息来实现卓越的性能。特别是,LXMERT和UNITER采用视觉区域特征回归和标签分类作为借口任务。然而,它们往往会受到噪声标签和稀疏语义注释的问题的困扰,这是基于视觉特征已经在具有有限和不一致的语义标签的众包数据集上进行了预训练。为了克服这些问题,我们提出了无偏的密集对比视觉语言预训练(DCVLP),它取代了区域回归和分类与跨模态区域对比学习,不需要注释。为了提高对比学习中负样本的质量,提出了两种数据增强策略(Mask扰动和Intra-/Inter-Adversarial扰动)。总的来说,DCVLP允许在独立于任何对象注释的自监督设置中进行跨模态密集区域对比学习。我们将我们的方法与先前的视觉语言预训练框架进行比较,以验证密集对比学习在多模态表示学习上的优越性。
2021-09-24 cs.CL cs.CV
Prague Dependency Treebank -- Consolidated 2.0: Enriching a Complex Annotation Scheme
Charles University, Faculty of Mathematics and Physics, Institute of Formal and Applied Linguistics(查尔斯大学数学与物理学院形式与应用语言学研究所)
本文介绍布拉格依存树库整合版2.0,该版本统一标注了多种语言层面,包含指代和话语关系,是近30年持续开发的成果,提供近400万词符的捷克语资源。
2026-11-11 cs.CL
ASL Video Corpora & Sign Bank: Resources Available through the American Sign Language Linguistic Research Project (ASLLRP)
Boston University(波士顿大学);Rutgers University(罗格斯大学)
美国手语语言学研究项目(ASLLRP)提供高质量手语视频数据的互联网访问,通常包括正面和侧面视图以及面部特写。签名的手动和非手动部分已经使用SignStream(R)进行了语言注释。最近扩展的视频语料库可以通过我们设计的数据访问接口(DAI 2)进行浏览和搜索;可以进行复杂的搜索。我们的语料库中的数据也可以下载;注释以XML导出格式提供。我们还开发了ASLLRP符号库,其中包含近6,000个词汇符号的符号条目,具有独特的基于英语的注释,共有41,830个词汇符号示例(此外还有大约300个手势,超过1,000个手指拼写符号和475个分类器示例)。同样,在互联网上也可以访问和搜索符号库;也可以从SignStream(R)(促进语言注释和视觉语言数据分析的软件)中访问该符号库,以使注释更加准确和有效。在这里,我们描述了可用的资源。这些数据已被用于许多类型的研究语言学和基于计算机的手语识别从视频;这样的研究的例子提供在本文的后半部分。
2022-01-19 cs.CL cs.CV cs.LG
Overview of Annotation Creation: Processes & Tools
创建语言注释需要的不仅仅是一个可靠的注释方案。注释可能是一项复杂的工作,可能涉及许多人、阶段和工具。本章概述了创建端到端语言注释的过程,确定了研究人员经常执行的特定任务。由于工具支持对于以低成本实现高质量、可重用的注释至关重要,因此重点是确定注释工具所必需或有用的功能,以及这些工具存在的降低其实用性的常见问题。虽然在许多情况下提供了具体工具的例子,但本章更多地关注抽象的能力和问题,因为新工具不断出现,而旧工具则因废弃或失修而消失。工具必须具有的两个核心功能是支持所选的注释方案和处理所研究语言的能力。附加功能分为三类:广泛提供的功能;通常有用但仅在少数工具中找到的功能;以及很少或没有可用工具支持的功能。
2016-02-18 cs.CL cs.HC
Large corpora and large language models: a replicable method for automating grammatical annotation
University of Gothenburg(哥德堡大学);Université Paris Cité(巴黎西岱大学)
本文提出一种基于Claude 3.5 Sonnet的可复现有监督方法,通过提示工程与少量训练数据实现英语语法构式标注,准确率超90%,为大规模语料语法变异研究提供高效工具。
2025-04-10 cs.CL
Hybrid Human-LLM Corpus Construction and LLM Evaluation for Rare Linguistic Phenomena
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文构建人类与LLM混合的NLP辅助标注语料库,低成本收集致使移动构式实例,并评估多款主流LLM,发现它们均难以理解该构式赋予句子的移动意义。
2024-03-11 cs.CL
GPT Assisted Annotation of Rhetorical and Linguistic Features for Interpretable Propaganda Technique Detection in News Text
Technological University Dublin(都柏林理工大学);SFI Centre for Research Training in Machine Learning(SFI机器学习研究培训中心);School of Computer Science(计算机学院);Artificial Intelligence and Cognitive Load Research Lab(人工智能与认知负荷研究实验室)
本研究将22种修辞语言特征编码并借助RhetAnn工具人工标注,结合GPT-3.5微调实现低成本可解释宣传技巧检测,效果媲美GPT-4且成本降低十倍。
2024-07-16 cs.AI cs.CL
An Annotation Scheme for Free Word Order Languages
我们描述了一个注释方案和开发的工具,用于创建语言注释语料库的非配置语言。由于这种形式主义的要求与配置语言的要求不同,因此增加了几个功能,影响了该方案的体系结构。由此产生的计划反映了一个分层的语言概念,并作出最低限度的假设的相互关系的特定代表阶层。
1997-02-10 cmp-lg cs.CL
Acoustic and linguistic representations for speech continuous emotion recognition in call center conversations
LIUM(勒芒大学信息实验室);Le Mans Université(勒芒大学);LIA(阿维尼翁大学信息实验室);Avignon Université(阿维尼翁大学);Allomedia(Allomedia公司)
针对呼叫中心语音情感识别标注数据不足的问题,本研究探索预训练声学与语言表征的应用,发现语言内容(尤其是CamemBERT表征)对满意度预测贡献最大,融合方法对标注主观性更鲁棒,并分析了性能波动与语言模态高贡献的原因。
2023-10-06 cs.AI cs.CL cs.LG
Assessing the potential of LLM-assisted annotation for corpus-based pragmatics and discourse analysis: The case of apology
Beijing Foreign Studies University(北京外国语大学);Sichuan International Studies University(四川外国语大学);University of Birmingham(伯明翰大学)
针对语用话语特征人工标注效率低的问题,本研究探索LLM辅助语料库标注的潜力,对比发现GPT-4标注道歉成分的准确率接近人工,可提升标注效率与可扩展性。
2024-12-09 cs.AI cs.CL
Standards for Language Resources
Vassar College(瓦萨学院);LORIA/INRIA(洛里亚/法国国家信息与自动化研究所)
本文的目标是双重的:提出一个抽象的数据模型的语言注释和它的实现使用XML,RDF和相关标准,并概述了国际标准化组织(ISO),ISO/TC 37/SC 4语言资源管理,这将使用这项工作作为其出发点新成立的委员会的工作。
2009-11-10 cs.CL
From Visual Attributes to Adjectives through Decompositional Distributional Semantics
Thomas J. Watson Research Center, IBM(IBM托马斯·J·沃森研究中心);Center for Mind/Brain Sciences(心智/脑科学中心);University of Trento(特伦托大学)
随着自动化图像分析的发展,人们越来越感兴趣的是图片的更丰富的语言注释,具有对象的属性(例如,毛茸茸的,棕色的.)吸引了最多的注意力。通过建立在最近的“零样本学习“的方法,并注意到作为名词修饰语的属性的语言性质,特别是形容词,我们表明,即使没有包含相关注释的训练数据,也可以用表示属性的形容词来标记图像。我们的方法依赖于两个关键的观察结果。首先,对象可以被看作是属性的集合,通常用形容词修饰语来表示(狗是毛茸茸的、棕色的东西等),并且因此被训练为将对象的视觉表示映射到名义标签的函数可以隐式地学习将属性映射到形容词。第二,对象和属性在图片中聚集在一起(同样的东西是一只狗,它是棕色的)。因此,我们可以实现更好的属性(和对象)标签检索处理图像作为“视觉短语”,并将其语言表示分解成一个属性表示形容词和对象表示名词。我们的方法执行的方法,利用手动属性标注,它优于各种竞争对手的替代品在属性和对象注释,它自动构造属性为中心的表示,显着提高性能的监督对象识别。
2015-03-24 cs.CL cs.CV
Evaluating ASR robustness to spontaneous speech errors: A study of WhisperX using a Speech Error Database
Khoury College of Computer Sciences(科里学院计算机科学学院)
本文利用SFUSED语音错误数据库的多维标注,评估WhisperX在5300个自发语音错误上的转写准确率,证明该数据库可作为ASR系统性能诊断的有效工具。
2025-08-18 cs.CL
The IOL-AI Challenge: An Open Challenge towards Advancing Linguistic Reasoning
University College London(伦敦大学学院);Meta;CentraleSupélec(中央高等电力学院);McGill University(麦吉尔大学);Cohere Labs(Cohere实验室);Princeton University(普林斯顿大学);University of Amsterdam(阿姆斯特丹大学);Stockholm University(斯德哥尔摩大学);Faculty of Liberal Arts and Sciences(文理学院);Universidade Federal de Goiás(戈亚斯联邦大学)
本文介绍基于2026年IOL个人赛未公开题目的IOL-AI挑战赛,评估含自动与评审团评分,测试显示模型能力不由规模决定,语言推理是泛化推理技能的强基准代理。
2026-08-19 cs.CL
Treebanking User-Generated Content: a UD Based Overview of Guidelines, Corpora and Unified Recommendations
Università degli Studi di Cagliari(卡利亚里大学);Università degli Studi di Torino(都灵大学);Dublin City University(都柏林城市大学);University of Stuttgart(斯图加特大学);Universitat Politècnica de València(瓦伦西亚理工大学);University of Mannheim(曼海姆大学);Leibniz-Institut für Deutsche Sprache Mannheim(曼海姆莱布尼茨德语研究所);INRIA Paris(法国国家信息与自动化研究所巴黎中心);Georgetown University(乔治城大学)
本文讨论了导致网络和社交媒体上用户生成文本分析困难的主要语言现象,并提出了一套在通用句法分析框架内对其进行处理的注释准则。一方面,越来越多的树库以用户生成的内容为特色,另一方面,这些资源的处理方式有些不一致,本文的目的是双重的:(1)根据现有的文献,对这些树库提供一个简明而全面的概述,并介绍其主要特点和对其注释标准的比较分析,(2)提出一套基于唯一性原则的注释准则,以促进对这类文本中特殊现象的一致处理。本文的总体目标是为有兴趣在UD中开发类似资源的研究人员提供一个通用框架,从而促进跨语言的一致性,这是UD精神的核心原则。
2020-11-03 cs.CL
Technical Report: Adjudication of Coreference Annotations via Answer Set Optimization
Institut für Logic and Computation(逻辑与计算研究所);Technische Universität Wien(维也纳技术大学);Faculty of Engineering, Marmara University(马尔马拉大学工程学院)
我们描述了第一个自动的方法合并从多个注释器获得的共指注释到一个单一的黄金标准。这种合并受到某些语言硬约束和优化标准的限制,这些标准更倾向于与注释者的分歧最小的解决方案。该表示涉及大量元素上的等价关系。我们使用答案集编程来描述问题的两种表示和四个适合不同数据集的目标函数。我们提供了两个结构不同的现实世界的基准数据集的基础上METU-Sabanci土耳其树库,我们报告我们的经验,使用Gringo,扣,黄蜂工具计算这些数据集上的最佳判决结果。
2018-01-31 cs.AI cs.CL
Annotation-Efficient Vision-Language Model Adaptation to the Polish Language Using the LLaVA Framework
NASK National Research Institute(国家研究机构NASK)
本文提出利用LLaVA框架高效适应波兰语的视觉-语言模型,通过自动化翻译和合成数据提升多模态模型性能。
2026-02-17 cs.AI cs.CL
LLMs in the Loop: Leveraging Large Language Model Annotations for Active Learning in Low-Resource Languages
University of Passau(帕绍大学)
针对低资源语言数据标注资源匮乏的问题,提出将LLM集成到主动学习标注循环中,经筛选的GPT-4-Turbo标注器可实现接近SOTA的性能,成本较人工标注降低至少42.45倍,助力低资源语言AI发展。
2024-06-23 cs.AI cs.CL cs.IR