Psycho-linguistic Experiment on Universal Semantic Components of Verbal Humor: System Description and Annotation
Tyumen State University(秋明国立大学)
针对言语幽默通用语义成分的客观区分标准存在争议的问题,本文介绍了一款逐词阅读式幽默标注系统,可记录读者的阅读与标注操作,并提及了基于该系统开展的心理语言学实验及收集的数据。
2024-07-10 cs.CL
ATLAS: A flexible and extensible architecture for linguistic annotation
我们描述了一个正式的模型注释的语言工件,从中我们得到一个应用程序编程接口(API)的一套工具来操纵这些注释。抽象逻辑模型提供了一系列存储格式,并促进了通过此API进行交互的工具的重用。我们首先关注“注释图”,这是一个用于按间隔索引的线性信号(如文本和语音)注释的图模型,高效的数据库存储和查询技术适用于此。我们注意到如何广泛的现有注释语料库可以映射到这个注释图模型。然后,这个模型被推广到包括更广泛的语言"信号“,包括自然发生的现象(如记录在图像,视频,多模态交互等),以及对于自然语言处理系统的工程设计越来越重要的派生资源(例如单词列表、字典、对齐的双语语料库等)。最后,我们审查目前的努力,实现这一架构的关键部分。
2000-07-13 cs.CL
Understanding the effects of word-level linguistic annotations in under-resourced neural machine translation
该研究针对低资源神经机器翻译中词级语言标注的作用,通过多语言对、多架构、多标注类型的实验对比源/目标端不同标注的效果差异并分析原因。
2024-01-29 cs.CL
The Annotation Guideline of LST20 Corpus
National Electronics and Computer Technology Center(国家电子与计算机技术中心)
这份报告提出了LST 20的注释指南,LST 20是一个大型语料库,具有多层泰语语言注释。我们的指南包括五个层次的语言注释:分词,词性标注,命名实体,分句边界和句子边界。该数据集符合CoNLL-2003风格的格式,便于使用。LST 20语料库提供了五个层次的语言注释,如前所述。在大规模上,它由3,164,864个单词,288,020个命名实体,248,962个子句和74,180个句子组成,同时使用16个不同的POS标签进行注释。所有3,745份文件还附有15种新闻类型的注释。就其庞大的规模而言,该数据集被认为足够大,可以为NLP开发联合神经模型。有了这个公开可用的语料库,泰语第一次成为语言丰富的语言。
2020-08-12 cs.CL
LAF-Fabric: a data analysis tool for Linguistic Annotation Framework with an application to the Hebrew Bible
Max Planck Institute for Psycholinguistics(马克斯·普朗克心理语言学研究所);VU University(阿姆斯特丹自由大学);University of Amsterdam(阿姆斯特丹大学)
语言注释框架(LAF)为语料库提供了一个通用的、可扩展的间隔标记系统。本文讨论了LAF-Fabric,一个新的工具来分析LAF资源一般与扩展,特别是处理希伯来圣经。我们首先走查希伯来圣经的历史作为文本数据库在十年宽的步骤。然后,我们描述了如何LAF-Fabric可以作为这个语料库的分析工具。最后,我们描述了受益于新LAF表示的三个分析项目/工作流程:1)语言变异研究:提取圣经书籍之间的常见名词的共现数据(Martijn Naaijer); 2)《诗篇》中希伯来诗歌语法的研究:摘录从句类型学(Gino Kalkman); 3)用面向数据的解析法构造一个古典希伯来语的解析器:从数据库中生成树结构(Andreas van Cranenburgh)。
2014-10-01 cs.CL
A Formal Framework for Linguistic Annotation (revised version)
“语言注释”包括适用于原始语言数据的任何描述性或分析性符号。基本数据可以是时间函数的形式-音频、视频和/或生理记录-或者它可以是文本。增加的注释可能包括各种类型的音译(从语音特征到话语结构)、词性和意义标注、句法分析、“命名实体”识别、共指注释等。虽然目前正在努力为这些注释提供格式和工具并出版注释语言数据库,但缺乏广泛接受的标准正成为一个关键问题。现有的拟议标准都侧重于文件格式。本文的重点是语言注释的逻辑结构。我们调查了各种现有的注释格式,并展示了一个共同的概念核心,注释图。这为构造、维护和搜索语言注释提供了一个正式的框架,同时与许多替代的数据结构和文件格式保持一致。
2000-10-26 cs.CL cs.DB cs.DS
CLASSLA-web: Comparable Web Corpora of South Slavic Languages Enriched with Linguistic and Genre Annotation
Jožef Stefan Institute(约热夫·施特凡研究所);University of Ljubljana(卢布尔雅那大学);Institute of Contemporary History(当代史研究所)
本文构建了覆盖七种南斯拉夫官方语言的可比网络语料库,采用统一爬取与CLASSLA-Stanza标注及X-GENRE体裁分类,发现体裁分布与地区经济水平相关。
2024-03-26 cs.CL
Building Tamil Treebanks
University of Jaffna(贾夫纳大学);University of Konstanz(康斯坦茨大学)
本文探讨了通过人工标注、计算语法和机器学习三种方法构建泰米尔语树库,分析了各自的优势与挑战,强调了其对推进语言学研究和改善泰米尔语NLP工具的重要性。
2024-09-23 cs.CL
Towards a General-Purpose Linguistic Annotation Backend
Carnegie Mellon University(卡内基梅隆大学);National Research Council Canada(加拿大国家研究委员会)
语言文献工作本质上是一个时间密集型的过程;转录、注释和语料库管理占据了文献语言学家工作的很大一部分。自然语言处理的进步可以帮助加速这项工作,使用语言学家过去的决定作为培训材料,但如何优先考虑人类参与的问题仍然存在。在这个扩展的摘要中,我们描述了一个新项目的开始,该项目将试图通过使用自然语言处理(NLP)技术来简化这种语言文档处理过程。它基于(1)基于大规模多语言神经网络的最新进展,使NLP工具适应新语言的方法,以及(2)允许语言学家上传数据的后端API和接口。然后,我们描述了我们目前的进展在两个方面:自动音素转录,和注释。最后,我们简要介绍了我们未来的发展方向。
2018-12-13 cs.CL
From Labels to Facets: Building a Taxonomically Enriched Turkish Learner Corpus
本文提出了一种半自动标注方法,构建了首个具有分类学丰富的土耳其学习者语料库,通过多维分类学实现更精细的标注与分析。
2026-02-02 cs.CL
TalkTag: Fine-Grained Morphosyntactic Error Annotation for Transcribed Speech
Karlsruhe Institute of Technology, Germany(德意志联邦共和国卡尔斯鲁厄理工大学);Karlsruhe University of Applied Sciences, Germany(德意志联邦共和国卡尔斯鲁厄应用科学大学)
提出基于LLM的轻量级工具TalkTag,在数据稀缺条件下自动进行口语转录文本的CHAT风格错误标注,实现低资源场景下的精确标注并识别歧义情况。
2026-06-01 cs.CL
How to Evaluate a Summarizer: Study Design and Statistical Analysis for Manual Linguistic Quality Evaluation
Heidelberg University(海德堡大学)
人工评估是判断自动文本摘要进展的关键。然而,我们进行了一项调查,最近的摘要系统的论文,揭示了如何进行这种评估研究的协议。我们对摘要的语言质量(连贯性和重复性)的两个方面进行了两个评价实验,比较了Likert类型和等级注释,并表明最佳评价方法的选择可以从一个方面到另一个方面而变化。在我们的调查中,我们还发现,研究参数,如注释者的总数和注释者的注释项目的分布往往没有完全报告,随后的统计分析忽略了分组因素所产生的一个注释判断多个摘要。使用我们的评估实验,我们表明,注释器的总数可以有很大的影响,学习的力量,目前的统计分析方法可以膨胀I型出错率高达8倍。此外,我们强调,为了系统比较的目的,目前的做法,每个摘要引起多个判断,导致不太强大和可靠的注释给定一个固定的研究预算。
2021-01-27 cs.CL
Standardizing linguistic data: method and tools for annotating (pre-orthographic) French
École des Chartes(文献学院);Sorbonne Université(索邦大学);École normale supérieure de Lyon(里昂高等师范学院)
随着各个时期大型语料库的发展,尽管历时变化,但对语言注释(例如词元、词性标记、形态注释)进行简化以增加所产生数据的互操作性变得至关重要。在本文中,我们描述了方法上(通过提出注释原则)和技术上(通过创建所需的训练数据和相关模型)(早期)现代法语(16- 18 c.)的语言标记器的生产,尽可能多地考虑到当代,特别是中世纪法语的现有标准。
2020-11-22 cs.CL cs.LG
FlaCGEC: A Chinese Grammatical Error Correction Dataset with Fine-grained Linguistic Annotation
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学)
针对现有中文语法纠错数据集缺乏语法错误深层语言结构的问题,研究者构建了带细粒度语言标注的FlaCGEC数据集,实验表明该数据集具有挑战性,可用于模型泛化能力诊断。
2023-09-26 cs.AI cs.CL
Provenance for Linguistic Corpora Through Nanopublications
Business Web and Media(商业网络与媒体);VU Amsterdam(阿姆斯特丹自由大学)
计算语言学的研究依赖于文本语料库来训练和测试新的工具和方法。虽然存在过多的注释语言信息,但这些语料库通常在没有大量手工工作的情况下无法互操作。此外,这些注释可能已经演变成不同的版本,使研究人员难以了解数据的出处。本文通过对事件注释语料库的案例研究来解决这个问题,并以纳米出版物的形式创建了一种新的,更具互操作性的数据表示。我们演示了如何从一开始就可以可靠地链接来自不同语料库的语言注释,从而访问和查询,就好像它们是一个单一的数据集。我们描述了如何创建这样的nanopublications,并演示了如何SPARQL查询可以从新的表示提取有趣的内容。查询结果表明,由于不同语料库的信息以统一的数据格式表示,因此可以更方便、更有效地检索多个语料库的信息。
2020-11-02 cs.CL
LinguistAgent Technical Report: A Reflective Multi-Model Platform for Automated Linguistic Annotation
University of Birmingham(伯明翰大学)
LinguistAgent通过反思多模型架构实现自动化语言标注,采用双代理工作流程模拟同行评审,支持多种标注范式并提供实时评估。
2026-07-22 cs.AI cs.CL cs.MA
Annotation Uncertainty in the Context of Grammatical Change
University of Zurich(苏黎世大学);Paderborn University(帕德博恩大学);Universität der Bundeswehr München(慕尼黑联邦国防军大学);LMU Munich(慕尼黑大学)
本文阐述了在大文本语料库中的注释背景下的不确定性概念,特别关注(但不限于)历史语言。这种不确定性可能是由于语言的固有属性,例如,语言歧义和语言描述的重叠类别,但也可能是由于缺乏注释专业知识造成的。通过更详细地研究注释不确定性,我们确定了来源,并加深了我们对日常注释实践中遇到的不确定性的性质和不同类型的理解。此外,我们的理论研究结果的一些实际意义也进行了讨论。最后但并非最不重要的是,这篇文章可以被看作是试图调和语料库项目,语言学和计算机科学涉及的主要科学学科的观点,以发展一个统一的观点,并强调这些学科之间的潜在协同作用。
2021-05-28 cs.AI cs.CL
Annotation and Detection of Emotion in Text-based Dialogue Systems with CNN
Beijing Institute of Technology(北京理工大学)
了解用户的情绪状态有助于改善人机交互。本文提出了一种基于深度卷积神经网络的汉语日常对话情感检测器-为了保持原有的语言特征,如顺序,我们没有采用常用的方法,如分割和关键字提取,而是增加了CNN的深度,并试图让CNN学习内部的语言关系。我们的主要贡献是,我们提出了一个新的模型和一个新的管道,可以在多语言环境中使用,以解决情感问题。实验结果表明,该算法具有较强的情感学习能力,并取得了比现有检测器更好的效果。
2017-10-03 cs.CL
Towards Responsible Natural Language Annotation for the Varieties of Arabic
Meta
在构建NLP模型时,有一种倾向是以更广泛的覆盖范围为目标,往往忽视了文化和(社会)语言的细微差别。在这份立场文件中,我们提出了照顾和关注这些细微差别的理由,特别是在数据集注释中,以及在这个过程中纳入文化和语言专业知识。我们提出了一个剧本,负责数据集创建多语种,多方言的语言。这项工作参考了一项关于社交媒体内容的阿拉伯文注释的研究。
2022-03-17 cs.CL cs.CY
A Linguistic Analysis of Visually Grounded Dialogues Based on Spatial Expressions
The University of Tokyo(东京大学);Japan National Institute of Informatics(日本国家信息学研究所);NII(信息学研究所(NII))
最近的模型在视觉接地对话中取得了可喜的成果。然而,现有的数据集往往包含不受欢迎的偏见,缺乏复杂的语言分析,这使得人们很难理解当前的模型如何识别其精确的语言结构。为了解决这个问题,我们做了两个设计选择:首先,我们专注于OneCommon语料库\citep{udagawa2019natural,udagawa2020annotated},一个简单但具有挑战性的共同基础数据集,包含最小的设计偏差。其次,我们基于\textit{spatial expressions}分析了它们的语言结构,并为600个对话提供了全面可靠的注释。我们发现,我们的注释捕捉到重要的语言结构,包括谓词论元结构,修改和省略。在我们的实验中,我们通过参考分辨率来评估模型对这些结构的理解。我们证明了我们的注释可以揭示基线模型在基本细节水平上的优点和缺点。总的来说,我们提出了一个新的框架和资源调查细粒度的语言理解在视觉接地对话。
2020-10-07 cs.AI cs.CL
Who and What? Using Linguistic Features and Annotator Characteristics to Analyze Annotation Variation
GESIS - Leibniz Institute for the Social Sciences(GESIS-莱布尼茨社会科学研究所);Heinrich-Heine University Düsseldorf(杜伊斯堡-艾希斯海姆海因里希-海涅大学)
本文通过分析四个有害语言检测数据集,探讨标注者特征与语言属性的交互作用,揭示交叉影响及词汇线索的作用,指出不同数据集的效果差异需谨慎推广。
2026-05-07 cs.CL cs.CY
ezCoref: Towards Unifying Annotation Guidelines for Coreference Resolution
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Brown University(布朗大学);Google(谷歌)
大规模、高质量的语料库是推进共指消解研究的关键。然而,现有的数据集在共指的定义上各不相同,并且是通过为语言专家策划的复杂而冗长的指南收集的。这些问题引发了研究人员越来越多的兴趣,以策划一套统一的准则,适合不同背景的注释者。在这项工作中,我们开发了一个众包友好的共指注释方法,ezCoref,由一个注释工具和一个互动教程。我们使用ezCoref从七个现有的英语共指数据集(涵盖小说,新闻和多个其他领域)中重新注释240个段落,同时只教授注释者在这些数据集中处理相似的案例。令人惊讶的是,我们发现即使没有广泛的培训,合理的质量注释也已经可以实现(人群和专家注释之间的一致性>90%)。在仔细分析剩余的分歧时,我们确定了我们的注释者一致同意但缺乏统一处理的语言案例的存在(例如,类属代词、同位词)。我们建议研究界在策划未来的统一注释指南时应该重新审视这些现象。
2022-10-13 cs.CL
NAVCON: A Cognitively Inspired and Linguistically Grounded Corpus for Vision and Language Navigation
University of Pennsylvania(宾夕法尼亚大学)
本文提出了NAVCON,一个基于R2R和RxR的大规模视觉语言导航标注语料库,引入了四个核心导航概念及银标注生成算法,并通过人工评估和模型训练验证了其质量与实用性。
2024-12-18 cs.CL cs.CV
ConceptX: A Framework for Latent Concept Analysis
Qatar Computing Research Institute(卡塔尔计算研究所);Faculty of Computer Science, Dalhousie University(达尔豪斯大学计算机学院);School of Engineering and Science, Steven Institute of Technology(史蒂文斯理工学院工程与科学学院)
深度神经网络的不透明性仍然是部署解决方案的一个挑战,其中解释与精度同样重要。我们提出了ConceptX,一个用于解释和注释预训练的语言模型(pLM)中的潜在表征空间的人在回路框架。我们使用一种无监督的方法来发现在这些模型中学习到的概念,并为人类提供一个图形界面来生成对概念的解释。为了促进这一过程,我们提供了概念的自动注释(基于传统的语言本体)。这样的注释使得能够开发直接表示在深度NLP模型中学习的潜在概念的语言资源。这些概念不仅包括传统的语言概念,还包括特定于任务或敏感的概念(根据性别或宗教内涵分组的单词),这些概念有助于注释者标记模型中的偏见。该框架由两部分组成:(i)概念发现和(ii)注释平台。
2022-11-12 cs.CL
Aesthetics of Sanskrit Poetry from the Perspective of Computational Linguistics: A Case Study Analysis on Siksastaka
IIT Kanpur(印度理工学院坎普尔分校);University of Hyderabad(海得拉巴大学);IIT Roorkee(印度理工学院鲁尔基分校);Utah State University(犹他州立大学);IIT Kharagpur(印度理工学院克勒格布尔分校);IIT Mandi(印度理工学院曼迪分校)
本文提出人机协同的可解释计算语言学框架,结合六大梵语诗学派对 Siksastaka 进行多层面标注与分析,并提供 Web 应用支持后续研究。
2023-08-14 cs.CL
Un modèle générique d'organisation de corpus en ligne: application à la FReeBank
少数可用的法语资源,用于评估语言模型或算法的其他语言水平比形态句法是不够的,从定量和定性的角度来看,或不能免费访问。基于这一事实,FREEBANK项目打算创建法语语料库构建使用手动修订的输出从一个混合约束语法分析器和注释的几个语言水平(结构,形态句法,句法,共指),其目标是使他们在线研究的目的。因此,我们将专注于使用标准的注释方案,整合现有资源和维护,以便不断丰富注释。在实际介绍已经实施的原型之前,本文描述了一个通用模型,用于组织和部署语言资源档案,符合目前在国际标准化倡议(TEI和ISO/TC 37/SC 4)中进行的各种工作。
2006-11-06 cs.CL
ChatGPT: Beginning of an End of Manual Linguistic Data Annotation? Use Case of Automatic Genre Identification
Jožef Stefan Institute(约泽夫·斯蒂芬研究所);Center za jezikovne vire in tehnologije(语言资源与技术中心);Univerze v Ljubljani(卢布尔雅那大学)
ChatGPT在自然语言生成任务中表现出了强大的能力,这自然会导致研究人员探索其能力的极限。在本文中,我们研究ChatGPT是否可以用于zero-shot文本分类,更具体地说,自动体裁识别。我们将ChatGPT与多语言XLM-RoBERTa语言模型进行了比较,该语言模型在数据集上进行了微调,并手动注释了流派。该模型进行了比较测试集在两种语言:英语和斯洛文尼亚语。结果表明,ChatGPT在应用于两个模型之前都没有见过的数据集时,性能优于微调模型。即使在斯洛文尼亚语作为一种资源不足的语言应用时,ChatGPT的表现也不比应用于英语时差。但是,如果模型完全以斯洛文尼亚语提示,性能会显着下降,显示ChatGPT在较小语言上使用的当前限制。所呈现的结果使我们质疑这是否是结束费力的手动注释活动的开始,即使是较小的语言,如斯洛文尼亚语。
2023-03-08 cs.CL cs.LG
Investigating accuracy of pitch-accent annotations in neural network-based speech synthesis and denoising effects
National Institute of Informatics(国立信息学研究所);KDDI Research Inc.(KDDI研究所)
我们研究了噪声语言特征对基于WaveNet声码器的神经网络的日语语音合成系统性能的影响。我们比较了一个理想的系统,使用手动校正的语言特征,包括音素和韵律信息的训练和测试集对其他几个系统,使用损坏的语言特征。主观和客观的结果表明,损坏的语言特征,特别是那些在测试集,影响了理想的系统的性能显着的统计意义上,由于训练和测试集之间的不匹配条件。有趣的是,虽然话语级图灵测试表明听众很难区分合成语音和自然语音,但它进一步表明,在训练集中向语言特征添加噪声可以部分减少失配的影响,正则化模型,并帮助系统在测试集的语言特征有噪声时表现得更好。
2018-08-02 cs.CL cs.SD eess.AS
Effectiveness of Counter-Speech against Abusive Content: A Multidimensional Annotation and Classification Study
Université Côte d’Azur(法国埃克塞特大学);Inria, CNRS, I3S(法国国家科学研究中心);Sophia Antipolis, France(法国索菲亚Antipolis)
针对反制言论有效性评估的挑战,提出基于语言学等概念的计算框架,定义六个核心维度标注4,214个实例,并通过多任务和依赖关系分类策略取得高F1值,揭示了维度间的强相互依赖性。
2025-10-13 cs.CL
A Common XML-based Framework for Syntactic Annotations
Vassar College(瓦萨学院);LORIA/CNRS(洛里亚/法国国家科学研究中心);Institute "Jožef Stefan"(约瑟夫·斯蒂芬研究所)
人们普遍认识到,注释方案的激增与重新使用语言资源的需要背道而驰,并且语言注释的标准正变得越来越强制性。为了满足这一需求,我们开发了一个框架,该框架由用于各种不同注释类型的抽象模型组成(例如,形态句法标记、句法注释、共指注释等),它可以根据注释者的方法和目标以不同的方式实例化。在本文中,我们提供了一个概述的框架,证明其适用于句法注释,并显示它如何有助于比较评估分析器的输出和不同的句法注释计划。
2009-09-15 cs.CL
Markov Chain Monte-Carlo Phylogenetic Inference Construction in Computational Historical Linguistics
Arizona State University(亚利桑那州立大学)
当今世界上越来越多的语言被研究,传统的历史语言学研究方法面临着挑战。例如,语言之间的语言学比较研究需要人工注释,随着世界各地语言数据的不断增加,人工注释变得越来越不可能。虽然它很难取代语言学家的工作,但自动计算方法已经被考虑在内,它可以帮助人们减轻工作量。历史语言学中最重要的工作之一就是对不同语言的词语进行比较并找到它们的同源词,这意味着人们试图弄清楚两种语言是否相互关联。在本文中,我将使用计算的方法来聚类的语言,并使用马尔可夫链蒙特卡罗(MCMC)方法来建立基于聚类的语言类型关系树。
2020-03-14 cs.CL
Building Ontologies to Understand Spoken Tunisian Dialect
University of Sfax(斯法克斯大学)
本文提出了一种基于词汇语义的突尼斯方言口语理解方法。这种方法考虑到突尼斯方言的特殊性,因为它没有语言处理工具。该方法是基于本体的,它允许利用本体概念进行语义标注和本体关系进行语音解释。这种结合提高了理解速度,限制了对语言资源的依赖。本文还详细介绍了在受限领域对话系统的语音理解背景下,构建用于突尼斯方言注释和解释的本体的过程。
2011-09-03 cs.CL
Prague Dependency Treebank -- Consolidated 2.0: Enriching a Complex Annotation Scheme
Charles University, Faculty of Mathematics and Physics, Institute of Formal and Applied Linguistics(查尔斯大学数学与物理学院形式与应用语言学研究所)
本文介绍布拉格依存树库整合版2.0,该版本统一标注了多种语言层面,包含指代和话语关系,是近30年持续开发的成果,提供近400万词符的捷克语资源。
2026-11-11 cs.CL
Dense Contrastive Visual-Linguistic Pretraining
Beijing University of Posts and Telecommunications(北京邮电大学);Rutgers University(罗格斯大学);Shanghai AI Laboratory(上海人工智能实验室);Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索普拉特纳研究所);YITU Technology(依图科技)
受BERT成功的启发,已经提出了几种联合表示图像和文本的多模态表示学习方法。这些方法通过从大规模多模态预训练中捕获高级语义信息来实现卓越的性能。特别是,LXMERT和UNITER采用视觉区域特征回归和标签分类作为借口任务。然而,它们往往会受到噪声标签和稀疏语义注释的问题的困扰,这是基于视觉特征已经在具有有限和不一致的语义标签的众包数据集上进行了预训练。为了克服这些问题,我们提出了无偏的密集对比视觉语言预训练(DCVLP),它取代了区域回归和分类与跨模态区域对比学习,不需要注释。为了提高对比学习中负样本的质量,提出了两种数据增强策略(Mask扰动和Intra-/Inter-Adversarial扰动)。总的来说,DCVLP允许在独立于任何对象注释的自监督设置中进行跨模态密集区域对比学习。我们将我们的方法与先前的视觉语言预训练框架进行比较,以验证密集对比学习在多模态表示学习上的优越性。
2021-09-24 cs.CL cs.CV
Large corpora and large language models: a replicable method for automating grammatical annotation
University of Gothenburg(哥德堡大学);Université Paris Cité(巴黎西岱大学)
本文提出一种基于Claude 3.5 Sonnet的可复现有监督方法,通过提示工程与少量训练数据实现英语语法构式标注,准确率超90%,为大规模语料语法变异研究提供高效工具。
2025-04-10 cs.CL
ASL Video Corpora & Sign Bank: Resources Available through the American Sign Language Linguistic Research Project (ASLLRP)
Boston University(波士顿大学);Rutgers University(罗格斯大学)
美国手语语言学研究项目(ASLLRP)提供高质量手语视频数据的互联网访问,通常包括正面和侧面视图以及面部特写。签名的手动和非手动部分已经使用SignStream(R)进行了语言注释。最近扩展的视频语料库可以通过我们设计的数据访问接口(DAI 2)进行浏览和搜索;可以进行复杂的搜索。我们的语料库中的数据也可以下载;注释以XML导出格式提供。我们还开发了ASLLRP符号库,其中包含近6,000个词汇符号的符号条目,具有独特的基于英语的注释,共有41,830个词汇符号示例(此外还有大约300个手势,超过1,000个手指拼写符号和475个分类器示例)。同样,在互联网上也可以访问和搜索符号库;也可以从SignStream(R)(促进语言注释和视觉语言数据分析的软件)中访问该符号库,以使注释更加准确和有效。在这里,我们描述了可用的资源。这些数据已被用于许多类型的研究语言学和基于计算机的手语识别从视频;这样的研究的例子提供在本文的后半部分。
2022-01-19 cs.CL cs.CV cs.LG
Overview of Annotation Creation: Processes & Tools
创建语言注释需要的不仅仅是一个可靠的注释方案。注释可能是一项复杂的工作,可能涉及许多人、阶段和工具。本章概述了创建端到端语言注释的过程,确定了研究人员经常执行的特定任务。由于工具支持对于以低成本实现高质量、可重用的注释至关重要,因此重点是确定注释工具所必需或有用的功能,以及这些工具存在的降低其实用性的常见问题。虽然在许多情况下提供了具体工具的例子,但本章更多地关注抽象的能力和问题,因为新工具不断出现,而旧工具则因废弃或失修而消失。工具必须具有的两个核心功能是支持所选的注释方案和处理所研究语言的能力。附加功能分为三类:广泛提供的功能;通常有用但仅在少数工具中找到的功能;以及很少或没有可用工具支持的功能。
2016-02-18 cs.CL cs.HC
Hybrid Human-LLM Corpus Construction and LLM Evaluation for Rare Linguistic Phenomena
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文构建人类与LLM混合的NLP辅助标注语料库,低成本收集致使移动构式实例,并评估多款主流LLM,发现它们均难以理解该构式赋予句子的移动意义。
2024-03-11 cs.CL
GPT Assisted Annotation of Rhetorical and Linguistic Features for Interpretable Propaganda Technique Detection in News Text
Technological University Dublin(都柏林理工大学);SFI Centre for Research Training in Machine Learning(SFI机器学习研究培训中心);School of Computer Science(计算机学院);Artificial Intelligence and Cognitive Load Research Lab(人工智能与认知负荷研究实验室)
本研究将22种修辞语言特征编码并借助RhetAnn工具人工标注,结合GPT-3.5微调实现低成本可解释宣传技巧检测,效果媲美GPT-4且成本降低十倍。
2024-07-16 cs.AI cs.CL
Malaysian English News Decoded: A Linguistic Resource for Named Entity and Relation Extraction
针对马来西亚英语与标准英语的差异导致NLP任务困难的问题,构建了包含200篇新闻的MEN数据集,手动标注实体和关系,并通过微调spaCy NER工具验证了定制数据集能显著提升NER性能。
2026-05-30 cs.CL
Acoustic and linguistic representations for speech continuous emotion recognition in call center conversations
LIUM(勒芒大学信息实验室);Le Mans Université(勒芒大学);LIA(阿维尼翁大学信息实验室);Avignon Université(阿维尼翁大学);Allomedia(Allomedia公司)
针对呼叫中心语音情感识别标注数据不足的问题,本研究探索预训练声学与语言表征的应用,发现语言内容(尤其是CamemBERT表征)对满意度预测贡献最大,融合方法对标注主观性更鲁棒,并分析了性能波动与语言模态高贡献的原因。
2023-10-06 cs.AI cs.CL cs.LG
Assessing the potential of LLM-assisted annotation for corpus-based pragmatics and discourse analysis: The case of apology
Beijing Foreign Studies University(北京外国语大学);Sichuan International Studies University(四川外国语大学);University of Birmingham(伯明翰大学)
针对语用话语特征人工标注效率低的问题,本研究探索LLM辅助语料库标注的潜力,对比发现GPT-4标注道歉成分的准确率接近人工,可提升标注效率与可扩展性。
2024-12-09 cs.AI cs.CL
BERT-Assisted Semantic Annotation Correction for Emotion-Related Questions
University of St. Thomas(圣托马斯大学)
注释数据传统上用于提供用于训练监督机器学习(ML)模型的输入。然而,当前用于自然语言处理(NLP)的预训练ML模型包含可用于通知注释过程的嵌入式语言信息。我们使用BERT神经语言模型将信息反馈到注释任务中,该任务涉及在一个名为情感二十问题(EMO20 Q)的提问游戏中对对话行为进行语义标记。首先,我们描述了BERT的背景,EMO20 Q数据,和辅助注释任务。然后我们描述了微调BERT以检查注释标签的方法。为此,我们使用释义任务作为一种检查具有相同注释标签的所有话语都被归类为彼此的释义的方法。我们表明,这种方法是一种有效的方式来评估和修改文本用户数据的注释与复杂的,话语级的语义标签。
2022-04-02 cs.CL
Evaluating ASR robustness to spontaneous speech errors: A study of WhisperX using a Speech Error Database
Khoury College of Computer Sciences(科里学院计算机科学学院)
本文利用SFUSED语音错误数据库的多维标注,评估WhisperX在5300个自发语音错误上的转写准确率,证明该数据库可作为ASR系统性能诊断的有效工具。
2025-08-18 cs.CL
From Visual Attributes to Adjectives through Decompositional Distributional Semantics
Thomas J. Watson Research Center, IBM(IBM托马斯·J·沃森研究中心);Center for Mind/Brain Sciences(心智/脑科学中心);University of Trento(特伦托大学)
随着自动化图像分析的发展,人们越来越感兴趣的是图片的更丰富的语言注释,具有对象的属性(例如,毛茸茸的,棕色的.)吸引了最多的注意力。通过建立在最近的“零样本学习“的方法,并注意到作为名词修饰语的属性的语言性质,特别是形容词,我们表明,即使没有包含相关注释的训练数据,也可以用表示属性的形容词来标记图像。我们的方法依赖于两个关键的观察结果。首先,对象可以被看作是属性的集合,通常用形容词修饰语来表示(狗是毛茸茸的、棕色的东西等),并且因此被训练为将对象的视觉表示映射到名义标签的函数可以隐式地学习将属性映射到形容词。第二,对象和属性在图片中聚集在一起(同样的东西是一只狗,它是棕色的)。因此,我们可以实现更好的属性(和对象)标签检索处理图像作为“视觉短语”,并将其语言表示分解成一个属性表示形容词和对象表示名词。我们的方法执行的方法,利用手动属性标注,它优于各种竞争对手的替代品在属性和对象注释,它自动构造属性为中心的表示,显着提高性能的监督对象识别。
2015-03-24 cs.CL cs.CV
Treebanking User-Generated Content: a UD Based Overview of Guidelines, Corpora and Unified Recommendations
Università degli Studi di Cagliari(卡利亚里大学);Università degli Studi di Torino(都灵大学);Dublin City University(都柏林城市大学);University of Stuttgart(斯图加特大学);Universitat Politècnica de València(瓦伦西亚理工大学);University of Mannheim(曼海姆大学);Leibniz-Institut für Deutsche Sprache Mannheim(曼海姆莱布尼茨德语研究所);INRIA Paris(法国国家信息与自动化研究所巴黎中心);Georgetown University(乔治城大学)
本文讨论了导致网络和社交媒体上用户生成文本分析困难的主要语言现象,并提出了一套在通用句法分析框架内对其进行处理的注释准则。一方面,越来越多的树库以用户生成的内容为特色,另一方面,这些资源的处理方式有些不一致,本文的目的是双重的:(1)根据现有的文献,对这些树库提供一个简明而全面的概述,并介绍其主要特点和对其注释标准的比较分析,(2)提出一套基于唯一性原则的注释准则,以促进对这类文本中特殊现象的一致处理。本文的总体目标是为有兴趣在UD中开发类似资源的研究人员提供一个通用框架,从而促进跨语言的一致性,这是UD精神的核心原则。
2020-11-03 cs.CL
Manual Annotation of Translational Equivalence: The Blinker Project
双语注释者被雇佣来将现代法语和现代英语的在线圣经版本之间的大约16000个对应单词联系起来。这些注释可从http://www.cis.upenn.edu/~melamed免费提供给研究社区。注释可用于多种目的。首先,它们可以用作开发和测试翻译词典和统计翻译模型的标准数据集。其次,词汇语义学的研究者将能够挖掘注释,以了解跨语言词汇化模式。第三,注释可以用于研究最近提出的单语词义消歧方法。本文介绍了注释文本,专门设计的注释工具,以及所采用的策略,以提高注释的一致性。注释过程由不同的注释者重复了五次。注释者之间的一致率表明,注释是合理可靠的,该方法是很容易复制。
1998-05-11 cmp-lg cs.CL
Linguistic Profiling of a Neural Language Model
Istituto di Linguistica Computazionale “Antonio Zampolli”(安东尼奥·赞波利计算语言学研究所);Department of Computer Science, University of Pisa(比萨大学计算机科学系)
本文通过多组探测任务分析 BERT 在微调前后的语言学知识变化,发现微调会削弱其语言学编码能力,而更强的语言学信息存储能力有助于提升下游分类预测表现。
2020-11-07 cs.AI cs.CL
RiSAWOZ: A Large-Scale Multi-Domain Wizard-of-Oz Dataset with Rich Semantic Annotations for Task-Oriented Dialogue Modeling
Soochow University(苏州大学);Tianjin University(天津大学)
为了缓解多领域数据不足的问题,并为面向任务的对话建模捕捉话语现象,我们提出了一个具有丰富语义标注的大规模多领域中文Wizard-of-Oz数据集RiSAWOZ。RiSAWOZ包含11.2K人对人(H2 H)多回合语义注释对话,其中超过15万个话语跨越12个领域,这比之前所有注释的H2 H对话数据集都要大。单域对话和多域对话都有,分别占65%和35%。每一个对话都有全面的对话注释,包括自然语言描述形式的对话目标、领域、对话状态和用户侧和系统侧的动作。除了传统的对话注释外,我们还特别提供对话语现象的语言注释,例如,省略和共指,在对话中,这是有用的对话共指和省略决议的任务。除了完整的注释数据集外,我们还详细描述了数据集的数据汇集过程、统计和分析。文中给出了一系列的基准测试模型和结果,包括自然语言理解(意图检测和槽填充)、对话状态跟踪和对话上下文到文本的生成,以及共指和省略消解,为该语料库的后续研究提供了基线比较。
2020-10-17 cs.CL
Applying Reliability Metrics to Co-Reference Annotation
对制约指称等语篇现象的语境和语言因素的研究越来越依赖于注释语料库。在准备语料库时,重要的是要评估注释的可靠性,但这样做的方法还没有现成的。在这份报告中,我提出了一种计算共指标注可靠性的方法。首先,我回顾了一种方法,应用信息检索的召回率和精度指标的共指标注马克Vilain和他的合作者提出的。我展示了这种方法如何使它有可能构建列联表计算科恩的Kappa,一个熟悉的可靠性指标。通过在相同的数据集上比较查全率和查准率与可靠性,我还表明,查全率和查准率可能会高得令人误解。由于Kappa因子在编码器之间的机会协议,这是一个更好的措施,开发注释语料库中没有预先存在的目标注释存在。
1997-06-10 cmp-lg cs.CL
Technical Report: Adjudication of Coreference Annotations via Answer Set Optimization
Institut für Logic and Computation(逻辑与计算研究所);Technische Universität Wien(维也纳技术大学);Faculty of Engineering, Marmara University(马尔马拉大学工程学院)
我们描述了第一个自动的方法合并从多个注释器获得的共指注释到一个单一的黄金标准。这种合并受到某些语言硬约束和优化标准的限制,这些标准更倾向于与注释者的分歧最小的解决方案。该表示涉及大量元素上的等价关系。我们使用答案集编程来描述问题的两种表示和四个适合不同数据集的目标函数。我们提供了两个结构不同的现实世界的基准数据集的基础上METU-Sabanci土耳其树库,我们报告我们的经验,使用Gringo,扣,黄蜂工具计算这些数据集上的最佳判决结果。
2018-01-31 cs.AI cs.CL
Empirical Discovery in Linguistics
基于J.S. Mill.给定一组观察结果,系统在这些观察结果中归纳出“因果”相关的事实。它的应用经验语言发现的描述。
1995-06-26 cmp-lg cs.CL
Survey of Text-based Epidemic Intelligence: A Computational Linguistic Perspective
CSIRO Data61(澳大利亚联邦科学与工业研究组织数据61中心);Kirby Institute, The University of New South Wales(柯比研究所、新南威尔士大学)
流行病情报利用正式(如医院记录)和非正式(如网络上用户生成的文本)的信息来源来检测疾病爆发。在本调查中,我们讨论了使用文本数据集的流行病情报方法,将其称为“基于文本的流行病情报”。我们将过去的工作分为两大类:健康提及分类(从大量文本中选择相关文本)和健康事件检测(从相关文本集合中预测流行病事件)。我们讨论的重点是这两个类别中潜在的计算语言技术。该调查还提供了流行病情报的注释技术、资源和评估策略的最新发展水平的详细信息。
2019-03-14 cs.CL cs.SI
Sanskrit Knowledge-based Systems: Annotation and Computational Tools
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
本文针对梵语问答系统,提出自动构建知识图谱的框架,开发标注工具及多种软件资源,以提升梵语文本分析的准确性和可访问性,推动计算梵语发展。
2024-06-26 cs.CL cs.SE