Annotating Electronic Medical Records for Question Answering
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们的研究是在相对未开发的领域的问答技术，为病人的具体问题，他们的电子健康记录。人类专家策划的问题和答案对的大型数据集是开发、训练和评估任何由机器学习驱动的问答系统的重要先决条件。在本文中，我们描述了创建这样的问题和答案的数据集的过程。我们的方法是可复制的，可以进行医学生作为注释者，并在高注释者之间的协议（0.71科恩的Kappa）的结果。在11个月的过程中，11名医学生遵循我们的注释方法，产生了一个问答数据集，其中有5696个问题超过71例患者记录，其中1747个问题有相应的答案由医学生生成。
2018-05-17 cs.CL cs.CY
Improving Named Entity Recognition in Telephone Conversations via Effective Active Learning with Human in the Loop
Dialpad Canada Inc.（Dialpad加拿大公司）
由于语音识别错误、不流利等，电话转录数据可能非常嘈杂。不仅注释这些数据对于注释者来说非常具有挑战性，而且即使在注释作业完成之后，这些数据也可能具有大量注释错误，从而导致非常差的模型性能。在本文中，我们提出了一个主动学习框架，该框架利用人类在循环学习中识别来自注释数据集的数据样本，以进行更有可能包含注释错误的重新注释。通过这种方式，我们大大减少了对整个数据集进行数据重新注释的需求。我们进行了广泛的实验与我们提出的方法命名实体识别，并观察到，通过重新注释只有约6%的训练实例的整个数据集，F1分数为某一实体类型可以显着提高约25%。
2022-11-02 cs.AI cs.CL cs.LG
Active learning in annotating micro-blogs dealing with e-reputation
Vodkaster（Vodkaster公司）；Université d’Avignon（阿维尼翁大学）；My Local Influence（My Local Influence公司）；Conacyt（墨西哥国家科学技术委员会）
本文提出一种主动学习方法，利用Twitter特征自动标注法语政治推文，构建观点数据集，并探讨噪声减少与信息丢失的权衡。
2017-09-25 cs.CL cs.SI
JaMIE: A Pipeline Japanese Medical Information Extraction System
Kyoto University（京都大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
我们提出了一个开放访问的自然语言处理工具包，日本医疗信息抽取。我们首先提出了一个新的关系注释模式，调查日本医疗报告中的医疗和医疗实体之间的时间关系。我们通过分别注释两种不同类型的报告来试验实际的注释场景。我们设计了一个管道系统，由三个部分组成，用于识别医疗实体，分类实体模态和提取关系。实验结果表明，该模型具有较好的分析性能，标注质量较好，标注策略有效，并体现了最新上下文嵌入模型的优越性。
2021-11-08 cs.AI cs.CL
A Pipeline for Generating, Annotating and Employing Synthetic Data for Real World Question Answering
Filament AI；University of Warwick（华威大学）；The Alan Turing Institute（艾伦·图灵研究所）；Queen Mary University of London（伦敦玛丽女王大学）
问答（QA）是一个不断发展的研究领域，通常用于促进从文档中提取信息。最先进的QA模型通常是在维基百科等领域通用语料库上预先训练的，因此往往在没有微调的情况下在域外文档上挣扎。我们证明了合成特定领域的数据集可以很容易地使用域通用模型生成，同时仍然提供了显着的改善QA性能。我们为这项任务提供了两个新工具：一个用于验证合成QA数据并在其上训练下游模型的灵活管道，以及一个在线界面，以方便对生成的数据进行人工注释。使用这个接口，crowdworker标记了1117个合成QA对，然后我们使用它们来微调下游模型，并将特定领域的QA性能提高了8.75 F1。
2022-11-30 cs.CL cs.LG
Annotating Student Talk in Text-based Classroom Discussions
University of Pittsburgh（匹兹堡大学）
英语语言艺术的课堂讨论对学生的阅读、写作和推理能力有积极的影响。虽然以前的工作主要集中在教师谈话和师生互动，我们专注于三个理论上的动机方面的高质量的学生谈话：论证，特异性和知识域。我们介绍了一个注释计划，然后表明该计划可以用来产生可靠的注释和注释是预测的讨论质量。我们还强调了我们的教育和自然语言处理研究计划提供的机会。
2019-09-06 cs.CL
Mention Annotations Alone Enable Efficient Domain Adaptation for Coreference Resolution
Carnegie Mellon University（卡内基梅隆大学）
本文提出仅需标注提及即可实现指代消解模型领域自适应的方法，通过高精度提及检测目标，在三个数据集上平均F1提升7-14%且不增加标注时间。
2023-05-30 cs.CL
How Good is Automatic Segmentation as a Multimodal Discourse Annotation Aid?
Colorado State University（科罗拉多州立大学）
本文通过对比金标准转写与Google及OpenAI Whisper自动分割话语的标注结果，揭示自动分割与人工转写对应性差且不同方法间不一致，指出自动分割话语标注需要额外信息并影响标注可复现性，为未来标注规范设计提供依据。
2023-05-27 cs.CL
NorNE: Annotating Named Entities for Norwegian
Schibsted Media Group（希布斯塔德媒体集团）；Oslo Metropolitan University（奥斯都会大学）；University of Oslo（奥斯陆大学）
本文介绍了NorNE，一个手动标注的命名实体语料库，扩展了现有的挪威DepartmentTreebank的注释。该语料库包含挪威书面语（Bokmål和Nynorsk）的官方标准，包含约60万个标记，并注释了一组丰富的实体类型，包括人员，组织，位置，地理政治实体，产品和事件，以及与名称派生的名词对应的类。我们在这里提出的注释工作，指导方针，注释者之间的协议和实验分析的语料库使用神经序列标记架构的细节。
2020-03-06 cs.CL
ConGA: Guidelines for Contextual Gender Annotation. A Framework for Annotating Gender in Machine Translation
University of Pisa（比萨大学）；University of Naples ``L'Orientale''（那不勒斯）；Tilburg University（蒂尔堡大学）
本文提出ConGA框架，通过上下文性别标注解决机器翻译中性别处理的挑战，揭示当前系统在性别标注上的系统性偏差。
2026-03-18 cs.CL
DART: A Lightweight Quality-Suggestive Data-to-Text Annotation Tool
Saarland University（萨尔兰大学）；Microsoft Corporation（微软公司）
我们提出了一个轻量级的注释工具，数据AnnotatoR工具（DART），用于标记结构化数据与文本描述的一般任务。该工具被实现为交互式应用，其减少了在注释大量结构化数据（例如，以表格或树结构的格式）时的人工努力。通过使用后端序列到序列模型，我们的系统迭代地分析注释的标签，以便更好地对未标记的数据进行采样。在对大量结构化数据进行注释的模拟实验中，DART已被证明可以减少主动学习和自动建议相关标签所需的注释总数。
2020-12-01 cs.CL
Annotating and Modeling Empathy in Spoken Conversations
University of Trento（特伦托大学）
同理心，如行为科学中所定义的，表达了人类识别、理解和对他人的情绪、态度和信仰做出反应的能力。由于缺乏一个可操作的定义共情，使它难以测量it.In本文中，我们解决两个相关的问题，在自动情感行为分析：设计的注释协议和自动识别共情从口语对话。我们提出并评估了一个注释方案的情感模态模型的启发移情。注释方案进行了评估，对现实生活中的语料库，二元口语对话。在行为分析的背景下，我们设计了一个移情自动分割和分类系统。鉴于不同的语音和语言水平的代表性，共情可能会沟通，我们调查了来自词汇和声学空间的功能。特征开发过程的设计，以支持融合和自动选择相关的功能，从高维空间。自动分类系统进行了评估，呼叫中心的对话，它显示出显着更好的性能比基线。
2017-12-29 cs.CL
Standardizing linguistic data: method and tools for annotating (pre-orthographic) French
École des Chartes（文献学院）；Sorbonne Université（索邦大学）；École normale supérieure de Lyon（里昂高等师范学院）
随着各个时期大型语料库的发展，尽管历时变化，但对语言注释（例如词元、词性标记、形态注释）进行简化以增加所产生数据的互操作性变得至关重要。在本文中，我们描述了方法上（通过提出注释原则）和技术上（通过创建所需的训练数据和相关模型）（早期）现代法语（16- 18 c.）的语言标记器的生产，尽可能多地考虑到当代，特别是中世纪法语的现有标准。
2020-11-22 cs.CL cs.LG
Not All Preference Pairs Are Created Equal: A Recipe for Annotation-Efficient Iterative Preference Learning
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
本研究提出一种基于DPO预测奖励边际排序的响应对选择策略，通过优先标注小边际响应对并在早期迭代分配更多预算，实现成本高效的迭代偏好学习。
2024-10-11 cs.CL
The InviTE Corpus: Annotating Invectives in Tudor English Texts for Computational Modeling
Dept. of History, Faculty of History, Philosophy and Theology, Bielefeld University（历史系，历史、哲学与神学学院，比勒菲尔德大学）；Computational Linguistics, Dept. of Linguistics, Bielefeld University（计算语言学，语言学系，比勒菲尔德大学）
本文构建了含近2000条早期现代英语句子的InviTE专家标注语料库，用于识别都铎时期宗教谩骂语，并证明历史语料预训练加微调的BERT模型优于零样本指令微调LLM。
2025-09-26 cs.CL
Charon: a FrameNet Annotation Tool for Multimodal Corpora
Federal University of Juiz de Fora（茹伊斯迪福拉联邦大学）
本文介绍了Charon，一个Web工具，用于标注多模态语料库与框架网类别。可以对包含静态图像和与文本序列配对或不配对的视频序列的语料库进行注释。管道功能，除了注释接口，语料库导入和预处理工具。
2022-05-24 cs.CL
Annotating FrameNet via Structure-Conditioned Language Generation
University of Southern California（南加州大学）
本文研究在 FrameNet 形式体系下生成保留给定语义结构的新句子，提出过度生成与过滤框架，发现基于显式语义信息的生成在低资源下对框架语义角色标注的数据增强有效，但在高资源下效果有限。
2024-06-25 cs.CL
LLM_annotate: A Python package for annotating and analyzing fiction characters
University of Amsterdam（阿姆斯特丹大学）
LLM_annotate是一个基于大语言模型的Python工具，用于高效、可重复地分析小说人物性格，支持多种LLM并提供交互式GUI验证
2025-12-24 cs.AI cs.CL
The Parallel Meaning Bank: A Framework for Semantically Annotating Multiple Languages
Center for Language and Cognition, University of Groningen（格罗宁根大学语言与认知中心）
本文给出了一个一般性的描述的想法背后的并行意义银行，一个框架，旨在提供一个简单的方法来注释组成语义的语言以外的其他语言写的文本。注释过程是半自动的，包括七层语言信息：分割，符号化，语义标记，词义消歧，句法结构，主题角色标签，和共指。只要文档是基于英语翻译的，就可以将新的语言添加到意义库中，但也会对并行意义库的语言学假设提出新的有趣挑战。
2020-12-29 cs.CL
The Causal News Corpus: Annotating Causal Relations in Event Sentences from News
National University of Singapore（新加坡国立大学）；Koc University（科奇大学）；Rijksuniversiteit Groningen（格罗宁根大学）；Radboud University（拉德堡德大学）；National Institute of Japanese Literature（日本文学研究所）；Birmingham City University（伯明翰城市大学）；Instituto Politécnico Nacional（国立理工学院）；Mersin University（梅尔辛大学）；University of East Anglia（东英吉利大学）；ETH Zürich（苏黎世联邦理工学院）
尽管理解因果关系的重要性，语料库处理因果关系是有限的。现有的事件因果关系标注准则与传统的因果关系语料库存在着差异。许多准则限制自己仅包括显式关系或基于条款的参数。因此，我们提出了一个事件因果关系的注释模式，解决这些问题。我们从抗议事件新闻中抽取了3,559个事件句子，并标注了它们是否包含因果关系。我们的语料库被称为因果新闻语料库（CNC）。建立在最先进的预训练语言模型上的神经网络在测试集上的F1得分为81.20%，在5倍交叉验证中的F1得分为83.46%。CNC可以在两个外部语料库之间转换：CauseTimeBank（CTB）和Penn Discourse Treebank（PDTB）。利用这些外部数据集进行训练，我们在CNC测试集上实现了高达约64%的F1，而无需额外的微调。CNC也是两个外部语料库的有效训练和预训练数据集。最后，我们展示了我们的任务的困难，在一个众包注释练习的外行。我们的注释语料库是公开的，因果文本挖掘研究人员提供了宝贵的资源。
2022-04-25 cs.CL
Annotating Cognates and Etymological Origin in Turkic Languages
University of Maryland, College Park（马里兰大学帕克分校）
突厥语族语言的词汇之间存在着广泛而多样的词源关系。这些关系使得突厥语有希望探索利用同源和其他词源信息的自动翻译词典归纳。然而，由于词与词之间的关系类型的广泛性和多样性，如何注释这些信息还不清楚。在本文中，我们提出了一种方法来注释同源词和词源来源的突厥语。我们的方法努力平衡的研究工作量的注释者花费的效用的注释支持研究，以提高自动翻译词典归纳。
2015-01-13 cs.CL
Borrowing or Codeswitching? Annotating for Finer-Grained Distinctions in Language Mixing
UNED（西班牙国立远程教育大学）；Brandeis University（布兰迪斯大学）
我们提出了一个新的语料库的Twitter数据注释代码转换和借用西班牙语和英语之间。该语料库包含9，500条tweet，这些tweet在token级别上使用代码转换，借用和命名实体进行注释。本语料库与以往的语码转换语料库不同之处在于，我们试图清楚地定义和注释语码转换和借用之间的界限，而不处理常见的“网络用语”（“lol”等）。在单语语境中使用时被认为是语码转换。其结果是一个语料库，使研究和建模的西班牙语-英语借用和代码转换在Twitter上的一个数据集。我们使用基于transformer的语言模型为该语料库的标签建模提供了基线分数。注释本身是以CC BY 4.0许可证发布的，而它所适用的文本是按照Twitter服务条款分发的。
2022-06-10 cs.CL
StateCensusLaws.org: A Web Application for Consuming and Annotating Legal Discourse Learning
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
在这项工作中，我们创建了一个Web应用程序来突出NLP模型的输出，这些模型经过训练可以解析和标记法律文本中的话语片段。我们的系统主要是建立在记者和法律口译员的头脑中，我们专注于使用美国的州一级法律人口普查数字来分配资源和组织政府。我们的系统公开了我们收集的6,000个与美国人口普查有关的州一级法律的语料库，使用我们构建的25个抓取器来抓取我们发布的州法律网站。我们还建立了一个新颖的，灵活的注释框架，可以处理任何输入文本文档的跨度标记和关系标记，并简单地嵌入到任何网页。这个框架允许记者和研究人员通过纠正和标记新数据来添加到我们的注释数据库中。
2022-06-30 cs.CL cs.DL cs.HC
Annotating for Hate Speech: The MaNeCo Corpus and Some Input from Critical Discourse Analysis
University of Malta（马耳他大学）
本文提出了一种新的方案，仇恨言论的Web 2.0评论语料库的注释。拟议计划的动机是对马耳他地中海移民危机和LGBTIQ+问题的新闻报道所作的帖子进行批判性分析，该报道是在欧盟资助的C.O.N.T.A.C.T.的主持下进行的。项目基于仇恨言论不是一个明确的类别开始，似乎属于一个连续的歧视性话语，往往是通过使用间接的语言手段实现，有人认为，其检测的注释计划应避免直接包括标签“仇恨言论”，因为不同的注释者可能有不同的阈值，什么是仇恨言论，什么不是。鉴于此，我们建议一个多层注释方案，这是试点测试对二进制+/-仇恨语音分类，并出现产生更高的注释者之间的协议。激励我们的计划的假设，然后我们提出的MaNeCo语料库，它最终将被使用，跨越10年的在线报纸评论的大量语料库。
2020-08-14 cs.CL cs.CY
Annotating Data for Fine-Tuning a Neural Ranker? Current Active Learning Strategies are not Better than Random Selection
TU Wien（维也纳工业大学）；University of Queensland（昆士兰大学）；Cohere；Leiden University（莱顿大学）
本文研究了在有限数据和预算下微调PLM排序器，发现现有主动学习策略在有效性上不优于随机选择，且在固定标注成本下表现更差，无法识别低成本高效的最优数据子集。
2023-09-12 cs.CL cs.IR
Annotating Character Relationships in Literary Texts
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）
我们提出了一个文学文本中字符之间手动注释关系的数据集，以支持该领域中关系类型预测的自动方法的训练和评估（Makazhanov等人，2014年; Kokkinakis，2013年）和文学性格的更广泛的计算分析（埃尔森等人，2010; Bamman等人，2014; Vala等人，2015年; Flekova和Gurevych，2015年）。在这项工作中，我们从亚马逊土耳其机器人上的工人那里征集了109个文本的注释，从荷马的《伊利亚特》到乔伊斯的《伊利亚特》，涉及四个感兴趣的维度：对于给定的一对字符，我们收集关于粗粒度类别的判断（专业、社会、家庭），细粒度类别（朋友，情人，父母，竞争对手，雇主）和亲和力（积极，消极，中立），描述了他们在文本中的主要关系。我们并不假定这种关系是静态的;我们也收集关于它是否在文本过程中的任何一点发生变化的判断。
2015-12-02 cs.CL
YEDDA: A Lightweight Collaborative Text Span Annotation Tool
Singapore University of Technology and Design（新加坡科技设计大学）
在本文中，我们介绍了\textsc{Yedda}，一个轻量级的，但有效的和全面的开源工具的文本跨度注释。\textsc{Yedda}为文本跨度标注提供了一个系统化的解决方案，范围从协作用户标注到管理员评估和分析。它克服了传统文本注释工具的低效率，通过注释实体通过命令行和快捷键，这是可配置的自定义标签。\textsc{Yedda}还通过学习最新的注释文本提供智能建议。开发了一个管理员客户端来评估多个注释器的注释质量，并为每个注释器对生成详细的比较报告。实验表明，该系统可以减少一半的注释时间相比，现有的注释工具。通过智能推荐，标注时间可进一步压缩16.47%。
2018-05-25 cs.CL
Annotating Dimensions of Social Perception in Text: A Sentence-Level Dataset of Warmth and Competence
Cardiff University（卡迪夫大学）；National Research Council Canada（加拿大国家研究理事会）
本文提出首个句子级别标注的温暖与能力数据集W&C-Sent，包含1600多个英文句子-目标对，评估了大型语言模型在识别信任、亲和力和能力方面的性能。
2026-04-25 cs.CL
Sangrahaka: A Tool for Annotating and Querying Knowledge Graphs
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文介绍Sangrahaka，一个基于网络的工具，用于从文本中标注实体和关系并构建知识图谱，支持模板化自然语言查询，且语言无关、可定制、容错性强。
2021-08-23 cs.CL cs.SE
Auditing ImageNet: Towards a Model-driven Framework for Annotating Demographic Attributes of Large-Scale Image Datasets
University of Waterloo（滑铁卢大学）
ImageNet数据集引发了学术界和业界对深度学习在计算机视觉应用中的广泛兴趣。尽管它的重大影响，有没有一个全面的调查包含在数据集内的图像的人口属性。这样的研究可能会对ImageNet中的固有偏见产生新的见解，特别重要的是，它经常被用于为各种计算机视觉任务预训练模型。在这项工作中，我们引入了一个模型驱动的框架，在大规模的图像数据集的表观年龄和性别属性的自动注释。使用这个框架，我们对2012年ImageNet大规模视觉识别挑战（ILSVRC）ImageNet子集和ImageNet的“人”层次类别进行了第一次人口统计审计。我们发现ILSVRC中41.62%的面孔是女性，1.71%的面孔是60岁以上的个体，15 - 29岁的男性占最大的亚组，占27.11%。我们注意到，所提出的模型驱动的框架是不公平的所有交叉组，所以注释受到偏见。我们将这项工作作为未来开发无偏注释模型和研究ImageNet人口统计不平衡的下游影响的起点。代码和注释可在http://bit.ly/ImageNetDemoAudit上获得
2019-06-04 cs.CL cs.CY cs.LG
Testing LLMs' Capabilities in Annotating Translations Based on an Error Typology Designed for LSP Translation: First Experiments with ChatGPT
Université Paris Cité, ALTAE（巴黎Cité大学，ALTAE）；Université Paris Cité, CNRS, Laboratoire de linguistique formelle（巴黎Cité大学，CNRS，形式语言实验室）
本研究测试ChatGPT基于定制错误类型学标注专业翻译的能力，发现其在标注DeepL译文时表现良好但自评较差，凸显了LLM在翻译评估中的潜力与局限。
2025-04-21 cs.CL eess.AS
Automate or Assist? The Role of Computational Models in Identifying Gendered Discourse in US Capital Trial Transcripts
Cornell University（康奈尔大学）
本研究探讨了计算模型在识别美国女性被告死刑审判中性别偏见语言的作用，通过三阶段对比实验发现，计算模型的最大价值不在于自动化替代专家，而在于辅助专家反思标注偏见并达成共识。
2024-07-27 cs.CL
An Improved Phrase-based Approach to Annotating and Summarizing Student Course Responses
University of Pittsburgh（匹兹堡大学）；University of Central Florida（中佛罗里达大学）
大班教学仍然是一个巨大的挑战，主要是因为很难及时满足所有学生的需求。自动文本摘要系统可以用来总结学生的反馈，每次讲座后立即提交，但它是留给发现什么是一个很好的总结学生的反应。在这项工作中，我们探索一种新的方法，有效地提取摘要短语从学生的反应。每个短语都标有提出问题的学生人数。这些短语沿着两个维度进行评估：就文本内容而言，它们应该是信息丰富和形式良好的，由ROUGE度量标准衡量;此外，它们应该满足最迫切的学生需求，由新提出的度量标准衡量。这项工作是由一个基于短语的注释和突出显示方案，这是新的总结任务。基于短语的框架允许我们将学生的回答总结成一组要点，并及时呈现给教师。
2018-05-25 cs.CL
Challenges and Considerations in Annotating Legal Data: A Comprehensive Overview
University of Passau（帕绍大学）；The Institute for Artificial Intelligence Research and Development of Serbia（塞尔维亚人工智能研究与发展研究所）
本文全面概述了法律数据标注在数据集选择、文本提取、数据清洗及标注指南制定等方面的独特挑战，强调了法律专业人士参与的重要性，并提供了微调的数据集与语言模型资源以指导相关研究。
2024-07-05 cs.CL cs.IR cs.LG
Shallow Discourse Annotation for Chinese TED Talks
Tianjin University（天津大学）；University of Edinburgh（爱丁堡大学）
标注了语言相关属性的文本语料库是语言技术发展的重要资源。目前的工作为中文语言技术和中英翻译提供了一个新的资源，以一组TED演讲的形式（一些最初是用英语给出的，一些是中文），这些演讲已经以Penn Discourse TreeBank的风格用话语关系进行了注释，适应了中文文本中不存在的属性。该资源是目前唯一的注释话语级属性计划的口头独白，而不是书面文本。一个注释者之间的协议研究表明，注释方案是能够实现高度可靠的结果。
2020-04-06 cs.CL
EZLearn: Exploiting Organic Supervision in Large-Scale Data Annotation
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
许多现实世界的应用需要自动化的数据注释，例如基于基因表达识别组织来源和将图像分类为语义类别。注释类通常是众多的，并且随着时间的推移会发生变化，注释示例已经成为监督学习方法的主要瓶颈。在科学和其他高价值领域，通常可以使用大型数据样本存储库，以及两个有机监督源：注释类的词典和伴随某些数据样本的文本描述。远程监督已经成为一个很有前途的范例，利用这种间接监督自动注释的例子，其中的文本描述包含一个类提到的词典。然而，由于语言变化和歧义，这样的训练数据固有地是有噪声的，这限制了该方法的准确性。本文介绍了一种文本模态的辅助自然语言处理系统，并在远程监控中引入协同训练以降低噪声和增强信号。在不使用任何手动标记数据的情况下，我们的EZLearn系统学会了准确地注释功能基因组学和科学图形理解中的数据样本，大大优于在数万个注释示例上训练的最先进的监督方法。
2018-07-02 cs.CL cs.LG
What Counts as a Mistake? Annotating Recitation Events in Quran Memorization Transcripts
LemoniLab FZCO；Innopolis University（因诺波利斯大学）
本研究标注《古兰经》背诵转录中的错误事件，提出可执行评估器，发现基线失败源于标注界面问题，并指出剩余挑战是事件边界约定而非检测。
2026-09-14 cs.CL
factgenie: A Framework for Span-based Evaluation of Generated Texts
Institute of Formal and Applied Linguistics（形式与应用语言学研究所）；Faculty of Mathematics and Physics, Charles University（查理大学数学与物理学院）
本文提出了factgenie框架，通过Web界面支持人类众包工人和大语言模型对生成文本中的词跨度进行标注与可视化，以捕捉语义不准确等现象，并提供可扩展的代码库。
2024-07-25 cs.CL
WhoSaidIt: Human-LLM Collaborative Annotation for Text-Based Multilingual Speaker-Attribute Classification
Duolingo
提出一种人机协作重标注框架，通过迭代交互和分歧采样稳定多语言说话人属性标签，构建WhoSaidIt数据集并评估LLM性能。
2026-05-25 cs.CL
Analyzing Text Representations under Tight Annotation Budgets: Measuring Structural Alignment
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
注释大量的文本数据集可能是耗时且昂贵的。这就是为什么用有限的注释预算训练模型的能力是非常重要的。在这种情况下，已经表明，在紧张的注释预算下，数据表示的选择是关键。本文的目的是更好地理解为什么会这样。考虑到这一目标，我们提出了一个度量标准，衡量在何种程度上，一个给定的表示是结构上与任务一致。我们在几个文本分类数据集上进行实验，测试各种模型和表示。使用我们提出的度量，我们表明，一个任务的有效表示（即一个能够从很少的样本学习）是一个表示，诱导潜在的输入结构和类结构之间的良好对齐。
2022-10-11 cs.CL
Instructions for Temporal Annotation of Scheduling Dialogs
自然语言的人工注释有助于自然语言处理系统的标准化评估，并支持自动特征提取。本文档包括在日程安排对话框中注释时间信息的说明，在日程安排对话框中，参与者相互安排会议。面向任务的对话框，如这些，将出现在许多有用的应用，例如，自动信息提供者和自动电话接线员。明确的说明支持良好的评分者间的可靠性，并作为被注释的类的文档。
1997-02-27 cmp-lg cs.CL
StreamSide: A Fully-Customizable Open-Source Toolkit for Efficient Annotation of Meaning Representations
Emory University（埃默里大学）
这篇演示论文介绍了StreamSide，一个用于注释多种含义表示的开源工具包。StreamSide支持基于帧的注释方案，例如，抽象意义表示（AMR）和无框架注释方案，例如，广泛可解释的语义表示（WISeR）。此外，它支持文档级和文档级注释，允许注释者为输入文本创建多根图。它可以打开并自动在几种类型的输入格式之间转换，包括纯文本，Penman符号和自己的JSON格式，从而实现更丰富的注释。它具有AMR谓词参数结构的参考框架，以及概念到文本的对齐。StreamSide是在Apache 2.0许可下发布的，并且是完全开源的，因此它可以被定制为用不同的语言注释丰富的含义表示（例如，统一的意义表示）。所有StreamSide资源都通过我们的开源项目公开分发：https://github.com/emorynlp/StreamSide。
2021-09-20 cs.CL
X-AMR Annotation Tool
University of Colorado, Boulder（科罗拉多大学博尔德分校）
本文提出了一种专为标注语料库级别事件语义设计的 X-AMR 标注工具，借助 Prodigy 提供机器辅助以提升标注效率，实证表明其能有效增强现有事件语料库，且与 GPT-4 集成时优势显著。
2024-02-29 cs.AI cs.CL
A recipe for annotating grounded clarifications
Universidad Nacional de Córdoba（科尔多瓦国立大学）；CONICET（阿根廷国家科学与技术研究委员会）；Roskilde University（罗斯基勒大学）
为了解释话语的交际意图，它需要以语言之外的东西为基础，也就是说，以世界模态为基础。在本文中，我们认为，对话澄清机制明确的过程中，解释的交际意图的发言者的话语接地他们在各种形式的对话是位于。本文认为对话澄清机制是自然语言理解这幅巨大拼图中一个尚未得到充分研究的问题，也是一个关键的缺失部分。我们讨论了这个问题所带来的理论背景和实际挑战，并提出了一个获得接地注释的配方。最后，我们强调需要在今后的工作中解决的道德问题。
2021-04-18 cs.AI cs.CL
A neural network to classify metaphorical violence on cable news
University of California, Merced（加州大学默塞德分校）
我在这里提出了一个用于识别和注释语料库中隐喻的实验系统。它被设计为插件到Metacorps，一个实验性的网络应用程序，用于注释隐喻。当Metacorps用户注释隐喻时，系统将使用用户注释作为训练数据。当系统确信时，它将建议标识和注释。一旦被用户批准，这就变成更多的训练数据。这自然允许迁移学习，其中系统可以在仅在一个类别的隐喻上进行训练之后，以某种已知的可靠程度对另一个类别的隐喻进行分类。例如，在我们的隐喻暴力项目中，隐喻可以根据它们被观察到的网络，暴力隐喻的语法主语或宾语，或使用的暴力词（击中，攻击，殴打等）进行分类。
2018-10-19 cs.CL stat.ML
ECAT: Event Capture Annotation Tool
Brandeis University（布兰迪斯大学）
本文介绍了事件捕获注释工具（ECAT），这是一个用户友好的、开源的接口工具，用于在视频中注释事件及其参与者，能够提取由微软的Kinect（R）硬件捕获的视频中的对象的3D位置和方向。建模语言VoxML（Pustejovsky和Krishnaswamy，2016）是ECAT的对象、程序和属性表示的基础，尽管ECAT使用自己的规范来显式标记运动实例。该演示将显示该工具的工作流程以及用于捕获事件参与者关系和浏览可视化数据的选项。将ECAT的输出映射到VoxML也将得到解决。
2016-10-05 cs.CL cs.CV
Institutional Books - Enriched Text: A customizable multilingual open-source pipeline for denoising, deduplicating, and annotating OCR text at scale
该研究提出名为Enriched Text的多语言开源流水线，可大规模对IB-HL的OCR文本去噪、去重、标注，保留元数据，支持用户定制输出，发布了IB-HL-ET版本以提升藏书集的机器可读性与研究价值。
2026-08-20 cs.CL cs.DL
Says Who? Effective Zero-Shot Annotation of Focalization
Department of Computer Science, Cornell University（计算机科学系，康奈尔大学）；Center for Humanities Computing, Aarhus University（人文学计算中心，奥胡斯大学）；Department of Linguistics, Cognitive Science, and Semiotics, Aarhus University（语言学、认知科学与符号学系，奥胡斯大学）；TEXT - Center for the Contemporary Cultures of Text, Aarhus University（文本当代文化中心，奥胡斯大学）
本研究针对文学文本聚焦标注的挑战性，测试5类大语言模型及2个基线的零样本标注表现，发现GPT-4o表现与受过训练的人类标注者相当，还验证了模型对数概率可反映标注难度，并通过斯蒂芬·金小说案例展示其在计算文学研究中的应用价值。
2025-10-28 cs.CL cs.LG
COMMENTATOR: A Code-mixed Multilingual Text Annotation Framework
Indian Institute of Technology Gandhinagar（印度理工学院甘地纳格尔分校）；North Carolina State University（北卡罗来纳州立大学）
本文提出语码混合多语言文本标注框架 COMMENTATOR，针对 Hinglish 文本实现 token 级和句子级语言标注，人工评估显示其标注速度比最佳基线快 5 倍。
2024-08-06 cs.AI cs.CL
A Dataset for Pharmacovigilance in German, French, and Japanese: Annotating Adverse Drug Reactions across Languages
BIFOLD；TU Berlin（柏林工业大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；Université Paris-Saclay（巴黎萨克雷大学）；Nara Institute of Science and Technology（奈良科学技术研究所）；RIKEN（理化学研究所）
本文构建了德语、法语和日语的多语言药物不良反应标注语料库，涵盖多来源文本及12种实体、4种属性和13种关系类型，并通过实验为跨语言实体与关系提取提供了强基线。
2024-03-27 cs.CL cs.LG
PanGEA: The Panoramic Graph Environment Annotation Toolkit
Google Research（谷歌研究院）
PanGEA，全景图环境注释工具包，是一个轻量级的工具包，用于在照片般逼真的3D环境中收集语音和文本注释。PanGEA将注释者沉浸在基于Web的模拟中，并允许他们在说话和/或倾听时轻松移动。它包括数据库和云存储集成，以及用于自动将录制的语音与手动翻译和注释者的虚拟姿势对齐的实用程序。PanGEA开箱即用，支持两项任务-收集导航指令和导航指令遵循-它可以很容易地适用于注释步行旅游，寻找和标记地标或物体，以及类似的任务。我们分享了在20，000小时的注释工作中使用PanGEA收集Room-Across-Room数据集的最佳实践。我们希望我们的开源注释工具包和见解既能加快未来的数据汇集工作，又能刺激这种环境所能支持的基础语言任务的创新。
2021-03-23 cs.AI cs.CL cs.CV
