SanskritShala: A Neural Sanskrit NLP Toolkit with Web-Based Interface for Pedagogical and Annotation Purposes
IIT Kanpur（印度理工学院坎普尔分校）；IIT Kharagpur（印度理工学院克勒格布尔分校）；IIT Mandi（印度理工学院曼迪分校）
本文提出首个带网页界面的神经梵语NLP工具包SanskritShala，集成词切分、形态标注、依存解析和复合词识别等模块，在多个基准上达到最先进性能，并公开代码、词嵌入模型及标注数据，以支持梵语教学与标注工作。
2023-05-29 cs.CL
HUMAN: Hierarchical Universal Modular ANnotator
Johannes Gutenberg University Mainz（约翰内斯·古腾堡大学美因茨）；DFKI GmbH（德国人工智能研究中心有限公司）；Saarland University（萨尔兰大学）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用数学实验室）
许多现实世界的现象是复杂的，无法通过单个任务注释捕获。这就需要随后的注释，用相互依赖的问题和答案来描述手头的主题的性质。即使在一个现象很容易被单个任务捕获的情况下，大多数注释工具的高度专业化也可能导致在任务稍微改变的情况下不得不切换到另一个工具。我们介绍了人类，一种新的基于Web的注释工具，它通过以下方式解决了上述问题：a）覆盖文本和图像数据上的各种注释任务，b）使用内部确定性状态机，允许研究人员以相互依赖的方式链接不同的注释任务。此外，该工具的模块化性质使得定义新的注释任务和集成机器学习算法（例如，进行主动学习。HUMAN具有易于使用的图形用户界面，可简化注释任务和管理。
2020-10-02 cs.CL
The Parallel Meaning Bank: A Framework for Semantically Annotating Multiple Languages
Center for Language and Cognition, University of Groningen（格罗宁根大学语言与认知中心）
本文给出了一个一般性的描述的想法背后的并行意义银行，一个框架，旨在提供一个简单的方法来注释组成语义的语言以外的其他语言写的文本。注释过程是半自动的，包括七层语言信息：分割，符号化，语义标记，词义消歧，句法结构，主题角色标签，和共指。只要文档是基于英语翻译的，就可以将新的语言添加到意义库中，但也会对并行意义库的语言学假设提出新的有趣挑战。
2020-12-29 cs.CL
A SentiWordNet Strategy for Curriculum Learning in Sentiment Analysis
Language Technologies Research Center（语言技术研究中心）；Kohli Center on Intelligent Systems（科利智能系统中心）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
课程学习（CL）是指在一个训练集上进行学习，该训练集以从容易到困难的方式进行排序或排序，从而导致性能比其他随机排序有所提高。这一想法与认知科学关于人类大脑如何学习的理论相似，即通过将一项困难的任务描述为一系列从容易到困难的任务，可以使学习变得更容易。这个想法在机器学习和图像处理领域已经有一段时间了，最近在自然语言处理（NLP）领域也有了很大的发展。在本文中，我们应用的思想，课程学习，驱动的SentiWordNet在情感分析设置。在这种情况下，给定一个文本片段，我们的目标是提取它的情感或极性。SentiWordNet是一个带有情感极性注释的词汇资源。通过与其他课程策略和无课程的绩效比较，提出了所提出的策略的有效性。卷积，递归和基于注意力的架构被用来评估这种改进。这些模型在标准情感数据集Stanford Sentiment Treebank上进行评估。
2020-07-21 cs.CL
TimeML-strict: clarifying temporal annotation
University of Sheffield（谢菲尔德大学）；University of Alicante（阿利坎特大学）；University of Rochester（罗切斯特大学）；Nuance Communications（Nuance通信公司）
TimeML是一种基于XML的模式，用于在话语中注释时间信息。该标准已被用于注释各种资源，并被许多工具所遵循，这些工具的创建构成了数十万工时的研究工作。然而，资源的当前状态是这样的，许多是无效的，或者不产生有效的输出，或者包含不明确的或自定义的添加和删除。TempEval-3演习强调了这些差异带来的困难，其中包括对传统TimeML的额外规定作为响应。为了统一当前资源的状态，并朝着易于采用其当前化身ISO-TimeML的方向取得进展，本文引入了TimeML-strict：一个有效的，明确的，易于处理的TimeML子集。我们还介绍了三个资源-一个模式的TimeML-严格的TimeML-严格的验证工具，以便可以确保文件是在正确的形式;和一个修复工具，纠正常见的无效错误，并添加消歧标记，以转换文档从宽松的TimeML标准，严格的TimeML。
2013-04-26 cs.CL
POTATO: The Portable Text Annotation Tool
University of Michigan（密歇根大学）；University of California, Berkeley（加州大学伯克利分校）；The American College of Greece（美国希腊学院）
我们提出POTATO，便携式文本注释工具，一个免费的，完全开源的注释系统，1）支持标记多种类型的文本和多模态数据; 2）提供易于配置的功能，以最大限度地提高部署者和注释者的生产力（常见ML/NLP任务、主动学习、按键快捷方式、关键字突出显示、工具提示的方便模板）;以及3）支持高度定制（可编辑的UI、插入预筛选问题、注意力和资格测试）。两个标注任务的实验表明，POTATO通过其专门设计的生产力功能提高了标注速度，特别是对于长文档和复杂任务。POTATO可在https://github.com/davidjurgens/potato上获得，并将继续更新。
2023-03-23 cs.AI cs.CL cs.CY
Frustratingly Easy Label Projection for Cross-lingual Transfer
Georgia Institute of Technology（佐治亚理工学院）
本文提出 EasyProject，通过特殊标记优化“先标记后翻译”的标签投影，并在57种语言、三类跨度任务上证明其优于复杂词对齐方法。
2024-10-28 cs.AI cs.CL
A Concise Query Language with Search and Transform Operations for Corpora with Multiple Levels of Annotation
School of Computer Engg.（计算机工程学院）；KIIT University（KIIT大学）
如果有一个相关的工具，可以允许各种操作以一种简单的方式执行，注释语料库的有用性将大大增加。已经提出了不同种类的注释框架和许多用于它们的查询语言，包括一些处理多层注释的语言。我们在这里提出了一个简单易学的查询语言的一种特殊的注释框架的基础上“线程树”，这是一个完整的顺序之间的树和无政府状态的图形。通过“类型化”线程，它们可以在同一文档中允许多个级别的注释。我们的语言具有简单、直观、简洁的语法和很高的表达能力。它不仅允许使用简短的查询搜索复杂的模式，还允许数据操作和指定任意的返回值。许多常用的任务，否则需要编写程序，可以执行一个或多个查询。我们将该语言与其他一些语言进行比较，并试图对其进行评估。
2011-08-09 cs.CL
SenTag: a Web-based Tool for Semantic Annotation of Textual Documents
European University Institute（欧洲大学学院）；University of Padova（帕多瓦大学）
在这项工作中，我们提出了SenTag，一个轻量级的基于Web的工具，专注于文本文档的语义注释。该平台允许多个用户处理文档语料库。该工具能够通过采用可扩展置标语言（XML）作为输出格式的直观和易于使用的用户界面来标记文档语料库。该应用程序的主要目标是双重的：促进标记过程，减少或避免输出文档中的错误。此外，它允许识别用于构建参数图的参数和其他实体。也可以评估在文本语料库上工作的注释者的一致性水平。
2021-09-16 cs.CL cs.DL
Morphological Reinflection with Multiple Arguments: An Extended Annotation schema and a Georgian Case Study
Bar-Ilan University（巴伊兰大学）
近年来，出现了一系列形态数据集，最著名的是UniMorph，一个多语言的屈折变化表库。然而，当前形态学注释图式的扁平结构使得对某些语言的处理变得古怪，如果不是不可能的话，特别是在多人称协议的情况下，其中动词同意使用真正的词缀的多个论点。在本文中，我们建议解决这一现象，通过扩展UniMorph注释模式的层次特征结构，自然适应复杂的参数标记。我们将这种扩展模式应用于这样一种语言，格鲁吉亚，并提供了一个人类验证，准确和平衡的格鲁吉亚动词形态数据集。与现有的UniMorph数据集相比，该数据集具有4倍多的表和6倍多的动词形式，涵盖了所有可能的参数标记变体，证明了我们提出的方案的充分性。标准反射模型的实验表明，当数据在表单级别分裂时，泛化很容易，但当沿着引理线分裂时，泛化非常困难。将UniMorph中的其他语言扩展到这个模式有望提高这个基准的覆盖率，一致性和可解释性。
2022-03-20 cs.CL
VnCoreNLP: A Vietnamese Natural Language Processing Toolkit
Newcastle University（纽卡斯尔大学）；The University of Melbourne（墨尔本大学）；Deakin University（迪肯大学）；Macquarie University（麦考瑞大学）
我们提出了一个易于使用和快速的工具包，即VnCoreNLP-越南语的Java NLP注释管道。我们的VnCoreNLP支持关键的自然语言处理（NLP）任务，包括分词、词性（POS）标注、命名实体识别（NER）和依存句法分析，并为这些任务获得最先进的（SOTA）结果。我们发布VnCoreNLP提供丰富的语言注释，以促进越南语NLP的研究工作。我们的VnCoreNLP是开源的，可在https://github.com/vncorenlp/VnCoreNLP获得
2018-04-01 cs.CL
VideoCoT: A Video Chain-of-Thought Dataset with Active Annotation Tool
South China University of Technology（华南理工大学）；ByteDance（字节跳动）；Pazhou Lab（琶洲实验室）
针对视频CoT数据难构建的问题，本文在主动学习范式下融合机器与专家开发自动标注工具，构建VideoCoT等数据集并提出推理基准。
2024-07-07 cs.CL cs.CV
As Easy as Rocket Science: Assessing the Ability of Large Language Models to Interpret Negation in Figurative Language
Intelligent Systems Lab University of Bristol（智能系统实验室 英国布里斯托尔大学）；ILLC University of Amsterdam（阿姆斯特丹大学语言学研究所）
本研究通过开发新的注释数据集，测试多种大型语言模型在比喻语言中理解否定的能力，发现否定与比喻的组合对模型构成挑战，且性能高度依赖提示风格。
2026-06-18 cs.AI cs.CL
FAME-MT Dataset: Formality Awareness Made Easy for Machine Translation Purposes
Laniqo（拉尼科公司）；Faculty of Computing and Telecommunications, Poznań University of Technology（波兹南理工大学计算与通信学院）；Faculty of Mathematics and Computer Science, Adam Mickiewicz University（亚当·密茨凯维奇大学数学与计算机科学学院）
本文构建并发布覆盖112个欧洲语言对、含1120万条正式/非正式标注译文的FAME-MT数据集，并通过概念验证模型证明其可用于控制机器翻译的语体正式度。
2024-05-20 cs.CL
The KIT Motion-Language Dataset
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
将人类运动和自然语言联系起来对于人类活动的语义表示的生成以及基于自然语言输入的机器人活动的生成具有极大的兴趣。然而，尽管在这一领域已经进行了多年的研究，但没有标准化和公开可用的数据集来支持开发和评估此类系统。因此，我们提出了KIT运动语言数据集，这是大，开放，可扩展的。我们聚合来自多个运动捕捉数据库的数据，并使用独立于捕捉系统或标记集的统一表示将它们包含在我们的数据集中，从而使其易于处理数据，而无论其来源如何。为了获得自然语言的运动注释，我们采用了众包的方法和基于Web的工具，这是专门为此目的而构建的，运动注释工具。我们彻底记录了注释过程本身，并讨论了我们用来保持注释者积极性的游戏化方法。我们进一步提出了一种新的方法，基于困惑的选择，系统地选择运动进一步注释，要么在我们的数据集中代表不足，或有错误的注释。我们表明，我们的方法减轻了上述两个问题，并确保系统的注释过程。我们提供了一个深入分析的结构和内容，我们得到的数据集，其中，截至2016年10月10日，包含3911个动作，总持续时间为11.23小时和6278注释自然语言，包含52,903个单词。我们相信，这使我们的数据集成为一个很好的选择，可以在这个重要领域进行更透明和更可比的研究。
2018-08-09 cs.CL cs.CV cs.LG
Improving Visual Grounding by Encouraging Consistent Gradient-based Explanations
Rice University（莱斯大学）；Adobe Research（Adobe研究院）
提出基于间隔的损失函数AMC，使视觉-语言模型的梯度解释与人类区域标注一致，在Flickr30k和RefCOCO+等基准上取得SOTA表现。
2024-01-07 cs.CL cs.CV cs.LG
CoAM: Corpus of All-Type Multiword Expressions
Nara Institute of Science and Technology（奈良科学技术大学）；Resolve Research（Resolve研究）
针对现有MWE识别数据集的局限，研究构建了CoAM全类型多词表达语料库，首次引入MWE类型标注，实验证明微调大语言模型优于现有最优方法，并发现动词MWE更易识别。
2025-07-10 cs.CL
Make It Hard to Hear, Easy to Learn: Long-Form Bengali ASR and Speaker Diarization via Extreme Augmentation and Perfect Alignment
Risalat Labib（拉西拉特实验室）；A H M Fuad（A H M 基普）
本文通过极端增强和完美对齐技术，解决孟加拉语长时语音识别与说话人聚类的资源匮乏问题，提出优化双流程实现高效处理。
2026-02-26 cs.AI cs.CL cs.SD
PyPLN: a Distributed Platform for Natural Language Processing
Fundação Getulio Vargas（热图利奥·瓦加斯基金会）；Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
本文提出了一个分布式自然语言处理平台PyPLN。PyPLN利用大量的NLP和文本处理开源工具，管理各种配置上的工作负载分布：从单个服务器到Linux服务器集群。PyPLN是使用Python 2.7.3开发的，但只要Linux版本可用，就可以很容易地将其他软件用于特定任务。PyPLN促进了文档和语料库级别的分析，通过易于使用的Web界面简化了语料库和分析结果的管理和发布。在当前（beta）版本中，它支持英语和葡萄牙语，并支持计划在未来版本中使用的其他语言。为了支持葡萄牙语，PyPLN使用PALAVRAS解析器\citep{Bick2000}。目前PyPLN提供以下功能：编码规范化的文本提取（到UTF-8），词性标记，标记频率，语义注释，n-gram提取，单词和句子库以及跨语料库的全文搜索。该平台以GPL-v3许可。
2013-02-19 cs.CL cs.IR
iobes: A Library for Span-Level Processing
自然语言处理中的许多任务，如命名实体识别和槽填充，涉及识别和标记特定的文本跨度。为了利用通用模型，这些任务通常被重新设计为序列标记任务。每个标记都有一个标签，这些标签都带有特殊标记的前缀，如B-或I-。在模型为每个标记分配标签之后，这些前缀用于将标记分组到span中。正确解析这些注释对于生成公平和可比较的指标至关重要;然而，尽管它很重要，但没有一个易于使用的，标准化的，可编程集成的库来帮助使用span标签。为了解决这个问题，我们引入了我们的开源库iobes。IOBES用于解析、转换和处理表示为令牌级决策的跨度。
2020-10-09 cs.CL
MedCAT -- Medical Concept Annotation Tool
King’s College London（伦敦国王学院）；University College London（伦敦大学学院）；NIHR Biomedical Research Centre at South London and Maudsley NHS Foundation Trust and King’s College London（英国国立卫生研究院生物医学研究中心（位于南伦敦和莫兹利 NHS 基金会信托与伦敦国王学院））
电子健康记录（EHR）等生物医学文档包含大量非结构化格式的信息。EHR中的数据是记录临床叙述和决策的非常有价值的资源，但是虽然文本可以很容易地被人类医生理解，但在研究和临床应用中使用却具有挑战性。为了揭示生物医学文档的潜力，我们需要提取和结构化它们所包含的信息。当前的任务是命名实体识别和链接（NER+L）。实体的数量，词语的模糊性，重叠和嵌套使得生物医学领域比许多其他领域更加困难。为了克服这些困难，我们开发了医学概念注释工具（MedCAT），这是NER+L的开源无监督方法。MedCAT使用无监督机器学习来消除实体的歧义。它在MIMIC-III（一个免费访问的重症监护数据库）和MedMentions（由统一医学语言系统注释的生物医学论文）上得到了验证。在NER+L的情况下，与现有工具的比较表明，MedCAT仅通过无监督学习改善了之前的最佳效果（疾病检测的F1=0.848 vs 0.691;一般概念检测的F1=0.710 vs 0.222）。MedCAT学习的向量嵌入的定性分析表明，它捕获了EHR（MIMIC-III）中的潜在医学知识。无监督学习可以提高大规模实体抽取的性能，但在处理少量实体和小数据集时存在一定的局限性。在这种情况下，选项是监督学习或主动学习，两者都通过MedCATtrainer扩展在MedCAT中得到支持。我们的方法可以检测和链接数百万种不同的生物医学概念，具有最先进…
2019-12-18 cs.CL cs.LG stat.ML
Fine-grained Czech News Article Dataset: An Interdisciplinary Approach to Trustworthiness Analysis
Charles University（查理大学）；University College London（伦敦大学学院）
我们提出了Verifee数据集：一个新的数据集的新闻文章与细粒度的可信度注释。我们开发了一种详细的方法，根据其参数评估文本，包括编辑透明度，记者惯例和客观报道，同时惩罚操纵技术。我们带来了来自社会，媒体和计算机科学的各种研究人员，以克服这一跨学科问题的障碍和有限的框架。我们从几乎$60$捷克在线新闻来源收集超过$10,000$独特的文章。在我们提出的可信度范围内，这些文章被归类为$4$类，从完全值得信赖的文章一直到操纵性文章。我们提供详细的统计数据，并研究整个集合中出现的趋势。最后，我们使用我们的数据集在可信度分类任务上微调了多个流行的序列到序列语言模型，并报告了$0.52$的最佳测试F-1得分。我们在https://verifee.ai/research上开源了数据集、注释方法和注释者的完整说明，以方便构建工作。我们相信类似的方法可以帮助防止虚假信息和教育领域的媒体素养。
2022-12-16 cs.CL
