MADARi: A Web Interface for Joint Arabic Morphological Annotation and Spelling Correction
New York University Abu Dhabi(纽约大学阿布扎比分校);Carnegie Mellon University in Qatar(卡内基梅隆大学卡塔尔分校);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
在本文中,我们介绍了MADARi,一个联合形态注释和拼写校正系统的文本在标准和方言阿拉伯语。MADARi框架为注释文本和管理大量大型文档的注释过程提供了直观的界面。词法注释包括在上下文中为一个词指出它的基词、词性、词目、注释和方言识别。MADARi有一套实用工具来帮助注释者提高生产力。例如,注释者可以使用预先计算的分析来帮助他们完成任务,并减少完成任务所需的工作量。MADARi还允许注释者查询形态分析器,以获得多种方言的可能分析列表或查找以前提交的分析。MADARi管理界面使主要注释者能够轻松地远程和并发地管理和组织整个注释过程。我们描述了这个接口的动机,设计和实现,我们提出了详细的用户研究与此系统。
2018-08-25 cs.CL
A Machine Learning Based Analytical Framework for Semantic Annotation Requirements
Islamic Azad University, Qazvin Branch(伊斯兰阿扎德大学加兹温分校);Alzahra University(阿尔扎赫拉大学)
语义Web是当前Web的扩展,其中信息被赋予了定义明确的含义。语义网的前景是通过将现有的网络内容转换成机器可理解的形式来提高网络的质量和智能性。因此,语义级信息是语义Web的基石之一。将语义元数据添加到Web资源的过程称为语义注释。语义标注存在着许多障碍,如多语言性、可扩展性以及与不同网页内容的多样性和不一致性有关的问题。由于语义标注系统所涉及的领域非常广泛,而且其所处的环境也是动态的,因此标注过程的自动化是该领域面临的一个重要挑战。为了克服这个问题,已经利用了不同的机器学习方法,诸如监督学习、无监督学习和更近期的方法,如半监督学习和主动学习。在本文中,我们提出了一个包容性的分层分类的语义标注的挑战,并讨论了在这一领域的最重要的问题。此外,我们回顾和分析机器学习应用解决语义标注问题。为此,本文试图对相关研究进行深入研究和分类,以更好地理解语义标注,并得出一个框架,将机器学习技术映射到语义标注的挑战和需求中。
2011-04-26 cs.AI cs.CL
The Annotation Bottleneck in Persian Text NLP: Persian as an Annotation-Scarce Language
本文提出波斯语是标注稀缺而非单纯低资源语言,通过三项定量交叉验证分析其34种文本资源,发现标注稀缺源于任务领域覆盖不均等问题,而非整体标注量不足。
2026-08-26 cs.CL
AMALGUM -- A Free, Balanced, Multilayer English Web Corpus
Georgetown University(乔治城大学)
我们提出了一个免费提供的,体裁平衡的英语网络语料库,总计4 M的令牌和具有大量的高质量的自动标注层,包括依存关系树,非命名实体注释,共指消解,和话语树的修辞结构理论。通过利用开放的在线数据源,语料库旨在为较小的手动创建的注释数据集提供更大的替代方案,同时避免陷阱,如不平衡或未知的组成,许可问题和低质量的自然语言处理。我们利用来自多个注释层的知识,以实现“比NLP更好”的基准,并评估结果资源的准确性。
2020-06-18 cs.CL
SenTag: a Web-based Tool for Semantic Annotation of Textual Documents
European University Institute(欧洲大学学院);University of Padova(帕多瓦大学)
在这项工作中,我们提出了SenTag,一个轻量级的基于Web的工具,专注于文本文档的语义注释。该平台允许多个用户处理文档语料库。该工具能够通过采用可扩展置标语言(XML)作为输出格式的直观和易于使用的用户界面来标记文档语料库。该应用程序的主要目标是双重的:促进标记过程,减少或避免输出文档中的错误。此外,它允许识别用于构建参数图的参数和其他实体。也可以评估在文本语料库上工作的注释者的一致性水平。
2021-09-16 cs.CL cs.DL
SocialQuotes: Learning Contextual Roles of Social Media Quotes on the Web
Google Research(谷歌研究院)
提出一种语言建模框架自动标注社交媒体嵌入在网页上下文中的角色,并发布包含超3200万条引用的SocialQuotes数据集,通过角色分类案例研究展示了现代LLM的合理性能并揭示了跨平台角色分布。
2024-07-22 cs.CL
SanskritShala: A Neural Sanskrit NLP Toolkit with Web-Based Interface for Pedagogical and Annotation Purposes
IIT Kanpur(印度理工学院坎普尔分校);IIT Kharagpur(印度理工学院克勒格布尔分校);IIT Mandi(印度理工学院曼迪分校)
本文提出首个带网页界面的神经梵语NLP工具包SanskritShala,集成词切分、形态标注、依存解析和复合词识别等模块,在多个基准上达到最先进性能,并公开代码、词嵌入模型及标注数据,以支持梵语教学与标注工作。
2023-05-29 cs.CL
Charon: a FrameNet Annotation Tool for Multimodal Corpora
Federal University of Juiz de Fora(茹伊斯迪福拉联邦大学)
本文介绍了Charon,一个Web工具,用于标注多模态语料库与框架网类别。可以对包含静态图像和与文本序列配对或不配对的视频序列的语料库进行注释。管道功能,除了注释接口,语料库导入和预处理工具。
2022-05-24 cs.CL
Argumentation Mining in User-Generated Web Discourse
German Institute for Educational Research(德国教育研究所);Technische Universität Darmstadt(达姆施塔特工业大学)
论证挖掘是计算语言学中一个不断发展的研究领域,其目标是设计能够分析人们的论证的方法。在这篇文章中,我们在几个方面超越了最先进的技术。(i)我们处理实际的Web数据,并采取了各种寄存器,多个域,和不受限制的嘈杂的用户生成的Web话语的挑战。(ii)我们弥合规范的论证理论和论证现象之间的差距,在实际数据中遇到的适应论证模型在广泛的注释研究测试。(iii)我们创建了一个新的黄金标准语料库(340个文档中的9万个标记),并尝试了几种机器学习方法来识别参数组件。我们在免费许可证下向社区提供数据、源代码和注释指南。我们的研究结果表明,用户生成的Web话语中的论证挖掘是一个可行的,但具有挑战性的任务。
2017-03-27 cs.CL
AVerImaTeC: A Dataset for Automatic Verification of Image-Text Claims with Evidence from the Web
University of Cambridge(剑桥大学);Queen Mary University of London(伦敦大学玛丽女王学院)
该研究提出AVerImaTeC数据集,包含1,297条真实图文声明及带网络证据的问答对,通过规范化、时间约束和充分性检查缓解挑战,并建立验证基线。
2025-10-07 cs.CL
Intent Generation for Goal-Oriented Dialogue Systems based on Schema.org Annotations
University of Innsbruck(因斯布鲁克大学)
面向目标的对话系统通常与后端(例如,数据库、Web API)通信以完成某些任务来达到目标。对话系统能够识别的意图大多由开发者静态地包含到系统中。对于一个开放的对话系统来说,它可以在一小部分精心策划的数据和API上工作,这种手动意图创建将无法扩展。在本文中,我们介绍了一个简单的方法,意图创建的基础上语义标注的数据和服务在Web上。通过这种方法,面向目标的对话系统的自然语言理解(NLU)模块可以适应新引入的API,而不需要大量的开发人员参与。我们能够从schema.org注释中提取意图和需要填充的位置。我们还能够创建一组初始训练句子,用于将用户话语分类到生成的意图中。我们展示了我们的方法上的NLU模块的最先进的对话系统开发框架。
2018-07-03 cs.CL
AVeriTeC: A Dataset for Real-world Claim Verification with Evidence from the Web
University of Cambridge(剑桥大学)
针对现有自动事实验证数据集的诸多局限,本文提出包含4568条真实声明的AVeriTeC数据集,配套多轮标注规避常见问题并达成较高标注一致性,同时开发了基线模型与开放网络验证评估方案。
2023-11-08 cs.CL
Enhancing Rhetorical Figure Annotation: An Ontology-Based Web Application with RAG Integration
University of Passau(帕绍大学);Institute for AI Research and Development of Serbia(塞尔维亚人工智能研究与发展研究所)
针对德语修辞格标注数据与标注员缺乏的问题,开发基于GRhOOT本体并集成RAG的Web应用“Find your Figure”,有效促进了修辞格的识别与标注。
2024-12-18 cs.AI cs.CL
Creating a Large Multi-Layered Representational Repository of Linguistic Code Switched Arabic Data
The George Washington University(乔治华盛顿大学)
我们提出了我们的努力,以创建一个大型的语言代码交换阿拉伯语数据的多层代表性存储库。这一过程包括制定明确的注释标准和准则,简化注释过程,并实施质量控制措施。我们使用了两种主要的注释协议:实验室内的黄金注释和众包注释。我们开发了一个基于Web的注释工具,以方便管理的注释过程。当前版本的存储库总共包含886,252个标记,这些标记被标记到十六个代码转换标记之一中。这些数据展示了现代标准阿拉伯语和埃及方言阿拉伯语之间的代码切换,代表了三种数据类型:推文,评论和讨论论坛。总体注释者间一致性为93.1%。
2019-09-28 cs.CL
Cross-modal Language Generation using Pivot Stabilization for Web-scale Language Coverage
Google Research(谷歌研究院)
跨模态语言生成任务(如图像描述)在支持非英语语言的能力方面受到数据饥渴模型的趋势以及缺乏非英语注释的直接伤害。我们调查潜在的解决方案,结合现有的语言生成注释的英语翻译能力,以创建解决方案在网络规模的领域和语言覆盖。我们描述了一种称为Pivot-语言生成稳定化(PLuGS)的方法,该方法在训练时直接利用现有的英语注释(黄金数据)及其机器翻译版本(白银数据);在运行时,它首先生成英语标题,然后生成相应的目标语言标题。我们表明,PLuGS模型优于其他候选解决方案在5个不同的目标语言进行评估,根据一个大的域测试集使用的图像从开放图像数据集。此外,我们发现了一个有趣的效果,其中由PLuGS模型生成的英文字幕优于由原始的单语英文模型生成的字幕。
2020-05-01 cs.CL cs.CV cs.LG
StateCensusLaws.org: A Web Application for Consuming and Annotating Legal Discourse Learning
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
在这项工作中,我们创建了一个Web应用程序来突出NLP模型的输出,这些模型经过训练可以解析和标记法律文本中的话语片段。我们的系统主要是建立在记者和法律口译员的头脑中,我们专注于使用美国的州一级法律人口普查数字来分配资源和组织政府。我们的系统公开了我们收集的6,000个与美国人口普查有关的州一级法律的语料库,使用我们构建的25个抓取器来抓取我们发布的州法律网站。我们还建立了一个新颖的,灵活的注释框架,可以处理任何输入文本文档的跨度标记和关系标记,并简单地嵌入到任何网页。这个框架允许记者和研究人员通过纠正和标记新数据来添加到我们的注释数据库中。
2022-06-30 cs.CL cs.DL cs.HC
BenGER Platform: A Collaborative Web Platform for End-to-End Benchmarking of German Legal Tasks
Technical University of Munich(慕尼黑技术大学)
提出BenGER开源Web平台,集成任务创建、协作标注、可配置LLM运行及多维度评估,支持多组织项目与租户隔离,实现法律推理基准测试的端到端透明与可复现。
2026-05-27 cs.AI cs.CL
Learning to Answer Visual Questions from Web Videos
Inria Paris(巴黎法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学);DeepMind(深度思维);Czech Institute of Informatics, Robotics and Cybernetics(捷克信息学、机器人与控制研究所);Czech Technical University in Prague(布拉格捷克理工大学)
最近的视觉问答方法依赖于大规模的注释数据集。然而,视频的问题和答案的手动注释是乏味的、昂贵的并且妨碍可扩展性。在这项工作中,我们建议避免手动注释,并生成一个大规模的训练数据集的视频问答利用自动跨模态监督。我们利用一个在文本数据上训练的问题生成Transformer,并使用它从转录的视频叙述中生成问答对。给定叙述视频,我们然后自动生成具有69 M视频-问题-答案三元组的HowToVQA 69 M数据集。为了处理这个数据集中不同答案的开放词汇,我们提出了一个基于视频问题多模态Transformer和答案Transformer之间的对比损失的训练过程。我们介绍了zero-shot VideoQA任务和VideoQA特征探针评估设置,并显示了出色的结果,特别是对于罕见的答案。此外,我们的方法在MSRVTT-QA,ActivityNet-QA,MSVD-QA和How2 QA数据集上取得了有竞争力的结果。我们还表明,我们的VideoQA数据集生成方法可以推广到另一个网络视频和文本数据源。我们使用我们的方法从WebVid数据集生成WebVidVQA 3 M数据集,即,带有替换文本注释的视频,并展示了它对训练VideoQA模型的好处。最后,为了进行详细的评估,我们介绍了iVQA,这是一个新的VideoQA数据集,具有减少的语言偏见和高质量的手动注释。代码、数据集和训练模型可在https://ant…
2022-05-11 cs.CL cs.CV cs.LG
RTE: A Tool for Annotating Relation Triplets from Text
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);Siemens Healthineers(西门子医疗)
在这项工作中,我们提出了一个基于Web的注释工具"关系三元组提取器" \footnote{https://abera87.github.io/annotate/}(RTE)的关系三元组的文本注释。关系抽取是从Web上的非结构化文本中抽取关于真实世界实体的结构化信息的一项重要任务。在关系抽取中,我们关注的是二元关系,即两个实体之间的关系。近年来,许多监督模型被提出来解决这个问题,但它们大多使用噪声训练数据使用远程监督方法获得。在许多情况下,模型的评估也是基于噪声测试数据集进行的。缺乏带注释的干净数据集是这一研究领域的一个关键挑战。在这项工作中,我们建立了一个基于Web的工具,研究人员可以注释数据集的关系抽取自己非常容易。我们为这个工具使用了无服务器架构,整个注释操作都是使用客户端代码处理的。因此,它不会受到任何网络延迟的影响,并且用户数据的隐私也得到了维护。我们希望这个工具能对关系抽取领域的研究者有所帮助。
2021-08-18 cs.CL
Textarium: Entangling Annotation, Abstraction and Argument
Technical University Berlin(柏林技术大学);Berlin University of the Arts(柏林艺术大学);University of Applied Sciences Potsdam(波茨坦应用科学大学)
本文提出基于Web的界面Textarium,结合人工分析与轻量级计算,将文本标注、抽象与论证相联系,通过参数化可视化使解读过程在数字叙事中透明且可共享。
2025-09-16 cs.CL cs.HC
Just an Update on PMING Distance for Web-based Semantic Similarity in Artificial Intelligence and Data Mining
La Sapienza University of Rome(罗马大学)
在经典的语义学方法中出现的主要问题之一是本体和语义标注的获取和维护的困难。另一方面,互联网的爆炸和移动智能设备的大规模扩散导致了一个全球系统的创建,该系统每天都会检查信息,并通过数百万以协作方式进行交互的用户的贡献来推动。搜索引擎,不断探索网络,是一个自然的信息来源,基于现代方法的语义注释。一个很有前途的想法是,它是可能的语义相似性,语义相似的条款行为相似的假设下,并定义协作的接近度测量的基础上返回的索引信息的搜索引擎。PMING距离是在数据采掘和信息检索中使用的邻近度量,其中协作信息仅使用作为搜索引擎上的查询的结果返回的文档的数量来表达两个术语之间的关系程度。在这项工作中,PMINIG距离更新,提供了一个新的正式的代数定义,纠正以前的作品。新的观点强调PMING的特点是一个局部归一化的线性组合的逐点互信息和归一化谷歌距离。所分析的度量动态地反映了对网络资源的协同变化。
2017-01-09 cs.AI cs.CL cs.IR
Structure-BiEval: A Self-Supervised, Dual-Track Framework for Decoupling Structure and Content in LLM Evaluation for Web Information Systems
Tele-Communication Technology Bureau, Xinhua News Agency(新华通讯社电信技术局)
本文提出Structure-BiEval框架,通过确定性中间表示解耦结构与内容,利用内容语义准确性和归一化树编辑距离评估Web数据工程中的LLM结构 fidelity,发现不同模型在Web数据格式化中表现差异显著。
2026-05-15 cs.AI cs.CL