A Large Self-Annotated Corpus for Sarcasm
Princeton University(普林斯顿大学)
我们介绍了自注释Reddit语料库(SARC),一个大型语料库的讽刺研究和训练和评估系统的讽刺检测。该语料库有130万个讽刺语句-比以前任何数据集都多10倍-以及许多倍的非讽刺语句实例,允许在平衡和不平衡的标签制度中学习。此外,每个语句都是自我注释的-讽刺是由作者标记的,而不是独立的注释者-并提供用户,主题和对话上下文。我们评估语料库的准确性,构建讽刺检测的基准,并评估基线方法。
2018-03-22 cs.AI cs.CL cs.LG
FRACCO: A gold-standard annotated corpus of oncological entities with ICD-O-3.1 normalisation
Hôpitaux Universitaires de Genève(日内瓦大学医院)
FRACCO是一个具有ICD-O-3.1标准化的法语肿瘤实体标注语料库,包含1301个合成临床案例,用于提升法语肿瘤文本的命名实体识别和概念标准化能力。
2025-10-13 cs.AI cs.CL
InScript: Narrative texts annotated with script information
本文介绍了InScript语料库(Narrative Texts Instantiating Script structure)。InScript是一个包含1,000个故事的语料库,围绕着10个不同的场景。动词和名词短语分别用事件和参与者类型进行注释。此外,正文还附有共指信息的注释。该语料库显示了丰富的词汇变异,将成为研究脚本知识在自然语言处理中作用的独特资源。
2017-03-15 cs.AI cs.CL
The UN Parallel Corpus Annotated for Translation Direction
这项工作区分了联合国议定书语料库中的翻译文本和原始文本。通过将问题建模为分类问题,我们可以实现高达95%的分类准确率。我们首先推导出一个平行语料库的不同语言对注释的翻译方向,然后分类的数据,通过使用各种特征提取方法。我们比较了不同的方法以及区分不同语言的翻译文本和原始文本的能力。注释的语料库是公开的。
2018-05-20 cs.CL
Ossetic-COT: Designing a morphologically annotated corpus and morphological analyzer for Ossetic
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
研究为奥塞梯语设计符合通用依存关系模式的形态学注释语料库,用其训练基于BERT的形态分析器,分析器标签准确率达95.60%。
2026-07-08 cs.CL
Manually Annotated Spelling Error Corpus for Amharic
Addis Ababa University(亚的斯亚贝巴大学);Hawassa University(哈瓦萨大学)
本文介绍了一个手工注释的拼写错误语料库阿姆哈拉语,通用语在埃塞俄比亚。该语料库被设计用于拼写错误检测和纠正的评估。拼写错误被标记为非单词错误和真实单词错误。此外,语料库中的上下文信息使其在处理这两种类型的拼写错误时非常有用。
2021-06-25 cs.CL
ArgRewrite V.2: an Annotated Argumentative Revisions Corpus
University of Pittsburgh(匹兹堡大学)
分析人类如何修改他们的写作是一个有趣的研究问题,不仅从教育的角度来看,而且从人工智能的角度来看。更好地理解这一过程可以促进许多NLP应用,从智能辅导系统到支持和协作写作环境。然而,开发这些应用程序需要修订语料库,这并不广泛。在这项工作中,我们提出了ArgRewrite V.2,这是一个注释的议论文修订语料库,收集了关于自动驾驶汽车的议论文的两个修订周期。注释是在不同的目的粒度(粗粒度和细粒度)和范围(基本粒度和基本粒度)级别上提供的。此外,语料库还包括了每个作者的修改目标、论文分数、注释验证、从参与者那里收集的研究前和研究后的调查作为元数据。ArgRewrite中修订单元范围和目的粒度级别的多样性,以及新类型的元数据的包含,可以使其成为涉及修订分析的研究和应用程序的有用资源。我们展示了ArgRewrite V.2在自动修订目的预测器开发中的一些潜在应用,作为训练源和基准。
2022-06-03 cs.AI cs.CL
A Quality Type-aware Annotated Corpus and Lexicon for Harassment Research
Kno.e.sis Center(克诺伊西斯中心);University of Dayton(代顿大学)
拥有一个高质量的注释语料库对于应用研究尤其重要。尽管网络科学界最近把重点放在研究网络欺凌上,但该社区仍然没有标准的基准。在本文中,我们首先发布了一个高质量的注释语料库,其次发布了一个攻击性词汇词典,该词典捕获了不同类型的骚扰,如(i)性骚扰,(ii)种族骚扰,(iii)与外表相关的骚扰,(iv)智力骚扰,(v)政治骚扰。然后依靠人类法官来注释收集到的tweet。上下文类型,因为使用攻击性词语不足以可靠地检测骚扰。我们的语料库由25,000条注释的推文组成,分为五种上下文类型。我们很高兴与研究界分享这一新颖的注释语料库和词典。获取语料库的指令已发布在Git存储库上。
2018-05-23 cs.CL
PASTRIE: A Corpus of Prepositions Annotated with Supersense Tags in Reddit International English
Georgetown University(乔治城大学)
我们在Reddit国际英语(“PANEE”)语料库中展示了用Supersense标签注释的介词,这是一个新的数据集,包含来自四个L1假定发言者的英语数据的手动注释介词supersense:英语,法语,德语和西班牙语。注释是全面的,涵盖了示例中的所有介词类型和标记。随着语料库,我们提供了分布模式的分析,包括L1和L2介词选择的L1的影响进行了讨论。
2021-10-23 cs.CL
An Annotated Corpus of Emerging Anglicisms in Spanish Newspaper Headlines
Brandeis University(布兰迪斯大学)
英语词的提取(从英语中借用词汇)与词典编纂目的和NLP下游任务都相关。我们介绍了一个语料库的欧洲西班牙语报纸标题注释英语和英语提取的基线模型。在本文中,我们提出:(1)21,570份用欧洲西班牙语撰写的报纸标题的语料库,注释了紧急英语单词;(2)一个条件随机场基线模型,具有用于英语单词提取的手工特征。我们介绍了报纸头条语料库,描述了注释标签集和指南,并介绍了一个可以作为检测英语词任务基线的CRF模型。所提出的工作是对西班牙新闻专线创建一个英语提取器的第一步。
2020-04-06 cs.CL
Annotated Guidelines and Building Reference Corpus for Myanmar-English Word Alignment
University of Computer Studies, Mandalay(曼德勒计算机大学);AI Research Lab(人工智能研究实验室)
词对齐参考语料库是开发和评估词对齐方法的重要资源。对于缅甸语-英语语言对,没有参考语料库来评估词对齐任务。因此,我们创建了基于对比学习的两种语言之间的缅甸-英语词对齐注释指南,并建立了由亚洲语言树库(ALT)的缅甸ALT验证对齐组成的缅甸-英语参考语料库。该参考语料库包含用于单词对齐的确信标签sure(S)和possible(P),其用于测试单词对齐任务的评估目的。我们讨论了最链接的歧义,以定义一致和系统的指示,以对齐手动的话。我们使用我们的参考语料库的对齐出错率(AER)在词对齐任务的注释协议的结果进行了评估,并讨论了BLEU分数方面的词的关系。
2019-09-25 cs.AI cs.CL cs.IR
Sina at FigNews 2024: Multilingual Datasets Annotated with Bias and Propaganda
Birzeit University(比尔宰特大学);Palestine Technical University-Khadoorie(巴勒斯坦技术大学-哈杜里);amleh Center(7amleh中心);ÖREBRO University(厄勒布鲁大学)
本研究构建了含12000条多语言Facebook帖子的偏见与宣传标注语料库,作为FigNews 2024共享任务的一部分,标注质量达标,团队在相关子任务中表现优异,语料库已开源。
2024-07-12 cs.AI cs.CL
The RareDis corpus: a corpus annotated with rare diseases, their signs and symptoms
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Hospital Fundación Jiménez Díaz e Instituto de Investigación, FJD(希门尼斯·迪亚斯基金会医院与研究所);CIEMAT(西班牙能源、环境与技术研究中心);Centre for Biomedical Network Research on Rare Diseases (CIBERER)(罕见病生物医学网络研究中心)
RareDis语料库包含5,000多种罕见疾病,近6,000种临床表现。此外,注释者间一致性评估显示出相对较高的一致性(在实体的精确匹配标准下,F1测量值等于83.5%,在关系下等于81.3%)。基于这些结果,该语料库具有高质量,假设该领域迈出了重要的一步,因为很少有可用的语料库注释罕见疾病。这可能为NLP的进一步应用打开大门,这将有助于这些罕见疾病的诊断和治疗,从而大大提高这些患者的生活质量。
2021-12-09 cs.CL cs.LG
WLV-RIT at HASOC-Dravidian-CodeMix-FIRE2020: Offensive Language Identification in Code-switched YouTube Comments
University of Wolverhampton(伍尔弗汉普顿大学);Rochester Institute of Technology(罗切斯特理工学院)
本文介绍了WLV-RIT进入印度-欧洲语言中的仇恨言论和攻击性内容识别(HASOC)共享任务2020。HASOC 2020组织者为参与者提供了注释数据集,其中包含以德拉维语(马拉雅拉姆语-英语和泰米尔语-英语)混合的社交媒体帖子。我们参与了任务1:代码混合马拉雅拉姆语Youtube评论中的攻击性评论识别。在我们的方法中,我们利用现有的英语数据,通过应用跨语言的上下文词嵌入和迁移学习来预测马拉雅拉姆语数据。我们进一步改善使用各种微调策略的结果。我们的系统在测试集上取得了0.89的加权平均F1分数,在12名参与者中排名第5位。
2020-11-01 cs.AI cs.CL cs.LG
APPReddit: a Corpus of Reddit Posts Annotated for Appraisal
University of Turin(都灵大学);University of Genoa(热那亚大学)
尽管有大量的计算资源用于情感识别,但缺乏依赖于评估模型的数据集。根据评价理论,情绪是对事件进行多维度评价的结果。在本文中,我们提出了APPRreddit,根据这一理论注释的第一个非实验数据语料库。在描述了它的发展,我们比较我们的资源与enISprone,在实验环境中创建的事件语料库和注释的评价。结果表明,这两个语料库可以映射,尽管不同类型的数据和注释方案。在APPRreddit上训练的SVM模型预测了四个评估维度,没有显著损失。将两个语料库合并到一个训练集中,可以增加4个维度中3个维度的预测。这些发现为评估预测的更好分类模型铺平了道路。
2022-05-31 cs.CL
Detecting Unassimilated Borrowings in Spanish: An Annotated Corpus and Approaches to Modeling
UNED(西班牙国立远程教育大学);Brandeis University(布兰迪斯大学)
这项工作提出了一个新的资源,借用识别和分析的性能和错误的几个模型在这项任务。我们引入了一个新的注释语料库的西班牙语新闻专线丰富的未同化的词汇借款-从一种语言的话,被引入到另一个没有正字法的适应-并用它来评估几个序列标签模型(CRF,BiLSTM-CRF,和基于转换器的模型)执行。该语料库包含370,000个标记,并且比以前可用于此任务的语料库更大,更密集,OOV丰富,主题多样。我们的研究结果表明,一个BiLSTM-CRF模型与子词嵌入以及基于transformer的嵌入预训练的代码交换数据或上下文化的词嵌入的组合优于由多语言BERT模型获得的结果。
2022-03-30 cs.CL
The Knesset Corpus: An Annotated Corpus of Hebrew Parliamentary Proceedings
IAHLT
本文提出包含1998至2022年以色列议会记录的希伯来语语料库Knesset Corpus,提供形态句法标注与发言者元信息,并通过用例展示了其在考察政治讨论历史演变及性别风格差异方面的研究价值。
2024-05-28 cs.CL
A Cross-cultural Corpus of Annotated Verbal and Nonverbal Behaviors in Receptionist Encounters
Carnegie Mellon University(卡内基梅隆大学);Carnegie Mellon University in Qatar(卡内基梅隆大学卡塔尔分校)
我们提出了第一个注释语料库的接待员互动的非语言行为,和第一个非语言语料库(不包括原始的视频和音频数据)的服务遇到免费在线。以美国英语和阿拉伯语为母语的人在卡塔尔多哈和美国匹兹堡的大学大楼接待处参加了自然主义角色扮演。他们手动注释的非语言行为包括注视方向,手部和头部姿势,躯干位置和面部表情。我们讨论了语料库的可能用途,并设想它成为一个有用的工具,人机交互社区。
2012-03-11 cs.CL cs.RO
SAMSum Corpus: A Human-annotated Dialogue Dataset for Abstractive Summarization
Samsung R&D Institute Poland(三星波兰研发中心)
本文介绍了SAMSum语料库,一个新的数据集与抽象的对话摘要。我们通过测试几个模型并将其结果与新闻文章语料库中获得的结果进行比较,来研究它对自动摘要带来的挑战。我们发现,模型生成的对话摘要比模型生成的新闻摘要获得更高的ROUGE分数-与人类评估者的判断相反。这表明抽象对话摘要的挑战性任务需要专用模型和非标准质量措施。据我们所知,我们的研究是第一次尝试引入一个高质量的聊天对话语料库,手动注释抽象的摘要,这可以被研究界用于进一步的研究。
2019-11-29 cs.CL
SALMA: Arabic Sense-Annotated Corpus and WSD Benchmarks
Birzeit University(比尔宰特大学)
本文提出首个阿拉伯语词义标注语料库 SALMA,采用多词义打分标注方式,并基于目标词义验证构建词义消歧基线,最佳模型准确率达 84.2%(Modern)和 78.7%(Ghani)。
2023-10-29 cs.CL
GoodNewsEveryone: A Corpus of News Headlines Annotated with Emotions, Semantic Roles, and Reader Perception
大多数从文本中进行情感分析的研究都集中在情感分类或情感强度回归上。较少的作品将情绪作为一种需要通过结构化学习来解决的现象,这可以通过缺乏相关数据集来解释。我们填补了这一空白,通过发布一个数据集的5000个英语新闻标题注释通过众包与他们相关的情感,相应的情感体验者和文本线索,相关的情感原因和目标,以及读者的感知标题的情感。考虑到要识别的类和角色的数量很大,这个注释任务是非常具有挑战性的。因此,我们提出了一个多阶段的注释过程中,我们首先找到相关的实例与情感内容,然后注释更细粒度的方面。最后,我们开发了一个自动预测语义角色结构的任务的基线,并讨论了结果。我们发布的语料库可以进一步研究情绪分类,情绪强度预测,情绪原因检测,并支持进一步的定性研究。
2020-03-03 cs.AI cs.CL cs.IR
A Crowd-Annotated Spanish Corpus for Humor Analysis
Universidad de la República(共和国大学);Facultad de Ingeniería(工程学院)
计算幽默涉及多项任务,例如幽默识别、幽默生成和幽默评分,拥有人工策划的数据对于这些任务非常有用。在这项工作中,我们提出了一个语料库的27,000条推文写在西班牙语和人群注释的幽默价值和滑稽的分数,约有四个注释每条推文,由1,300人在互联网上标记。来自幽默和非幽默账户的推文数量相等。注释者间一致性Krippendorff的alpha值为0.5710。该数据集可用于一般用途,可以作为幽默检测的基础,并作为解决主观性的第一步。
2018-07-19 cs.CL
FRACAS: A FRench Annotated Corpus of Attribution relations in newS
Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LIG(信息与信号处理实验室);Sciences Po Grenoble(格勒诺布尔政治学院);PACTE(公共政策管理与评估中心)
本文构建了包含1676篇法语新闻文本的FRACAS语料库,用于引语抽取与来源归属研究,并提供了标注规范、流程及高标注者间一致性结果。
2023-09-19 cs.CL
RedHOT: A Corpus of Annotated Medical Questions, Experiences, and Claims on Social Media
Northeastern University(东北大学);Accenture AI Labs(埃森哲人工智能实验室)
我们介绍了Reddit健康在线谈话(RedHOT),这是一个语料库,包含来自Reddit的22,000个注释丰富的社交媒体帖子,涵盖24种健康状况。注释包括与医疗索赔、个人经历和问题相对应的跨度界限。我们收集有关已识别声明的其他粒度注释。具体来说,我们标记描述患者人群、干预措施和结局(PIO元素)的片段。使用这个语料库,我们介绍了检索与社交媒体上的给定声明相关的可信证据的任务。我们提出了一种新的方法来自动获得(嘈杂)监督这项任务,我们用训练一个稠密检索模型,这优于基线模型。由医生进行的检索结果的手动评估表明,虽然我们的系统性能是有前途的,有相当大的改进空间。收集的注释(和组装数据集的脚本)可在https://github.com/sominw/redhot上获得。
2023-02-07 cs.CL
Morphological Tagging and Lemmatization of Albanian: A Manually Annotated Corpus and Neural Models
Faculty of Information Technology, Polytechnic University of Tirana(地拉那理工大学信息技术学院);Faculty of Information Technology, New York University of Tirana(地拉那纽约大学信息技术学院);University of Turku(图尔库大学)
在本文中,我们提出了第一个公开可用的部分的语音和形态标记语料库的阿尔巴尼亚语,以及神经形态标记和lemmatizer训练it.There是目前缺乏可用的自然语言处理资源阿尔巴尼亚语,其复杂的语法和形态提出了挑战,他们的发展。我们已经创建了一个阿尔巴尼亚语的词性语料库的基础上的通用语法模式的形态注释,包含约118,000令牌的自然发生的文本从不同的文本来源收集,与人工创建的简单句子的67,000令牌只用于训练。在这个语料库上,我们随后使用图尔库神经解析器管道训练和评估分割,形态标记和词形化模型。在保持的评价集上,该模型在词性标注上达到92.74%的准确率,在形态标注上达到85.31%,在词形化上达到89.95%。手动注释的语料库以及训练的模型在开放许可证下可用。
2019-12-02 cs.CL
The Project Dialogism Novel Corpus: A Dataset for Quotation Attribution in Literary Texts
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所)
我们提出了项目对话小说语料库,或PDNC,一个注释的数据集的引用英语文学文本。PDNC包含22部长篇小说中35,978条引文的注释,是同类中最大的语料库。每句引语都有注释,包括引语的说话人、收信人、引语类型、指称表达和引语文本中提到的人物。注释属性允许对文学文本的引用归因和共指模型进行全面评估。
2022-04-12 cs.CL
How Should Agents Ask Questions For Situated Learning? An Annotated Dialogue Corpus
U.S. Army Research Laboratory(美国陆军研究实验室);Tufts University(塔夫茨大学);U.S. Naval Research Laboratory(美国海军研究实验室)
在情境环境中遇到新概念的智能代理需要向他们的人类队友提问,以了解物理世界。为了更好地理解这个问题,我们需要关于在基于任务的情境交互中提问的数据。为此,我们提出了人-机器人对话学习(HuRDL)语料库-一个新的对话语料库收集在一个在线的交互式虚拟环境中,人类参与者扮演的角色,机器人执行协作工具组织任务。我们描述了语料库数据和相应的注释方案,以提供洞察人类提出的问题的形式和内容,以促进在情境环境中的学习。我们提供的语料库作为一个questionally-grounded资源,以提高问题的生成,位于智能代理。
2021-06-11 cs.CL
ScisummNet: A Large Annotated Corpus and Content-Impact Models for Scientific Paper Summarization with Citation Networks
Yale University(耶鲁大学)
科学文章摘要具有挑战性:大型注释语料库不可用,摘要应该包括文章对研究社区的影响。本文为这两个挑战提供了新的解决方案。我们1)开发并发布了第一个大规模的人工注释语料库,用于科学论文(关于计算语言学),实现更快的注释,2)提出了整合作者原始亮点(摘要)和文章对社区的实际影响(引用)的摘要方法,以创建全面的混合摘要。我们进行实验,以证明我们的语料库的有效性,在训练数据驱动的模型,科学论文摘要和我们的混合摘要的优势,摘要和传统的基于引用的摘要。我们的大型标注语料库和混合方法为科学论文摘要研究提供了一个新的框架。
2019-09-16 cs.CL cs.IR cs.LG
An Annotated Corpus of Relational Strategies in Customer Service
Next IT Corporation(Next IT 公司);University of New Mexico(新墨西哥大学)
我们创建并发布了第一个公开可用的商业客户服务语料库与注释的关系段。收集了来自旅游和电信领域的三个实时客户服务智能虚拟代理(IVA)的人机数据,并对所有被认为对确定用户意图不必要的文本进行了标记。在合并多个审阅者的选择以创建突出显示的文本之后,进行第二轮注释以确定突出显示的部分中存在的语言类别,例如问候、背景故事、理由、感激、咆哮或情感的存在。由此产生的语料库是一个宝贵的资源,提高质量和关系能力的IVA。除了讨论语料库本身,我们还比较了TripAdvisor论坛上人与人之间互动中这种语言的使用情况。我们发现,从基于任务的输入中删除这种语言对IVA理解有积极的影响,增加了信心和改善反应,表明需要自动化的方法来发现它。
2017-08-17 cs.CL
A Multilingual Human Annotated Corpus of Original and Easy-to-Read Texts to Support Access to Democratic Participatory Processes
本文提出一个多语言原始及易读文本标注语料库,用于评估易读语言对民主参与的影响,特别针对西班牙语、加泰罗尼亚语和意大利语,提供高质量的人工标注资源。
2026-03-16 cs.CL
Developing a Multilingual Annotated Corpus of Misogyny and Aggression
Jawaharlal Nehru University(贾瓦哈拉尔·尼赫鲁大学);Dr. Bhimrao Ambedkar University(比姆拉奥·安贝德卡尔博士大学);Panlingua Language Processing LLP(潘林格语言处理有限责任合伙公司);Indian Institute of Technology(印度理工学院)
在本文中,我们讨论了一个多语言注释语料库的厌女症和侵略的印度英语,印地语,印度孟加拉语的研究和自动识别厌女症和社群主义在社交媒体上的项目的一部分(的ComMA项目)的发展。该数据集是从YouTube视频上的评论中收集的,目前总共包含2万多条评论。这些评论分为两个层次--攻击性(公开攻击性、隐蔽攻击性和非攻击性)和厌女症(性别化和非性别化)。我们描述了数据汇集的过程,用于注释的标记集,以及注释过程中面临的问题和挑战。最后,我们讨论了基线实验的结果进行开发的三种语言的厌女症的分类。
2020-03-16 cs.CL
Bollywood Movie Corpus for Text, Images and Videos
IBM Research-INDIA(IBM印度研究院);Delhi Technological University(德里理工大学);IIIT-Delhi(德里国际信息技术学院)
在过去几年中,已经发布了几个文本和图像数据集。我们提出了一种方法来创建用于检测和消除文本中的性别偏见的数据集。我们还包括一组我们在创建这个语料库时所面临的挑战。在这项工作中,我们使用了来自维基百科情节和YouTube电影预告片的电影数据。我们的宝莱坞电影语料库包含从维基百科提取的4000部电影和从YouTube提取的880部预告片,这些电影从1970年到2017年发布。该语料库包含CSV文件,其中包含关于每部电影的以下数据-维基百科电影标题,演员表,情节文本,共同引用的情节文本,配乐信息,电影海报链接,电影海报标题,海报中的男性数量,海报中的女性数量。除此之外,对应于每个演员的以下数据是可用的-演员姓名,演员性别,演员动词,演员形容词,演员关系,演员中心性,演员提及。我们提出了一些初步的结果,消除偏见的任务,这表明数据集是非常有用的执行这样的任务。
2017-10-11 cs.CL cs.CY
MigrationNarrate: A Dataset for Detection of Migration Narratives in YouTube Videos
University of Sheffield(谢菲尔德大学)
该研究推出首个用于检测英国移民叙事的多模态数据集MigrationNarrate,包含1115个YouTube视频字幕,结合预训练编码器与大语言模型开展基准测试,为移民叙事检测研究提供关键资源。
2026-08-24 cs.CL cs.CV cs.CY
RuCoCo: a new Russian corpus with coreference annotation
ABBYY(ABBYY公司);MIPT(莫斯科物理技术学院);RSUH(俄罗斯国立人文大学)
我们提出了一个新的语料库与共指标注,俄语共指语料库(RuCoCo)。RuCoCo的目标是获得大量的注释文本,同时保持较高的注释者之间的一致性。RuCoCo包含俄语的新闻文本,其中一部分是从头开始注释的,其余的机器生成的注释是由人类注释者改进的。我们的语料库的大小是100万字,大约150,000次提及。我们将语料库公开。
2022-06-10 cs.CL
Face2Text: Collecting an Annotated Image Description Corpus for the Generation of Rich Face Descriptions
University of Malta(马耳他大学);University of Copenhagen(哥本哈根大学)
在过去的几年里,人们对视觉和语言之间的界面上的NLP任务重新产生了兴趣。一个深入研究的问题是从图像自动生成文本。在本文中,我们将这个问题扩展到更具体的域的人脸描述。与场景描述不同,人脸描述更细粒度,依赖于从图像中提取的属性,而不是对象和关系。鉴于没有数据存在这项任务,我们提出了一个正在进行的众包研究收集语料库的描述采取的人脸图像“在野外”。为了更好地理解我们在人脸描述中发现的变化以及可能引起的问题,我们还对语料库的一个子集进行了注释研究。首先,我们发现描述是指属性的混合,不仅是物理的,而且是情感和推理,这必然会为当前的图像到文本的方法带来进一步的挑战。
2021-03-05 cs.AI cs.CL cs.CV
MultiBooked: A Corpus of Basque and Catalan Hotel Reviews Annotated for Aspect-level Sentiment Classification
Pompeu Fabra University(庞培法布拉大学)
虽然情感分析已经成为NLP社区的一个既定领域,但对英语以外语言的研究却因缺乏资源而受到阻碍。尽管多语言和跨语言情感分析的研究主要集中在无监督或半监督方法上,但这些方法仍然需要大量的资源,并且没有达到监督方法的性能。考虑到这一点,我们引入了两个数据集,用于巴斯克语和加泰罗尼亚语的监督方面级情感分析,这两种语言都资源不足。我们提供了高质量的注释和基准,希望它们对越来越多的研究这些语言的研究人员有用。
2018-03-22 cs.CL
Aggression-annotated Corpus of Hindi-English Code-mixed Data
Dr. Bhim Rao Ambedkar University(比姆·拉奥·安贝德卡尔博士大学);Indian Institute of Information Technology-Sricity(斯里城印度信息技术学院);Birla Institute of Technology and Science-Pilani(贝拉理工学院皮拉尼校区)
随着网络互动的增加,攻击事件和相关事件,如拖钓,网络欺凌,燃烧,仇恨言论等,也在全球范围内增加了数倍。虽然欺凌或仇恨言论等大多数行为早在互联网之前就出现了,但互联网的范围和广度赋予了这些行为前所未有的力量和影响力,影响了数十亿人的生活。因此,采取一些预防措施为使用网络的人提供保障,使网络在总体上仍然是一种可行的通信和连接媒介,这是至关重要的。在本文中,我们讨论了侵略标记集和注释语料库的印地语-英语代码混合数据的发展,从两个最流行的社交网络和社交媒体平台在印度,Twitter和Facebook。语料库使用3个顶级标签和10个2级标签的分层标签集进行注释。最终的数据集包含了大约18000条tweets和21000条facebook评论,并将被发布用于该领域的进一步研究。
2018-03-26 cs.CL
HKJudge: A Legal Discourse-Annotated Corpus for Interpreting What Courts Find, How They Reason, and What They Rule
City University of Hong Kong(香港城市大学);University of Chinese Academy of Sciences(中国科学院大学)
提出首个句子级专家标注的法律话语数据集HKJudge,包含香港各级法院刑事判决,设计双层话语模式(26种修辞角色和3种判刑要素),并基于BERT和LLM进行基准评估。
2026-06-04 cs.AI cs.CL cs.CY
GupShup: An Annotated Corpus for Abstractive Summarization of Open-Domain Code-Switched Conversations
Bloomberg(彭博);IIIT-Delhi(德里印度理工学院);University of Washington(华盛顿大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
语码转换是一种交际现象,说话人在会话过程中在不同语言之间转换。随着会话代理和聊天平台的广泛采用,语码转换已成为全球许多多语言社区书面会话的一个组成部分。这使得开发总结和理解这些对话的技术变得至关重要。为了实现这一目标,我们引入了印地语-英语代码转换会话的抽象摘要,并开发了第一个代码转换会话摘要数据集- GupShup,其中包含超过6,831个印地语-英语会话及其相应的英语和印地语-英语人类注释摘要。我们提出了一个详细的说明,整个数据汇集和注释过程。我们使用各种代码转换统计数据来分析数据集。我们训练最先进的抽象摘要模型,并使用自动化指标和人工评估报告其性能。我们的结果表明,多语言mBART和多视图seq 2seq模型在新数据集上获得了最佳性能
2021-04-17 cs.AI cs.CL cs.CY
Extracting Arguments from Korean Question and Command: An Annotated Corpus for Structured Paraphrasing
Seoul National University(首尔国立大学);Inha University(仁荷大学)
意图识别是对话管理的核心问题。然而,由于口语的非规范性,很难从会话式话语中自动提取内容。这对于像韩语和日语这样的语言来说更具挑战性,因为语素之间的粘合使得机器很难解析句子并理解意图。建议这个问题的指导方针,并合并的问题灵活的神经释义系统最近推出,我们提出了一个结构化的注释方案,韩国的问题/命令和由此产生的语料库,广泛适用于该领域的参数挖掘。该方案和数据集有望帮助机器理解自然语言的意图,掌握会话式指令的核心含义。
2019-07-09 cs.CL
Examining Language Modeling Assumptions Using an Annotated Literary Dialect Corpus
Center for Digital Humanities(数字人文中心);Johns Hopkins University(约翰霍普金斯大学)
本文通过标注的文学方言语料库,探讨了不同语言建模假设对正写法变化信息提取的影响,发现词标注方案对模型表现有显著影响。
2024-10-03 cs.CL
PTPARL-D: Annotated Corpus of 44 years of Portuguese Parliament debates
Instituto Gulbenkian de Ciência(古尔本基安科学研究所);Nova School of Business and Economics, Universidade Nova de Lisboa(新里斯本大学新商业与经济学院);CICANT, Universidade Lusófona (ULHT)(卢索福纳大学(ULHT)传播与应用语言学研究中心)
在代议制民主中,一些人以其他人的名义做出决定,这些当选官员通常聚集在议会等公共集会上,讨论政策,立法并对基本倡议进行投票。这种民主进程的一个核心方面是全体会议辩论,在辩论中进行重要的公开讨论。世界各地许多议会越来越多地以数字格式保存这些辩论的记录和其他议会数据,供公众查阅,从而提高了透明度和问责制。此外,一些议会正在将旧的纸质记录转换为半结构化的数字格式。然而,这些记录通常仅以原始文本甚至图像的形式提供,几乎没有注释,并且格式不一致,使其难以分析和研究,降低了透明度和公众范围。在这里,我们介绍了PTPARL-D,这是1976年至2019年葡萄牙议会辩论的注释语料库,涵盖了葡萄牙民主的整个时期。
2020-04-26 cs.CL
Curras + Baladi: Towards a Levantine Corpus
University of Strasbourg(斯特拉斯堡大学);Birzeit University(比尔宰特大学);American University of Beirut(贝鲁特美国大学)
阿拉伯语的处理是一个复杂的研究领域。这是由于许多因素,包括阿拉伯语的复杂和丰富的形态,其高度的模糊性,以及需要处理的几个区域品种的存在,同时考虑到其独特的特点。当考虑到它的方言时,这种语言推动了NLP的极限,以找到解决其固有性质所带来的问题的方法。它是一种双语语言;标准语言在正式场合和教育中使用,与不同地区使用的本地语言有很大不同,并受到这些地区历史上使用的古老语言的影响。这应该鼓励NLP专家创建方言特定的语料库,如比尔宰特大学的巴勒斯坦形态注释Curras语料库。在这项工作中,我们提出了黎巴嫩语料库Baladi,由大约9.6K的形态注释的令牌。由于黎巴嫩和巴勒斯坦方言是同一个黎凡特方言连续体的一部分,因此高度相互理解,我们提出的语料库被构建用于(1)丰富Curras并将其转换为更一般的黎凡特语料库,(2)通过解决检测到的错误来改进Curras。
2022-05-19 cs.AI cs.CL
What is Stigma Attributed to? A Theory-Grounded, Expert-Annotated Interview Corpus for Demystifying Mental-Health Stigma
National University of Singapore(新加坡国立大学)
本文构建了一个基于理论、专家标注的684名参与者访谈语料库,包含4,141个片段,用于精细检测心理健康污名,并通过基准实验揭示现有神经模型的挑战,以推动污名的计算检测与干预研究。
2025-06-01 cs.CL cs.CY cs.HC
hinglishNorm -- A Corpus of Hindi-English Code Mixed Sentences for Text Normalization
Vahan Inc(Vahan公司)
我们提出hinglishNorm -一个人类注释语料库的印地语-英语代码混合句子的文本规范化任务。语料库中的每个句子都与其对应的人类注释规范化形式对齐。据我们所知,没有公开的用于文本规范化任务的印地语-英语代码混合句子语料库。我们的工作是朝着这个方向的第一次尝试。语料库包含13494个平行片段。此外,我们在这个语料库上呈现基线归一化结果。我们获得的单词出错率(WER)为15.55,双语评估替补(BLEU)得分为71.2,以及显式排序翻译评估指标(METEOR)得分为0.50。
2020-10-18 cs.CL
Implicit Knowledge in Argumentative Texts: An Annotated Corpus
Heidelberg University(海德堡大学)
当说话或写作时,人们会忽略那些看起来清晰和明显的信息,以至于只有一部分信息是用语言表达的。特别是在议论文中,(重要的)论点部分被隐含和省略是很常见的。我们假设,对于论证分析来说,重构这些隐含的信息将是有益的。作为填补这些知识空白的起点,我们建立了一个语料库,由高质量的人类注释的缺失和隐含的信息在议论文。为了更好地了解议论文和附加信息的特点,我们进一步用语义小句类型和常识知识关系对数据进行标注。我们的工作成果是一个精心设计和丰富注释的数据集,然后我们通过调查分配标签的特征分布和相关性来提供深入的分析。我们揭示了有趣的模式和我们的数据集的注释类别和属性之间的交叉点,这使得我们能够深入了解论证文本和隐含知识的结构特征和语义信息的特点。我们的分析结果可以帮助自动化的论点分析,并可以指导自动揭示的过程中隐含的信息在议论文。
2019-12-04 cs.CL
EmoMent: An Emotion Annotated Mental Health Corpus from two South Asian Countries
The University of Adelaide(阿德莱德大学);University of Moratuwa(莫拉图瓦大学);University of Colombo School of Computing(科伦坡大学计算学院);University of Colombo(科伦坡大学)
人们经常使用在线媒体(例如,Facebook,Reddit)作为一个平台,表达他们的心理困扰和寻求支持。最先进的NLP技术显示出从文本中自动检测心理健康问题的强大潜力。研究表明,心理健康问题反映在情绪上(例如,悲伤)表明一个人对语言的选择。因此,我们开发了一个新的情绪注释的心理健康语料库(EMAMent),由2802 Facebook帖子(14845句)从两个南亚国家-斯里兰卡和印度。三名临床心理学研究生参与了将这些帖子注释为八个类别,包括“精神疾病”(例如,抑郁症)和情绪(例如,“悲伤”、“愤怒”)。注释者之间的一致率为98.3%(即,两个或更多一致率为%),Fleiss Kappa为0.82。我们基于RoBERTa的模型在第一个任务(即从帖子中预测心理健康状况)和第二个任务(即相关帖子与我们分类中定义的类别的关联程度)中分别获得了0.76的F1得分和0.77的宏观平均F1得分。
2022-08-17 cs.CL
SemClinBr -- a multi institutional and multi specialty semantically annotated corpus for Portuguese clinical NLP tasks
Pontifical Catholic University of Paraná(巴拉那天主教大学);Philips Research North America(飞利浦北美研究院)
大量的研究集中在从电子健康记录(EHR)中提取病人的信息,导致了对注释语料库的需求增加,这是一个非常有价值的资源,为自然语言处理(NLP)算法的开发和评估。在英语范围之外,特别是在巴西葡萄牙语中,缺乏多用途的临床语料库是显而易见的,并严重影响了生物医学NLP领域的科学进步。在这项研究中,我们开发了一个语义注释语料库,使用来自多个医学专业,文档类型和机构的临床文本。我们提出以下内容:(1)一个调查,列出共同的方面和经验教训,从以前的研究,(2)细粒度的注释模式,可以复制和指导其他注释倡议,(3)基于Web的注释工具,侧重于注释建议功能,(4)内在和外在的评价注释。这项工作的结果是SemClinBr,这是一个拥有1,000个临床笔记的语料库,标记有65,117个实体和11,263个关系,可以支持各种临床NLP任务,并促进EHR对葡萄牙语的二次使用。
2020-01-27 cs.CL cs.IR
VIRATrustData: A Trust-Annotated Corpus of Human-Chatbot Conversations About COVID-19 Vaccines
IBM Research(IBM研究院);New York University(纽约大学);Johns Hopkins Bloomberg School of Public Health(约翰斯·霍普金斯大学布隆伯格公共卫生学院)
公众对医疗信息的信任对于成功实施疫苗接种等公共卫生政策至关重要。当信息由聊天机器人远程提供时尤其如此,近年来聊天机器人越来越流行。在这里,我们探讨了人类机器人回合级信任分类的挑战性任务。我们依赖于最近发布的观察收集(而不是众包)与VIRA聊天机器人(COVID-19疫苗信息资源助手)对话的数据。这些对话围绕着关于COVID-19疫苗的问题和担忧,其中信任尤为严重。我们注释了$3k$ VIRA系统-用户对话轮数,用于低机构信任或低代理信任与中性或高信任。我们发布了标记数据集VIRATrustData,据我们所知,这是第一个此类数据集。我们演示了如何这项任务是不平凡的,并比较几种模型,预测不同程度的信任。
2022-05-24 cs.CL
MuLMS: A Multi-Layer Annotated Text Corpus for Information Extraction in the Materials Science Domain
Bosch Center for Artificial Intelligence(博世人工智能中心);Robert Bosch GmbH(罗伯特·博世有限公司);University of Augsburg(奥格斯堡大学);University of Stuttgart(斯图加特大学)
本文提出 MuLMS,一个涵盖材料科学七个子领域、包含 50 篇开放获取文章的多层标注文本语料库,用于信息抽取,并提出了具有竞争力的神经网络模型,证明多任务训练能带来收益。
2023-10-24 cs.CL
Annotation Guidelines for Corpus Novelties: Part 2 -- Alias Resolution Version 1.0
Laboratoire Informatique d'Avignon -- LIA UPR 4128(阿维尼翁信息学实验室 -- LIA UPR 4128)
本文档为Novelties语料库的别名解析任务提供标注指南,通过说明与示例阐明规范名称的定义及同一实体指称的判定标准。
2024-10-01 cs.CL
Corpus for Automatic Structuring of Legal Documents
EkStep Foundation(EkStep基金会);Thoughtworks Technologies India Pvt Ltd.(印度思特沃克技术私人有限公司);Agami;Indian Institute of Technology Kanpur (IIT-K)(印度理工学院坎普尔分校(IIT-K))
在人口众多的国家,待决法律案件呈指数级增长。有必要开发处理和组织法律文件的技术。在本文中,我们介绍了一个新的语料库结构的法律文件。特别是,我们介绍了一个语料库的英语法律判决文件被分割成主题和连贯的部分。这些部分中的每一个都用来自预定义的修辞角色列表的标签来注释。我们开发了基于标注语料库的自动预测法律文档中修辞角色的基线模型。此外,我们展示了修辞角色的应用,以提高总结和法律判断预测任务的性能。我们发布的语料库和基线模型的代码随着论文。
2022-09-19 cs.AI cs.CL cs.LG
CroSentiNews 2.0: A Sentence-Level News Sentiment Corpus
University of Zagreb(萨格勒布大学);Faculty of Humanities and Social Sciences(人文与社会科学学院)
本文构建了CroSentiNews 2.0,一个包含14.5K条句子级标注的克罗地亚新闻情感数据集,并提供了基线分数和标注者间一致性评估。
2023-05-14 cs.CL
SQUINKY! A Corpus of Sentence-level Formality, Informativeness, and Implicature
University of Michigan(密歇根大学)
我们介绍了一个语料库的7,032个句子,由人类注释者评估的正式性,信息量和含义的1-7级。语料库注释使用亚马逊机械土耳其。在所获得的判断的可靠性进行了检查,通过比较两个MTurk实验的平均评级,并与飞行员注释(对句子的正式性)在一个更受控的设置进行相关性。尽管主观性和内在的困难的注释任务,平均评级之间的相关性是相当令人鼓舞的,特别是在正式和信息。我们进一步探讨了这三个语言变量之间的相关性,体裁的评级和体裁内的相关性,与自动文体评分的兼容性,以及文档在风格方面的基本构成。到目前为止,我们的语料库是最大的商务级注释语料库发布的正式,信息量和含义。
2016-09-27 cs.CL