Aggregating Crowdsourced and Automatic Judgments to Scale Up a Corpus of Anaphoric Reference for Fiction and Wikipedia Texts
University of Essex（埃塞克斯大学）；Amazon Research（亚马逊研究院）；University of Regensburg（雷根斯堡大学）；Queen Mary University of London（伦敦玛丽女王大学）
虽然存在几个标注回指/共指的数据集，但即使是最大的此类数据集在大小、域范围、回指现象的覆盖范围和所包含文档的大小方面也有限制。然而，所提出的方法来扩大回指注释还没有到目前为止，导致数据集克服这些限制。在本文中，我们介绍了一个新发布的语料库的回指标记通过一个游戏的目的。这个新版本的规模相当于现有的最大的语料库的照应参考，部分由于大量的活动的球员，部分由于使用一个新的解决和聚合范例，以“完成”可标记的注释，通过一个照应解析器和一个聚合方法的组合，照应参考。所提出的方法可以在其他涉及有目的游戏的项目中大大加快注释时间。此外，语料库涵盖了没有可比大小数据集的类型（小说和维基百科）;它涵盖了单例和非指涉表达;它包括大量的长文档（长度> 2K）。
2022-10-11 cs.CL
An Annotated Corpus of Emerging Anglicisms in Spanish Newspaper Headlines
Brandeis University（布兰迪斯大学）
英语词的提取（从英语中借用词汇）与词典编纂目的和NLP下游任务都相关。我们介绍了一个语料库的欧洲西班牙语报纸标题注释英语和英语提取的基线模型。在本文中，我们提出：（1）21，570份用欧洲西班牙语撰写的报纸标题的语料库，注释了紧急英语单词;（2）一个条件随机场基线模型，具有用于英语单词提取的手工特征。我们介绍了报纸头条语料库，描述了注释标签集和指南，并介绍了一个可以作为检测英语词任务基线的CRF模型。所提出的工作是对西班牙新闻专线创建一个英语提取器的第一步。
2020-04-06 cs.CL
Harvesting Paragraph-Level Question-Answer Pairs from Wikipedia
Cornell University（康奈尔大学）
我们研究了从维基百科文章中生成问答对的任务，这些问答对涵盖了单个句子之外的内容。我们提出了一个神经网络的方法，通过一个新的门控机制，将共指知识。与仅考虑到药物水平信息的模型相比（Heilman和Smith，2010年; Du等人，2017; Zhou等人，2017），我们发现共指表示引入的语言学知识显著地帮助问题生成，生成的模型优于当前最先进的模型。我们将我们的系统（由答案跨度提取系统和高级QG系统组成）应用于10，000篇排名靠前的维基百科文章，并创建了超过100万个问答对的语料库。我们还提供了一个定性分析，这个大规模的维基百科生成的语料库。
2018-05-15 cs.CL
Lexical and Statistical Analysis of Bangla Newspaper and Literature: A Corpus-Driven Study on Diversity, Readability, and NLP Adaptation
IIT Kanpur（印度理工学院坎普尔分校）
本文通过分析孟加拉语文学和报纸语料库，探讨其多样性、可读性及自然语言处理适应性，发现文学语料库在词法丰富性和结构变化上更突出，且对下游任务性能提升有积极影响。
2025-12-15 cs.CL
Cross-context News Corpus for Protest Events related Knowledge Base Construction
我们描述了一个黄金标准语料库的抗议事件，包括来自不同国家的英语各种本地和国际来源。语料库包含文档、句子和标记级别的注释。该语料库有助于创建机器学习模型，自动分类新闻文章和提取抗议事件相关信息，构建知识库，使比较社会和政治科学研究。对于每个新闻源，注释从新闻文章的随机样本开始，并继续使用主动学习绘制的样本。每批样本都由两名社会和政治科学家进行注释，由注释监督员进行裁决，并通过半自动识别注释错误进行改进。我们发现，语料库的品种和质量的发展和基准文本分类和事件提取系统在跨上下文设置，这有助于自动化文本处理系统的泛化性和鲁棒性。这个语料库和报告的结果将设置目前缺乏自动抗议事件收集研究的共同点。
2020-08-01 cs.CL
CroSentiNews 2.0: A Sentence-Level News Sentiment Corpus
University of Zagreb（萨格勒布大学）；Faculty of Humanities and Social Sciences（人文与社会科学学院）
本文构建了CroSentiNews 2.0，一个包含14.5K条句子级标注的克罗地亚新闻情感数据集，并提供了基线分数和标注者间一致性评估。
2023-05-14 cs.CL
A Large-Scale Multi-Document Summarization Dataset from the Wikipedia Current Events Portal
Aylien Ltd.（Aylien有限公司）；Insight Centre for Data Analytics（洞察数据分析中心）；University College Dublin（都柏林大学学院）
多文档摘要（MDS）旨在将大型文档集合中的内容压缩成简短的摘要，并在新闻提要的故事聚类、搜索结果的呈现和时间轴生成中具有重要的应用。然而，缺乏能够以足够大的规模实际解决此类用例的数据集，以训练用于此任务的监督模型。这项工作提出了一个新的数据集MDS是大的文档集群的总数和单个集群的大小。我们通过利用维基百科时事门户（WCEP）来构建这个数据集，该门户提供了简洁和中立的新闻事件摘要，并提供了外部来源文章的链接。我们还通过在Common Crawl归档中查找相关文章来自动扩展这些源文章。我们提供了几个国家的最先进的MDS技术的数据集和实证结果的定量分析。
2020-05-20 cs.CL
PerKey: A Persian News Corpus for Keyphrase Extraction and Generation
Sharif University of Technology（沙里夫理工大学）；ICT Research Institute（信息通信技术研究院）
关键词提供了文本的极其密集的摘要。这些信息可以用于许多自然语言处理任务，例如信息检索和文本摘要。由于以前对波斯语关键词或关键短语提取的研究没有公布他们的数据，该领域缺乏人类提取的关键短语数据集。在本文中，我们介绍PerKey，一个语料库的553k新闻文章从六个波斯语新闻网站和机构相对高质量的作者提取的关键词，然后过滤和清洗，以实现更高质量的关键词。将得到的数据进行人工评估，以确保关键词的质量。我们还使用精确度，召回率和F1分数测量了不同监督和无监督技术的性能，例如TFIDF，MultipartiteRank，KEA等。
2020-09-25 cs.CL
Corpora Compared: The Case of the Swedish Gigaword & Wikipedia Corpora
Luleå University of Technology（吕勒奥理工大学）
在这项工作中，我们表明，对于给定的语言，来自不同来源的数据的嵌入性能的差异可能是由于数据大小以外的其他因素。自然语言处理（NLP）任务通常在嵌入较大语料库时表现更好。然而，覆盖域的宽度和噪声可以起到重要作用。我们评估嵌入的基础上两个瑞典语料库：Gigaword和维基百科，在类比（内在）测试，并发现从维基百科语料库的嵌入一般优于Gigaword语料库，这是一个更大的语料库。下游测试将需要有一个明确的评价。
2020-11-06 cs.CL cs.LG
Diverse, Controllable, and Keyphrase-Aware: A Corpus and Method for News Multi-Headline Generation
College of Computer Science, Sichuan University（四川大学计算机学院）；Microsoft Research Asia（微软亚洲研究院）；Mila（米拉）；Microsoft（微软）
新闻标题生成的目的是产生一个简短的句子来吸引读者阅读新闻。一篇新闻文章通常包含不同用户感兴趣的多个关键词，自然可以有多个合理的标题。然而，大多数现有的方法集中在单一的标题生成。本文提出了一种基于用户兴趣关键词的多标题生成方法，其主要思想是先生成多个用户感兴趣的关键词，然后再生成多个关键词相关的标题。我们提出了一个多源Transformer解码器，它采用三个源作为输入：（a）关键词，（b）关键词过滤的文章，和（c）原始文章，以生成关键词相关的，高质量的，多样化的标题。此外，我们提出了一种简单有效的方法来挖掘新闻文章中感兴趣的关键词，并建立了第一个大规模的关键词感知的新闻标题语料库，其中包含超过18万对齐的$<$新闻文章，标题，关键词$>$三元组。在真实世界数据集上的大量实验比较表明，该方法在质量和多样性方面达到了最先进的结果
2020-10-04 cs.CL
Sockpuppet Detection in Wikipedia: A Corpus of Real-World Deceptive Writing for Linking Identities
University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
本文描述了我们从维基百科收集的sockpuppet案例的语料库。sockpuppet是一个使用假身份创建的在线用户帐户，目的是掩盖滥用行为和/或颠覆编辑监管过程。我们使用了一种半自动化的方法来抓取和管理真实sockpuppet调查案例的数据集。据我们所知，这是第一个关于真实世界欺骗性写作的语料库。我们描述的过程中爬行的数据和一些初步的结果，可以用作基准研究的基线。该数据集将在我们的项目网站http://docsig.cis.uab.edu上以Creative Commons许可证发布。
2013-10-24 cs.CL cs.CR cs.CY
The Causal News Corpus: Annotating Causal Relations in Event Sentences from News
National University of Singapore（新加坡国立大学）；Koc University（科奇大学）；Rijksuniversiteit Groningen（格罗宁根大学）；Radboud University（拉德堡德大学）；National Institute of Japanese Literature（日本文学研究所）；Birmingham City University（伯明翰城市大学）；Instituto Politécnico Nacional（国立理工学院）；Mersin University（梅尔辛大学）；University of East Anglia（东英吉利大学）；ETH Zürich（苏黎世联邦理工学院）
尽管理解因果关系的重要性，语料库处理因果关系是有限的。现有的事件因果关系标注准则与传统的因果关系语料库存在着差异。许多准则限制自己仅包括显式关系或基于条款的参数。因此，我们提出了一个事件因果关系的注释模式，解决这些问题。我们从抗议事件新闻中抽取了3,559个事件句子，并标注了它们是否包含因果关系。我们的语料库被称为因果新闻语料库（CNC）。建立在最先进的预训练语言模型上的神经网络在测试集上的F1得分为81.20%，在5倍交叉验证中的F1得分为83.46%。CNC可以在两个外部语料库之间转换：CauseTimeBank（CTB）和Penn Discourse Treebank（PDTB）。利用这些外部数据集进行训练，我们在CNC测试集上实现了高达约64%的F1，而无需额外的微调。CNC也是两个外部语料库的有效训练和预训练数据集。最后，我们展示了我们的任务的困难，在一个众包注释练习的外行。我们的注释语料库是公开的，因果文本挖掘研究人员提供了宝贵的资源。
2022-04-25 cs.CL
20min-XD: A Comparable Corpus of Swiss News Articles
Department of Computational Linguistics, University of Zurich（计算语言学系，苏黎世大学）；Minuten (TX Group)（20分钟（TX集团））
本文提出20min-XD，一个源自瑞士新闻媒体、包含约15,000对法德双语文章的文档级可比语料库，基于语义相似度自动对齐，并公开数据集与代码以支持多种NLP应用。
2025-04-30 cs.CL
MultiOpEd: A Corpus of Multi-Perspective News Editorials
University of Pennsylvania（宾夕法尼亚大学）
我们提出了MultiOpEd，一个开放领域的新闻社论语料库，支持有关的论证结构在新闻社论的各种任务，专注于自动的角度发现。新闻社论是一种说服性语篇，其论证结构通常是含蓄的。然而，社论中提出的论点通常围绕着一个简洁、集中的论点，我们称之为他们的观点。MultiOpEd旨在支持与自动视角发现相关的多个任务的研究，其中系统预计会产生一个总结所提出论点的单句论文陈述。我们认为，识别和抽象这样的自然语言的观点，从社论是一个关键的一步，研究隐含的论证结构的新闻社论。我们首先讨论挑战，并为我们的目标定义一些概念性任务。为了证明MultiOpEd和诱导任务的实用性，我们研究了多任务学习环境中的视角摘要问题，作为案例研究。我们发现，与诱导的任务作为辅助任务，我们可以提高质量的观点摘要生成。我们希望MultiOpEd将成为未来新闻编辑领域论证研究的有用资源。
2021-06-04 cs.CL
Multilingual Open Text Release 1: Public Domain News in 44 Languages
Brandeis University（布兰迪斯大学）
我们提出了多语种开放文本（MOT），一个新的多语种语料库包含44种语言的文本，其中许多有限的现有文本资源的自然语言处理。该语料库的第一个版本包含超过280万篇新闻文章和额外的100万个简短片段（照片标题，视频描述等）。2001年至2022年间出版，并从美国之音的新闻网站收集。我们描述了收集、过滤和处理数据的过程。源材料是在公共领域，我们的集合使用知识共享许可证（CC BY 4.0）许可，所有用于创建语料库的软件都是在MIT许可证下发布的。随着更多文件的出版，将定期更新该语料库。
2022-06-09 cs.CL
WikiOmnia: generative QA corpus on the whole Russian Wikipedia
Artificial Intelligence Research Institute (AIRI)（人工智能研究院（AIRI））；SberDevices
一般QA领域一直在开发参考斯坦福问答数据集（SQuAD）作为重要基准的方法。然而，编译事实问题伴随着耗时耗力的注释，限制了训练数据的潜在大小。我们提出了WikiOmnia数据集，这是一组新的公开可用的QA对和相应的俄语维基百科文章摘要部分，由一个完全自动化的生成管道组成。该数据集包括维基百科上所有可用的俄语文章。WikiOmnia管道是开源的，也可以在其他领域（如新闻文本，小说和社交媒体）上创建SQuAD格式的QA。生成的数据集包括两个部分：整个俄语维基百科的原始数据（7，930，873个带有ruGPT-3 XL段落的QA对和7，991，040个带有ruT 5-large段落的QA对）和经过严格自动验证的清理数据（超过160，000个带有ruGPT-3 XL段落的QA对和超过3，400，000个带有ruT 5-large段落的QA对）。
2022-11-09 cs.AI cs.CL
FRACAS: A FRench Annotated Corpus of Attribution relations in newS
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）；Sciences Po Grenoble（格勒诺布尔政治学院）；PACTE（公共政策管理与评估中心）
本文构建了包含1676篇法语新闻文本的FRACAS语料库，用于引语抽取与来源归属研究，并提供了标注规范、流程及高标注者间一致性结果。
2023-09-19 cs.CL
Russian Web Tables: A Public Corpus of Web Tables for Russian Language Based on Wikipedia
Unidata；Saint-Petersburg State University（圣彼得堡国立大学）
包含WebTables等表格数据的语料库是学术界的重要资源。从本质上讲，它们是任何现代信息管理研究的支柱。它们用于数据抽取、知识库构建、问答、栏目语义类型检测等各种任务。这样的语料库不仅是数据的来源，而且是构建测试数据集的基础。到目前为止，还没有这样的俄语语料库，这严重阻碍了上述领域的研究。在本文中，我们提出了第一个语料库的Web表格专门创建的俄语材料。它是通过我们开发的一个特殊工具包来抓取俄语维基百科的。语料库和工具包都是开放源代码的，可供公众使用。最后，我们提出了一个简短的研究，介绍了俄罗斯维基百科的表和他们的统计数据。
2022-10-03 cs.CL cs.DL cs.IR
NEWTS: A Corpus for News Topic-Focused Summarization
Brown University（布朗大学）；EPFL（洛桑联邦理工学院）
文本摘要模型正在接近人类的保真度水平。现有的基准语料库提供了完整和删节版本的Web，新闻或专业内容的一致对。到目前为止，所有的摘要数据集都是在一种通用的模式下运行的，这种模式可能无法反映有机摘要的全部需求。最近提出的几种模型（例如，即插即用（plug and play）语言模型）具有根据期望的主题范围来调节所生成的概要的能力。这些能力在很大程度上仍然未被使用和评估，因为没有专门的数据集来支持以主题为中心的摘要任务。本文介绍了第一个基于CNN/Dailymail数据集的主题摘要语料库NEWTS，并通过在线众包进行标注。每一篇源文章都有两个参考摘要，每个参考摘要都关注源文档的不同主题。我们评估了一系列有代表性的现有技术，并分析了不同的激励方法的有效性。
2022-05-31 cs.CL
Towards Corpus-Scale Discovery of Selection Biases in News Coverage: Comparing What Sources Say About Entities as a Start
University of Pennsylvania（宾夕法尼亚大学）
本文提出一种无监督NLP概念框架，通过比较新闻信息源对争议实体的提及方式捕捉内容选择偏好，并在NELA-2020语料库上验证了该分布散度能有效指示信息源的意识形态倾向。
2023-04-06 cs.CL
Is China Entering WTO or shijie maoyi zuzhi--a Corpus Study of English Acronyms in Chinese Newspapers
Indiana University Bloomington（印第安纳大学伯明顿分校）
这是第一个定量研究英文缩略语（如WTO）在中文文本中的使用情况的研究。利用报纸语料库，我试图回答：1）对于所有有英文缩写的概念（如World Trade Organization），有多少百分比是用英文缩写（WTO）表达的，有多少百分比是用中文翻译（世界贸易组织）表达的; 2）语言使用者在英文和中文形式之间的选择中起作用的因素是什么？结果表明，不同的概念在英语缩略词中所占的比例不同，从2%到98%不等。线性模型显示，语言经济性（中文翻译的长度）、概念频率以及概念在中文报纸上首次出现是英文缩写还是其中文翻译（均p < .05）可以预测单个概念的英文缩写。
2017-11-18 cs.CL
Similarity Detection Pipeline for Crawling a Topic Related Fake News Corpus
虚假新闻检测是一项具有挑战性的任务，旨在减少人类检查新闻真实性的时间和精力。然而，打击假新闻的自动化方法受到缺乏标记基准数据集的限制，特别是英语以外的语言。此外，许多公开可用的语料库有特定的限制，使他们难以使用。为了解决这个问题，我们的贡献是三方面的。首先，我们提出了一个新的，公开可用的德语主题相关语料库，用于假新闻检测。据我们所知，这是同类语料库中的第一个。在这方面，我们开发了一个管道来抓取类似的新闻文章。作为我们的第三个贡献，我们进行了不同的学习实验来检测假新闻。使用SBERT的句子级嵌入结合Bi-LSTM（k=0.88）实现了最佳性能。
2021-03-01 cs.CL cs.IR
SaRoCo: Detecting Satire in a Novel Romanian Corpus of News Articles
University of Bucharest（布加勒斯特大学）
在这项工作中，我们介绍了一个语料库的讽刺检测罗马尼亚新闻。我们收集了来自多个真实和讽刺新闻来源的55，608篇公共新闻文章，构成了最大的讽刺检测语料库之一，无论语言如何，也是罗马尼亚语唯一的一个。我们提供了文本样本的官方分割，使得训练新闻文章与测试新闻文章属于不同的来源，从而确保模型不会仅仅由于过拟合而实现高性能。我们使用两个最先进的深度神经模型进行实验，为我们的新语料库提供了一组强大的基线。我们的研究结果表明，机器水平的准确性讽刺检测在罗马尼亚语是相当低的（低于73%的测试集）相比，人类水平的准确性（87%），在未来的研究中留下了足够的改进空间。
2021-06-30 cs.CL cs.LG
Learning To Split and Rephrase From Wikipedia Edit History
Google AI Language（谷歌AI语言部门）
拆分和重组是将一个句子分解成更短的句子，这些句子在一起传达相同的意思。我们通过挖掘维基百科的编辑历史为这项任务提取了一个丰富的新数据集：WikiSplit包含100万个自然发生的句子重写，提供了比Narayan等人（2017）引入的WebSplit语料库多60倍的不同分裂示例和90倍的词汇量。将WikiSplit作为训练数据生成的模型具有质量更好的预测，其得分比WebSplit基准测试的先前最佳结果高出32个BLEU点。
2018-08-28 cs.CL
Live Blog Corpus for Summarization
Research Training Group AIPHES；UKP Lab Computer Science Department, Technische Universit \"a t Darmstadt www.aiphes.tu-darmstadt.de, www.ukp.tu-darmstadt.de
实时博客是一种越来越受欢迎的新闻格式，用于报道在线新闻中的突发新闻和现场事件。世界各地的在线新闻网站都在使用这种媒体，为读者提供有关事件的每分钟更新。好的摘要可以提高读者对实时博客的价值，但通常无法获得。在本文中，我们研究了一种收集语料库的自动实时博客摘要的方法。在使用著名的国家的最先进的摘要系统的实证评估，我们发现，生活博客语料库提出了新的挑战，在该领域的摘要。我们公开我们的工具来重建语料库，以鼓励研究社区和复制我们的结果。
2018-02-27 cs.CL
DBpedia NIF: Open, Large-Scale and Multilingual Knowledge Extraction Corpus
Leipzig University（莱比锡大学）；Czech Technical University in Prague（捷克布拉格技术大学）；National Polytechnic Institute of Mexico（墨西哥国立理工学院）
在过去的十年中，DBpedia社区已经投入了大量的精力来开发技术基础设施和方法，以有效地从维基百科中提取结构化信息。这些努力主要集中在收集、改进和发布维基百科文章中的半结构化信息，例如来自信息框、分类信息、图像、维基链接和引文的信息。尽管如此，仍然有大量有价值的信息包含在非结构化的维基百科文章文本中。在本文中，我们提出了DBpedia NIF -一个大规模的多语种知识提取语料库。该数据集的目标是双重的：极大地扩展和深化DBpedia中的结构化信息量，并为各种NLP和IR任务的开发提供大规模和多语言资源。该数据集提供了128种维基百科语言的所有条目的内容。我们描述了数据集的创建过程和NLP交换格式（NIF），用于模拟维基百科文章的内容，链接和结构信息。该数据集已经进一步丰富了约25%的链接和选定的分区发布为关联数据。最后，我们描述了维护和可持续性计划，以及从TextExt知识提取挑战中选择的数据集用例。
2018-12-26 cs.CL cs.IR
A Large-Scale Multi-Length Headline Corpus for Analyzing Length-Constrained Headline Generation Model Evaluation
The Asahi Shimbun Company（朝日新闻社）；Retrieva, Inc.（Retrieva公司）；Tokyo Institute of Technology（东京工业大学）；Tohoku University（东北大学）；RIKEN Center Advanced Intelligence Project（理化学研究所先进智能项目中心）
现在可以在多个设备上浏览新闻文章。新闻文章标题的长度有精确的上限，由相关设备或界面的显示大小决定。因此，在将标题生成任务应用于新闻制作时，控制标题的长度是至关重要的。然而，由于没有语料库的标题的多种长度为一个给定的文章，以前的研究控制输出长度的标题生成没有讨论是否系统输出可以充分评估没有多个不同长度的参考。在本文中，我们介绍了两个语料库，这是日本新闻语料库（JNC）和日本语多长度标题语料库（JAMUL），以确认以前的评估设置的有效性。JNC为标题生成提供了通用的监督数据。JAMUL是一个由专业编辑撰写的三种不同长度标题的大规模评估数据集。我们报告这些语料库的新发现，例如，虽然最长长度的参考摘要可以适当地评估现有的方法控制输出长度，这种评估设置有几个问题。
2019-09-26 cs.CL
Event Causality Identification with Causal News Corpus -- Shared Task 3, CASE 2022
University of Groningen（格罗宁根大学）；Mersin University（梅尔辛大学）；University of East Anglia（东英吉利大学）；Radboud University（拉德堡德大学）
CASE 2022的事件因果关系识别共享任务涉及两个子任务，它们在因果新闻语料库上工作。子任务1要求参与者预测一个句子是否包含因果关系。这是一个有监督的二元分类任务。子任务2要求参与者识别每个因果句的原因、结果和信号跨度。这可以被看作是一个有监督的序列标记任务。对于这两个子任务，参与者上传了他们对一个测试集的预测，并分别根据子任务1和2的二进制F1和宏F1分数进行排名。本文总结了17个团队的工作，提交了他们的结果，我们的竞争和12个系统描述文件，收到。子任务1和2的最佳F1得分分别为86.19%和54.15%。所有表现最好的方法都涉及预先训练的语言模型，这些模型针对目标任务进行了微调。我们在本文中进一步讨论了这些方法，并分析了参与者系统中的错误。
2022-11-22 cs.CL
A Linguistically Interpreted Corpus of German Newspaper Text
在本文中，我们报告的注释计划和注释工具的发展不受限制的德语文本。我们的表示格式是基于参数结构，但也允许提取其他类型的表示。我们讨论了几个方法论问题和一些现象的分析。其他重点是在我们的项目中开发的工具及其应用程序。
1998-07-17 cmp-lg cs.CL
Learning to Create and Reuse Words in Open-Vocabulary Neural Language Modeling
University of Oxford（牛津大学）；DeepMind
固定词汇的语言模型无法解释自然语言最具特征的统计事实之一：新词类型的频繁创建和重用。尽管字符级语言模型提供了部分解决方案，因为它们可以创建在训练语料库中未被证明的词类型，但它们没有捕获这些词的“突发”分布。在本文中，我们增强了一个分层LSTM语言模型，该模型通过一个学习重用先前生成的单词的缓存机制逐字符生成单词标记序列。为了验证我们的模型，我们构建了一个新的开放式词汇语言建模语料库（多语言维基百科语料库，MWC），从可比的维基百科文章在7种不同的语言类型，并证明了我们的模型在这一范围内的语言的有效性。
2017-04-23 cs.CL
Exploiting News Article Structure for Automatic Corpus Generation of Entailment Datasets
De La Salle University（德拉萨大学）；University of the Philippines Diliman（菲律宾大学迪利曼分校）
Transformers代表了近年来自然语言处理（NLP）的最新技术，即使在低资源语言中完成的任务中也证明了其有效性。虽然可以为这些语言制作预训练的Transformers，但由于缺乏硬基准数据集，以及制作它们的难度和成本，衡量它们的真实性能和容量具有挑战性。在本文中，我们提出了三个贡献：第一，我们提出了一种方法，自动生产自然语言推理（NLI）基准数据集的低资源的语言，使用已发表的新闻文章。通过这一点，我们创建并发布了NewsPH-NLI，这是低资源菲律宾语的第一个句子蕴涵基准数据集。其次，我们基于ELECTRA技术生产新的预训练Transformers，以进一步缓解菲律宾语的资源稀缺性，并将其与其他常用的迁移学习技术进行比较。最后，我们对迁移学习技术进行了分析，通过使用降级测试来揭示它们在低数据域中运行时的真实性能。
2021-08-13 cs.CL
Emotion Stimulus Detection in German News Headlines
Institut für Maschinelle Sprachverarbeitung, University of Stuttgart（斯图加特大学机器语言处理研究所）
情感刺激提取是情感分析的细粒度子任务，其专注于从文本段落中识别情感表达背后的原因描述（例如，在句子“I am happy that I passed my exam”中，短语“passed my exam”对应于刺激。以前的工作主要集中在普通话和英语，没有德语的资源或模型。我们填补了这一研究空白，开发了一个语料库2006年德国新闻标题注释的情绪和811例刺激短语的注释。鉴于这样的语料库创建工作是耗时和昂贵的，我们还致力于将现有的英语GoodNewsEveryone（GNE）语料库投影到机器翻译的德语版本的方法。我们比较了条件随机场（CRF）模型（通过投影在德语和跨语言上进行单语训练）与多语言XLM-RoBERTA（XLM-R）模型的性能。我们的研究结果表明，与德国语料库的训练达到更高的F1分数比投影。XLM-R的实验优于其各自的CRF对应物。
2022-05-16 cs.CL
MuSaRoNews: A Multidomain, Multimodal Satire Dataset from Romanian News Articles
National University of Science and Technology POLITEHNICA Bucharest（布加勒斯特理工国立大学）
本文提出首个罗马尼亚语多模态讽刺检测语料库 MuSaRoNews，包含117,834篇新闻文章，实验证明结合文本与视觉信息可提升讽刺检测性能。
2025-04-10 cs.CL
MLSUM: The Multilingual Summarization Corpus
CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；reciTAL
我们提出了MLSUM，第一个大规模的多语言汇总数据集。从在线报纸获得，它包含150万+文章/摘要对五种不同的语言-即法语，德语，西班牙语，俄语，土耳其语。与流行的CNN/Daily Mail数据集的英文报纸一起，收集的数据形成了大规模的多语言数据集，可以为文本摘要社区提供新的研究方向。我们报告跨语言的比较分析的基础上，国家的最先进的系统。这些突出了现有的偏见，促使使用多语言数据集。
2020-04-30 cs.CL
1Cademy @ Causal News Corpus 2022: Enhance Causal Span Detection via Beam-Search-based Position Selector
University of Michigan（密歇根大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Carleton College（卡尔顿学院）
在本文中，我们提出了我们的方法和经验观察因果信号跨度检测-子任务2的共享任务3~ \cite{tan-etal-2022-event}在案例2022。共享任务旨在从给定的因果句中提取原因、结果和信号跨度。我们将任务建模为阅读理解（RC）问题，并将基于标记水平RC的广度预测范式应用于任务作为基线。我们探索不同的训练目标来微调模型，以及基于语言模型（LM）的数据增强（DA）技巧来提高性能。此外，我们提出了一个有效的束搜索后处理策略，由于跨度检测的缺点，以获得进一步的性能增益。我们的方法实现了平均$F_1$得分为54.15和排名\textbf{$1^{st}$}在CASE竞争。我们的代码可在\url{https://github.com/Gzhang-umich/1CademyTeamOfCASE}上找到。
2022-10-31 cs.CL
Generalizability of Media Frames: Corpus creation and analysis across countries
Institute for Natural Language Processing, University of Stuttgart（自然语言处理研究所，斯图加特大学）；Bocconi University（博科尼大学）
本研究通过构建巴西葡萄牙语新闻数据集FrameNews-PT并基于MFC框架进行多轮标注，评估了媒体框架的跨文化普适性，发现MFC框架经微调后仍适用，但部分框架使用率低且需依赖通用回退框架，表明跨文化框架使用需谨慎。
2025-06-19 cs.CL
ESG-FTSE: A corpus of news articles with ESG relevance labels and use cases
Imperial College London（伦敦帝国学院）；Google DeepMind（谷歌DeepMind）；SOCial ECONomic RESearch London and Frankfurt（伦敦和法兰克福社会经济研究）
本文提出首个带有ESG相关性标注的新闻文章语料库ESG-FTSE及首创的三级ESG标注模式，通过监督与无监督学习实验证明其能有效用于ESG相关性检测与预测。
2024-05-30 cs.AI cs.CL
How do media talk about the Covid-19 pandemic? Metaphorical thematic clustering in Italian online newspapers
Aston University（阿斯顿大学）
本研究基于意大利在线报纸语料库，结合Structural Topic Modelling与概念隐喻理论，分析了COVID-19危机期间新闻话题与隐喻语言的阶段性变化，并深入探讨了经济与社会话题的隐喻搭配。
2024-01-04 cs.CL
Bollywood Movie Corpus for Text, Images and Videos
IBM Research-INDIA（IBM印度研究院）；Delhi Technological University（德里理工大学）；IIIT-Delhi（德里国际信息技术学院）
在过去几年中，已经发布了几个文本和图像数据集。我们提出了一种方法来创建用于检测和消除文本中的性别偏见的数据集。我们还包括一组我们在创建这个语料库时所面临的挑战。在这项工作中，我们使用了来自维基百科情节和YouTube电影预告片的电影数据。我们的宝莱坞电影语料库包含从维基百科提取的4000部电影和从YouTube提取的880部预告片，这些电影从1970年到2017年发布。该语料库包含CSV文件，其中包含关于每部电影的以下数据-维基百科电影标题，演员表，情节文本，共同引用的情节文本，配乐信息，电影海报链接，电影海报标题，海报中的男性数量，海报中的女性数量。除此之外，对应于每个演员的以下数据是可用的-演员姓名，演员性别，演员动词，演员形容词，演员关系，演员中心性，演员提及。我们提出了一些初步的结果，消除偏见的任务，这表明数据集是非常有用的执行这样的任务。
2017-10-11 cs.CL cs.CY
DirectQuote: A Dataset for Direct Quotation Extraction and Attribution in News Articles
Tsinghua University（清华大学）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能研究院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
引文提取和归因是一项具有挑战性的任务，旨在确定包含引文的跨度并将每个引文归因于原始说话者。将这一任务应用于新闻数据与事实核查、媒体监测和新闻跟踪密切相关。直接引语具有较强的可追溯性和信息性，在不同类型的引语中具有重要意义。因此，本文介绍了DirectQuote，一个包含19，760段和10，279个直接引用的语料库，人工标注的在线新闻媒体。据我们所知，这是最大和最完整的语料库，专注于直接引用新闻语篇。我们确保注释中的每个发言者都可以链接到维基数据上的特定命名实体，从而使各种下游任务受益。此外，我们首次提出了几个序列标签模型作为基线方法，以端到端的方式同时提取和属性报价。
2021-10-15 cs.CL
NSINA: A News Corpus for Sinhala
Birmingham City University（伯明翰城市大学）；Lancaster University（兰卡斯特大学）；University of Münster（明斯特大学）；Aston University（阿斯顿大学）
针对僧伽罗语等低资源语言缺乏训练数据和基准数据集的问题，本研究发布了包含超50万篇文章的最大僧伽罗语新闻语料库NSINA，并提供新闻媒体识别、类别预测和标题生成三个NLP任务，以支持LLMs的适配与改进。
2024-03-25 cs.AI cs.CL cs.LG
BEEP! Korean Corpus of Online News Comments for Toxic Speech Detection
Seoul National University（首尔大学）
网络平台上的有毒言论是匿名外衣下无法避免的社会问题。仇恨语音检测已经积极地针对诸如英语、德语或意大利语等语言进行，其中已经发布了手动标记的语料库。在这项工作中，我们首先提出了9.4K手动标记的娱乐新闻评论，用于识别韩国有毒言论，从韩国广泛使用的在线新闻平台收集。这些评论都说明了社会偏见和仇恨言论，因为这两个方面是相互关联的。注释者间一致性Krippendorff的alpha得分分别为0.492和0.496。我们提供了使用CharCNN、BiLSTM和BERT的基准测试，其中BERT在所有任务上都获得了最高分。由于仇恨言论检测是一个更主观的问题，因此这些模型通常在偏见识别方面表现出更好的性能。此外，当BERT用偏见标签训练用于仇恨言论检测时，预测分数增加，这意味着偏见和仇恨是交织在一起的。我们将我们的数据集公开提供，并与语料库和基准进行公开竞争。
2020-05-26 cs.CL cs.CY
Men Are Elected, Women Are Married: Events Gender Bias on Wikipedia
University of Southern California（南加利福尼亚大学）；Information Sciences Institute, University of Southern California（南加利福尼亚大学信息科学研究所）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
人类活动可以被视为一系列事件，这对理解社会至关重要。不同人口群体的不成比例的事件分布可以表现和放大社会陈规定型观念，并可能危及某些群体成员追求某些目标的能力。在本文中，我们提出了第一个以事件为中心的研究性别偏见的维基百科语料库。为了便于研究，我们策划了一个职业和个人生活描述的语料库，其中包含来自10，412位名人的7，854个片段。然后，我们用最先进的事件检测模型检测事件，使用策略生成的模板校准结果，并提取与性别有不对称关联的事件。我们的研究发现，维基百科的页面往往会将个人生活事件与女性的专业事件相结合，而不是男性，这需要维基百科社区的意识，以正式制定指导方针，并训练编辑注意贡献者所携带的隐性偏见。我们的工作也奠定了基础，为未来的工作量化和发现事件的偏见在语料库的水平。
2021-06-03 cs.AI cs.CL cs.CY
Earlier Isn't Always Better: Sub-aspect Analysis on Corpus and System Biases in Summarization
University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）
尽管神经摘要系统最近取得了一些进展，但系统改进背后的逻辑及其语料库依赖性在很大程度上仍未得到探索。例如，句子在原文中的位置是新闻摘要的一个众所周知的偏见。根据摘要是子功能组合的主张，我们定义了摘要的三个子方面：位置，重要性和多样性，并对每个子方面相对于九个不同摘要语料库（例如，新闻、学术论文、会议记录、电影剧本、书籍、帖子）。我们发现，虽然立场在新闻文章中表现出很大的偏见，但情况并非如此，例如，学术论文和会议记录。此外，我们的实证研究表明，不同类型的摘要系统（例如，基于神经的）是由不同程度的子方面组成的。我们的研究提供了有用的经验教训，在收集新的摘要数据集或开发新系统时，考虑潜在的子方面。
2019-08-30 cs.CL
Written and spoken corpus of real and fake social media postings about COVID-19
本研究构建了COVID-19相关的真实与虚假社交媒体发帖的书面及口语语料库，利用LIWC软件分析发现两类新闻在书面和语音数据中均存在可区分的语言特征，为研究语言与假新闻传播的关系提供参考。
2023-10-06 cs.CL
Uncovering Temporal Framing in the News
MBZUAI, UAE（阿联酋马布里扎人工智能研究所）；Technische Universität Berlin, Germany（柏林技术大学，德国）；German Research Center for Artificial Intelligence (DFKI), Germany（德国人工智能研究中心（DFKI），德国）；University of Maryland, USA（美国马里兰大学）
本研究提出八种时间框架分类法，通过专家注释多语言新闻语料库，分析时间框架的普遍性、共现模式和词汇线索，并利用监督微调和零样本分类评估时间框架检测，发现句子级时间框架可学习且监督模型显著优于零样本方法。
2026-05-29 cs.CL
Namesakes: Ambiguously Named Entities from Wikipedia and News
Primer Technologies Inc.（Primer科技公司）
我们提出了一个数据集，从英语维基百科和新闻文章中获得的模糊命名的实体。它由4148个独特实体及其同名的58862次提及组成：1000次来自新闻，28843次来自维基百科关于该实体的文章，29019次维基百科反向链接提及。标记应该有助于为命名实体链接（NEL）任务建立具有挑战性的基准。
2021-11-22 cs.CL
1Cademy @ Causal News Corpus 2022: Leveraging Self-Training in Causality Classification of Socio-Political Event Data
University of Michigan（密歇根大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Cademy Community（1Cademy社区）；Carleton College（卡尔顿学院）
本文详细介绍了我们参与的挑战和应用自动提取社会政治事件从文本（CASE）研讨会@EMNLP 2022，在那里我们参加了子任务1共享任务3。我们提出了一个自我训练管道，遵循师生分类器方法的事件因果关系检测的给定任务。更具体地说，我们首先在真实的原始任务数据上训练教师模型，并使用该教师模型自标记数据，以用于训练单独的学生模型，以进行最终的任务预测。我们测试了在自训练过程中限制正面或负面自标记示例的数量如何影响分类性能。我们的最终结果表明，使用自训练在事件因果关系序列分类任务中测试的所有模型和自标记训练集上都产生了全面的性能改善。最重要的是，我们发现，自我训练的表现并没有减少，即使在训练中使用的积极/消极的例子限制。我们的代码可在www.example.com上公开获取。
2022-11-04 cs.CL
Introducing Inter-Relatedness between Wikipedia Articles in Explicit Semantic Analysis
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
显式语义分析（ESA）是一种用于将一段文本表示为概念空间中的向量的技术，例如维基百科中的文章。我们提出了一种方法，将维基百科的文章之间的相互关联的知识，从ESA获得的向量使用一种技术称为改造，以提高性能的后续任务，使用ESA形成向量嵌入。特别地，我们使用无向图来表示这些知识，其中节点作为文章，边作为两个文章之间的相互关系。在这里，我们还强调ESA步骤如何被视为一种主要的自下而上的方法，使用语料库来提出向量表示，并将自上而下的方法与自下而上的方法结合起来。我们在维基百科语料库的几个较小的子集上测试了我们的假设，并表明我们提出的方法导致了包括斯皮尔曼排名在内的性能指标的大幅改善在大多数情况下的相关系数。
2020-12-01 cs.AI cs.CL cs.IR
LANS: Large-scale Arabic News Summarization Corpus
Virginia Tech（弗吉尼亚理工大学）；NEC Labs America（NEC美国实验室）
文本摘要在许多语言中得到了深入的研究，有些语言已经达到了高级阶段。然而，阿拉伯语文本摘要（ATS）仍处于发展阶段。现有的ATS数据集要么很小，要么缺乏多样性。我们建立了LANS，一个大规模和多样化的数据集，用于阿拉伯语文本摘要任务。LANS提供了1999年至2019年间从报纸网站元数据中提取的840万篇文章及其摘要。高质量和多样化的摘要是由来自22家主要阿拉伯报纸的记者撰写的，其中包括来自每个来源的至少7个以上主题的折衷组合。我们对局域网进行了内在的评价，自动和人类的评价。对1000个随机样本的人工评估报告了我们收集的摘要的95.4%的准确性，自动评估量化了摘要的多样性和抽象性。该数据集可应要求公开提供。
2022-10-24 cs.CL cs.LG
TAP-DLND 1.0 : A Corpus for Document Level Novelty Detection
Indian Institute of Technology Patna（巴特那印度理工学院）
检测整个文档的新颖性是一个人工智能（AI）前沿问题，具有广泛的NLP应用，例如提取文档摘要，跟踪新闻事件的发展，预测学术文章的影响等。虽然问题很重要，但我们不知道任何基准文档级数据可以正确地解决分类框架中自动新颖性检测技术的评估。为了弥合这一差距，我们在这里提出了一个资源，基准测试的技术，文档级的新颖性检测。我们通过定期对多个域中的新闻文档进行特定于事件的爬行来创建资源。我们发布的注释语料库与必要的统计数据，并显示其使用与一个发达的系统所关注的问题。
2018-02-20 cs.CL
SAMSum Corpus: A Human-annotated Dialogue Dataset for Abstractive Summarization
Samsung R&D Institute Poland（三星波兰研发中心）
本文介绍了SAMSum语料库，一个新的数据集与抽象的对话摘要。我们通过测试几个模型并将其结果与新闻文章语料库中获得的结果进行比较，来研究它对自动摘要带来的挑战。我们发现，模型生成的对话摘要比模型生成的新闻摘要获得更高的ROUGE分数-与人类评估者的判断相反。这表明抽象对话摘要的挑战性任务需要专用模型和非标准质量措施。据我们所知，我们的研究是第一次尝试引入一个高质量的聊天对话语料库，手动注释抽象的摘要，这可以被研究界用于进一步的研究。
2019-11-29 cs.CL
Graph-based Topic Extraction from Vector Embeddings of Text Documents: Application to a Corpus of News Articles
Imperial College London（帝国理工学院）
新闻内容的生产正在以惊人的速度增长。为了帮助管理和监测大量的文本，越来越需要开发有效的方法，以便深入了解新兴的内容领域，并将非结构化的文本语料库分层为本质上源于内容相似性的“主题”。在这里，我们提出了一个无监督的框架，汇集了强大的矢量嵌入从自然语言处理与工具，从多尺度图分区，可以揭示自然分区在不同的分辨率，而无需作出先验假设的集群在语料库中的数量。我们通过与其他流行的聚类和主题建模方法的端到端比较，展示了基于图的聚类的优势，并评估了不同的文本向量嵌入，从经典的词袋到Doc2Vec，再到最近的基于Transformers的模型BERT。这项比较工作是通过对2016年总统大选期间美国新闻报道语料库的分析来展示的。
2020-10-28 cs.AI cs.CL cs.LG
1.5 billion words Arabic Corpus
Umm Al-Qura University（乌姆·库拉大学）；Minia University（明亚大学）
本研究是建立现代阿拉伯语语料库的一次尝试。该语料库制作完成后，是一个包含500多万篇报刊文章的文本语料库。它总共包含超过15亿个单词，其中大约有300万个独特的单词。这些数据是从八个阿拉伯国家的十个主要新闻来源的报纸文章中收集的，为期十四年。语料库使用两种类型的编码进行编码，即：UTF-8和Windows CP-1256。它还使用两种标记语言进行标记，即：SGML和XML。
2016-11-12 cs.CL cs.DL cs.IR
