From Entity Mentions to Tone: An LLM-Based Pipeline for Media Bias Analysis
University of Tirana(地拉那大学)
该研究提出一种基于大语言模型的媒体偏见分析流水线,对8358篇阿尔巴尼亚新闻文章开展实验,验证了其在偏见分析中的有效性,适用于手动验证数据集或专用语言工具有限的场景。
2026-08-19 cs.CL
Decoding News Narratives: A Critical Analysis of Large Language Models in Framing Detection
本文研究了大型语言模型在框架检测中的应用,分析了不同模型在零样本、少样本和解释性提示设置下的表现,指出模型性能对提示设计敏感且易在模糊案例中出现系统性错误,并提出了一种新的跨领域新闻标题数据集以提高评估的现实性。
2026-04-07 cs.CL
MegaFake: A Theory-Driven Dataset of Fake News Generated by Large Language Models
The Hong Kong Polytechnic University(香港理工大学);Harbin Institute of Technology(哈尔滨工业大学)
本文提出MegaFake数据集,通过理论框架指导生成虚假新闻,提升虚假新闻检测的理论和实践能力。
2026-04-11 cs.AI cs.CL
GraphRAG-Causal: A novel graph-augmented framework for causal reasoning and annotation in news
Dept. of Artificial Intelligence & Data Science FAST School of Computing NUCES(人工智能与数据科学系 FAST 计算学院 NUCES);Dept. of Computing and Electronics Engineering Middle East College(计算与电子工程系 中东学院);Institute for Analytics and Data Science University of Essex(分析与数据科学研究所 埃塞克斯大学)
本研究提出GraphRAG-Causal图增强框架,通过构建新闻因果知识图谱、结合语义与结构的混合检索及大模型少样本推理,在仅20个示例下实现82.1%的因果分类F1值,适用于新闻可靠性评估等场景。
2025-06-13 cs.AI cs.IR
KoWit-24: A Richly Annotated Dataset of Wordplay in News Headlines
HSE University(俄罗斯高等经济大学);Ural Federal University(乌拉尔联邦大学);Interdisciplinary Transformation University Austria(奥地利跨学科转型大学)
本文构建了包含2,700条俄语新闻标题的细粒度文字游戏标注数据集KoWit-24,涵盖类型、锚点及指涉对象,并附新闻导语与摘要作为上下文,实验表明五个LLM在检测与解释任务上仍有较大提升空间。
2025-08-26 cs.CL
Fake News Detection: Comparative Evaluation of BERT-like Models and Large Language Models with Generative AI-Annotated Data
Vector Institute(向量研究院);Toronto Metropolitan University(多伦多都会大学)
本研究比较了BERT-like模型与LLMs在假新闻检测中的表现,引入GPT-4标注并经人工验证的数据集进行微调,发现BERT-like模型分类更优而LLMs鲁棒性更强,且AI结合人工监督的标签效果优于弱标签。
2024-12-20 cs.AI cs.CL
Can GPT-4 Identify Propaganda? Annotation and Detection of Propaganda Spans in News Articles
Qatar Computing Research Institute(卡塔尔计算研究所)
本文构建含 8K 段落、23 类宣传技巧的片段级阿拉伯语数据集 ArPro,并评估 GPT-4 的细粒度及跨语言宣传检测能力,发现其明显落后于微调模型。
2024-02-27 cs.CL
CryptoGPT: a 7B model rivaling GPT-4 in the task of analyzing and classifying real-time financial news
Beyond Horizon(超越地平线公司);Omnios(Omnios公司);Leviatan(利维坦公司)
本研究推出面向加密货币市场实时金融新闻分析的7B模型CryptoGPT,通过半自动标注与QLoRA策略微调优化同规模LLM,在保障数据安全、控制成本与模型规模的同时,实现可匹敌GPT-4的分析分类效果。
2024-06-20 cs.AI cs.CE cs.CL
Hope vs. Hate: Understanding User Interactions with LGBTQ+ News Content in Mainstream US News Media through the Lens of Hope Speech
Rochester Institute of Technology(罗切斯特理工学院);Drexel University(德雷塞尔大学)
本文基于百万级YouTube评论构建希望言论分类器,结合专家指导的3,750例标注数据集,分析用户对LGBTQ+新闻的互动,并揭示政治信念对标注与模型判断的影响。
2025-10-19 cs.CL cs.CY cs.LG
Bridging Human and Model Perspectives: A Comparative Analysis of Political Bias Detection in News Media Using Large Language Models
Department of Computer Science and Engineering, BRAC University(计算机科学与工程系,BRAC大学)
本研究针对新闻媒体政治偏见检测任务,构建人工标注数据集,提出比较框架评估人类标注与GPT、BERT等多LLM的表现差异,发现RoBERTa在传统模型中对齐度最高、GPT在零样本中一致性最强,为混合评估框架提供依据。
2025-11-18 cs.CL cs.LG
Fake News Detection and Manipulation Reasoning via Large Vision-Language Models
Tsinghua University(清华大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出操纵推理任务,构建 HFFN 基准,并设计融合交叉注意力与 LVLM 的 M-DRUM 模型,实现多模态假新闻检测及伪造痕迹推理。
2024-07-02 cs.AI cs.CL
Large Language Models Are Effective Human Annotation Assistants, But Not Good Independent Annotators
Department of Computer Science, University of Maryland(大学计算机科学系);National Consortium for the Study of Terrorism and Responses to Terrorism(反恐与反恐响应国家研究中心)
本文研究了大语言模型在事件标注中的有效性,发现其在辅助专家标注时表现优于传统方法,但独立标注仍不理想。
2026-04-28 cs.AI cs.CL
Exploring the Capability of ChatGPT to Reproduce Human Labels for Social Computing Tasks (Extended Version)
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Queen Mary University of London(伦敦玛丽女王大学);University of Helsinki(赫尔辛基大学)
该研究探索ChatGPT在社会计算任务中的数据标注能力,通过7个社会议题数据集验证其平均F1值达72%,并提出GPT-Rater工具预测其标注适配性,可降低社会计算研究的标注成本与门槛。
2024-07-08 cs.AI cs.CL
Language Ideologies in a Multilingual Society: An LLM-based Analysis of Luxembourgish News Comments
University of Luxembourg(卢森堡大学);University of Oslo(奥斯陆大学)
本文探讨了利用大语言模型检测语言意识形态的潜力,通过手动标注卢森堡语评论并评估不同提示条件下的模型表现,发现尽管LLM在多类意识形态标注上尚未完全优化,但仍能有效识别语言意识形态内容。
2026-04-30 cs.CL
Conflict or Strategy? Asymmetric Role Framing of La France insoumise and Rassemblement National in French News Headlines, 2022-2025
Le French News Lab(法国新闻实验室)
该研究分析2022-2025年法国25家媒体28592条头条,发现新闻对LFI和RN的角色框架不对称,建立分层可靠性框架校准LLM政治文本标注流水线。
2026-08-12 cs.CL
Assisted Text Annotation Using Active Learning to Achieve High Quality with Little Effort
University of Konstanz(康斯坦茨大学);Heidelberg Academy of Sciences and Humanities(海德堡科学与人文学院);University of Zurich(苏黎世大学);University of Wuppertal(伍珀塔尔大学)
大量带注释的数据变得比以往任何时候都重要,特别是在深度学习技术兴起之后。然而,手动注释是昂贵的。我们提出了一种工具,使研究人员能够创建大型,高质量的,注释数据集,只有一些手动注释,从而大大降低注释成本和工作量。为此,我们结合了一个主动学习(AL)的方法与预先训练的语言模型,半自动地识别注释类别在给定的文本文档。为了突出我们的研究方向的潜力,我们评估的方法上的任务,确定新闻文章中的框架。我们的初步结果表明,采用AL大大减少了正确分类的注释,即使是这些复杂和微妙的帧的数量。在框架数据集上,AL方法只需要16.3%的注释就可以达到与在完整数据集上训练的模型相同的性能。
2021-12-15 cs.AI cs.CL cs.DL
Evaluating the Factuality of Zero-shot Summarizers Across Varied Domains
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学)
本研究评估零样本摘要器在生物医学和法律等专业领域的事实性,通过专家标注错误并分析预训练语料领域普遍性的影响,发布标注数据集以促进事实准确摘要研究。
2024-02-05 cs.AI cs.CL cs.LG
iNews: A Multimodal Dataset for Modeling Personalized Affective Responses to News
University of Cambridge(剑桥大学)
本文提出 iNews 多模态新闻数据集,收集 291 名英国用户对 2,899 条新闻帖子的细粒度情感标注及标注者画像信息,证明画像信息可解释 15.2% 标注方差并提升零样本预测准确率 7%,为 LLM 个性化与情感计算研究提供新资源。
2025-07-04 cs.CL cs.CY
Crossing the Aisle: Unveiling Partisan and Counter-Partisan Events in News Reporting
University of Michigan(密歇根大学);University of Hawaii at Hilo(夏威夷大学希洛分校);Northeastern University(东北大学)
本文提出检测新闻报道中党派性与反党派性事件的任务,构建包含304篇文章、8,511条标注的PAC数据集并开展基准测试,揭示媒体通过事件取舍影响舆论的机制及大语言模型理解事件语境的需求。
2023-10-28 cs.CL
Automatic Classification of News Subjects in Broadcast News: Application to a Gender Bias Representation Analysis
French National Institute of Audiovisual (INA)(法国国家视听研究院);French Digital Communication Regulatory Authority (ARCOM)(法国数字通信管理局)
本文提出一个计算框架,利用大型语言模型对法国广播新闻进行主题分类,并分析性别分布偏见,发现女性在体育、政治等主题中代表性不足,在天气、健康等主题中发言时间较多。
2024-07-19 cs.CL eess.AS
Active Learning for NLP with Large Language Models
Wayne State University(韦恩州立大学)
本文研究用 GPT-3.5 和 GPT-4 替代人工标注,提出基于一致性的混合标注策略,在三个文本分类数据集上验证其能以更低成本达到与人工标注相近或更好的主动学习效果。
2024-01-14 cs.CL
Frame In, Frame Out: Measuring Framing Bias in LLM-Generated News Summaries
Department of Computer Science University of Sheffield (UK)(计算机科学系谢菲尔德大学(英国))
本文提出FIFO基准测试,用于衡量LLM生成的新闻摘要中的框架存在性,发现LLM生成的摘要在科学和公共卫生领域显示出较高的框架率,表明框架是摘要质量的一个被忽视但重要的维度。
2026-05-21 cs.CL
Journalism-Guided Agentic In-Context Learning for News Stance Detection
Soongsil University(崇实大学);KAIST(韩国科学技术院)
本文提出首个韩语文章级立场检测数据集K-News-Stance和新闻学引导的智能体上下文学习框架JoA-ICL,通过预测关键结构片段立场并聚合推断文章整体立场,在实验中优于现有方法并展示了在推荐多样性和媒体偏见分析中的应用价值。
2025-09-21 cs.CL
Annotation of epidemiological information in animal disease-related news articles: guidelines
University of Montpellier(蒙彼利埃大学);CIRAD(法国农业国际合作研究发展中心);INRAE(法国国家农业、食品与环境研究院);AgroParisTech(巴黎高科农业学院);CNRS(法国国家科学研究中心);Sciensano(比利时国家公共卫生研究院);Public Service of Wallonia(瓦隆公共服务局)
本文描述了一种动物疾病相关新闻报道中流行病学信息的标注方法。注释指南是通用的,旨在涵盖所有动物或人畜共患传染病,无论涉及的病原体或其传播方式如何(例如媒介传播、空气传播、接触传播)。该框架依赖于对一篇新闻文章中所有句子的连续注释。注释者在特定的流行病学背景下评估句子,对应于新闻文章的发表。
2021-01-15 cs.AI cs.CL cs.IR
EventSum: A Large-Scale Event-Centric Summarization Dataset for Chinese Multi-News Documents
National University of Defense Technology(国防科技大学);Tsinghua University(清华大学)
本文提出事件中心多文档摘要任务,构建首个大规模中文多新闻摘要数据集 EventSum(含 5,100 个事件、57,984 篇文档),并设计多种召回率指标,实验表明该任务对现有长上下文大语言模型仍具挑战性。
2025-01-03 cs.CL
Enhancing Text Classification through LLM-Driven Active Learning and Human Annotation
Ontario Tech University(安大略理工大学)
针对文本分类中标注成本高的问题,提出融合LLM与人工标注的主动学习框架,按模型不确定性动态结合二者输出,在三个公开数据集上实现了降本且保优提效的效果。
2024-06-17 cs.AI cs.CL cs.LG
Emotion Detection for Misinformation: A Review
The University of Manchester(曼彻斯特大学);National Centre for Text Mining(国家文本挖掘中心)
本文综述了基于情感的错误信息检测方法,分析了利用情感、情绪和立场特征区分假新闻与真实新闻的多种方法的优缺点,并指出了基于大型语言模型的研究挑战及未来方向。
2023-11-01 cs.CL
Unsupervised Story Discovery from Continuous News Streams via Scalable Thematic Embedding
UIUC(伊利诺伊大学厄巴纳-香槟分校);Yonsei University(延世大学)
针对现有无监督新闻故事发现方法难以应对复杂演化新闻流的问题,提出带主题嵌入的USTORY可扩展框架,经真实数据验证其性能更优且具鲁棒性与可扩展性。
2023-05-04 cs.CL cs.DB cs.IR
LLMs for Targeted Sentiment in News Headlines: Exploring the Descriptive-Prescriptive Dilemma
Faculty of Electrical Engineering and Computing, University of Zagreb(萨格勒布大学电气工程与计算机学院);TakeLab
本研究针对新闻标题目标情感分析任务,探究描述-规范标注范式的影响,对比了大语言模型与微调编码器在多语言数据集上的表现,分析了提示规范程度对性能的作用,并评估了大模型的不确定性量化能力。
2024-10-30 cs.CL
What's Mine becomes Yours: Defining, Annotating and Detecting Context-Dependent Paraphrases in News Interview Dialogs
Utrecht University(乌得勒支大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文定义并标注新闻访谈中的上下文依赖释义,构建含600个话语对、5581条标注的NPR/CNN数据集,并验证上下文学习与token分类模型的检测效果。
2024-10-02 cs.CL
Bike Frames: Understanding the Implicit Portrayal of Cyclists in the News
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Alamo Colleges(阿拉莫学院)
本文提出Bike Frames数据集和BikeFrame Chain-of-Code框架,用于检测新闻标题中对骑行者的隐性描绘,通过整合新闻偏见信息显著提升预测性能,平均F1从.739提升至.815。
2024-07-16 cs.CL cs.CY
The Media Bias Detector: A Framework for Annotating and Analyzing the News at Scale
Department of Computer and Information Science, University of Pennsylvania(计算机与信息科学系,宾夕法尼亚大学);Harvard Business School(哈佛商学院);Microsoft Research(微软研究院);Annenberg School for Communication, University of Pennsylvania(传播学院,宾夕法尼亚大学);Department of Operations, Information, and Decisions, University of Pennsylvania(运营、信息与决策系,宾夕法尼亚大学)
本研究推出结合大语言模型与近实时新闻爬取的媒体偏见分析框架及持续更新的大规模数据集,支持多维度量化新闻选择与框架偏见,还提供交互式平台,为媒体偏见研究与媒体问责制建设提供资源。
2025-09-30 cs.CL
Quotations, Coreference Resolution, and Sentiment Annotations in Croatian News Articles: An Exploratory Study
Faculty of Humanities and Social Sciences, University of Zagreb(萨格勒布大学人文与社会科学学院)
本文提出了一个语料库注释的任务,直接语音提取在克罗地亚。本文主要对SETimes新闻语料库中克罗地亚语的引文标注、共指消解和情感标注进行研究,并分析其与英语的语言差异。由此,推导出在执行这些注释时需要特别注意的现象的列表。所生成的带有引文特征注释的语料库可以用于自然语言处理领域的多个任务。
2022-12-14 cs.CL
News Meets Microblog: Hashtag Annotation via Retriever-Generator
University of California San Diego(加利福尼亚大学圣迭戈分校)
微博帖子的主题标签注释最近被制定为序列生成问题,以处理在训练集中看不到的新出现的主题标签。最先进的方法利用帖子发起的对话来丰富短帖子的上下文信息。然而,假设在标签注释本身之前存在对话是不现实的。因此,我们建议利用在微博帖子之前发布的新闻文章来生成主题标签,并遵循检索器生成器框架。在英语Twitter数据集上进行的大量实验表明,利用新闻文章生成主题标签具有卓越的性能和显著的优势。
2021-04-18 cs.CL
From Stock Prediction to Financial Relevance: Repurposing Attention Weights to Assess News Relevance Without Manual Annotations
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
我们提出了一种方法来自动识别金融相关的新闻使用股票价格走势和新闻标题作为输入。该方法重新利用最初训练用于预测股票价格的神经网络的注意力权重,为每个标题分配相关性得分,从而消除了对手动标记的训练数据的需要。我们对四个最相关的美国股票指数和150万条新闻标题的实验表明,该方法对相关新闻的排名很高,与初始股票价格预测任务的准确性呈正相关。
2021-02-16 cs.CL
Annotation-Scheme Reconstruction for "Fake News" and Japanese Fake News Dataset
SANKEN Osaka University(大阪大学产业科学研究所);NARA Institute of Science and Technology(奈良先端科学技术大学院大学)
假新闻引发了许多社会问题;因此,人们对假新闻检测任务进行了广泛的研究。许多假新闻数据集被构建为促进这一任务的资源。当代的研究几乎完全集中在新闻的真实性方面。然而,仅从这一方面不足以解释“假新闻”,这是一个复杂的现象,涉及面很广。要充分认识每一个假新闻的本质,重要的是要从多个角度来观察它,如假新闻传播者的意图,新闻对我们社会的危害性,以及新闻的目标。我们基于对现有假新闻数据集的详细调查,提出了一种具有细粒度标签的新注释方案,以捕获假新闻的各个方面。使用注释方案,我们构建并发布了第一个日本假新闻数据集。该注释方案有望提供对假新闻的深入了解。我们计划使用我们的方案为日语和其他语言构建数据集。我们的日本数据集发布在https://hkefka385.github.io/dataset/fakenews-japanese/上。
2022-04-06 cs.CL cs.CY
Code Book for the Annotation of Diverse Cross-Document Coreference of Entities in News Articles
本文提出一种跨新闻文章的实体共指标注方案,涵盖同一性、近同一性和桥接关系,并链接至Wikidata知识图谱,为通过用词选择分析媒体偏见提供创建多样跨文档共指语料库的方法论。
2023-10-18 cs.CL
ESG-FTSE: A corpus of news articles with ESG relevance labels and use cases
Imperial College London(伦敦帝国学院);Google DeepMind(谷歌DeepMind);SOCial ECONomic RESearch London and Frankfurt(伦敦和法兰克福社会经济研究)
本文提出首个带有ESG相关性标注的新闻文章语料库ESG-FTSE及首创的三级ESG标注模式,通过监督与无监督学习实验证明其能有效用于ESG相关性检测与预测。
2024-05-30 cs.AI cs.CL
Cross-context News Corpus for Protest Events related Knowledge Base Construction
我们描述了一个黄金标准语料库的抗议事件,包括来自不同国家的英语各种本地和国际来源。语料库包含文档、句子和标记级别的注释。该语料库有助于创建机器学习模型,自动分类新闻文章和提取抗议事件相关信息,构建知识库,使比较社会和政治科学研究。对于每个新闻源,注释从新闻文章的随机样本开始,并继续使用主动学习绘制的样本。每批样本都由两名社会和政治科学家进行注释,由注释监督员进行裁决,并通过半自动识别注释错误进行改进。我们发现,语料库的品种和质量的发展和基准文本分类和事件提取系统在跨上下文设置,这有助于自动化文本处理系统的泛化性和鲁棒性。这个语料库和报告的结果将设置目前缺乏自动抗议事件收集研究的共同点。
2020-08-01 cs.CL
Search, Examine and Early-Termination: Fake News Detection with Annotation-Free Evidences
School of Computer Science, Fudan University(复旦大学计算机学院);NVIDIA(英伟达公司)
针对现有假新闻检测证据类方法预处理成本高或未按需选用证据的问题,提出含搜索、检验、提前终止三阶段的SEE方法,利用无标注网络证据检测假新闻,在多个数据集上性能超越现有最优水平。
2024-07-10 cs.AI cs.CL cs.IR
Czech News Dataset for Semantic Textual Similarity
NTIS – New Technologies for the Information Society(NTIS – 信息社会新技术研究中心);University of West Bohemia(西波希米亚大学);Charles University(查理大学)
本文描述了一种新的数据集,包括句子的语义相似性注释。数据来源于捷克语的新闻领域。我们详细描述了收集和注释数据的过程。该数据集包含138,556个人类注释,分为训练集和测试集。共有485名新闻专业学生参与了创作过程。为了增加测试集的可靠性,我们将注释计算为9个单独注释的平均值。我们通过测量内部和内部注释者的一致性来评估数据集的质量。除了协议编号外,我们还提供了所收集数据集的详细统计数据。最后,我们总结了我们的论文与基线实验,建立一个系统,预测句子的语义相似性。由于大量的训练注释(116 956),该模型的性能明显优于平均注释器(Person的相关系数为0.92与0.86)。
2022-01-21 cs.AI cs.CL cs.LG
Dataset of Quotation Attribution in German News Articles
House of Computing and Data Science & Language Technology Group Universität Hamburg(汉堡大学计算与数据科学之家与语言技术组)
针对德语新闻文章引语归属标注数据缺乏的问题,基于WIKINEWS构建了一个包含1000篇文档的高质量细粒度标注数据集,并验证了其在下游任务中的效用。
2024-04-25 cs.CL
FineFake: A Knowledge-Enriched Dataset for Fine-Grained Multi-Domain Fake News Detection
Beihang University(北京航空航天大学);Central South University(中南大学);Beijing University of Posts and Telecommunications(北京邮电大学);University of Illinois at Chicago(芝加哥大学伊利诺伊分校)
针对现有假新闻检测基准缺乏多领域多样性和细粒度标注的问题,提出知识增强的多领域基准FineFake,包含16,909个样本,并设计三项任务及知识增强领域自适应网络,为未来研究提供可靠基准。
2024-10-15 cs.AI cs.CL cs.MM
CrudeOilNews: An Annotated Crude Oil News Corpus for Event Extraction
Monash University Malaysia Campus(莫纳什大学马来西亚校区)
在本文中,我们提出了原油新闻,英语原油新闻语料库的事件提取。这是Commodity News的第一个此类网站,有助于为经济和金融文本挖掘建立资源。本文描述了语料库的数据汇集过程、注释方法和事件类型学。首先,人工标注175篇新闻文章的种子集,其中25篇新闻的子集被用作注释者间和系统评估的裁定参考测试集。协议一般是实质性的和注释器的性能是足够的,这表明注释方案产生一致的事件注释的高质量。随后,通过(1)数据增强和(2)人在回路主动学习来扩展数据集。由此产生的语料库有425篇新闻文章,约11k事件注释。作为主动学习过程的一部分,语料库被用来训练基本的事件提取模型的机器标记,所产生的模型也作为一个验证或作为试点研究,展示了使用的语料库在机器学习的目的。注释的语料库可在https://github.com/meisin/CrudeOilNews-Corpus上用于学术研究目的。
2022-04-08 cs.CL
A Benchmark of Rule-Based and Neural Coreference Resolution in Dutch Novels and News
University of Groningen(格罗宁根大学)
我们评估了基于规则的(Lee等人,2013)和神经(Lee等人,2018)共指系统在荷兰两个领域的数据集:文学小说和新闻/维基百科文本。结果提供了洞察数据驱动和知识驱动系统的相对优势,以及域,文档长度和注释方案的影响。神经系统在新闻/维基百科文本上表现最好,而基于规则的系统在文学上表现最好。神经系统在有限的训练数据和长文档的情况下表现出弱点,而基于规则的系统受到注释差异的影响。本文中使用的代码和模型可在https://github.com/andreasvc/crac2020上获得
2020-11-03 cs.CL
TIMELINE: Exhaustive Annotation of Temporal Relations Supporting the Automatic Ordering of Events in News Articles
University of Manchester(曼彻斯特大学)
本文针对新闻时序关系标注中指南模糊、长距离关系缺失及非动词事件被排除的问题,提出新的标注方案并构建TIMELINE语料库,提升了标注一致性并验证了基线模型性能。
2023-10-26 cs.CL
The FIGNEWS Shared Task on News Media Narratives
Northwestern University(西北大学);Birzeit University(比尔宰特大学);New York University(纽约大学);Google(谷歌公司);Carnegie Mellon University(卡内基梅隆大学);Newgiza University(新吉萨大学)
本文介绍了FIGNEWS共享任务,旨在促进多语言新闻偏见与宣传标注的协作,以以色列对加沙战争为案例,涉及5种语言,17个团队参与,共产生129,800个数据点。
2024-07-25 cs.CL
NNE: A Dataset for Nested Named Entity Recognition in English Newswire
University of Sydney(悉尼大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织数据61研究所);Digital Health CRC(数字健康合作研究中心)
命名实体识别(NER)广泛用于自然语言处理应用和下游任务中。然而,大多数NER工具针对流行数据集的平面注释,避开嵌套实体提及中可用的语义信息。我们描述NNE-一个细粒度的,嵌套命名的实体数据集在整个华尔街日报部分的宾州树库(PTB)。我们的注释包括279,795个提到的114个实体类型,最多有6层嵌套。我们希望这个大型数据集的公开发布将鼓励嵌套NER的新技术的发展。
2019-06-04 cs.CL
The Causal News Corpus: Annotating Causal Relations in Event Sentences from News
National University of Singapore(新加坡国立大学);Koc University(科奇大学);Rijksuniversiteit Groningen(格罗宁根大学);Radboud University(拉德堡德大学);National Institute of Japanese Literature(日本文学研究所);Birmingham City University(伯明翰城市大学);Instituto Politécnico Nacional(国立理工学院);Mersin University(梅尔辛大学);University of East Anglia(东英吉利大学);ETH Zürich(苏黎世联邦理工学院)
尽管理解因果关系的重要性,语料库处理因果关系是有限的。现有的事件因果关系标注准则与传统的因果关系语料库存在着差异。许多准则限制自己仅包括显式关系或基于条款的参数。因此,我们提出了一个事件因果关系的注释模式,解决这些问题。我们从抗议事件新闻中抽取了3,559个事件句子,并标注了它们是否包含因果关系。我们的语料库被称为因果新闻语料库(CNC)。建立在最先进的预训练语言模型上的神经网络在测试集上的F1得分为81.20%,在5倍交叉验证中的F1得分为83.46%。CNC可以在两个外部语料库之间转换:CauseTimeBank(CTB)和Penn Discourse Treebank(PDTB)。利用这些外部数据集进行训练,我们在CNC测试集上实现了高达约64%的F1,而无需额外的微调。CNC也是两个外部语料库的有效训练和预训练数据集。最后,我们展示了我们的任务的困难,在一个众包注释练习的外行。我们的注释语料库是公开的,因果文本挖掘研究人员提供了宝贵的资源。
2022-04-25 cs.CL
Between welcome culture and border fence. A dataset on the European refugee crisis in German newspaper reports
University of Bremen(不来梅大学);University of Stuttgart(斯图加特大学)
报纸报道提供了关于特定政策领域公开辩论的丰富信息来源,可以作为政治学研究的基础。这类辩论往往是由引起公众注意并激起政治行为者反应的关键事件引发的:危机引发辩论。然而,由于可靠的注释和建模的挑战,具有高质量注释的大规模数据集很少。本文介绍了DebateNet2.0,它追溯了2015年德国质量报纸taz上关于欧洲难民危机的政治话语。我们的注释的核心单位是政治主张(要求在政策领域内采取具体行动)和提出这些主张的行动者(政治家、政党等)。本文的贡献是双重的。首先,我们记录并发布DebateNet2.0及其配套的R软件包martyR,引导读者了解与报纸政策辩论注释相关的实际和概念问题。其次,我们概述并应用话语网络分析(DNA)DebateNet2.0,比较两个关键时刻的政策辩论的“难民危机”:移民流量通过地中海在4月/5月和一个沿巴尔干路线在9月/10月。除了发布的资源和案例研究,我们的贡献也是方法论的:我们通过从报纸文章到话语网络的步骤与读者交谈,证明德国移民辩论不仅仅是一个话语网络,而是多个话语网络,这取决于感兴趣的主题(政治演员,政策领域,时间跨度)。
2021-11-19 cs.CL
KPTimes: A Large-Scale Dataset for Keyphrase Generation on News Documents
LS2N(LS2N实验室);Université de Nantes(南特大学)
关键词生成是预测一组词汇单位的任务,这些词汇单位传达了源文本的主要内容。现有的用于关键词生成的数据集仅适用于学术领域,并且包括非专家注释。在本文中,我们介绍了KPTimes,一个大规模的新闻文本数据集与编辑策划的关键词配对。探索数据集,我们展示了编辑器如何标记文档,以及他们的注释与现有数据集中的注释有何不同。我们还在KPTimes上训练和评估最先进的神经关键词生成模型,以了解它们在新闻领域的表现。该数据集可在https://github.com/ygorg/KPTimes上在线获取。
2019-11-28 cs.CL cs.IR
Leveraging Subjective Human Annotation for Clustering Historic Newspaper Articles
Columbia University(哥伦比亚大学);SyncSort Inc.(SyncSort公司);New York Public Library(纽约公共图书馆)
纽约公共图书馆正在参与“美国编年史”倡议,以开发一个可在线搜索的具有历史意义的报纸文章数据库。报纸的缩微胶片被扫描,高分辨率的光学字符识别(OCR)软件在上面运行。OCR的文本为研究人员和历史学家提供了丰富的数据和意见。然而,由OCR引擎提供的文章的分类是基本的,并且大量的文章被标记为编辑性的而没有进一步分组。考虑到语料库的大小,如果不是不可能的话,手动将文章分类到细粒度的类别中是非常耗时的。本文研究报纸文章的自动分类技术,以提高对档案的检索和检索。我们探索无监督(例如KMeans)和半监督(例如约束聚类)学习算法,以开发面向最终用户需求的文章分类方案。一项试点研究的目的是了解是否有一致的协议之间的顾客如何文章可以分类。结果发现,这项任务是非常主观的,因此使用了可以处理主观标签的自动算法。虽然小规模的试点研究在设计机器学习算法方面非常有帮助,但需要开发一个更大的系统来收集存档用户的注释。目前正在开发的“BODHI”系统是朝这个方向迈出的一步,它使用户能够纠正错误的OCR扫描,并为经常使用的报纸文章提供关键词和标签。在该系统的测试版成功实施后,我们希望它可以与为美国编年史项目开发的现有软件相结合。
2012-08-17 cs.CL cs.DL cs.IR
GoodNewsEveryone: A Corpus of News Headlines Annotated with Emotions, Semantic Roles, and Reader Perception
大多数从文本中进行情感分析的研究都集中在情感分类或情感强度回归上。较少的作品将情绪作为一种需要通过结构化学习来解决的现象,这可以通过缺乏相关数据集来解释。我们填补了这一空白,通过发布一个数据集的5000个英语新闻标题注释通过众包与他们相关的情感,相应的情感体验者和文本线索,相关的情感原因和目标,以及读者的感知标题的情感。考虑到要识别的类和角色的数量很大,这个注释任务是非常具有挑战性的。因此,我们提出了一个多阶段的注释过程中,我们首先找到相关的实例与情感内容,然后注释更细粒度的方面。最后,我们开发了一个自动预测语义角色结构的任务的基线,并讨论了结果。我们发布的语料库可以进一步研究情绪分类,情绪强度预测,情绪原因检测,并支持进一步的定性研究。
2020-03-03 cs.AI cs.CL cs.IR
DpgMedia2019: A Dutch News Dataset for Partisanship Detection
DPG Media(DPG传媒);TU Delft(代尔夫特理工大学);TezolMarket(Tezol市场)
我们提出了一个新的荷兰新闻数据集标记党派。该数据集包含超过10万篇在发布者级别上标记的文章,以及776篇使用内部调查平台众包并在文章级别上标记的文章。在本文中,我们记录了我们的原始动机,收集和注释过程,限制和应用。
2019-08-06 cs.CL