YNU-HPCC at SemEval-2020 Task 11: LSTM Network for Detection of Propaganda Techniques in News Articles
本文总结了我们在SemEval-2020任务11中对新闻文章宣传检测技术的研究。此任务分为SI和TC子任务。我们实现了GloVe单词表示、BERT预训练模型和LSTM模型架构来完成这项任务。我们的方法在SI和TC子任务上都取得了很好的效果。SI子任务的宏观F1分数为0.406,TC子任务的微观F1分数为0.505。我们的方法显著优于官方发布的基线方法,SI和TC子任务分别在测试集上排名第17位和第22位。本文还比较了不同深度学习模型架构(如Bi-LSTM、LSTM、BERT和XGBoost模型)在检测新闻推广技术方面的性能。本文的代码可在https://github.com/daojiaxu/semeval_11上获得。
2020-08-25 cs.CL cs.IR
Team DoNotDistribute at SemEval-2020 Task 11: Features, Finetuning, and Data Augmentation in Neural Models for Propaganda Detection in News Articles
Georgetown University(乔治城大学)
本文介绍了我们的系统SemEval 2020共享任务11:检测新闻文章中的宣传技巧。我们参与了跨度识别和技术分类子任务,并报告了使用不同的基于BERT的模型以及手工制作的功能的实验。我们的模型在这两项任务中的表现都远高于基线,我们贡献了消融研究和对我们结果的讨论,以剖析不同功能和技术的有效性,目的是帮助未来的宣传检测研究。
2020-08-21 cs.CL
BPGC at SemEval-2020 Task 11: Propaganda Detection in News Articles with Multi-Granularity Knowledge Sharing and Linguistic Features based Ensemble Learning
BITS Pilani K. K. Birla Goa Campus(印度博拉理工学院果阿分校)
宣传传播志同道合的人的意识形态和信仰,洗脑他们的观众,有时导致暴力。SemEval 2020 Task-11旨在设计用于新闻宣传检测的自动化系统。任务-11由两个子任务组成,即,跨度识别-给定任何新闻文章,系统标记那些包含至少一种宣传技巧的特定片段;和技术分类-在14种宣传技巧中正确分类给定的宣传者声明。对于子任务1,我们使用从预训练的Transformer模型中提取的上下文嵌入来表示不同粒度的文本数据,并提出了一种多粒度知识共享方法。对于子任务2,我们使用具有语言特征的BERT和逻辑回归分类器的集成。我们的研究结果表明,语言特征是在高度不平衡的数据集中覆盖少数类的强有力的指标。
2020-08-24 cs.CL
UPB at SemEval-2020 Task 11: Propaganda Detection with Domain-Specific Trained BERT
University Politehnica of Bucharest(布加勒斯特理工大学)
操纵性和误导性新闻已成为一些在线新闻媒体的商品,这些新闻对人们的全球心态产生了重大影响。宣传是一种经常使用的操纵方法,其目的是通过传播旨在歪曲或操纵读者意见的思想来影响读者。本文介绍了我们参加SemEval-2020,任务11:检测新闻文章中的宣传技巧比赛。我们的方法考虑专门的预训练BERT模型的宣传和超党派的新闻文章,使其能够创建更充分的表示为两个子任务,即宣传跨度识别(SI)和宣传技术分类(TC)。我们提出的系统在子任务SI中取得了46.060%的F1分数,在36个团队中排名第5,子任务TC的微平均F1分数为54.302%,在32个团队中排名第19。
2020-09-11 cs.CL
Check News in One Click: NLP-Empowered Pro-Kremlin Propaganda Detection
Technische Universität Berlin(柏林工业大学);Universität Bamberg(班贝格大学);Freie Universität Berlin(柏林自由大学)
针对欧洲面临的亲克里姆林宫宣传问题,研究团队开发了首款支持7种语言的NLP驱动的亲克里姆林宣传检测应用“Check News in 1 Click”,可为普通用户提供新闻反馈并解释操纵性语言特征,还通过用户研究分析了该可解释方案的优缺点。
2024-01-28 cs.CL
Solomon at SemEval-2020 Task 11: Ensemble Architecture for Fine-Tuned Propaganda Detection in News Articles
Samsung R&D Institute India Bangalore(三星印度班加罗尔研发中心)
本文介绍了我们的系统(所罗门)的细节和参加SemEval 2020任务11“检测新闻文章中的宣传技术”\cite{DaSanMartinoSemeval20task11}的结果。我们参加了任务“技术分类”(TC),这是一个多类分类任务。为了解决TC任务,我们使用基于RoBERTa的Transformer架构对宣传数据集进行微调。RoBERTa的预测通过类依赖少数类分类器进一步微调。一个特殊的分类器,它采用动态适应最小公共子序列算法,用于适应复杂的重复类。与其他参与系统相比,我们的提交在排行榜上排名第四。
2020-09-16 cs.AI cs.CL
Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation
UIUC(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);University of Washington(华盛顿大学);AI2(艾伦人工智能研究所)
针对机器生成与人类撰写假新闻间的风格与意图差异,提出基于自然语言推理引导的自批判序列训练框架,结合宣传技巧生成训练数据集 PropaNews,使假新闻检测器在公开数据集上检测人类虚假信息的 F1 分数提升 3.62% - 7.69%。
2023-05-15 cs.CL
Can GPT-4 Identify Propaganda? Annotation and Detection of Propaganda Spans in News Articles
Qatar Computing Research Institute(卡塔尔计算研究所)
本文构建含 8K 段落、23 类宣传技巧的片段级阿拉伯语数据集 ArPro,并评估 GPT-4 的细粒度及跨语言宣传检测能力,发现其明显落后于微调模型。
2024-02-27 cs.CL
SemEval-2020 Task 11: Detection of Propaganda Techniques in News Articles
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,哈马德·本·哈利法大学);Università di Bologna(博洛尼亚大学);Paderborn University(帕德博恩大学);A Data Pro(A Data Pro 公司)
我们介绍了SemEval-2020任务11关于新闻文章中宣传技巧检测的结果和主要发现。该任务包含两个子任务。子任务SI是关于跨度识别:给定一个纯文本文档,找出包含宣传的特定文本片段。子任务TC是关于技术分类的:给定一个特定的文本片段,在一个完整的文件的上下文中,确定它使用的宣传技术,从14种可能的宣传技术中选择。这项任务吸引了大量的参与者:250个团队报名参加,44个团队提交了测试集。在本文中,我们提出的任务,分析结果,并讨论了系统的提交和他们使用的方法。对于这两个子任务,最好的系统使用预先训练的Transformers和集成。
2020-09-06 cs.CL cs.CY
Leveraging Declarative Knowledge in Text and First-Order Logic for Fine-Grained Propaganda Detection
Fudan University(复旦大学);Microsoft Corporation(微软公司);Sun Yat-Sen University(中山大学)
我们研究了新闻文章中宣传性文本片段的检测。而不是仅仅从训练数据中的输入输出数据点学习,我们引入了一种方法来注入细粒度宣传技术的声明性知识。具体来说,我们利用一阶逻辑和自然语言表达的声明性知识。前者指的是粗粒度和细粒度预测之间的逻辑一致性,用于通过命题布尔表达式来正则化训练过程。后者是指每个宣传技术的字面定义,用于获得正则化模型参数的类表示。我们进行实验的宣传技术语料库,一个大的手动注释数据集细粒度的宣传检测。实验表明,我们的方法实现了卓越的性能,证明利用声明性知识可以帮助模型做出更准确的预测。
2020-10-05 cs.AI cs.CL cs.IR
Inno at SemEval-2020 Task 11: Leveraging Pure Transformer for Multi-Class Propaganda Detection
Innopolis University(因诺波利斯大学)
本文介绍了“Inno”团队对SEMEVAL 2020任务11“新闻文章中宣传技巧的检测”的解决方案。第二子任务的目标是对新闻文章数据集中与18种给定宣传技巧之一相对应的文本片段进行分类。我们测试了一个纯基于transformer的模型,该模型具有优化的学习方案,能够区分彼此之间的宣传技术。我们的模型相应地在验证集和测试集中显示了0.6和0.58的总体F1分数,并且在两个集中每个类别的F1分数都不是零。
2020-08-27 cs.CL
Interpretable Propaganda Detection in News Articles
Amazon Alexa AI(亚马逊Alexa AI);University of Padova(帕多瓦大学);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Qatar Computing Research Institute(卡塔尔计算研究所)
今天的在线用户每天都面临着误导性和宣传性的新闻文章和媒体帖子。为了应对这种情况,已经设计了一些方法,旨在实现更健康和更安全的在线新闻和媒体消费。自动化系统能够支持人类检测这些内容;然而,它们广泛采用的主要障碍是,除了准确之外,这些系统的决策还需要可解释,以便被用户信任和广泛采用。由于误导性和宣传性的内容通过使用一些欺骗技术影响读者,我们建议检测和显示使用这些技术作为一种方式来提供可解释性。特别是,我们定义定性描述功能,我们分析其适用性检测欺骗技术。我们进一步表明,我们的可解释特征可以轻松地与预训练的语言模型相结合,从而产生最先进的结果。
2021-08-29 cs.AI cs.CL cs.LG
Discourse Structures Guided Fine-grained Propaganda Identification
Texas A&M University(德克萨斯A&M大学)
本文提出利用局部和全局语篇结构辅助细粒度宣传识别,通过两个教师模型分别建模句子间语篇关系和句子语篇角色,并以特征融合或知识蒸馏方式融入,在基准数据集上显著提升了宣传内容识别的精确率和召回率。
2023-10-28 cs.CL
Cross-Domain Learning for Classifying Propaganda in Online Contents
Shandong University(山东大学);Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
随着新闻和社交媒体呈现出越来越多的操纵性极化内容,检测此类宣传作为内容分析的新任务受到关注。以前的工作集中在监督学习与训练数据从同一领域。然而,由于宣传可能是微妙的,并不断发展,人工识别和适当的标签是非常苛刻的。因此,训练数据是主要瓶颈。在本文中,我们解决了这一瓶颈,并提出了一种利用跨领域学习的方法,该方法基于来自新闻和推文的标记文档和句子,以及政治演讲,其宣传程度有明显差异。我们设计信息功能,并建立各种分类器的宣传标签,使用跨域学习。我们的实验证明了这种方法的实用性,并确定在各种配置的源和目标的转移步骤的困难和限制。我们进一步分析了各种特征的影响,并描述了宣传的突出指标。
2020-11-22 cs.CL
Findings of the NLP4IF-2019 Shared Task on Fine-Grained Propaganda Detection
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所);Università di Bologna(博洛尼亚大学)
我们提出了关于细粒度宣传检测的共享任务,该任务是作为EMNLP-IJCNLP 2019年NLP 4 IF研讨会的一部分组织的。有两个子任务。FLC是一个片段级任务,要求识别新闻文章中的宣传文本片段,并预测每个片段中使用的特定宣传技术(18路分类任务)。SLC是一个文本级的二元分类任务,要求检测包含宣传的句子。共有12个小组提交了FLC任务的系统,25个小组提交了SLC任务的系统,14个小组最终提交了系统描述文件。对于这两个子任务,大多数系统都设法以相当大的幅度超过了基线。排行榜和比赛数据可在http://propaganda.qcri.org/nlp4if-shared-task/上查阅。
2019-10-20 cs.CL cs.SI
Experiments in Detecting Persuasion Techniques in the News
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
最近的许多政治事件,如2016年美国总统选举或2018年巴西大选,引起了机构和公众对互联网和社交媒体在影响这些事件结果方面的作用的关注。我们认为,一个安全的民主是一个公民有工具,使他们意识到宣传运动。我们提出了一个新的任务:通过检测包含宣传技巧的所有片段及其类型来执行文本的细粒度分析。我们进一步设计了一个新的多粒度神经网络,我们表明,它优于几个强大的基于BERT的基线。
2019-11-15 cs.CL cs.IR
CyberWallE at SemEval-2020 Task 11: An Analysis of Feature Engineering for Ensemble Models for Propaganda Detection
Seminar für Sprachwissenschaft(语言学系);Eberhard Karls Universität Tübingen(蒂宾根大学)
本文介绍了我们参与SemEval-2020任务检测新闻文章中的宣传技巧。我们参与两个子任务:跨度识别(SI)和技术分类(TC)。我们在SI子任务中使用双LSTM架构,并为TC子任务训练复杂的集成模型。我们的架构是使用来自BERT的嵌入并结合额外的词汇特征和广泛的标签后处理来构建的。我们的系统在SI子任务(F1分数:43.86%)和TC子任务(F1分数:57.37%)中的31支球队中的8支球队中实现了排名。
2020-08-22 cs.CL cs.LG
Cost-Sensitive BERT for Generalisable Sentence Classification with Imbalanced Data
University of Birmingham(伯明翰大学);University of Warwick(华威大学);Alan Turing Institute(阿兰·图灵研究所)
近年来,由于新闻产生和消费方式的技术和社会变化,宣传的自动识别变得越来越重要。使用BERT可以有效地解决这个任务,这是一个强大的新架构,可以针对文本分类任务进行微调,这并不奇怪。然而,与处理新闻文档和其他形式的非情境化社交通信(例如,情感分析)的其他任务一样,宣传检测固有地处理其类别同时不平衡和不相似的数据。我们表明,BERT,而能够处理不平衡的类,没有额外的数据增强,不概括以及当训练和测试数据是足够不相似的(通常是新闻来源的情况下,其主题随着时间的推移而演变)。我们展示了如何通过提供数据集之间的相似性的统计度量和当训练集和测试集不相似时将成本加权纳入BERT的方法来解决这个问题。我们测试这些方法上的宣传技术语料库(PTC),并实现了第二高的分数对宣传级别的分类。
2020-03-16 cs.CL cs.LG stat.ML
NewsLens: A Multi-Agent Framework for Adversarial News Bias Navigation
Independent Researcher(独立研究者)
本文提出NewsLens多智能体框架,通过五个智能体协作解构新闻文章,揭示意识形态缺失、修辞操纵和框架边界,利用Qwen2.5-3B-Instruct和Mistral 7B模型进行评估,展示了系统在不同政治事件簇中的表现。
2026-05-17 cs.CL cs.IR
SocCogCom at SemEval-2020 Task 11: Characterizing and Detecting Propaganda using Sentence-Level Emotional Salience Features
Institute of High Performance Computing (IHPC)(高性能计算研究所);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局)
本文介绍了一个系统开发的检测宣传技巧,从新闻文章。我们专注于研究如何从新闻片段中提取的情感显着性特征可以帮助描述和预测宣传技术的存在。相关性分析显示出有趣的模式,例如,“加载语言”和“口号”技术与效价和快乐强度呈负相关,但与愤怒,恐惧和悲伤强度呈正相关。相比之下,“挥舞旗帜”和“诉诸恐惧偏见”的模式正好相反。通过预测实验,结果进一步表明,而BERT的功能获得F1分数为0.548,情绪强度功能和BERT混合功能能够获得F1分数为0.570,当一个简单的前馈网络被用作在两种设置中的分类器。在黄金测试数据上,我们的系统在14种宣传技术的总体检测效率上获得了0.558的微平均F1分数。它在检测“装语言”(F1 = 0.772)、“名称呼叫和标记”(F1 = 0.673)、“怀疑”(F1 = 0.604)和“挥舞旗帜”(F1 = 0.543)方面表现相对较好。
2020-08-29 cs.CL cs.CY
MultiProSE: A Multi-label Arabic Dataset for Propaganda, Sentiment, and Emotion Detection
King Saud University(沙特国王大学);Majmaah University(迈迈大学);Imam Mohammad Ibn Saud Islamic University(伊玛目穆罕默德·本·沙特伊斯兰大学);Alfaisal University(费萨尔大学)
本文构建首个多标签阿拉伯语宣传、情感与情绪检测数据集 MultiProSE,含8,000篇标注新闻,并基于LLM和PLM建立基线。
2025-02-12 cs.CL
GPT Assisted Annotation of Rhetorical and Linguistic Features for Interpretable Propaganda Technique Detection in News Text
Technological University Dublin(都柏林理工大学);SFI Centre for Research Training in Machine Learning(SFI机器学习研究培训中心);School of Computer Science(计算机学院);Artificial Intelligence and Cognitive Load Research Lab(人工智能与认知负荷研究实验室)
本研究将22种修辞语言特征编码并借助RhetAnn工具人工标注,结合GPT-3.5微调实现低成本可解释宣传技巧检测,效果媲美GPT-4且成本降低十倍。
2024-07-16 cs.AI cs.CL
Exposing propaganda: an analysis of stylistic cues comparing human annotations and machine classification
Airbus Defence and Space(空客防务与空间公司);Université Paris-Saclay(巴黎-萨克雷大学);CentraleSupélec(中央理工-高等电力学院);Institut Jean-Nicod(让·尼科研究所);CNRS(法国国家科学研究中心);ENS-PSL(巴黎文理研究大学高等师范学院);EHESS(社会科学高等研究院);LIP6(巴黎第六大学计算机实验室);Sorbonne Université(索邦大学);Université de Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);IRISA(雷恩信息与自动化研究所);Mondeca(蒙德卡公司);Freedom Partners(自由伙伴公司);Observatoire des Médias(媒体观察机构)
本文通过构建多源多语言多模态的PPN数据集并开展11标签人工标注实验,结合VAGO、TF-IDF及多种分类器,揭示了人类与机器识别宣传文本时所用的风格线索。
2024-02-26 cs.AI cs.CL cs.LG
The FIGNEWS Shared Task on News Media Narratives
Northwestern University(西北大学);Birzeit University(比尔宰特大学);New York University(纽约大学);Google(谷歌公司);Carnegie Mellon University(卡内基梅隆大学);Newgiza University(新吉萨大学)
本文介绍了FIGNEWS共享任务,旨在促进多语言新闻偏见与宣传标注的协作,以以色列对加沙战争为案例,涉及5种语言,17个团队参与,共产生129,800个数据点。
2024-07-25 cs.CL
Reliable News or Propagandist News? A Neurosymbolic Model Using Genre, Topic, and Persuasion Techniques to Improve Robustness in Classification
Airbus Defence and Space, France(空中客车防务与航天公司,法国);Université Paris-Saclay, CentraleSupélec, MICS, France(巴黎-萨克雷大学,中央理工-高等电力学院,MICS,法国);LIP6, Sorbonne Université, CNRS, France(LIP6,索邦大学,法国国家科学研究中心,法国);Université de Rennes, CNRS, Inria, IRISA, France(雷恩大学,法国国家科学研究中心,法国国家信息与自动化研究所,IRISA,法国);IRL Crossing, CNRS, Australia(IRL Crossing,法国国家科学研究中心,澳大利亚)
本文提出结合非上下文文本嵌入与符号概念特征的神经符号模型,以提高分类鲁棒性,通过实验验证其在识别宣传新闻方面的有效性。
2026-04-02 cs.AI cs.CL
The Table of Media Bias Elements: A sentence-level taxonomy of media bias types and propaganda techniques
Center for Responsible Artificial Intelligence (CRAI), Coburg University of Applied Sciences and Arts(负责任人工智能中心(CRAI)、科堡应用科学与艺术大学);Center for Responsible Artificial Intelligence (CRAI), and University of Sheffield, Department of Computer Science(负责任人工智能中心(CRAI)、谢菲尔德大学计算机科学系)
本文提出一个句子级的媒体偏见分类体系,通过分析26,464个句子,揭示偏见表达的细粒度类型及传播技巧,并提供识别指导。
2026-01-08 cs.CL cs.CY
Large Language Models for Propaganda Detection
University of Zurich(苏黎世大学)
研究评估了GPT-3和GPT-4在SemEval-2020数据集上的宣传检测性能,发现GPT-4通过提示工程与微调达到了与RoBERTa最先进方法相当的效果。
2023-11-27 cs.AI cs.CL
Understanding BERT performance in propaganda analysis
Cornell Tech(康奈尔科技学院)
在本文中,我们描述了我们的系统中使用的共享任务细粒度的宣传分析在句子级别。尽管任务具有挑战性,但我们的预训练BERT模型(YMJA团队)在共享任务提供的训练数据集上进行了微调,在测试集上获得了0.62 F1,在参加比赛的25个团队中排名第三。我们提出了一组说明性的实验,以更好地了解我们的BERT模型在这个共享任务的性能。此外,我们还在给定的数据集之外探索可能由我们的系统产生的假阳性案例。我们发现,尽管给定的测试集上的高性能,我们的系统可能有分类的意见件作为宣传的倾向,并不能区分宣传讲话的报价从实际使用的宣传技术。
2019-11-11 cs.CL
SWARM: A Multilingual Human-Annotated Dataset for Russian Propaganda Detection in Search Engine Results
Weizenbaum Institute(魏茨鲍姆研究所);University of Oxford(牛津大学);University of Bern(伯尔尼大学)
本文提出多语言数据集SWARM,含2,183条搜索引擎结果,用于检测俄语宣传,发现内容级分析优于来源屏蔽列表,最强LLM的F1达0.73。
2026-09-14 cs.CL
Analysis of Disinformation and Fake News Detection Using Fine-Tuned Large Language Model
Ivan Franko National University of Lviv(利沃夫伊万·弗兰科国立大学)
本文采用PEFT/LoRA方法微调Llama 2模型,用于虚假信息分析、假新闻检测及命名实体情感提取等任务,结果表明该模型能深度分析文本并揭示复杂叙事,提取的情感特征可用于监督学习。
2023-09-09 cs.AI cs.CL cs.CY
Do Sentence Interactions Matter? Leveraging Sentence Level Representations for Fake News Classification
Carnegie Mellon University(卡内基梅隆大学)
通过在线媒体渠道传播的虚假新闻和误导性信息的不断增长需要一种自动检测此类新闻文章的方法。在区分可信与其他类型的新闻文章(讽刺,宣传,恶作剧)的少数有限作品中,没有一个在文档中建模句子交互。我们观察到一个有趣的模式,在不同类型的新闻文章的句子相互作用的方式。为了捕捉长新闻文章的这类信息,我们提出了一种基于图神经网络的模型,该模型不需要特征工程来进行细粒度的假新闻分类。通过实验,我们证明了我们提出的方法击败了强大的神经基线,并在现有数据集上达到了最先进的精度。此外,我们建立了我们的模型,通过评估其性能在域外的情况下的泛化能力。代码可在https://github.com/MysteryVaibhav/fake_news_semantics上获得
2019-10-27 cs.CL cs.LG stat.ML
ProBel: Propaganda Detection with Techniques, Spans, and Explanations
Qatar Computing Research Institute(卡塔尔计算研究所);University of Padova(帕多瓦大学)
ProBel 是含阿拉伯语和英语的宣传检测资源,支持多任务,双语多任务模型性能最优,联合训练效果更稳定,将发布相关数据与代码。
2026-08-25 cs.AI cs.CL cs.LG
Hybrid Annotation for Propaganda Detection: Integrating LLM Pre-Annotations with Human Intelligence
Quality and Usability Lab, Technische Universität Berlin, Germany(柏林技术大学质量与可用性实验室);German Research Center for Artificial Intelligence (DFKI), Berlin, Germany(德国人工智能研究中心(DFKI))
提出融合 LLM 预标注与人工验证的宣传检测混合标注框架,通过层级分类、LLM 数据蒸馏训练 SLM,显著提升标注一致性与效率。
2025-07-24 cs.CL
Towards Fine-Grained Reasoning for Fake News Detection
Microsoft Research Asia(微软亚洲研究院)
假新闻的检测通常需要复杂的推理技能,例如通过考虑单词级别的微妙线索来逻辑地组合信息。在本文中,我们通过更好地反映人类思维的逻辑过程并实现对微妙线索的建模,来实现用于假新闻检测的细粒度推理。特别是,我们提出了一个细粒度的推理框架以下的人类信息处理模型,引入一个相互加强为基础的方法,将人类知识的证据是更重要的,并设计了一个先验感知的双通道核图网络来模拟证据之间的细微差别。大量的实验表明,我们的模型优于国家的最先进的方法,并证明了我们的方法的可解释性。
2022-03-05 cs.CL cs.LG
Fine-grained Narrative Classification in Biased News Articles
Indraprastha Institute of Information Technology Delhi(印度普拉斯塔理工大学德里);Bharat Electronics Limited(巴哈特电子有限公司)
本文提出INDI-PROP数据集和FANTA/TPTC框架,用于细粒度偏见新闻文章中的叙事分类和说服技巧识别。
2025-12-03 cs.AI cs.CL
r/Fakeddit: A New Multimodal Benchmark Dataset for Fine-grained Fake News Detection
Laguna Blanca School(拉古纳布兰卡学校);University of California, Santa Barbara(加州大学圣巴巴拉分校)
假新闻在政治和文化方面以消极的方式改变了社会。它对在线社交网络系统以及离线社区和对话都产生了不利影响。使用自动机器学习分类模型是打击假新闻广泛传播的有效方法。然而,缺乏有效、全面的数据集一直是假新闻研究和检测模型开发的一个问题。以前的假新闻数据集不提供多模态文本和图像数据,元数据,评论数据和细粒度的假新闻分类在我们的数据集的规模和广度。我们介绍了Fakeddit,这是一种新型的多模态数据集,由来自多个类别的假新闻的100多万个样本组成。在经过几个阶段的审查后,通过远程监督,将样本按2向、3向和6向分类类别进行标记。我们构建了混合文本+图像模型,并对多种分类变体进行了广泛的实验,证明了Fakeddit独特的多模态和细粒度分类的新方面的重要性。
2020-03-12 cs.CL cs.CY cs.IR
Fine-grained prediction of food insecurity using news streams
New York University(纽约大学);NYU School of Medicine(纽约大学医学院);World Bank(世界银行);Massachussets Institute of Technology(麻省理工学院)
预测粮食危机的爆发对于有效分配紧急救济和减少人类痛苦至关重要。然而,现有的粮食不安全预警系统所依赖的风险措施往往滞后、过时或不完整。在这里,我们利用深度学习的最新进展,从1980年至2020年间发表的关于脆弱国家的大量新闻文章中提取粮食危机的高频前兆。我们的文本特征具有因果关系,可解释性,并通过现有数据进行验证,使我们能够在15个脆弱国家的地区层面上提前三个月预测比现有模型多32%的粮食危机。这些结果可能会对人道主义援助如何分配产生深远的影响,并为机器学习在数据稀缺的环境中改善决策开辟新的途径。
2021-11-17 cs.CL cs.LG
Fine-tuning with Hierarchical Prompting for Robust Propaganda Classification Across Annotation Schemas
Technische Universität Berlin, QU Lab, XplaiNLP Group(技术大学柏林,QU实验室,XplaiNLP小组);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Centre for European Research in Trusted AI (CERTAIN)(可信AI欧洲研究中心(CERTAIN))
本文提出一种意图导向的宣传技术分类体系,通过四个语言模型评估,发现微调对提升性能至关重要,Qwen模型在整体表现上最优,而Phi-4 14B在复杂注释方案中表现突出。
2026-05-13 cs.CL cs.CY
Reinforcement Retrieval Leveraging Fine-grained Feedback for Fact Checking News Claims with Black-Box LLM
Singapore Management University(新加坡管理大学)
提出FFRR方法,通过两级策略从黑盒LLM获取细粒度反馈作为奖励优化检索策略,在新闻声明事实核查任务上显著优于LLM和非LLM基线。
2024-04-26 cs.CL
Multilingual Fine-Grained News Headline Hallucination Detection
Google Research(谷歌研究院)
本研究构建了首个包含5种语言超1.1万对数据的多语言细粒度新闻标题幻觉检测专家标注数据集,通过监督微调和大型语言模型上下文学习实验,提出语言相关示例选择与从粗到细提示技术提升少样本检测性能。
2024-07-22 cs.CL
Verifying the Robustness of Automatic Credibility Assessment
Universitat Pompeu Fabra(庞培法布拉大学);Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
本研究验证了自动可信度评估模型对多种攻击技术的鲁棒性,发现大型语言模型更易受攻击,提出BODEGA基准用于评估内容管理中的虚假信息检测。
2024-11-21 cs.CL cs.LG
Bias or Diversity? Unraveling Fine-Grained Thematic Discrepancy in U.S. News Headlines
University of Rochester(罗切斯特大学)
本研究利用180万条美国新闻标题数据,通过多重对应分析等方法,揭示国内政治和社会议题的报道差异源于媒体偏见,外交事务差异源于记者风格多样性,而经济报道高度一致。
2023-05-06 cs.CL
FineFake: A Knowledge-Enriched Dataset for Fine-Grained Multi-Domain Fake News Detection
Beihang University(北京航空航天大学);Central South University(中南大学);Beijing University of Posts and Telecommunications(北京邮电大学);University of Illinois at Chicago(芝加哥大学伊利诺伊分校)
针对现有假新闻检测基准缺乏多领域多样性和细粒度标注的问题,提出知识增强的多领域基准FineFake,包含16,909个样本,并设计三项任务及知识增强领域自适应网络,为未来研究提供可靠基准。
2024-10-15 cs.AI cs.CL cs.MM
Defending Against Neural Fake News
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
最近在自然语言生成方面取得的进展引起了双重用途的关切。虽然摘要和翻译等应用是积极的,但底层技术也可能使对手能够生成神经假新闻:有针对性的宣传,密切模仿真实新闻的风格。现代计算机安全依赖于仔细的威胁建模:从对手的角度识别潜在的威胁和漏洞,并探索这些威胁的潜在缓解措施。同样,开发针对神经假新闻的强大防御需要我们首先仔细调查和描述这些模型的风险。因此,我们提出了一个可控的文本生成称为格罗弗模型。考虑到像“疫苗和自闭症之间的联系”这样的标题,格罗弗可以生成文章的其余部分;人类发现这些世代比人类书面的虚假信息更值得信赖。开发针对Grover等生成器的强大验证技术至关重要。我们发现,目前最好的判别器可以将神经假新闻与真实的人类撰写的新闻进行分类,准确率为73%,假设可以访问中等水平的训练数据。与直觉相反,对Grover的最佳防御是Grover本身,准确率为92%,证明了公开发布强大的生成器的重要性。我们进一步研究了这些结果,发现暴露偏差-以及减轻其影响的采样策略-都留下了类似的鉴别器可以拾取的伪像。我们通过讨论有关该技术的伦理问题得出结论,并计划公开发布Grover,为更好地检测神经假新闻铺平道路。
2020-12-11 cs.CL cs.CY
Fake News Detection Tools and Methods -- A Review
Central University of Jammu(查谟中央大学)
在过去的十年中,Facebook、Twitter、Instagram和微博等社交网络平台和微博网站已经成为我们日常活动中不可或缺的一部分,并被全球数十亿用户广泛使用,以消息、图片和视频的形式分享他们的观点和传播信息。这些甚至被政府机构用来通过其经过验证的Facebook帐户和官方Twitter处理来传播重要信息,因为它们可以在有限的时间窗口内接触到大量人口。然而,许多欺骗性的活动,如宣传和谣言,每天都会误导用户。在这些COVID时代,假新闻和谣言非常普遍,并且在这个艰难时期制造了混乱。因此,在目前的情况下,对假新闻检测的需求是不可避免的。在本文中,我们调查了最近的文献不同的方法来检测假新闻在互联网上。特别是,我们首先讨论了假新闻以及文献中考虑的与之相关的各种术语。其次,我们强调了各种公开可用的数据集和各种在线工具,这些工具可以实时揭穿假新闻。第三,我们描述了基于两个更广泛领域的假新闻检测方法,即,它的内容和社会背景。最后,我们提供了用于揭穿假新闻的各种技术的比较。
2021-11-21 cs.CL cs.CY cs.SI
Fine-Grained Named Entities for Corona News
Freie Universitaet Berlin(柏林自由大学);Fraunhofer FOKUS(弗劳恩霍夫开放通信系统研究所)
本研究提出一种数据标注流水线,从 Corona 新闻文章中生成包含通用和特定领域实体的训练数据,训练命名实体识别模型并由专家评估,实现非结构化文本的结构化抽取。
2024-04-20 cs.CL
Fine-grained Czech News Article Dataset: An Interdisciplinary Approach to Trustworthiness Analysis
Charles University(查理大学);University College London(伦敦大学学院)
我们提出了Verifee数据集:一个新的数据集的新闻文章与细粒度的可信度注释。我们开发了一种详细的方法,根据其参数评估文本,包括编辑透明度,记者惯例和客观报道,同时惩罚操纵技术。我们带来了来自社会,媒体和计算机科学的各种研究人员,以克服这一跨学科问题的障碍和有限的框架。我们从几乎$60$捷克在线新闻来源收集超过$10,000$独特的文章。在我们提出的可信度范围内,这些文章被归类为$4$类,从完全值得信赖的文章一直到操纵性文章。我们提供详细的统计数据,并研究整个集合中出现的趋势。最后,我们使用我们的数据集在可信度分类任务上微调了多个流行的序列到序列语言模型,并报告了$0.52$的最佳测试F-1得分。我们在https://verifee.ai/research上开源了数据集、注释方法和注释者的完整说明,以方便构建工作。我们相信类似的方法可以帮助防止虚假信息和教育领域的媒体素养。
2022-12-16 cs.CL
Event detection in Colombian security Twitter news using fine-grained latent topic analysis
Universidad Nacional de Colombia(哥伦比亚国立大学)
文化和社会动态是重要的概念,必须加以理解,以便掌握社区关心的问题。为此,新闻是一个很好的社区信息来源,特别是近年来,大众媒体巨头使用社交网络与受众沟通和互动。在这项工作中,我们使用的方法来发现潜在的主题,从哥伦比亚的Twitter新闻帐户,以确定该国最突出的事件。我们特别关注与安全、暴力和犯罪有关的推文,因为哥伦比亚社会周围存在暴力环境。我们使用的潜在主题发现方法通过使用FastText构建推文的向量表示,并通过K-means聚类算法发现推文的聚类。通过测量潜在狄利克雷分配(LDA)模型的一系列主题的$C_V$相干性来找到聚类的数量。最后,我们使用均匀流形近似和投影(UMAP)降维可视化的推文向量。一旦确定了与安全、暴力和犯罪相关的聚类,我们将在每个聚类中应用相同的方法来执行细粒度分析,其中将新闻中提到的特定事件分组在一起。我们的方法能够发现特定于事件的新闻集,这是对人们如何参与不同类型新闻的Twitter线程进行广泛分析的基准,重点是安全,暴力和犯罪相关的推文。
2019-11-19 cs.CL cs.SI
Hope vs. Hate: Understanding User Interactions with LGBTQ+ News Content in Mainstream US News Media through the Lens of Hope Speech
Rochester Institute of Technology(罗切斯特理工学院);Drexel University(德雷塞尔大学)
本文基于百万级YouTube评论构建希望言论分类器,结合专家指导的3,750例标注数据集,分析用户对LGBTQ+新闻的互动,并揭示政治信念对标注与模型判断的影响。
2025-10-19 cs.CL cs.CY cs.LG
MisSpans: Fine-Grained False Span Identification in Cross-Domain Fake News
The University of Manchester(曼彻斯特大学);Zhejiang University(浙江大学);School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院);Center for Language and Information Research, Wuhan University(武汉大学语言与信息研究中心);ELLIS Manchester(曼彻斯特ELLIS)
MisSpans提出首个多领域人工标注基准,用于细粒度虚假信息检测与分析,通过三项任务实现精准定位、细致分类和可解释性。
2026-01-08 cs.CL
Uncovering the Bigger Picture: Comprehensive Event Understanding Via Diverse News Retrieval
National University of Singapore(国立新加坡大学);Shanghai Jiao Tong University(上海交通大学)
本文提出两阶段框架 NEWSCOPE,通过密集检索、句子级聚类与多样性重排序提升新闻事件覆盖,并引入三项指标和两个基准验证其在保持相关性的同时显著减少冗余。
2025-08-29 cs.CL cs.IR
Sentence-Level Sentiment Analysis of Financial News Using Distributed Text Representations and Multi-Instance Learning
University of Freiburg(弗莱堡大学);University of Oxford(牛津大学)
研究人员和金融专业人士需要强大的计算机化工具,使用户能够快速操作和评估金融新闻中的语义文本内容。然而,现有的方法通常在文档级别工作,而对单个句子的实际结构和情感的更深层次的洞察仍然模糊不清。因此,投资者需要投入最大的注意力和详细的特定领域知识,以便在细粒度的基础上评估信息。为了方便这个手动过程中,本文提出了使用分布式文本表示和多实例学习的信息从文档级传输到文件级。与其他方法相比,该方法具有优越的预测性能,同时保留上下文和可解释性。我们对手动标记数据集的分析产生了高达69.90%的预测准确率,超过了替代方法至少3.80个百分点的性能。因此,这项研究不仅有利于投资者的财务决策,而且有助于公司按照预期传达信息。
2018-12-31 cs.CL cs.IR cs.LG
Combating Hostility: Covid-19 Fake News and Hostile Post Detection in Social Media
Chittagong University of Engineering and Technology(吉大港工程技术大学)
本文详细描述了该系统及其作为AAAI-2021中CONSTRAINT共享任务的一部分开发的结果。共享任务包括两个任务:a)英语COVID 19假新闻检测b)印地语敌对帖子检测。任务A是一个包含假类和真类的二元分类问题,而任务B是一个包含五个敌对类(即诽谤、假冒、仇恨、攻击、非敌对)的多标签多类分类任务。使用各种技术来执行分类任务,包括SVM、CNN、BiLSTM和具有tf-idf和Word 2 Vec嵌入技术的CNN+BiLSTM。结果表明,在任务A中,具有tf-idf特征的SVM在测试集上获得了最高的94.39%加权$f_1$得分。基于n-gram特征的标签幂集SVM在task-B测试集上获得了最大的粗粒度和细粒度$f_1$得分,分别为86.03%和50.98%。
2021-01-09 cs.CL
Forecasting with Economic News
Joint Research Centre, European Commission(欧盟委员会联合研究中心);Zicklin School of Business, Baruch College(巴鲁克学院齐克林商学院)
本文的目的是评估信息内容的情绪提取新闻文章的经济状况。我们提出了一个细粒度的基于方面的情感分析,它有两个主要特点:1)我们只考虑文章中的文本,这是语义上依赖于一个术语的兴趣(方面为基础),2)分配一个情感评分的基础上,我们开发的应用程序在经济和金融(细粒度)的字典的每个单词。我们的数据集包括六家大型美国报纸,总计超过660万篇文章和42亿字。我们的研究结果表明,经济情绪的几个措施密切跟踪商业周期波动,他们是四个主要的宏观经济变量的相关预测。我们发现,当情绪与宏观经济因素一起考虑时,预测有显着改善。此外,我们还发现,情绪的重要性,以解释在几个宏观经济变量的概率分布的尾部。
2022-03-29 cs.AI cs.CE cs.CL