arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2402.03780cs.CLcs.AIcs.LG
收藏

揭露宣传:比较人工标注与机器分类的风格线索分析

Exposing propaganda: an analysis of stylistic cues comparing human annotations and machine classification

Airbus Defence and Space(空客防务与空间公司);Université Paris-Saclay(巴黎-萨克雷大学);CentraleSupélec(中央理工-高等电力学院);Institut Jean-Nicod(让·尼科研究所);CNRS(法国国家科学研究中心);ENS-PSL(巴黎文理研究大学高等师范学院);EHESS(社会科学高等研究院);LIP6(巴黎第六大学计算机实验室);Sorbonne Université(索邦大学);Université de Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);IRISA(雷恩信息与自动化研究所);Mondeca(蒙德卡公司);Freedom Partners(自由伙伴公司);Observatoire des Médias(媒体观察机构)

Géraud Faye, Benjamin Icard, Morgane Casanova, Julien Chanson, François Maine, François Bancilhon, Guillaume Gadek, Guillaume Gravier, Paul Égré

AI总结:

本文通过构建多源多语言多模态的PPN数据集并开展11标签人工标注实验,结合VAGO、TF-IDF及多种分类器,揭示了人类与机器识别宣传文本时所用的风格线索。

摘要:

本文研究宣传语言及其风格特征。文章介绍了PPN数据集,即“宣传者伪新闻”(Propagandist Pseudo-News),这是一个多来源、多语言、多模态的数据集,由从被专家机构认定为宣传来源的网站上提取的新闻文章组成。从该数据集中随机抽取有限样本,与法国正规媒体的文章混合,并遮蔽其URL,以进行一项使用11种不同标签的人工标注实验。结果表明,人工标注者能够在每个标签上可靠地区分这两种类型的媒体。我们提出了不同的自然语言处理技术来识别标注者使用的线索,并将其与机器分类进行比较。这些技术包括用于测量话语模糊性和主观性的分析器VAGO、作为基线的TF-IDF,以及四种不同的分类器:两个基于RoBERTa的模型、使用句法的CATS,以及一个结合句法和语义特征的XGBoost。

英文摘要:

This paper investigates the language of propaganda and its stylistic features. It presents the PPN dataset, standing for Propagandist Pseudo-News, a multisource, multilingual, multimodal dataset composed of news articles extracted from websites identified as propaganda sources by expert agencies. A limited sample from this set was randomly mixed with papers from the regular French press, and their URL masked, to conduct an annotation-experiment by humans, using 11 distinct labels. The results show that human annotators were able to reliably discriminate between the two types of press across each of the labels. We propose different NLP techniques to identify the cues used by the annotators, and to compare them with machine classification. They include the analyzer VAGO to measure discourse vagueness and subjectivity, a TF-IDF to serve as a baseline, and four different classifiers: two RoBERTa-based models, CATS using syntax, and one XGBoost combining syntactic and semantic features.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑