newsSweeper at SemEval-2020 Task 11: Context-Aware Rich Feature Representations For Propaganda Classification
Indian Institute of Technology Kanpur (IITK)(印度理工学院坎普尔分校)
本文介绍了我们提交给SemEval 2020任务11:检测新闻文章中的宣传技巧,分别针对跨度识别和技术分类这两个子任务。我们利用预训练的BERT语言模型增强与标签技术开发的任务命名实体识别(NER),开发一个系统,用于识别宣传跨度的文本。对于第二子任务,我们将上下文特征纳入预先训练的RoBERTa模型中,用于对宣传技术进行分类。我们在宣传技术分类子任务中排名第五。
2020-07-21 cs.CL cs.LG
UTMN at SemEval-2020 Task 11: A Kitchen Solution to Automatic Propaganda Detection
Tyumen State University(秋明国立大学)
本文描述了一种基于特征调整的快速解决方案,用于SemEval-2020任务11中的宣传检测。我们使用每个标记的特征向量化和一个简单的Logistic Regressionclassifier来快速测试关于我们数据的不同假设。我们提出了在我们看来最好的解决方案,然而,我们无法将其与任务组织者建议的度量结果保持一致。我们通过改变训练集中两个类(Propaganda和None)的样本数、令牌矢量化的上下文窗口的大小以及矢量化方法的组合来测试我们的系统如何处理类和特征不平衡。我们的系统在SemEval 2020任务11中的结果是F-score=0.37。
2020-08-22 cs.CL cs.LG
Solomon at SemEval-2020 Task 11: Ensemble Architecture for Fine-Tuned Propaganda Detection in News Articles
Samsung R&D Institute India Bangalore(三星印度班加罗尔研发中心)
本文介绍了我们的系统(所罗门)的细节和参加SemEval 2020任务11“检测新闻文章中的宣传技术”\cite{DaSanMartinoSemeval20task11}的结果。我们参加了任务“技术分类”(TC),这是一个多类分类任务。为了解决TC任务,我们使用基于RoBERTa的Transformer架构对宣传数据集进行微调。RoBERTa的预测通过类依赖少数类分类器进一步微调。一个特殊的分类器,它采用动态适应最小公共子序列算法,用于适应复杂的重复类。与其他参与系统相比,我们的提交在排行榜上排名第四。
2020-09-16 cs.AI cs.CL
CyberWallE at SemEval-2020 Task 11: An Analysis of Feature Engineering for Ensemble Models for Propaganda Detection
Seminar für Sprachwissenschaft(语言学系);Eberhard Karls Universität Tübingen(蒂宾根大学)
本文介绍了我们参与SemEval-2020任务检测新闻文章中的宣传技巧。我们参与两个子任务:跨度识别(SI)和技术分类(TC)。我们在SI子任务中使用双LSTM架构,并为TC子任务训练复杂的集成模型。我们的架构是使用来自BERT的嵌入并结合额外的词汇特征和广泛的标签后处理来构建的。我们的系统在SI子任务(F1分数:43.86%)和TC子任务(F1分数:57.37%)中的31支球队中的8支球队中实现了排名。
2020-08-22 cs.CL cs.LG
YNU-HPCC at SemEval-2020 Task 11: LSTM Network for Detection of Propaganda Techniques in News Articles
本文总结了我们在SemEval-2020任务11中对新闻文章宣传检测技术的研究。此任务分为SI和TC子任务。我们实现了GloVe单词表示、BERT预训练模型和LSTM模型架构来完成这项任务。我们的方法在SI和TC子任务上都取得了很好的效果。SI子任务的宏观F1分数为0.406,TC子任务的微观F1分数为0.505。我们的方法显著优于官方发布的基线方法,SI和TC子任务分别在测试集上排名第17位和第22位。本文还比较了不同深度学习模型架构(如Bi-LSTM、LSTM、BERT和XGBoost模型)在检测新闻推广技术方面的性能。本文的代码可在https://github.com/daojiaxu/semeval_11上获得。
2020-08-25 cs.CL cs.IR
NoPropaganda at SemEval-2020 Task 11: A Borrowed Approach to Sequence Tagging and Text Classification
ABBYY ARD NLP(ABBYY ARD 自然语言处理部门);Lomonosov Moscow State University(莫斯科国立罗蒙诺索夫大学);MIPT ABBYY Lab(莫斯科物理技术学院 ABBYY 实验室)
本文介绍了我们对SemEval-2020任务11的贡献:检测新闻文章中的宣传技巧。我们从简单的LSTM基线开始,然后转移到自回归Transformer解码器,以预测第一个子任务的长时间连续宣传跨度。我们还采用了一种方法,从关系抽取包围跨度上述与特殊的令牌的宣传技术分类的第二子任务。相应地,我们的模型报告了这些任务的F分数为44.6%,微平均F分数为58.2%。
2020-07-25 cs.CL
LTIatCMU at SemEval-2020 Task 11: Incorporating Multi-Level Features for Multi-Granular Propaganda Span Identification
Language Technology Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们描述了我们提交的任务,宣传跨度识别新闻文章。我们引入了一个基于BERT-BiLSTM的跨度级宣传分类模型,该模型可以识别句子中哪些标记跨度表示宣传。“多粒度”模型在文本粒度的各个级别上整合了语言知识,包括单词、句子和文档级别的句法、语义和语用影响特征,与其语言不可知变体相比,这些特征显著提高了模型性能。为了促进更好的表示学习,我们还收集了1万篇新闻文章的语料库,并使用它来微调模型。最后的模型是一个多数投票集成,学习不同的宣传类边界,利用不同的子集纳入知识,并达到$4^{th}$的位置上的测试排行榜。我们的最终模型和代码发布在https://github.com/sopu/PropagandaSemEval2020上。
2020-08-20 cs.CL cs.IR cs.LG
ApplicaAI at SemEval-2020 Task 11: On RoBERTa-CRF, Span CLS and Whether Self-Training Helps Them
本文介绍了宣传技术分类(TC)任务的优胜制和宣传跨度识别(SI)任务的亚军制。TC任务的目的是确定一个实用的宣传技术给定的宣传文本片段。SI任务的目标是找到包含至少一种宣传技巧的特定文本片段。这两种解决方案都使用了自我训练的半监督学习技术。有趣的是,尽管CRF很少用于基于transformer的语言模型,但SI任务是用Roberta-CRF架构来处理的。提出了一个基于RoberTa的模型集成TC任务,其中一个使用我们在本文中介绍的跨度CLS层。除了描述提交的系统之外,还研究了架构决策和训练方案的影响,以及关于具有较低计算预算的相同或更好质量的训练模型的评论。最后给出了误差分析结果。
2020-09-05 cs.CL
Team QCRI-MIT at SemEval-2019 Task 4: Propaganda Analysis Meets Hyperpartisan News Detection
Harvard University(哈佛大学);Qatar Computing Research Institute(卡塔尔计算研究所)
在本文中,我们描述了我们提交给SemEval-2019任务4的超党派新闻检测。我们的系统依赖于最初用于检测宣传的各种工程特征。这是基于这样的假设,即有偏见的信息是宣传性的,因为它们促进了特定的政治事业或观点。我们训练了一个逻辑回归模型,其特征从简单的词袋到词汇丰富度和文本可读性特征。我们的系统在手动标注的测试数据上实现了72.9%的准确率,在远程监督标注的测试数据上实现了60.8%的准确率。另外的实验表明,更好的特征预处理可以实现显着的性能改善。
2019-04-06 cs.CL cs.IR cs.LG
syrapropa at SemEval-2020 Task 11: BERT-based Models Design For Propagandistic Technique and Span Detection
College of Arts and Sciences, School of Information Studies, Syracuse University(雪城大学艺术与科学学院、信息研究学院)
本文描述了SemEval-2020任务11:新闻文章中宣传技术的检测中的两个子任务提出的基于BERT的模型。首先,我们建立了基于SpanBERT的跨度识别(SI)模型,并通过更深层次的模型和一个层次的表示方便检测。然后,我们开发了一个混合模型的技术分类(TC)。混合模型由三个子模型组成,包括两个不同训练方法的BERT模型和一个基于特征的Logistic回归模型。我们努力处理不平衡的数据集通过调整成本函数。我们在SI子任务中排名第七(F1-measure的0.4711),在TC子任务中排名第三(F1-measure的0.6783)。
2020-08-24 cs.CL
Large Language Models for Propaganda Detection
University of Zurich(苏黎世大学)
研究评估了GPT-3和GPT-4在SemEval-2020数据集上的宣传检测性能,发现GPT-4通过提示工程与微调达到了与RoBERTa最先进方法相当的效果。
2023-11-27 cs.AI cs.CL
Unmasking Propaganda: A Comparative Analysis of Masked and Causal Language Models
University of Bucharest(布加勒斯特大学)
本文通过比较掩码与因果语言模型,在SemEval-2020 Task 11上评估宣传技巧检测,最佳模型F1达63.62,并提出微调与集成可提升性能。
2026-10-05 cs.CL
aschern at SemEval-2020 Task 11: It Takes Three to Tango: RoBERTa, CRF, and Transfer Learning
National Research University Higher School of Economics(国立研究大学高等经济学院);Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,哈马德·本·哈利法大学)
我们描述了我们的系统SemEval-2020任务11关于检测新闻文章中的宣传技巧。我们开发了集成模型,使用基于RoberTa的神经架构,额外的CRF层,两个子任务之间的迁移学习,以及高级后处理来处理任务的多标签性质,嵌套跨度,重复和训练中类似跨度的标签之间的一致性。我们在基线微调的RoBERTa模型上取得了相当大的改进,官方评估将我们的系统在跨度识别子任务的36个团队中排名第三(几乎与第二并列),F1得分为0.491,在技术分类子任务的31个团队中排名第二(几乎与第一并列),F1得分为0.62。
2020-08-06 cs.AI cs.CL cs.IR
Hierarchical Multi-Instance Multi-Label Learning for Detecting Propaganda Techniques
Duke University(杜克大学)
本文将宣传技术分类建模为多实例多标签学习问题,提出基于 RoBERTa 的同时分类模型,并通过决策树辅助分类器引入标签层级依赖,在 SemEval 2020 任务 11 上取得显著提升。
2023-05-30 cs.CL