Danish Stance Classification and Rumour Resolution
IT University of Copenhagen(哥本哈根信息技术大学)
互联网上充斥着通过微博和社交媒体传播的大量谣言。最近的研究表明,分析人群对谣言的立场是判断其真实性的一个很好的指标。一个最先进的系统使用LSTM神经网络通过考虑整个分支的上下文来自动分类Twitter上的帖子的立场,而另一个更简单的决策树分类器通过执行仔细的特征工程来执行至少同样好的。预测谣言真实性的一种方法是使用立场作为隐马尔可夫模型(HMM)的唯一特征。本文生成了一个丹麦语的带有stance注释的Reddit数据集,并实现了各种用于stance分类的模型。其中,线性支持向量机提供了最好的结果,精度为0.76,宏F1得分为0.42。此外,实验表明,立场标签可以跨语言和平台使用HMM来预测谣言的真实性,准确率为0.82,F1得分为0.67。仅依靠丹麦数据集就能获得更高的分数。在这种情况下,准确性预测的准确度为0.83,F1为0.68。最后,当使用自动立场标签的HMM,只有一个小的性能下降,观察到,所实现的系统可以有实际应用。
2019-07-02 cs.CL cs.SI
Stance Classification in Rumours as a Sequential Task Exploiting the Tree Structure of Social Media Conversations
University of Warwick(华威大学);University of Sheffield(谢菲尔德大学)
谣言立场分类,即确定讨论谣言的集合中的每条推文是支持,否认,质疑还是简单地评论谣言的任务,一直吸引着大量的兴趣。在这里,我们介绍了一种新的方法,利用在Twitter的树结构的会话线程中观察到的转换序列。会话线程是通过收集用户对彼此的回复而形成的,这导致了嵌套的树状结构。以前的工作解决的立场分类任务处理每个鸣叫作为一个单独的单元。在这里,我们分析推文凭借其在序列中的位置,并测试两个顺序分类,线性链CRF和树CRF,其中每一个使不同的假设的会话结构。我们用8个Twitter数据集进行了实验,这些数据集是在突发新闻期间收集的,结果表明,利用Twitter对话的顺序结构比非顺序方法有了显着的改进。我们的工作是第一个以这种方式将Twitter对话建模为树结构,引入了一种新的方式来处理Twitter对话上的NLP任务。
2016-10-11 cs.CL cs.SI
Discourse-Aware Rumour Stance Classification in Social Media Using Sequential Classifiers
University of Warwick(华威大学);Alan Turing Institute(艾伦·图灵研究所);University of Sheffield(谢菲尔德大学);University of Melbourne(墨尔本大学);University of Copenhagen(哥本哈根大学)
谣言立场分类,定义为将特定社交媒体帖子的立场分类为支持,否认,质疑或评论早期帖子之一,正在成为研究人员越来越感兴趣的问题。虽然大多数以前的工作都集中在使用个人推文作为分类器的输入,在这里,我们报告的顺序分类器,利用社会媒体互动或“会话线程”固有的话语功能的性能。测试四个顺序分类器的有效性-霍克斯过程,线性链条件随机场(线性CRF),树结构条件随机场(树CRF)和长短期记忆网络(LSTM)-在与突发新闻故事相关的八个数据集上,并查看不同类型的本地和上下文特征,我们的工作为准确的立场分类器的开发提供了新的思路。我们发现,顺序分类器,利用社会媒体对话中的话语属性的使用,同时只使用本地功能,优于非顺序分类器。此外,我们还证明了使用精简特征集的LSTM可以优于其他顺序分类器;这种性能在数据集和立场类型之间是一致的。最后,我们的工作还分析了正在研究的不同特征,确定了那些最有助于识别和区分立场的特征,例如支持推文比否认推文更有可能伴随证据。我们还提出了一些未来研究的方向。
2017-12-06 cs.CL cs.SI
All-in-one: Multi-task Learning for Rumour Verification
University of Warwick(华威大学);Alan Turing Institute(艾伦·图灵研究所)
谣言的自动解决是一项具有挑战性的任务,可以分解为组成管道的较小组件,包括谣言检测,谣言跟踪和立场分类,最终确定谣言的真实性。在以前的工作中,谣言核实过程中的这些步骤已经被开发为单独的组件,其中一个组件的输出输入到下一个组件。我们提出了一种多任务学习方法,允许主任务和辅助任务的联合训练,提高了谣言验证的性能。我们研究了数据集属性和所使用的多任务学习模型的结果之间的联系。
2018-06-10 cs.CL
Detection and Resolution of Rumours in Social Media: A Survey
University of Warwick(华威大学);University of Sheffield(谢菲尔德大学);University of Duisburg-Essen(杜伊斯堡-埃森大学);Alan Turing Institute(艾伦·图灵研究所)
尽管越来越多地使用社交媒体平台收集信息和新闻,但其无节制的性质往往导致谣言的出现和传播,即发布时未经核实的信息。与此同时,社交媒体平台的开放性为研究用户如何分享和讨论谣言提供了机会,并探索如何使用自然语言处理和数据采掘技术来找到确定谣言真实性的方法。在这项调查中,我们介绍并讨论了社交媒体上流传的两种类型的谣言;长期流传的谣言,以及在快节奏的事件中产生的新谣言,如突发新闻,其中报告是零碎发布的,并且在早期阶段往往未经核实。我们提供了一个概述的研究到社交媒体谣言的最终目标是开发一个谣言分类系统,包括四个组成部分:谣言检测,谣言跟踪,谣言立场分类和谣言的真实性分类。我们深入研究了科学文献中提出的用于开发这四个组件的方法。我们总结的努力和成就,到目前为止,对发展的谣言分类系统,并得出结论,为今后的研究在社会媒体挖掘的检测和解决谣言的途径的建议。
2018-04-03 cs.CL cs.HC cs.IR
A Survey on Stance Detection for Mis- and Disinformation Identification
Checkstep Research(Checkstep研究院);Sofia University “St. Kliment Ohridski”(圣基里尔·奥赫里德斯基索非亚大学);University of Copenhagen(哥本哈根大学);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
理解文本中表达的态度,也称为立场检测,在检测在线虚假信息的系统中起着重要作用,无论是错误信息(无意中的错误信息)还是虚假信息(故意的错误信息)。立场检测有不同的框架,包括(a)作为事实核查、谣言检测和检测先前经过事实核查的声明的一个组成部分,或(b)作为其本身的一项任务。虽然先前已经努力将立场检测与诸如论证挖掘和情感分析之类的其他相关任务进行对比,但是还没有关于检查立场检测与错误和虚假信息检测之间的关系的现有调查。在这里,我们的目标是通过审查和分析这一领域的现有工作来弥合这一差距,重点关注错误和虚假信息,并讨论吸取的教训和未来的挑战。
2022-05-08 cs.CL cs.SI
SCRum-9: Multilingual Stance Classification over Rumours on Social Media
本文引入覆盖9种语言、含7516条推文的多语言谣言立场分类数据集SCRum-9,通过基准测试模型并探索合成数据应用,发现其可提升小型MLMs性能,还揭示模型预测与人类模糊案例判断的关联,推动相关研究。
2025-11-15 cs.CL
Bi-Directional Recurrent Neural Ordinary Differential Equations for Social Media Text Classification
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
由于文本的嘈杂和简短性质,对Twitter等社交媒体中的帖子进行分类是困难的。基于递归神经网络(RNN)的序列分类模型对于分类本质上是连续的帖子是流行的。RNN假设隐藏的表示动态以离散的方式演化,并且不考虑发布的确切时间。在这项工作中,我们建议使用递归神经常微分方程(RNODE)进行社交媒体帖子分类,考虑发布时间,并允许隐藏表示的计算以时间敏感的连续方式发展。此外,我们提出了一种新的模型,双向RNODE(Bi-RNODE),它可以考虑在两个方向上的信息流的张贴时间预测后标签。我们的实验表明,RNODE和Bi-RNODE是有效的社会媒体中的谣言的立场分类的问题。
2021-12-23 cs.CL cs.LG
Rumour Evaluation with Very Large Language Models
University of Waterloo(滑铁卢大学)
本研究利用GPT-3.5-turbo和GPT-4扩展RumourEval任务的真实性预测与立场分类子任务,在真实性预测上显著超越先前结果,并为所有预测配备置信度分数和事后解释,旨在通过AI对抗社交媒体虚假信息。
2024-04-11 cs.CL cs.SI
RumourEval 2019: Determining Rumour Veracity and Support for Rumours
University of Sheffield(谢菲尔德大学);IT University of Copenhagen(哥本哈根信息技术大学);University of Warwick(华威大学)
这是RumourEval-2019的提案,该提案将于2019年初作为当年SemEval活动的一部分运行。自2017年第一个RumourEval共享任务以来,对自动索赔验证的兴趣大大增加,因为“假新闻”的危险已经成为主流关注点。然而,对谣言检查的自动化支持仍处于起步阶段。因此,重要的是,这一领域的共同任务必须继续为可能增加的努力提供一个重点。因此,我们建议继续确定进一步谣言的真实性,并且像以前一样,支持这一目标,讨论它们的推文根据他们对谣言采取的立场进行分类。与第一个RumourEval相比,范围得到了扩展,因为数据集大幅扩展,包括Reddit和Twitter数据,还包括其他语言。
2018-09-18 cs.CL
Stance Prediction for Russian: Data and Analysis
Innopolis University(因诺波利斯大学);ITU Copenhagen(哥本哈根信息技术大学)
立场检测是谣言和假新闻识别的关键组成部分。它涉及提取特定作者对给定主张采取的立场,两者都在文本中表达。本文研究俄语的立场分类。它引入了一个新的数据集,RuStance,来自多个来源的俄罗斯推文和新闻评论,涵盖多个故事,以及文本分类方法来检测立场,作为这种语言中这些数据的基准。除了介绍这个开放的数据集,这是俄语的第一个此类数据集,本文还介绍了该语言中立场预测的基线。
2018-10-03 cs.CL
Incorporating Count-Based Features into Pre-Trained Models for Improved Stance Detection
University of Birmingham(伯明翰大学);School of Computer Science(计算机学院);United Kingdom(英国)
社交媒体的爆炸性增长和普及彻底改变了我们沟通和协作的方式。不幸的是,这种获取和分享信息的便利导致了错误信息和宣传的爆炸。鉴于姿态检测可以显著帮助准确性预测,这项工作的重点是提高自动姿态检测,这是一项预先训练的模型非常成功的任务,就像其他几项任务一样。这项工作表明,立场检测的任务可以受益于基于特征的信息,特别是在某些表现不佳的类,然而,使用集成将这些特征集成到预先训练的模型中是具有挑战性的。我们提出了一种新的架构,用于将特征与预训练模型集成,以解决这些挑战,并在RumourEval 2019数据集上测试我们的方法。该方法在测试集上获得了最先进的结果,F1得分为63.94。
2020-10-18 cs.CL
Overview of ImageArg-2023: The First Shared Task in Multimodal Argument Mining
University of Pittsburgh(匹兹堡大学)
本文介绍了首个多模态论辩挖掘共享任务ImageArg,包含推文立场分类和图像说服力分类两个子任务,并报告了来自多国团队的提交情况及最佳F1分数结果。
2023-10-24 cs.CL
Stance Detection in Prediction Markets: Addressing Imbalanced Trader Commentary via Counterfactual Augmentation and Market Context
Department of Computer Science(计算机科学系);Stony Brook University(石溪大学)
针对预测市场评论中极端不平衡的立场检测问题,提出结合市场上下文和LLM驱动的反事实增强方法,显著提升了少数类(反对立场)的召回率和F1值。
2026-05-27 cs.CL
Epistemic Stance Flexibility Probing: Measuring Prompt-Conditioned Register Shift in Large Language Models
研究大语言模型在不同归因提示下的认知立场灵活性,引入ESFP基准,涵盖多类别多模板项目,从四个维度评估模型响应,发现认知灵活性与模型能力正交,立场内容密度信号最强。
2026-07-15 cs.CL
SWAY: A Counterfactual Computational Linguistic Approach to Measuring and Mitigating Sycophancy
Johns Hopkins University(约翰霍普金斯大学)
本文提出SWAY,一种无监督的计算语言学指标,用于衡量和缓解大语言模型的谄媚倾向。通过反事实提示机制,识别模型在正负语言压力下的同意变化,发现谄媚倾向随认知承诺增加而增强,并提出基于反事实的CoT缓解策略,有效降低谄媚倾向而不影响对真实证据的响应。
2026-04-02 cs.CL cs.CY
The Model as One Rater Among Several: Measuring Political Positions in Data-Sparse Regions with a Language-Model Panel
Independent researcher(独立研究者)
提出将大语言模型作为面板中的一位评估者,通过多模型投票测量政治立场,在数据稀疏区域(如中东和北非)验证了可靠性,并发现分歧可提供信息。
2026-10-30 cs.AI cs.CL cs.CY