Perceived and Intended Sarcasm Detection with Graph Attention Networks
现有的讽刺检测系统集中利用语言标记,上下文,或用户级的先验知识。然而,社会研究表明,作者和观众之间的关系可以同样相关的讽刺的使用和解释。在这项工作中,我们提出了一个框架,共同利用(1)用户上下文从他们的历史推文与(2)从用户的会话邻居在交互图的社会信息,上下文的解释后。我们使用图形注意力网络(GAT)在用户和推文的会话线程,结合密集的用户历史表示。除了在最近发布的19k Twitter用户数据集上获得最先进的结果外,还添加了10M未标记的推文作为上下文,我们的研究结果表明,该模型有助于解释作者的讽刺意图,而不是预测他人的讽刺感知。
2021-10-08 cs.CL
Towards Multi-Modal Sarcasm Detection via Hierarchical Congruity Modeling with Knowledge Enhancement
City University of Hong Kong(香港城市大学);Nanyang Technological University(南洋理工大学);University of Washington(华盛顿大学)
讽刺是一种语言现象,指的是字面意义和隐含意图之间的矛盾。由于其复杂的性质,通常很难从文本本身中检测出来。因此,多模态讽刺检测在学术界和工业界都受到了越来越多的关注。然而,大多数现有技术仅对文本输入及其伴随图像之间的原子级不一致进行建模,而忽略了两种模态的更复杂的组合。此外,他们忽视了外部知识中包含的丰富信息,例如,图片说明。本文提出了一种新的层次化的讽刺检测框架,通过探索基于多头交叉注意力机制的原子级一致性和基于图神经网络的成分级一致性,将一致性较低的帖子识别为讽刺。此外,我们利用各种知识资源的讽刺检测的效果。基于Twitter的公共多模态讽刺检测数据集上的评价结果表明了该模型的优越性。
2022-10-17 cs.CL
Reasoning with Sarcasm by Reading In-between
A*Star, Institute for Infocomm Research(新加坡科技研究局资讯通信研究院);Nanyang Technological University(南洋理工大学)
讽刺是一种复杂的言语行为,通常表现在Twitter和Reddit等社交社区上。社交网络上讽刺的流行对观点挖掘系统具有很大的破坏性,这不仅是因为它具有极性翻转的趋势,而且还因为它使用了比喻性语言。讽刺通常表现为一个对比主题之间的积极和消极的情绪或文字比喻的场景。在本文中,我们重新审视了建模对比的概念,以便用讽刺进行推理。更具体地说,我们提出了一个基于注意力的神经模型,它看起来介于两者之间,而不是跨越两者,使其能够显式地对对比和不一致进行建模。我们在Twitter、Reddit和互联网论证语料库的六个基准数据集上进行了广泛的实验。我们提出的模型不仅在所有数据集上实现了最先进的性能,而且还具有更好的可解释性。
2018-05-08 cs.AI cs.CL cs.IR
A Corpus of English-Hindi Code-Mixed Tweets for Sarcasm Detection
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
像Twitter和Facebook这样的社交媒体平台已经成为人们用来表达他们对不同话题的看法的两个最大的媒介。如此大规模的用户数据的产生使得情感分析和意见挖掘等NLP任务变得更加重要。最近,在社交媒体上的文本中使用讽刺已经成为一种流行趋势。使用讽刺会颠倒文本所暗示的意义和极性,这对许多NLP任务构成了挑战。文本中的讽刺检测对于商业和安全服务都越来越重要。我们提出了第一个英语印地语代码混合数据集的推文标记的讽刺和讽刺的存在,每个令牌也注释了一个语言标签。我们提出了一个基线监督分类系统,使用相同的数据集,实现了平均F-得分为78.4后,使用随机森林分类器和执行10倍交叉验证。
2018-05-30 cs.CL
How Effective is Incongruity? Implications for Code-mix Sarcasm Detection
IIT Indore(印度理工学院印多尔分校)
会话系统和社交媒体(如聊天机器人、Facebook、Twitter等)中讽刺的存在给下游NLP任务带来了一些挑战。这是由于讽刺语篇的本意与所表达的意思相反。此外,使用语码混合语言来表达讽刺的现象也日益增多。由于使用不同的词典、语法和标记语料库的稀缺性,目前用于代码混合数据的NLP技术的成功有限。为了解决代码混合和讽刺检测的联合问题,我们提出了通过fastText学习的子词级嵌入来捕获不一致的想法。实证结果表明,我们提出的模型在代码混合的印度式英语数据集上达到了与预训练的多语言模型相当的F1分数,同时训练速度提高了10倍,并且使用了更低的内存占用
2022-02-06 cs.CL cs.LG
Sarcasm Analysis using Conversation Context
Yale University(耶鲁大学);Columbia University(哥伦比亚大学)
用于讽刺检测的计算模型通常依赖于孤立的话语内容。然而,如果没有额外的上下文,说话者的讽刺意图并不总是显而易见的。聚焦于社交媒体讨论,我们研究了三个问题:(1)建模会话上下文是否有助于讽刺检测;(2)我们能否识别会话上下文的哪一部分触发了讽刺回复;以及(3)给定包含多个句子的讽刺帖子,我们能否识别讽刺的特定句子。为了解决第一个问题,我们研究了几种类型的长短期记忆(LSTM)网络,它们可以对会话上下文和当前回合进行建模。我们发现,对上下文和当前回合具有高度关注的LSTM网络,以及条件LSTM网络(Rocktaschel et al. 2016),优于仅读取当前回合的LSTM模型。作为会话语境,我们考虑前一话轮、后一话轮或两者。我们的计算模型在两种类型的社交媒体平台上进行了测试:Twitter和讨论论坛。我们讨论了这些数据集之间的几个差异,从它们的大小到黄金标签注释的性质。为了解决最后两个问题,我们对LSTM模型(有注意力)产生的注意力权重进行了定性分析,并讨论了与人类在两项任务上的表现相比的结果。
2018-08-28 cs.CL
Sarcasm Detection using Context Separators in Online Discourse
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院);Netaji Subhas Institute of Technology(内塔吉·苏巴斯理工学院)
讽刺是一种复杂的言语形式,其含义是含蓄地传达的。作为一种复杂的表达形式,检测讽刺是一个艰巨的问题。识别讽刺的困难有很多陷阱,包括日常交流中的误解,这使得我们越来越关注自动讽刺检测。在第二版的比喻语言处理(FigLang 2020)研讨会中,讽刺检测的共享任务发布了两个数据集,包含来自Twitter和Reddit的响应及其上下文。在这项工作中,我们使用RoBERTa_large来检测两个数据集中的讽刺。我们进一步断言上下文的重要性,在提高性能的上下文词嵌入为基础的模型,通过使用三种不同类型的输入-响应,上下文响应,上下文响应(分离)。我们表明,我们提出的架构执行竞争力的两个数据集。我们还表明,在上下文和目标响应之间添加分离标记会导致Reddit数据集中F1分数提高5.13%。
2020-06-01 cs.CL cs.SI
Context-Aware Pragmatic Metacognitive Prompting for Sarcasm Detection
Computer Science Department(计算机科学系);School of Computer Science(计算机科学学院);Bina Nusantara University(宾努斯大学)
本文提出一种基于检索的元认知修辞提示方法,通过整合上下文信息提升LLMs在讽刺检测中的性能,实验显示在多个数据集上均取得显著提升。
2025-11-26 cs.AI cs.CL
CASCADE: Contextual Sarcasm Detection in Online Discussion Forums
National University of Singapore(新加坡国立大学);A*STAR(新加坡科技研究局);Indian Institute of Science, Bangalore(班加罗尔印度科学学院);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
自动反语检测的文献主要集中在文本的词汇、句法和语义层面的分析。然而,一个讽刺的句子可以表达与上下文的假设,背景和常识知识。在本文中,我们提出了CASCADE(一个ContextuAl SarCasm检测器),采用了混合的方法,内容和上下文驱动的建模讽刺检测在线社交媒体讨论。对于后者,CASCADE旨在从讨论线程的话语中提取上下文信息。此外,由于讽刺的性质和表达形式可以因人而异,CASCADE利用对用户的文体特征和个性特征进行编码的用户嵌入。当与基于内容的特征提取器(如卷积神经网络(CNN))一起使用时,我们看到大型Reddit语料库的分类性能显着提高。
2018-05-16 cs.CL
Deep and Dense Sarcasm Detection
University of KwaZulu-Natal(夸祖鲁-纳塔尔大学)
最近在自动讽刺检测方面的工作重点放在上下文和元数据上。虽然某些话语确实需要背景知识和常识推理,以前的作品只探索了浅模型捕捉词汇,句法和语义线索内的文本。在本文中,我们提出了一个深56层网络,实现了密集的连接来模拟孤立的话语,并提取更丰富的特征。我们比较我们的方法对最近的国家的最先进的架构,使大量使用的外部信息,并展示竞争力的结果,同时只使用本地功能的文本。此外,我们提供了在生成最终特征图时对先前卷积输出的依赖性的分析。最后,一个案例研究,支持我们的方法准确地分类其他使用明确的讽刺,一个标准的CNN错误分类。
2019-11-19 cs.CL
Sarcasm Detection in a Disaster Context
University of Illinois Chicago(伊利诺伊大学芝加哥分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文构建含15,000条推文的 HurricaneSARC 讽刺标注数据集,利用预训练语言模型和中间任务迁移学习检测灾害语境中的讽刺,最佳模型 F1 达0.70。
2023-08-16 cs.CL cs.LG
AraCOVID19-SSD: Arabic COVID-19 Sentiment and Sarcasm Detection Dataset
Research Centre on Scientific and Technical Information (CERIST)(科学技术信息研究中心(CERIST))
冠状病毒病(COVID-19)是一种传染性呼吸道疾病,于2019年12月下旬在中国武汉首次发现,随后在全球范围内传播,造成大量恐慌和死亡。Facebook和Twitter等社交网站的用户一直专注于阅读、发布和分享有关新出现的大流行病的新奇事物、推文和文章。许多这些用户经常使用讽刺来以幽默,有趣和间接的方式传达他们的意图,使得基于计算机的应用程序很难自动理解和识别他们的目标以及他们可以改变的伤害程度。出于对在COVID-19背景下解决此类问题的注释数据集的新兴需求,本文构建并发布了AraCOVID 19-SSD,这是一个手动注释的阿拉伯语COVID-19讽刺和情感检测数据集,包含5,162条推文。为了确认所构建的数据集的实际效用,已经使用几种分类模型对其进行了仔细的分析和测试。
2021-10-05 cs.AI cs.CL
Sentiment Analysis and Sarcasm Detection of Indian General Election Tweets
University of Allahabad(阿拉哈巴德大学)
在当今的数字世界中,社交媒体的使用率已达到历史最高水平。大多数人使用社交媒体工具(如Twitter,Facebook,YouTube等)。与社区分享他们的想法和经验。分析普通民众的情绪和意见对政府和商界都很重要。这是很多传媒机构在选举期间积极进行各种民意调查的原因。在本文中,我们利用2019年Lok Sabha选举期间的Twitter数据分析了印度人民的情绪。我们已经建立了一个自动鸣叫分析器使用迁移学习技术来处理这个问题的无监督性质。在我们的机器学习模型中,我们使用了线性支持向量分类器方法,也使用了词频逆文档频率(TF-IDF)方法来处理推文的文本数据。此外,我们增加了模型的能力,以解决一些用户发布的讽刺性推文,这还没有被该领域的研究人员考虑。
2022-01-03 cs.CL cs.IR cs.LG
Interpretable Bangla Sarcasm Detection using BERT and Explainable AI
BRAC University(BRAC大学)
具有潜在负面动机的积极短语或句子通常被定义为讽刺,其广泛用于当今的社交媒体平台,例如Facebook、Twitter、Reddit等。近年来,社交媒体平台中的活跃用户急剧增加,这提高了对基于NLP的自动化系统的需求,该系统可以用于各种任务,例如确定市场需求、情感分析、威胁检测、然而,由于讽刺通常意味着相反的含义,并且其检测通常是一个具有挑战性的问题,通过基于NLP的模型的数据含义提取变得更加复杂。因此,在过去的几年里,有很多关于英语中的讽刺检测的研究,并且有明显的改进,但孟加拉语中的讽刺检测仍然是一样的。在本文中,我们提出了一个基于BERT的系统,可以达到99.60\%,而使用传统的机器学习算法只能达到89.93\%。此外,我们还采用了本地可解释的模型不可知的解释,介绍了我们的系统。此外,我们还利用了一个新收集的孟加拉语讽刺数据集,BanglaSarc是专门为评估本研究而构建的。该数据集由讽刺和非讽刺评论的新记录组成,其中大部分来自Facebook和YouTube评论部分。
2023-03-22 cs.AI cs.CL
FiLMing Multimodal Sarcasm Detection with Attention
Indian Institute of technology Indore(印度理工学院印多尔分校);NIT Meghalaya(梅加拉亚国家理工学院)
讽刺检测识别其预期含义不同于其表面含义所暗示的含义的自然语言表达。它可以应用于许多NLP任务,如意见挖掘,情感分析等。今天,社交媒体已经产生了大量的多模态数据,用户通过文本和图像表达他们的意见。我们的论文旨在利用多模态数据,以提高现有的讽刺检测系统的性能。到目前为止,已经提出了各种方法,使用文本和图像模态和两者的融合。我们提出了一种新的架构,使用RoBERTa模型与共同关注层的顶部,将输入文本和图像属性之间的上下文不一致。此外,我们通过使用GRU网络捕获多模态信息的文本特征来调节通过FiLMed ResNet块的输入图像,从而集成特征仿射变换。两个模型的输出和来自RoBERTa的CLS令牌被连接并用于最终预测。我们的研究结果表明,我们提出的模型优于现有的最先进的方法6.14%F1分数的公共Twitter多模态讽刺检测数据集。
2021-08-09 cs.CL cs.LG cs.MM
Modelling Context with User Embeddings for Sarcasm Detection in Social Media
INESC-ID Lisboa, Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院INESC-ID里斯本);iSchool, University of Texas at Austin(德克萨斯大学奥斯汀分校信息学院)
我们引入了一个深度神经网络的自动讽刺检测。最近的工作强调,需要模型利用上下文功能,超越词汇和句法线索存在于话语。例如,不同的说话者将倾向于采用关于不同主题的讽刺,因此,讽刺检测模型应该对这样的说话者信息进行编码。目前的方法已经通过费力的特征工程实现了这一点。相比之下,我们建议自动学习,然后利用用户嵌入,与词汇信号一起使用,以识别讽刺。我们的方法不需要复杂的特征工程(以及随之而来的数据抓取);拟合用户嵌入只需要他们以前的帖子中的文本。实验结果表明,我们的模型优于一个国家的最先进的方法,利用广泛的一组精心制作的功能。
2016-07-05 cs.AI cs.CL
Thematic context vector association based on event uncertainty for Twitter
College of Engineering, Pune(浦那工程学院)
针对Twitter非正式语言下关键词提取的挑战,提出基于事件不确定性和数据关联的主题上下文向量提取方法,在COVID-19数据集上聚类轮廓系数较TF和TF-IDF提升0.5%。
2023-04-04 cs.CL
Impact of emoji exclusion on the performance of Arabic sarcasm detection models
Umm Al-Qura University(乌姆·库拉大学);Texas A&M University-San Antonio(德克萨斯A&M大学圣安东尼奥分校)
本文研究从数据集中排除表情符号对阿拉伯语社交媒体讽刺检测模型性能的影响,通过适配和增强AraBERT预训练模型证明移除表情符号可显著提升检测准确率,并为阿拉伯语自然语言处理建立新基准。
2024-05-03 cs.CL cs.LG
An Innovative CGL-MHA Model for Sarcasm Sentiment Recognition Using the MindSpore Framework
Guangxi Police College(广西警察学院)
提出一种整合CNN、GRU、LSTM和多头注意力的CGL-MHA模型,在Headlines和Riloff数据集上分别取得81.20%和79.72%的准确率,有效提升社交媒体讽刺检测性能。
2024-11-02 cs.CL cs.LG
Effectiveness of Data-Driven Induction of Semantic Spaces and Traditional Classifiers for Sarcasm Detection
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Università degli Studi di Trento(特伦托大学);Università degli Studi di Palermo(巴勒莫大学);Italian National Research Council(意大利国家研究委员会)
反语和讽刺是两种复杂的语言现象,广泛应用于日常语言,尤其是社交媒体,但它们代表了自动文本理解的两个严重问题。为了完成这项任务,许多标注语料库已经从多个来源中提取出来,并且似乎在不同的领域中以不同的方式传达讽刺。然而,很少有工作已经做了比较不同的方法之间的可用语料库。此外,通常情况下,每个作者收集和使用自己的数据集来评估自己的方法。在本文中,我们表明,讽刺检测可以通过应用经典的机器学习算法来处理输入文本的潜在语义空间中的子符号表示。主要结果是,我们的研究为讽刺检测问题建立了参考数据集和基线,可以为科学界测试新提出的方法提供服务。
2019-12-06 cs.CL cs.LG stat.ML
A big data approach towards sarcasm detection in Russian
Plekhanov Russian University of Economics(俄罗斯普列汉诺夫经济大学)
本文提出俄语词形变化与文本合成的确定性算法,并通过公开 web 服务实现,依托 OpenCorpora 评估其性能及俄语词类形态复杂性。
2023-06-01 cs.AI cs.CL
Automated Detection of Doxing on Twitter
Pennsylvania State University(宾夕法尼亚州立大学)
Doxing指的是未经个人同意披露个人敏感信息的做法。这种形式的网络欺凌对于在线社交网络来说是一种令人不快的,有时甚至是危险的现象。虽然先前的工作存在于其他类型的网络欺凌的自动识别上,但是需要能够专门检测Twitter上的doxing的方法。我们提出并评估了一套方法,用于自动检测第二和第三方披露Twitter上的敏感私人信息,其中一个子集构成doxing。我们总结了我们的发现背后的共同意图doxing情节和比较九种不同的方法自动检测的基础上字符串匹配和一个热编码的语法,以及单词和上下文字符串嵌入表示的推文。我们确定了一种方法,提供96.86%的准确率和97.37%的召回使用上下文字符串嵌入,并通过讨论我们提出的方法的实用性得出结论。
2022-02-02 cs.AI cs.CL cs.CR
Sifting Robotic from Organic Text: A Natural Language Approach for Detecting Automation on Twitter
Vermont Complex Systems Center(佛蒙特复杂系统中心);Vermont Center for Behavior and Health(佛蒙特行为与健康中心);Vermont Center for Clinical and Translational Science(佛蒙特临床与转化科学中心)
Twitter,一个流行的社交媒体,已经发展成为一个巨大的语言数据来源,充满了观点,情感和讨论。由于Twitter越来越受欢迎,其发挥社会影响力的潜力导致了一个多样化的自动机社区的兴起,通常被称为机器人。这些无机和半有机的Twitter实体可以从善意的(例如,天气更新机器人,求助警报机器人)到恶意的(例如,滥发讯息、广告或激进意见)。现有的检测算法通常利用元数据(推文之间的时间,关注者数量等)。来识别机器人账户在这里,我们提出了一个强大的分类方案,专门使用的自然语言文本从有机用户提供一个标准,用于识别帐户发布自动消息。由于分类器仅对文本进行操作,因此它很灵活,可以应用于Twitter范围之外的任何文本数据。
2016-06-14 cs.CL
Multilingual Twitter Sentiment Classification: The Role of Human Annotators
Jožef Stefan Institute(约瑟夫·斯特凡研究所)
Twitter情绪自动分类的局限性是什么?我们分析了大量不同语言的手动标记的推文,将其用作训练数据,并构建自动分类模型。事实证明,分类模型的质量更多地取决于训练数据的质量和大小,而不是训练模型的类型。实验结果表明,有没有统计上的显着差异的性能的顶级分类模型。我们量化的质量训练数据,通过应用各种注释协议的措施,并确定不同的数据集的弱点。我们表明,当训练集的大小足够大时,模型的性能接近注释者之间的协议。然而,定期监控自注释器和注释器间的协议是至关重要的,因为这可以改善训练数据集,从而提高模型性能。最后,我们表明,有强有力的证据表明,人类感知的情绪类(消极的,中性的,积极的)有序。
2016-05-05 cs.AI cs.CL
A Twitter BERT Approach for Offensive Language Detection in Marathi
Pune Institute of Computer Technology(浦那计算机技术学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
自动攻击性语言检测对于打击仇恨言论的传播至关重要,特别是在社交媒体上。本文介绍了我们在低资源印度语马拉地语攻击性语言识别方面的工作。这个问题被制定为一个文本分类任务,以确定一个tweet作为进攻性或非进攻性。我们在这个分类任务中评估了不同的单语言和多语言BERT模型,重点是用社交媒体数据集预训练的BERT模型。我们比较了MuRIL,MahaTweetBERT,MahaTweetBERT-Hateful和MahaBERT在HASOC 2022测试集上的性能。我们还探索了其他现有的马拉地仇恨言论语料库HASOC 2021和L3立方体MahaHate的外部数据增强。MahaTweet BERT是一个BERT模型,在对组合数据集(HASOC 2021 + HASOC 2022 + MahaHate)进行微调时,对马拉地语推文进行了预训练,在HASOC 2022测试集上的F1得分为98.43,优于所有模型。有了这个,我们还提供了HASOC 2022 / MOLD v2测试集的最新结果。
2022-12-20 cs.CL
Automated Sentiment Classification and Topic Discovery in Large-Scale Social Media Streams
Georgia Institute of Technology(佐治亚理工学院)
本文提出一个面向 Twitter 的大规模情感与主题分析框架,通过关键词定向采集、多模型情感标注、LDA 主题建模及交互式可视化,实现动态地缘政治语境下社交媒体话语的可扩展分析。
2025-05-03 cs.CL
A Unified Deep Learning Architecture for Abuse Detection
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Telefonica Research(西班牙电信研究院);University of Alabama(阿拉巴马大学)
仇恨言论、攻击性语言、性别歧视、种族主义和其他类型的辱骂行为已成为许多在线社交媒体平台的常见现象。近年来,这种不同的虐待行为已经表现出越来越多的频率和强度。这是由于Twitter和Facebook等流行媒体平台的开放性和意愿,以托管敏感或有争议的话题。然而,这些平台没有充分解决在线滥用行为的问题,它们对有效检测和阻止这种不当行为的反应仍然有限。在本文中,我们研究这个复杂的问题,以下一个更全面的方法,认为虐待行为的各个方面。为了使这种方法切实可行,我们专注于Twitter数据,并从不同角度分析用户和文本属性的滥用张贴行为。我们提出了一个深度学习架构,它利用各种各样的可用元数据,并将其与自动提取的隐藏模式内的推文,以检测多个滥用行为规范是高度相关的。我们以无缝、透明的方式应用这种统一的架构来检测不同类型的虐待行为(仇恨言论、性别歧视与种族主义、欺凌、讽刺等)。而不需要对每个任务的模型体系结构进行任何调整。我们用多个数据集来测试所提出的方法,这些数据集解决了Twitter上的不同和多种滥用行为。我们的结果表明,它在很大程度上优于最先进的方法(AUC提高21至45%,取决于数据集)。
2018-02-21 cs.CL cs.SI
Hate Speech Detection: A Solved Problem? The Challenging Case of Long Tail on Twitter
University of Sheffield(谢菲尔德大学);Southwest University(西南大学);Cardiff University(卡迪夫大学);DFKI GmbH(德国人工智能研究中心);Technical University Dresden(德累斯顿工业大学);Universitat Stuttgart(斯图加特大学);Barcelona Supercomputing Centre(巴塞罗那超级计算中心)
近年来,社交媒体上仇恨言论的传播越来越多,迫切需要采取有效的应对措施,这吸引了政府、公司和研究人员的大量投资。已经开发了大量的方法用于在线自动检测仇恨言论。这旨在将文本内容分类为非仇恨或仇恨言论,在这种情况下,该方法还可以识别目标特性(即,仇恨的类型,如种族和宗教)在仇恨言论。然而,我们注意到两者的性能之间存在显著差异(即,非仇恨vs. hate)。在这项工作中,我们认为重点放在后一个问题的实际原因。我们表明,这是一项更具挑战性的任务,因为我们对典型数据集中的语言进行的分析表明,仇恨言论缺乏独特的、有区别的特征,因此在数据集中的“长尾”中很难发现。然后,我们提出了深度神经网络结构作为特征提取器,特别有效地捕捉仇恨言论的语义。我们的方法在基于Twitter的仇恨言论数据集的最大集合上进行了评估,并且在宏观平均F1中能够超过最佳性能方法高达5个百分点,或者在识别仇恨内容的更具挑战性的情况下超过8个百分点。
2018-10-25 cs.CL
Towards Automatic Bot Detection in Twitter for Health-related Tasks
University of Pennsylvania(宾夕法尼亚大学);Emory University(埃默里大学)
随着越来越多地使用社交媒体数据进行健康相关研究,来自此来源的信息的可信度受到质疑,因为这些帖子可能来自自动账户或“机器人”。虽然已经提出了自动机器人检测方法,但还没有对发布健康相关信息的用户进行评估。在本文中,我们扩展了现有的机器人检测系统,并将其定制为与健康相关的研究。使用Twitter用户的数据集,我们首先表明,该系统,这是专为政治机器人检测,当应用于健康相关的Twitter用户表现不佳。然后,我们结合了额外的功能和统计机器学习分类器,以显着提高机器人检测性能。我们的方法获得的F_1得分为0.7的“机器人”类,代表0.339的改进。我们的方法是可定制的和可推广的机器人检测在其他健康相关的社交媒体队列。
2019-09-29 cs.CL cs.SI
Automated Detection of Cyberbullying Against Women and Immigrants and Cross-domain Adaptability
The University of Adelaide(阿德莱德大学);University of Moratuwa(莫拉图瓦大学)
由于社交媒体技术的使用激增,网络欺凌是一个普遍和日益严重的社会问题。少数民族、妇女和青少年是网络欺凌的常见受害者。尽管NLP技术取得了进步,但自动化网络欺凌检测仍然具有挑战性。本文的重点是使用最先进的NLP技术来推进该技术。我们使用SemEval 2019 - Task 5(HatEval)的Twitter数据集来研究针对女性和移民的仇恨言论。我们基于DistilBERT的性能最好的集成模型在分类仇恨言论(任务A)和攻击性和目标(任务B)的任务中分别达到了0.73和0.74的F1分数。我们调整了为任务A开发的集成模型,以分类外部数据集中的攻击性语言,并使用三个基准数据集获得了约0.7的F1分数,从而实现了跨领域适应性的良好结果。我们对错误分类的推文进行定性分析,为未来的网络欺凌研究提供有见地的建议。
2020-12-04 cs.CL
Stylometric Detection of AI-Generated Text in Twitter Timelines
Arizona State University(亚利桑那州立大学);STR
预训练的语言模型的最新进展使得能够实现用于大规模生成类人文本的方便方法。虽然这些生成功能具有突破性应用的巨大潜力,但它也可能成为对手生成错误信息的工具。特别是,像Twitter这样的社交媒体平台非常容易受到人工智能生成的错误信息的影响。一种潜在的威胁场景是,攻击者劫持了一个可信的用户帐户,并结合了一个自然语言生成器来生成错误信息。这种威胁需要在给定用户的Twitter时间轴中自动检测AI生成的推文。然而,推文本质上是短的,因此使得当前最先进的基于预先训练的语言模型的检测器难以准确地检测AI在给定的Twitter时间轴中的什么点开始生成推文。在本文中,我们提出了一种新的算法,使用风格信号来帮助检测AI生成的推文。我们提出了两个相关任务中量化人类和AI推文风格变化的模型:任务1 -区分人类和AI生成的推文,任务2 -检测AI是否以及何时开始在给定的Twitter时间轴中生成推文。我们广泛的实验表明,样式特征在增强最先进的AI生成的文本检测器方面是有效的。
2023-03-07 cs.CL cs.LG
Ontology Driven Disease Incidence Detection on Twitter
Makerere University(麦克雷雷大学)
在这项工作中,我们解决的问题,通用自动化的疾病发病率监测在twitter上。我们采用的疾病相关概念的本体,并使用它来获得一个概念表示的推文。与以前的基于关键词的系统和主题建模方法不同,我们的本体论方法允许我们应用更严格的标准来确定哪些消息是相关的,如空间和时间特征,同时更有力地保证所产生的模型在可能是词汇发散的新数据上表现良好。我们通过训练学习者的概念而不是单个单词来实现这一点。对于训练,我们使用包含流感和李斯特菌提及的数据集,并使用学习的模型对包含任意选择的其他疾病提及的数据集进行分类。我们表明,我们的本体论的方法实现了良好的性能在这项任务上使用各种自然语言处理技术。我们还表明,词向量可以直接从我们的概念中学习,以达到更好的效果。
2016-11-21 cs.CL cs.IR
Syndromic classification of Twitter messages
National Institute of Informatics(国立信息学研究所)
最近的研究表明,社交网络数据与国家流感发病率之间存在很强的相关性。我们扩展了这一成功,开发了一个自动化的文本挖掘系统,该系统根据公共卫生本体的关键术语将Twitter消息实时的分类为六个症状类别。10-在7431条Twitter消息的语料库上,使用折叠交叉验证测试来比较朴素贝叶斯(NB)和支持向量机(SVM)模型。SVM在6个证候中的4个上的表现优于NB。表现最好的分类器显示出中等强度的F1评分:呼吸= 86.2(NB);胃肠道= 85.4(SVM多项式核度2);神经学= 88.6(SVM多项式核度1);皮疹= 86.0(SVM多项式核度1);体质= 89.3(SVM多项式核度1);出血= 89.9(NB)。将得到的分类器与EARS C2畸变检测算法一起部署在实验在线系统中。
2011-10-13 cs.CL cs.IR cs.SI
Twitter Bot Detection Using Bidirectional Long Short-term Memory Neural Networks and Word Embeddings
York University(约克大学)
Twitter是一个网络应用程序,扮演着在线社交网络和微博的双重角色。Twitter的流行和开放结构吸引了大量的自动化程序,被称为机器人。合法机器人生成大量良性上下文内容,即,tweets提供新闻和更新提要,而恶意机器人则传播垃圾邮件或恶意内容。为了帮助人类用户识别他们正在与谁交互,本文重点关注Twitter上的人类和垃圾邮件账户的分类,通过采用递归神经网络,特别是双向长短期记忆(BiLSTM),有效地捕获推文的特征。据我们所知,我们的工作是第一个开发具有词嵌入的递归神经模型,以区分Twitter机器人和人类帐户,不需要事先了解或假设用户的个人资料,友谊网络或目标帐户的历史行为。此外,我们的模型不需要任何手工制作的功能。初步的模拟结果非常令人鼓舞。在cresci-2017数据集上的实验表明,与现有的最先进的机器人检测系统相比,我们的方法可以实现具有竞争力的性能。
2020-02-03 cs.CL cs.CR cs.LG
Spam and Sentiment Detection in Arabic Tweets Using MARBERT Model
Imam Abdulrahman Bin Faisal University(伊玛目阿卜杜勒拉赫曼·本·法伊塞尔大学);Saudi Telecom Company(沙特电信公司);Saudi Aramco Cybersecurity Chair(沙特阿美网络安全主席)
本研究利用MARBERT模型对阿拉伯语推文进行情感分析,以提升沙特电信公司客户服务,在24,513条推文数据集上取得了优于现有技术的准确率。
2026-06-25 cs.AI cs.CL
Multi-Class and Automated Tweet Categorization
DHA Suffa University(DHA苏法大学)
Twitter是世界上最流行的社交媒体平台之一,有数百万人使用。它用于表达关于政治,社会,商业,体育,健康,宗教和其他各种类别的想法和意见。这里报告的研究旨在从文本中检测推文类别。当文本仅由140个字符组成时,它变得非常具有挑战性,充满了噪音。使用文本挖掘或自然语言处理(NLP)和机器学习(ML)技术将推文分类为12个指定类别。据观察,Twitter提供了大量的趋势主题,但要找出这些趋势主题是关于什么的,确实具有挑战性。因此,对于大量的信息抽取任务来说,自动将推文分类为一般类别是非常关键的。通过组合具有不同类别识别复杂度水平的两种不同性质的数据集来构建大数据集。专家们根据适当的准则对它进行了注释,以提高质量和高一致性值。这使得所提出的模型非常强大。各种类型的ML算法被用来训练和评估所提出的模型。这些模型分别在三个数据集上进行了探索。研究表明,数据集的性质是高度非线性的,因此复杂或非线性模型的性能更好。命名为梯度提升的最佳集成模型实现了85%的AUC评分。这比其他相关研究要好得多。
2021-11-13 cs.CL cs.SI
Does Twitter know your political views? POLiTweets dataset and semi-automatic method for political leaning discovery
Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学)
每天,世界上都充斥着在Twitter或Facebook上发布的数百万条信息和声明。社交媒体平台试图保护用户的个人数据,但仍然存在滥用的风险,包括选举操纵。你知道吗,只有13篇文章涉及社会上重要或有争议的话题,就足以预测一个人的政治倾向,F1分数为0.85?为了研究这一现象,我们创建了一种新的半自动政治学习发现的通用方法。它依赖于一个人工智能数据注释程序,该程序被评估为与人类注释者达到0.95的一致性(作为准确性度量)。我们还介绍了POLiTweets -第一个公开开放的波兰数据集,用于在多方设置中发现政治派别,包括来自近10 k波兰写作用户的147 k推文,以及来自166个用户的近40 k推文,作为测试集手动注释。我们使用我们的数据来研究主题背景下的领域转移方面和内容作者的类型-普通公民与专业政治家。
2022-06-14 cs.CL cs.LG cs.SI
Alt-Text with Context: Improving Accessibility for Images on Twitter
Carnegie Mellon University(卡内基梅隆大学);LatinX in AI(LatinX in AI(拉丁裔人工智能组织));University of California San Diego(加利福尼亚大学圣迭戈分校)
提出融合推文文本与图像视觉信号的多模态 alt-text 生成模型,并构建 371k Twitter 数据集,证明两类上下文效用叠加且 BLEU@4 较先前方法提升逾 2 倍。
2024-02-29 cs.CL cs.CV cs.LG
Leveraging Intra-User and Inter-User Representation Learning for Automated Hate Speech Detection
University of California, Santa Barbara(加州大学圣巴巴拉分校)
仇恨语音检测是自然语言处理(NLP)中的一个关键而又具有挑战性的问题。尽管存在许多致力于开发NLP仇恨言论检测方法的研究,但准确性仍然很差。核心问题是,社交媒体帖子简短而嘈杂,大多数现有的仇恨言论检测解决方案将每个帖子作为孤立的输入实例,这可能会产生高误报率和误报率。在本文中,我们从根本上提高了自动仇恨言论检测,提出了一种新的模型,利用内部用户和用户间的表示学习强大的仇恨言论检测在Twitter上。除了目标推文,我们收集和分析用户的历史帖子,以模拟用户内推文表示。为了抑制单个推文中的噪声,我们还使用增强的用户间表示学习技术对所有其他用户发布的类似推文进行建模。实验表明,利用这两种表示可以将强双向LSTM基线模型的f分数显著提高10.1%。
2018-09-14 cs.AI cs.CL
IAI Group at CheckThat! 2024: Transformer Models and Data Augmentation for Checkworthy Claim Detection
University of Stavanger(斯塔万格大学)
本文介绍IAI团队在CheckThat! 2024任务1中,利用Transformer模型、少样本链式思维、微调、数据增强和跨语言迁移学习,在英荷阿三语可核查声明检测中分别取得第九、第三和第一的成绩。
2024-08-02 cs.CL
Beyond Benchmarks: Exposing the Hidden Crisis in Bangla Hate Speech Detection
Rajshahi University of Engineering and Technology(拉杰沙希工程技术大学);University of York(约克大学)
研究孟加拉语仇恨言论检测,训练六种架构于基准和多源数据集,在外部验证。发现基准训练模型泛化危机,如孟加拉语BERT在外部数据集性能下降,强调需开发适应性框架,为设计检测系统提供见解。
2026-07-14 cs.CL
Cyberbullying Detection in Hinglish Text Using MURIL and Explainable AI
Department of Computer Science & Engineering, National Institute of Technology Hamirpur(计算机科学与工程系,哈米尔普尔国家理工学院)
本文提出基于MURIL架构的Hinglish文本网络欺凌检测框架,在六个基准数据集上优于RoBERTa和IndicBERT,准确率达75.41%-94.63%,并集成可解释性分析。
2025-06-19 cs.CL
Antisemitic Messages? A Guide to High-Quality Annotation and a Labeled Dataset of Tweets
Indiana University Bloomington(印第安纳大学布卢明顿分校);Technical University Berlin(柏林工业大学)
针对自动仇恨言论检测缺乏标注一致的数据集的问题,本研究提出严格遵循IHRA反犹定义的标注流程,构建了含6941条英文推文的反犹言论标注数据集,助力降低反犹言论自动检测的假阳性率。
2023-04-28 cs.CL cs.CY
Automated Fake News Detection using cross-checking with reliable sources
Sharif University of Technology(谢里夫理工大学)
在过去的十年里,假新闻和错误信息已经成为一个重大问题,影响了我们生活的各个方面,包括政治和公共卫生。受自然人类行为的启发,我们提出了一种自动检测假新闻的方法。人类的自然行为是用可靠的来源交叉检查新信息。我们使用自然语言处理(NLP)并构建了一个机器学习(ML)模型,该模型可以自动交叉检查新信息与一组预定义的可靠来源。我们为Twitter实现了这一点,并构建了一个标记虚假推文的模型。具体来说,对于给定的推文,我们使用其文本从可靠的新闻机构中查找相关新闻。然后,我们训练一个随机森林模型,该模型检查推文的文本内容是否与可信新闻一致。如果不是,则该推文被归类为虚假。这种方法通常可以应用于任何类型的信息,而不限于特定的新闻故事或信息类别。我们的这种方法的实现提供了一个$70\%$的准确性,优于其他通用的假新闻分类模型。这些结果为更明智和自然的假新闻检测方法铺平了道路。
2022-01-01 cs.CL cs.SI physics.soc-ph
Automated Ableism: An Exploration of Explicit Disability Biases in Sentiment and Toxicity Analysis Models
Pennsylvania State University(宾夕法尼亚州立大学);College of Information Sciences and Technology(信息科学与技术学院)
本研究针对情感分析与毒性检测模型中的残障偏见问题,采用扰动敏感性分析框架研究社交平台对话,构建BITS语料库量化偏见,发现多款主流工具和模型均存在统计显著的针对残障人士的显性偏见。
2023-07-18 cs.AI cs.CL cs.CY
Evaluating the Performance of Large Language Models in Scientific Claim Detection and Classification
Colorado State University(科罗拉多州立大学)
本研究评估了大型语言模型在检测和分类COVID-19相关科学声明中的性能,提出其在自动化事实核查和公共卫生传播中具有显著潜力。
2024-12-21 cs.CL cs.CY cs.LG