HateMonitors: Language Agnostic Abuse Detection in Social Media
Indian Institute of Technology, Kharagpur（印度理工学院卡格普尔分校）
减少在线社交媒体中的仇恨和攻击性内容给版主带来了双重问题。一方面，不能对社交媒体实施严格的审查。另一方面，不能允许这种内容的自由流动。因此，我们需要有效的辱骂性语言检测系统来检测社交媒体中的有害内容。在本文中，我们介绍了我们的机器学习模型HateMonitor，该模型是为印欧语言仇恨语音和攻击性内容识别（HASOC）而开发的，这是FIRE 2019的一项共享任务。我们使用了梯度提升模型，以及BERT和LASER嵌入，使系统语言不可知。我们的模型在德国子任务A中处于第一位。我们还在https://github.com/punyajoy/HateMonitors-HASOC上公开了我们的模型。
2019-09-27 cs.CL cs.SI
Transfer Learning via Lexical Relatedness: A Sarcasm and Hate Speech Case Study
University of Southern California（南加州大学）
本文研究将讽刺识别作为预训练步骤对隐式及显式仇恨言论检测的迁移学习效果，通过两种训练策略在CNN+LSTM和BERT+BiLSTM模型上验证，证明讽刺预训练能显著提升多项检测指标。
2025-08-22 cs.CL cs.LG
CONAN -- COunter NArratives through Nichesourcing: a Multilingual Dataset of Responses to Fight Online Hate Speech
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
尽管在法律和政策方面做出了前所未有的努力，以充分应对社交媒体平台上的仇恨内容，但处理网上仇恨仍然是一个棘手的问题。以删除内容或暂停用户的标准方式处理仇恨言论可能会被指控审查和过度封锁。另一种策略，到目前为止研究界很少关注，是用反叙事（即知情的文本回应）来反对仇恨内容。在本文中，我们描述了第一个大规模，多语言，基于专家的仇恨言论/反叙事对数据集的创建。这个数据集是由来自三个不同非政府组织的100多名操作员努力建立的，他们将自己的培训和专业知识应用于这项任务。与收集的数据一起，我们还提供了关于专家人口统计学，仇恨和反应类型的额外注释，以及通过翻译和释义的数据增强。最后，我们提供了初步的实验来评估我们的数据的质量。
2019-10-08 cs.CL cs.CY
A Benchmark Dataset for Learning to Intervene in Online Hate Speech
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Intel AI（英特尔人工智能）
打击网上仇恨言论是一项关键而又具有挑战性的任务，但可以通过使用自然语言处理（NLP）技术来帮助。以前的研究主要集中在开发NLP方法，以自动有效地检测在线仇恨言论，同时忽略了需要采取进一步行动来平息和阻止个人在未来使用仇恨言论。此外，大多数现有的仇恨言论数据集将每个帖子视为一个孤立的实例，忽略了会话上下文。在本文中，我们提出了一个新的任务生成仇恨言论干预，其目标是自动生成响应，在包含仇恨言论的在线对话进行干预。作为这项工作的一部分，我们介绍了从Gab和Reddit收集的两个完全标记的大规模仇恨言论干预数据集。这些数据集提供了对话片段，仇恨言论标签，以及由土耳其机械工人撰写的干预回应。在本文中，我们还分析了数据集，以了解常见的干预策略，并探讨了常见的自动响应生成方法在这些新数据集上的性能，为未来的研究提供了一个基准。
2019-09-10 cs.AI cs.CL cs.CY
Training-Time Explainability for Multilingual Hate Speech Detection: Aligning Model Reasoning with Human Rationales
Technological University Dublin（都柏林理工大学）；National University of Sciences and Technology（国家科技大学）；Maynooth University（梅努斯大学）
该研究针对多语言仇恨言论检测的不透明问题，提出训练时可解释性框架，对齐模型推理与人类理由，经HateXplain、BullySent数据集及多方法评估，可提升分类性能与解释质量，助力多语言文化敏感的内容审核。
2026-08-28 cs.AI cs.CL
Generating Counter Narratives against Online Hate Speech: Data and Strategies
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
最近的研究已经开始关注如何在处理网络仇恨时避免内容审核带来的不良影响，例如审查和过度屏蔽。其核心思想是通过文本回应直接干预讨论，旨在对抗仇恨内容并防止其进一步传播。因此，诸如自然语言生成的自动化策略开始被研究。然而，它们缺乏足够的高质量数据，往往只能作出一般性/重复性的答复。意识到上述局限性，我们提出了一项关于如何有效地收集仇恨反应的研究，采用大规模无监督语言模型（如GPT-2）生成银数据，以及可用于专家验证/编辑前数据过滤的最佳注释策略/神经架构。
2020-04-08 cs.CL cs.CY cs.SI
Going Extreme: Comparative Analysis of Hate Speech in Parler and Gab
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
Gab和Parler等被称为“言论自由”网络的社交平台近年来用户群大幅增长。这种受欢迎程度主要归因于Twitter，Facebook和Reddit等主流平台实施的更严格的审核。在这项工作中，我们提供了第一个大规模的分析仇恨言论的Parler。我们实验了一系列用于仇恨语音检测的算法，证明了迁移学习在该领域的局限性，因为仇恨语音的传递方式具有虚幻性和不断变化的性质。为了提高分类准确性，我们注释了10K Parler帖子，我们使用这些帖子来微调BERT分类器。然后，通过社交网络上的标签传播，利用单个帖子的分类来对数百万用户进行分类。根据传播仇恨的倾向对用户进行分类，我们发现仇恨传播者占Parler活跃用户的16.1%，并且与其他用户组相比，他们具有独特的特征。我们发现，仇恨传播者更活跃，更集中，表达不同层次的情绪，并传达一系列不同的情绪，如愤怒和悲伤。我们通过比较Parler和Gab中发现的趋势进一步补充了我们的分析。据我们所知，这是第一个以定量方式和用户层面分析Parler仇恨言论的作品之一，也是第一个向社区提供的注释数据集。
2022-01-27 cs.CL cs.SI
The Constant in HATE: Analyzing Toxicity in Reddit across Topics and Languages
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文基于Reddit上481个社区、六种语言、80个主题的150万条评论线程，系统分析了毒性语言在不同主题和语言社区中的分布规律，发现部分主题的毒性激增模式跨语言一致，而特定语言社区内部则存在显著差异。
2024-04-29 cs.CL
Beyond Denouncing Hate: Strategies for Countering Implied Biases and Stereotypes in Language
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）；Allen Institute for AI（艾伦人工智能研究所）
本文借鉴心理学与哲学提出六种反驳隐含刻板印象的策略，通过用户研究和数据集对比发现人类反言论更具针对性且更有说服力，而机器生成反言论策略较笼统，揭示了在反言论生成中考虑潜在刻板印象含义的重要性。
2023-10-31 cs.AI cs.CL
AfriHate: A Multilingual Collection of Hate Speech and Abusive Language Datasets for African Languages
Imperial College London（伦敦帝国学院）；Bayero University Kano（卡诺贝罗大学）；University of Pretoria（比勒陀利亚大学）；Bahir Dar University（巴赫达尔大学）；University of Hamburg（汉堡大学）；Mila（米拉研究所）；McGill University（麦吉尔大学）；Northeastern University（东北大学）；Maseno University（马塞诺大学）；Digital Umuganda（数字乌干达）；Haramaya University（哈拉马亚大学）；Al Akhawayn University（阿赫瓦因大学）；Uppsala University（乌普萨拉大学）；Istanbul Technical University（伊斯坦布尔理工大学）；SADiLaR（南非洲数字语言资源中心）；University of Deusto（德乌斯托大学）；Instituto Politécnico Nacional（国家理工学院）；Wollo University（沃洛大学）；Addis Ababa University（亚的斯亚贝巴大学）；Lancaster University（兰卡斯特大学）；Bocconi University（博科尼大学）；Cardiff University（卡迪夫大学）
针对全球南方非洲语言仇恨言论管控因缺乏本地高质量数据和社区参与而失效的问题，研究构建了含15种非洲语言、由母语者标注的AfriHate多语言仇恨言论数据集，给出了LLM相关分类基线并开源资源。
2025-01-15 cs.CL
Advancing Hate Speech Detection with Transformers: Insights from the MetaHate
Department of Computer Science, Utah State University（计算机科学系，犹他州立大学）
本研究利用MetaHate数据集（36个数据集、120万样本）全面评估BERT、RoBERTa、GPT-2和ELECTRA等Transformer模型在仇恨言论检测中的表现，微调ELECTRA以F1分数0.8980最优，并分析了讽刺、编码语言和标签噪声等错误挑战。
2025-08-06 cs.CL cs.LG
Offensive Language and Hate Speech Detection for Danish
IT University of Copenhagen（哥本哈根信息技术大学）
社交媒体平台上攻击性语言的存在及其带来的影响正在成为现代社会的一个主要问题。鉴于每天创建的大量内容，需要自动方法来检测和处理此类内容。到目前为止，大多数研究都集中在解决英语语言的问题上，而问题是多语言的。我们构建了一个丹麦数据集，其中包含用户生成的评论\textit{Reddit}和\textit{Facebook}。它包含来自各种社交媒体平台的用户生成的评论，据我们所知，这是同类中的第一个。我们的数据集被注释以捕获各种类型和攻击性语言的目标。我们开发了四个自动分类系统，每个系统都设计用于英语和丹麦语。在检测英语中的攻击性语言时，表现最好的系统达到了$0.74$的宏观平均F1分数，而丹麦语的表现最好的系统达到了$0.70$的宏观平均F1分数。在检测是否有攻击性的帖子作为目标时，英语的最佳表现系统达到了$0.62$的宏观平均F1分数，而丹麦语的最佳表现系统达到了$0.73$的宏观平均F1分数。最后，在有针对性的进攻后的目标类型的检测中，英语的最佳表现系统实现了$0.56$的宏观平均F1分数，并且丹麦语的最佳表现系统实现了$0.63$的宏观平均F1分数。我们对英语和丹麦语的研究捕捉了攻击性语言的类型和目标，并提出了检测不同类型攻击性语言的自动方法，如仇恨言论和网络欺凌。
2023-03-23 cs.CL
ChildGuard: A Specialized Dataset for Combatting Child-Targeted Hate Speech
Macquarie University（麦考瑞大学）；MBZUAI（穆罕默德·本·拉希德人工智能研究所）；DSEU（德里国家理工学院）；Department of Information and Computer Science, KFUPM（科威特石油大学信息与计算机科学系）；Stanford University（斯坦福大学）
针对社交媒体上针对儿童的仇恨言论问题，构建了大规模英文数据集ChildGuard，包含351,877条标注实例，覆盖三个年龄段，并评估了多种模型性能。
2026-06-16 cs.CL cs.SD eess.AS
Measuring a hate speech spectrum with faceted Rasch item response theory and perspective-aware, explainable-by-design deep learning
Center for Precision Psychiatry, Mass General Hospital Department of Psychiatry, Harvard Medical School（精准精神病学中心，麻省总医院精神病科，哈佛医学院）；D-Lab University of California, Berkeley（加州大学伯克利分校D实验室）
提出结合监督深度学习与分面Rasch项目反应理论的方法，将仇恨言论分解为10个有序标签，通过IRT模型转化为区间测量值并调整标注者视角，在RoBERTa模型上提升准确性，实现连续谱系测量与可解释性。
2026-06-08 cs.CL cs.LG cs.SI
ETHOS: an Online Hate Speech Detection Dataset
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
网络仇恨言论是我们社会中最近出现的一个问题，通过利用覆盖大多数社交媒体平台的相应政权的脆弱性，这个问题正在稳步上升。这种现象主要是由攻击性评论引起的，无论是在用户交互期间还是以发布的多媒体上下文的形式。如今，大公司拥有每天有数百万用户登录的平台，为了遵守相应的立法并保持高水平的服务质量，防止类似现象的暴露似乎是必要的。一个强大而可靠的系统，用于检测和防止相关内容的上传，将对我们的数字互联社会产生重大影响。我们日常生活的几个方面都与我们的社会形象有着不可分割的联系，使我们容易受到虐待行为的伤害。因此，缺乏准确的仇恨言论检测机制将严重降低整体用户体验，尽管其错误操作会引起许多道德问题。在本文中，我们提出了“ETHOS”，一个文本数据集，有两个变体：二进制和多标签，基于YouTube和Reddit的评论验证使用图8众包平台。此外，我们提出了用于创建此数据集的注释协议：一个主动采样过程，用于平衡我们的数据与定义的各个方面。我们的主要假设是，即使从这样一个耗时的过程中获得少量的标记数据，我们也可以保证在所检查的材料中出现仇恨言论。
2021-07-06 cs.CL cs.LG stat.ML
A Comparison of Online Hate on Reddit and 4chan: A Case Study of the 2020 US Election
University of Oxford（牛津大学）；University of Kent（肯特大学）
互联网迅速融入我们的日常生活带来了许多好处，但也带来了一些新的、广泛的威胁，如网上仇恨、拖钓、欺凌和一般的攻击性行为。虽然研究传统上探讨了在线仇恨，特别是在一个平台上，但现实是，这种仇恨是一种经常利用多个在线网络的现象。在本文中，我们试图通过利用比较方法将讨论推进到在线仇恨中，我们利用各种自然语言处理（NLP）技术来计算分析来自Reddit和4chan的与2020年美国总统选举有关的仇恨内容。我们的研究结果显示了内容和发布活动如何根据所使用的平台而有所不同。通过这一点，我们提供了对网络仇恨的特定平台行为的初步比较，以及不同平台如何服务于特定目的。我们进一步提供了几种利用跨平台方法进行未来研究的途径，以便更全面地了解全球仇恨生态系统。
2022-02-02 cs.AI cs.CL cs.CY
Analyzing Toxicity in Deep Conversations: A Reddit Case Study
GESIS - Leibniz Institute for the Social Sciences（GESIS-莱布尼茨社会科学研究所）；University of Tartu（塔尔图大学）
该研究针对社交媒体仇恨言论对话语境分析不足的问题，采用基于树的方法，基于8个Reddit社区的超百万条回复数据，分析对话毒性传播规律及粗俗语言的行为模式，发现即时语境对毒性回复影响更显著。
2024-04-11 cs.CL cs.CY cs.SI
Look What You Made Us Cluster: Hate Narrative Extraction from Reddit Discourse
DSO National Laboratories（DSO国家实验室）；Defence Science and Technology Agency（国防科技局）
本文提出一种基于实体-评价对和LLM推理的叙事提取管道，结合Leiden聚类与LLM精炼，从Reddit评论中识别仇恨叙事，并以泰勒·斯威夫特相关数据展示其有效性。
2026-09-30 cs.CL cs.SI
Polarized Patterns of Language Toxicity and Sentiment of Debunking Posts on Social Media
University of Science and Technology of China（中国科学技术大学）
本研究分析了社交媒体上大量辟谣帖，揭示了边缘用户、平台机制和情感表达对语言毒性与极化的影响，为减轻在线危害提供了见解。
2025-01-31 cs.AI cs.CL cs.CY
Emotionally Aware Moderation: The Potential of Emotion Monitoring in Shaping Healthier Social Media Conversations
ETH Zurich（苏黎世联邦理工学院）；University of St.Gallen（斯坦纳学院）；Seoul National University（首尔国立大学）；Bern University of Applied Sciences（巴塞尔应用科学大学）
针对现有社交媒体主动内容审核易引发审查争议、未触及不文明行为根源的问题，研究提出并测试两类情绪监测仪表盘，发现其可提升用户情绪感知、减少仇恨言论，但也可能增加敏感话题下的负面情绪表达，为健康数字互动工具研发提供参考。
2025-06-24 cs.CL cs.HC
Revealing Hidden Mechanisms of Cross-Country Content Moderation with Natural Language Processing
IIIT Delhi（德里印度信息技术学院）；CMU（卡内基梅隆大学）；University of Trieste（的里雅斯特大学）；University of Michigan（密歇根大学）；MPI（马克斯·普朗克学会）；University of Toronto（多伦多大学）
本文通过训练分类器逆向工程跨国内容审核决策，并结合Shapley值与LLM解释分析审核机制，揭示了被审查帖子跨国家和跨时间的模式，评估了LLM在内容审核中的有效性。
2025-03-10 cs.CL
Multilingual Content Moderation: A Case Study on Reddit
SRI International（斯坦福国际研究院）；University of Pittsburgh（匹兹堡大学）
内容审核是根据预定义的平台规则标记内容的过程。越来越需要人工智能版主来保护用户，并保护人类版主的心理健康免受创伤性内容的影响。虽然先前的工作集中于识别仇恨/攻击性语言，但它们不足以满足内容审核的挑战，因为1）审核决定是基于违反规则的，这包括对攻击性言论的检测，以及2）这样的规则通常在社区之间不同，这需要自适应解决方案。我们建议通过引入一个包含180万条Reddit评论的多语言数据集来研究内容审核的挑战，该数据集涵盖英语，德语，西班牙语和法语的56个子Reddit。我们进行了广泛的实验分析，突出潜在的挑战，并提出相关的研究问题，如跨语言迁移，标签噪声（人类偏见）下的学习，适度模型的转移，并预测违反规则。我们的数据集和分析可以帮助您更好地应对自动审核的挑战和机遇。
2023-02-19 cs.CL
Expectation, Backlash, Recovery, and Excitement: How Model Releases Shape Reddit Perceptions of Conversational AI Systems
Delft University of Technology（代尔夫特理工大学）
该研究通过分析Reddit讨论发现，对话式AI系统的模型发布会动态影响用户认知，不同提供商的模型发布在情感表现与关注主题上存在明显差异，这类发布是面向用户的重要干预措施。
2026-08-26 cs.CL cs.CY
Distilling Knowledge from Large Language Models: A Concept Bottleneck Model for Hate and Counter Speech Recognition
St.Pölten University of Applied Sciences（施普伦茨大学应用科学学院）；University of Vienna（维也纳大学）
针对仇恨和反言论识别，提出透明方法SCBM，利用LLM将文本映射为基于形容词的可解释概念表示，再由轻量分类器预测，在多平台数据集上取得高准确率与可解释性，且与transformer融合能进一步提升性能。
2025-07-30 cs.AI cs.CL cs.LG
Measuring Offensive Speech in Online Political Discourse
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
互联网和Reddit等在线论坛已成为公民参与政治对话的越来越受欢迎的媒介。然而，使用匿名身份的能力所产生的在线去抑制效应可能会以攻击性言论的形式表现出来，从而使政治讨论比现在更具有攻击性和两极分化。这种环境可能会导致目标受到骚扰和自我审查。在本文中，我们提出了一个大规模的时间测量，旨在量化在线政治讨论的进攻性的初步结果。为了使我们的测量，我们开发和评估一个进攻性的语音分类。然后，我们使用这个分类器来量化和比较在政治和一般情况下的攻击性。我们使用一个数据库进行研究，该数据库包含2015年1月至2017年1月期间超过700万名用户在Reddit上发表的超过1.68亿条评论，这一时期涵盖了包括2016年美国总统大选在内的几个分裂性政治事件。
2017-07-19 cs.CL cs.CY cs.SI
