Ruddit: Norms of Offensiveness for English Reddit Comments
ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究院）；Facebook AI, London（Facebook人工智能研究院（伦敦））；National Research Council Canada（加拿大国家研究委员会）
在社交媒体平台上，仇恨和攻击性语言对用户的心理健康和来自不同背景的人的参与产生负面影响。检测攻击性语言的自动方法在很大程度上依赖于带有分类标签的数据集。然而，评论的冒犯程度可能有所不同。我们创建了第一个英文Reddit评论数据集，其细粒度的实值分数在-1（最大支持）和1（最大攻击）之间。数据集使用最佳-最差缩放进行注释，这是一种比较注释形式，已被证明可以减轻使用评级量表的已知偏差。我们表明，该方法产生高度可靠的进攻性得分。最后，我们评估了广泛使用的神经模型在这个新数据集上预测攻击性得分的能力。
2022-01-25 cs.AI cs.CL
Causal Effects of Trigger Words in Social Media Discussions: A Large-Scale Case Study about UK Politics on Reddit
Cardiff University（卡迪夫大学）；University of Birmingham（伯明翰大学）
本研究通过分析Reddit上的英国政治讨论，发现触发词与高参与度和负面情绪相关，揭示了社交媒体中极化现象的机制。
2026-03-03 cs.CL cs.CY cs.SI
Proactively Reducing the Hate Intensity of Online Posts via Hate Speech Normalization
IIIT-Delhi（德里英迪拉·甘地信息技术学院）；Northeastern University（东北大学）
遏制网络仇恨言论已成为当务之急;然而，出于地缘政治和文化原因，全面禁止此类活动是不可行的。为了降低问题的严重性，在本文中，我们介绍了一种新的任务，仇恨言论规范化，旨在削弱仇恨的强度所表现出的在线帖子。仇恨言论正常化的目的不是支持仇恨，而是为用户提供一个迈向非仇恨的垫脚石，同时给在线平台更多的时间来监测用户行为的任何改善。为此，我们手动策划了一个平行的语料库-仇恨文本及其规范化的对应文本（规范化的文本不那么仇恨，更良性）。我们介绍NACL，一个简单而有效的仇恨言论规范化模型，分三个阶段操作-首先，它测量原始样本的仇恨强度;第二，它确定其中的仇恨跨度;最后，它通过解释仇恨跨度来降低仇恨强度。我们进行了广泛的实验，通过三方面的评估（内在的，外在的，和人体研究）来衡量NACL的疗效。我们观察到NACL优于六个基线- NACL产生的强度预测的RMSE为0.1365，跨度识别的F1分数为0.622，以及标准化文本生成的BLEU和困惑度为82.27和80.05。我们进一步展示了NACL在其他平台（Reddit，Facebook，Gab）上的通用性。NACL的交互式原型放在一起的用户研究。此外，该工具正在Wipro AI的现实环境中部署，作为其解决在线平台上有害内容的使命的一部分。
2022-06-08 cs.CL
Multilingual Content Moderation: A Case Study on Reddit
SRI International（斯坦福国际研究院）；University of Pittsburgh（匹兹堡大学）
内容审核是根据预定义的平台规则标记内容的过程。越来越需要人工智能版主来保护用户，并保护人类版主的心理健康免受创伤性内容的影响。虽然先前的工作集中于识别仇恨/攻击性语言，但它们不足以满足内容审核的挑战，因为1）审核决定是基于违反规则的，这包括对攻击性言论的检测，以及2）这样的规则通常在社区之间不同，这需要自适应解决方案。我们建议通过引入一个包含180万条Reddit评论的多语言数据集来研究内容审核的挑战，该数据集涵盖英语，德语，西班牙语和法语的56个子Reddit。我们进行了广泛的实验分析，突出潜在的挑战，并提出相关的研究问题，如跨语言迁移，标签噪声（人类偏见）下的学习，适度模型的转移，并预测违反规则。我们的数据集和分析可以帮助您更好地应对自动审核的挑战和机遇。
2023-02-19 cs.CL
ETHOS: an Online Hate Speech Detection Dataset
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
网络仇恨言论是我们社会中最近出现的一个问题，通过利用覆盖大多数社交媒体平台的相应政权的脆弱性，这个问题正在稳步上升。这种现象主要是由攻击性评论引起的，无论是在用户交互期间还是以发布的多媒体上下文的形式。如今，大公司拥有每天有数百万用户登录的平台，为了遵守相应的立法并保持高水平的服务质量，防止类似现象的暴露似乎是必要的。一个强大而可靠的系统，用于检测和防止相关内容的上传，将对我们的数字互联社会产生重大影响。我们日常生活的几个方面都与我们的社会形象有着不可分割的联系，使我们容易受到虐待行为的伤害。因此，缺乏准确的仇恨言论检测机制将严重降低整体用户体验，尽管其错误操作会引起许多道德问题。在本文中，我们提出了“ETHOS”，一个文本数据集，有两个变体：二进制和多标签，基于YouTube和Reddit的评论验证使用图8众包平台。此外，我们提出了用于创建此数据集的注释协议：一个主动采样过程，用于平衡我们的数据与定义的各个方面。我们的主要假设是，即使从这样一个耗时的过程中获得少量的标记数据，我们也可以保证在所检查的材料中出现仇恨言论。
2021-07-06 cs.CL cs.LG stat.ML
Polarized Patterns of Language Toxicity and Sentiment of Debunking Posts on Social Media
University of Science and Technology of China（中国科学技术大学）
本研究分析了社交媒体上大量辟谣帖，揭示了边缘用户、平台机制和情感表达对语言毒性与极化的影响，为减轻在线危害提供了见解。
2025-01-31 cs.AI cs.CL cs.CY
Analyzing Toxicity in Deep Conversations: A Reddit Case Study
GESIS - Leibniz Institute for the Social Sciences（GESIS-莱布尼茨社会科学研究所）；University of Tartu（塔尔图大学）
该研究针对社交媒体仇恨言论对话语境分析不足的问题，采用基于树的方法，基于8个Reddit社区的超百万条回复数据，分析对话毒性传播规律及粗俗语言的行为模式，发现即时语境对毒性回复影响更显著。
2024-04-11 cs.CL cs.CY cs.SI
Introducing an Abusive Language Classification Framework for Telegram to Investigate the German Hater Community
Technical University of Munich（慕尼黑工业大学）
由于传统的社交媒体平台继续禁止行为者传播仇恨言论或其他形式的辱骂性语言（这一过程被称为去平台化），这些行为者迁移到不限制用户内容的替代平台。与德国仇恨者社区相关的一个流行平台是Telegram，到目前为止，对其进行的研究工作有限。本研究旨在开发一个广泛的框架，包括（i）德国电报消息的辱骂性语言分类模型和（ii）电报频道仇恨的分类模型。对于第一部分，我们使用现有的包含来自其他平台的帖子的辱骂性语言数据集来开发我们的分类模型。对于频道分类模型，我们开发了一种方法，该方法将从主题模型收集的特定于频道的内容信息与社交图相结合，以预测频道的仇恨度。此外，我们补充了这两种仇恨言论检测方法，并对德国Telegram上仇恨者社区的演变进行了深入研究。我们还提出了对仇恨言论研究社区的社交媒体平台进行可扩展网络分析的方法。作为本研究的额外输出，我们提供了一个带注释的辱骂性语言数据集，其中包含1，149条带注释的Telegram消息。
2021-11-24 cs.CL
Qualitative Analysis of a Graph Transformer Approach to Addressing Hate Speech: Adapting to Dynamically Changing Content
University of Waterloo（滑铁卢大学）
该研究提出结合图Transformer、注意力建模与BERT的社交媒体仇恨言论预测方法，经定性分析明确其优劣场景，指明多模态拓展方向，契合动态变化需求且可助力心理健康福祉。
2023-05-01 cs.CL cs.LG cs.SI
Impact and dynamics of hate and counter speech online
Santa Fe Institute（圣塔菲研究所）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；University of Vermont（佛蒙特大学）
公民发表的反击言论是打击仇恨言论和促进和平、非两极化对话的一种有希望的方式。然而，缺乏对其减少仇恨言论的有效性进行大规模纵向研究。为此，我们使用几种不同的宏观和微观层面的措施来分析德国Twitter上四年来发生的180，000次政治对话，对反言论的有效性进行了探索性分析。我们报告的仇恨和反言论随着时间的推移的动态互动，并提供见解是否，在“经典”欺凌的情况下，有组织的努力比独立的个人在引导网上话语更有效。总的来说，我们的研究结果构建了一个多方面的图片的动态仇恨和反言论在线。虽然由于话语动态的复杂性，我们没有因果关系，但我们的研究结果表明，有组织的仇恨言论与公共话语的变化有关，而反言论-特别是有组织的-可能有助于遏制在线话语中的仇恨言论。
2021-09-05 cs.CL cs.CY cs.LG
All You Need is "Leet": Evading Hate-speech Detection AI
Virginia Tech（弗吉尼亚理工大学）
本文提出黑盒扰动技术，通过生成最小语义变化的扰动来欺骗深度学习仇恨言论检测模型，成功规避86.8%的仇恨文本检测，以保护用户免受在线仇恨言论侵害。
2025-05-22 cs.CL cs.CR cs.LG
A Survey on Automatic Online Hate Speech Detection in Low-Resource Languages
Bennett University（班尼特大学）；Techno Main Salt Lake（泰克诺主盐湖校区）；Indian Institute of Information Technology & Management Gwalior（瓜利尔印度信息技术与管理学院）；Indian Institute of Engineering Science and Technology, Shibpur（希布普尔印度工程科学与技术学院）；National Institute of Technology, Silchar（锡尔恰尔国家理工学院）
本文综述了低资源语言中的自动在线仇恨言论检测，分析了其面临的挑战，详细介绍了可用数据集、特征及技术，并探讨了现有研究、重叠概念、挑战与机遇。
2024-11-28 cs.CL cs.LG
Moderating New Waves of Online Hate with Chain-of-Thought Reasoning in Large Language Models
University of Texas at San Antonio（圣安东尼奥大学）；University at Buffalo（布法罗大学）；Clemson University（克莱姆森大学）
针对训练样本稀缺且需复杂推理的新一轮网络仇恨，提出 HATEGUARD，借助 LLM 的 CoT 提示与自动更新提示实现零样本检测，性能提升22.22%至83.33%。
2024-05-10 cs.CL cs.CY cs.LG
Detecting and Mitigating Hateful Content in Multimodal Memes with Vision-Language Models
Department of EECS University of Arkanasas Fayetteville（电子工程与科学系阿肯色大学法洛维尔分校）
本文利用视觉-语言模型（VLMs）解决多模态模因中仇恨内容的检测与缓解问题，提出定义引导提示技术和统一框架UnHateMeme，通过替换仇恨组件将其转化为非仇恨形式，并在LLaVA等模型上验证了有效性。
2025-04-30 cs.AI cs.CL cs.CV
Hatevolution: What Static Benchmarks Don't Tell Us
King’s College London（伦敦国王学院）；Imperial College London（伦敦帝国学院）
该研究针对语言演变对仇恨言论模型基准测试影响研究不足的问题，通过20个模型的动态实验发现静态评估存在时间错位，提出需建立时态敏感基准以保障评估可靠性。
2025-06-13 cs.CL
Towards A Multi-agent System for Online Hate Speech Detection
University of Waterloo（滑铁卢大学）
本文设想了一个多智能体系统，用于检测仇恨言论在Twitter和Facebook等在线社交媒体平台上的存在。我们引入了一个新的框架，采用深度学习技术来协调文本和图像处理的渠道。我们的实验结果旨在证明我们的方法对在线内容进行分类的有效性，训练所提出的神经网络模型，以有效地检测输入中的仇恨实例。最后，我们讨论了我们的系统可能是有用的，以提供建议给用户谁是管理在线社交网络，展示了巨大的潜力，智能多代理系统对提供社会福利。
2021-05-03 cs.AI cs.CL cs.CV
Anger Breeds Controversy: Analyzing Controversy and Emotions on Reddit
USC Information Sciences Institute（南加州大学信息科学研究所）；University of California, Davis（加州大学戴维斯分校）
情绪在人际互动和社会冲突中扮演着重要的角色，但其在在线对话中争议和分歧发展中的作用尚未被探讨。为了解决这个问题，我们研究了Reddit上的争议，Reddit是一个流行的在线论坛网络。我们从各种各样的主题论坛中收集讨论，并使用情感检测来识别文本中的一系列情感，包括愤怒，恐惧，喜悦，钦佩等。首先，有争议的评论比无争议的评论表达更多的愤怒，更少的钦佩，喜悦和乐观。第二，有争议的评论会影响讨论中下游评论的情绪，通常会导致长期的愤怒情绪增加和积极情绪减少，尽管情绪变化的幅度和方向取决于论坛。最后，我们表明，情绪有助于更好地预测哪些评论将成为有争议的。了解在线讨论的情感动态可以帮助社区更好地管理对话。
2022-12-01 cs.CL cs.CY
Consolidating Strategies for Countering Hate Speech Using Persuasive Dialogues
State University of New York at Buffalo（纽约州立大学布法罗分校）
本文提出利用Walton论证方案、反驳言语行为和人格特质等可控特征生成反驳仇恨言论的说服性对话策略，并通过自动与人工评估确定最佳特征组合。
2024-01-15 cs.AI cs.CL
Hate Content Detection via Novel Pre-Processing Sequencing and Ensemble Methods
Delhi Technological University（德里技术大学）
本文提出结合优化文本预处理顺序与 bagging、boosting、stacking 等集成分类器的仇恨言论检测框架，在三个基准数据集上最高达到 95.14% 准确率。
2024-09-08 cs.CL
HateRephrase: Zero- and Few-Shot Reduction of Hate Intensity in Online Posts using Large Language Models
University of Surrey（萨里大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出HateRephrase方法，利用大型语言模型在帖子发布前改写仇恨言论以降低其强度，实验表明GPT-3.5在少样本提示下表现最佳，甚至优于人工改写。
2023-10-21 cs.CL
In-Group Love, Out-Group Hate: A Framework to Measure Affective Polarization via Contentious Online Discussions
University of Iowa（爱荷华大学）；USC Information Sciences Institute（南加州大学信息科学研究所）；Arizona State University（亚利桑那州立大学）；Claremont Graduate University（克莱蒙特研究大学）
本文提出一个离散选择模型和统计推断方法，通过社交媒体数据估计群体内喜爱与群体外仇恨参数，实时量化情感极化，并经COVID-19在线讨论验证其能准确捕捉现实极化动态及党派分歧的迅速出现。
2024-12-18 cs.CL cs.CY cs.SI
An Online Multilingual Hate speech Recognition System
Queen Mary University of London（伦敦玛丽女王大学）；Seagate Technology LLC（希捷科技有限责任公司）
过去二十年来，互联网和社交媒体的使用呈指数级增长，改变了人类的互动。这带来了许多积极成果，但同时也带来了风险和危害。虽然仇恨言论等在线有害内容的数量无法由人类管理，但学术界对研究仇恨言论检测自动化方法的兴趣有所增加。在这项研究中，我们分析了六个公开可用的数据集，将它们组合成一个单一的同质数据集，并将它们分为三类，虐待，仇恨或两者都没有。我们创建一个基线模型，并使用各种优化技术提高模型性能分数。在获得具有竞争力的性能分数后，我们创建了一个工具，该工具可以实时的识别和评分具有有效指标的页面，并使用相同的反馈来重新训练我们的模型。我们证明了我们的多语言模型的两种语言，英语和印地语的竞争力表现，导致可比或优于大多数单语模型的性能。
2020-12-22 cs.CL
MasonPerplexity at ClimateActivism 2024: Integrating Advanced Ensemble Techniques and Data Augmentation for Climate Activism Stance and Hate Event Identification
George Mason University（乔治梅森大学）
本研究通过集成建模与数据增强（如回译）技术，有效识别社交媒体上气候行动立场与仇恨事件，在三个子任务中分别排名第5、第1和第6。
2024-02-03 cs.CL
Harnessing Pre-Trained Sentence Transformers for Offensive Language Detection in Indian Languages
MKSSS Cummins College of Engineering for Women（MKSSS卡明斯女子工程学院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Peoples' Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学（RUDN大学））；Joint Institute for Nuclear Research（联合核研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Skövde（舍夫德大学）
本研究针对孟加拉语、阿萨姆语、古吉拉特语三种低资源印度语言的仇恨言论检测任务，基于HASOC 2023数据集微调BERT与SBERT模型，发现单语sentence-BERT模型表现最优，为构建包容性网络空间提供支持。
2023-10-03 cs.CL cs.LG
Incivility and Rigidity: Evaluating the Risks of Fine-Tuning LLMs for Political Argumentation
Centre for Trusted Internet & Community, National University of Singapore（新加坡国立大学可信互联网与社区中心）
本文评估微调GPT-3.5 Turbo进行政治论证的风险，发现基于Reddit数据微调的模型更安全但修辞僵化，跨平台微调会放大毒性，提示策略能降低毒性但无法消除噪声数据影响，并提出了修辞评估准则。
2025-11-01 cs.AI cs.CL
Dream Content Discovery from Reddit with an Unsupervised Mixed-Method Approach
Heritage Institute of Technology（赫尔德技术学院）；Nokia Bell Labs（诺基亚贝尔实验室）；IT University of Copenhagen（哥本哈根技术大学）；Pioneer Centre for AI（先锋人工智能中心）；Northwestern University（西北大学）；Harvard University（哈佛大学）
本研究提出一种无监督混合方法，利用NLP从Reddit的44,213份梦境报告中识别出217个主题和22个主题类别，验证于Hall和van de Castle量表，并能分析不同梦境类型及重大事件对集体梦境的影响。
2023-07-09 cs.CL cs.CY physics.soc-ph
Exploring Linguistic Style Matching in Online Communities: The Role of Social Context and Conversation Dynamics
University of Michigan（密歇根大学）
本研究针对Reddit在线社区，基于功能词与正式度两类风格分析大规模双方对话语料，考察多种社会因素下语言风格匹配（LSM）的水平差异及用户被封禁后LSM的变化，揭示其与社区指标的关联及对理解社区动态的价值。
2023-08-26 cs.CL
Cross-Platform Digital Discourse Analysis of the Israel-Hamas Conflict: Sentiment, Topics, and Event Dynamics
Institute of Computer Science, Foundation for Research and Technology（计算机科学研究所，研究与技术基金会）；Technical University of Crete（克里特技术大学）
本研究通过跨平台分析，揭示了以色列-哈马斯冲突中情感、主题和事件动态的演变，提出多平台数据集及分析流程，探讨平台特性对冲突传播的影响。
2025-11-27 cs.AI cs.CL cs.CY
The incel lexicon: Deciphering the emergent cryptolect of a global misogynistic community
The University of Vermont（佛蒙特大学）；Charles River Analytics（查尔斯河分析公司）
“incels”的概念是从非自愿独身身份的性别中立框架演变而来的，它指的是一个由男子组成的网上社区，他们对自己、妇女和整个社会感到反感，因为他们认为自己无法找到和维持性关系。通过探索全球在线留言板Reddit上的incel语言使用，我们将incel社区对厌女症的在线表达和现实世界中对妇女的暴力行为联系起来。在从以incel为主题的Reddit频道收集了大约300万条评论后，我们分析了属于紧急incel词典的短语词汇表的数据驱动的排名顺序的时间动态。我们的研究揭示了一个广泛的编码厌恶女人的词汇服务于该集团的身份的生成和规范化。
2021-05-25 cs.CL cs.SI
BAN-PL: a Novel Polish Dataset of Banned Harmful and Offensive Content from Wykop.pl web service
NASK National Research Institute（NASK国家研究院）
本文针对波兰语有害内容数据集匮乏问题，提出了一个来自Wykop.pl的全新开放数据集BAN-PL，包含691,662条被禁帖子和评论，并公开了24,000条匿名数据及预处理脚本，同时深入分析了内容审核过程与数据集特征。
2024-03-26 cs.CL
