Proactive Moderation of Online Discussions: Existing Practices and the Potential for Algorithmic Support
Cornell University(康奈尔大学)
为了解决普遍存在的不文明行为问题,许多在线讨论平台雇用人类版主对令人反感的内容采取行动,例如删除内容或对其作者进行制裁。这种对已经发布的反社会内容采取行动的反应模式是目前最常见的审核形式,因此支持了最近许多将自动化引入审核过程的努力。在理解其他适度范式方面所做的工作相对较少-例如主动阻止反社会行为的出现,而不是对其做出反应-以及算法支持在这些范式中可以发挥的作用。在这项工作中,我们调查这样一个积极主动的框架,在协作设置的案例研究:维基百科讨论页。我们采用混合方法,结合定性和设计组件进行整体分析。通过对版主的采访,我们发现,尽管缺乏技术和社会支持,版主已经采取了一些积极的版主行为,比如先发制人地干预对话,以保持对话的正常进行。此外,我们探索如何自动化可以帮助这个现有的主动审核工作流程,通过构建一个原型工具,将其呈现给主持人,并检查它提供的帮助如何适合他们的工作流程。由此产生的反馈揭示了原型工具的优点和缺点,并建议进一步开发这种辅助技术的具体步骤,以便它可以最有效地支持主持人在其现有的主动审核工作流程。
2022-11-29 cs.AI cs.CL cs.CY
The Effect of Moderation on Online Mental Health Conversations
University of Washington(华盛顿大学)
由于高昂的费用和心理健康专业人员的短缺,许多与心理健康问题作斗争的人无法获得足够的护理,导致全球心理健康危机。在线心理健康社区可以通过提供可扩展的,易于访问的替代治疗师或支持团体的面对面会议来帮助缓解这一危机。然而,在网上寻求情感或心理支持的人可能特别容易受到在线讨论中有时发生的反社会行为的影响。适度可以提高在线话语质量,但我们对其对在线心理健康对话的影响缺乏了解。在这项工作中,我们利用了一个自然实验,从7,000个在线心理健康对话中收集了20万条信息,以评估适度对在线心理健康讨论的影响。我们发现,参与小组心理健康讨论导致心理观点的改善,这些改善在有节制的谈话中更大。主持人的存在增加了用户的参与度,鼓励用户更坦率地讨论负面情绪,并大大减少了聊天参与者之间的不良行为。适度还鼓励加强语言协调,这表明建立了信任。此外,在谈话中保持活跃的主持人在保持谈话主题方面特别成功。我们的研究结果表明,适度可以作为一个有价值的工具,以提高在线心理健康对话的有效性和安全性。基于这些发现,我们讨论了设计有效的心理健康支持在线空间的影响和权衡。
2021-04-22 cs.CL cs.CY cs.SI
The Impact of Featuring Comments in Online Discussions
KNAW Meertens Instituut(KNAW Meertens研究所);Institute for Language Sciences, Utrecht University(乌得勒支大学语言科学研究所)
本文对比有无精选评论的新闻讨论,从用户与平台视角评估其影响,发现精选评论对讨论质量作用有限,但能提升活跃度并延缓参与度自然下降。
2024-12-03 cs.CL cs.HC
UNIVID: Unified Vision-Language Model for Video Moderation
Bytedance(字节跳动)
提出UNIVID统一视觉语言模型,通过生成可解释的策略感知字幕,实现端到端视频审核,减少违规泄露42.7%和过度审核率37.0%。
2026-06-04 cs.AI cs.CL cs.MM
Context-Aware Content Moderation for German Newspaper Comments
St. Pölten University of Applied Sciences(斯图特格尔特应用科学大学);Der Standard(标准报)
本文针对德语报纸论坛内容审核,使用 LSTM、CNN 和 ChatGPT-3.5 Turbo 结合上下文信息开发二分类模型,发现 CNN 和 LSTM 表现优异,而 ChatGPT 零样本分类表现不佳。
2025-05-27 cs.AI cs.CL
Asking For It: Question-Answering for Predicting Rule Infractions in Online Content Moderation
本文提出ModQ问答框架,利用社区规则进行内容审核,通过抽取式和选择题问答变体在Reddit和Lemmy数据上训练,优于基线并泛化至新社区。
2025-10-07 cs.AI cs.CL cs.CY
Like trainer, like bot? Inheritance of bias in algorithmic content moderation
University of Oxford(牛津大学);University College London(伦敦大学学院)
互联网已成为“网络公众”表达意见和进行辩论的中心媒介。冒犯性的评论和人身攻击可能会抑制这些空间的参与。自动内容审核旨在使用机器学习分类器来克服这个问题,这些分类器是在手动注释的大型文本语料库上训练的。虽然这样的系统可以帮助鼓励更多的民间辩论,但它们必须在内在规范上保持稳定的边界,并受制于提供训练数据的人类评分员的特殊规范。平台实施这些措施的一个重要目标可能是确保它们不会不适当地偏向或反对特定的犯罪规范。本文提供了一些探索性的方法,通过这些方法可以测量算法内容审核系统的规范性偏差,通过使用现有的标记为犯罪的评论数据集的案例研究。我们训练分类器标记的不同的人口子集(男性和女性)的意见,以了解这些群体之间的犯罪概念的差异可能会影响不同的测试集上的结果模型的性能。最后,我们讨论了一些道德的选择面临的算法适度系统的实施者,考虑到各种所需的水平之间的讨论参与者的观点的多样性。
2017-07-05 cs.CL cs.CY cs.LG
HatePrototypes: Interpretable and Transferable Representations for Implicit and Explicit Hate Speech Detection
Laboratoire Hubert Curien, UMR CNRS 5516(于贝尔·居里实验室,法国国家科学研究中心5516联合研究单位);Université Lumière Lyon 2(里昂第二大学);Université Claude Bernard Lyon 1(克洛德·贝尔纳里昂第一大学);ERIC, Lyon(里昂ERIC实验室);École Centrale de Lyon(里昂中央理工学院);LIRIS CNRS UMR 5205(LIRIS实验室,法国国家科学研究中心5205联合研究单位)
本文提出HatePrototypes,通过语言模型优化的类级向量表示,实现显性和隐性仇恨言论的跨任务迁移,无需重复微调。
2026-04-05 cs.AI cs.CL
Wikipedia is Not a Dictionary, Delete! Text Classification as a Proxy for Analysing Wiki Deletion Discussions
Cardiff University(卡迪夫大学);AMPLYFI(AMPLYFI公司)
本文构建多语言Wiki删除讨论数据库,通过多种文本分类任务评估LM,发现删除结果更易预测,而用户标签未必能提升分类。
2025-03-13 cs.CL cs.LG
Discourse Parsing of Contentious, Non-Convergent Online Discussions
Ben Gurion University(本-古里安大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
在线话语往往被认为是两极分化和非生产性的。虽然一些会话语篇分析框架是可用的,但它们并不自然地适合于分析有争议的和两极分化的讨论。受巴赫金对话理论的启发,我们提出了一个新的理论和计算框架,更适合于非收敛的讨论。我们重新定义了成功讨论的衡量标准,并发展了一个新的话语注释图式,它反映了话语策略的层次结构。我们考虑一系列分类模型--从逻辑回归到BERT。我们还考虑各种特征类型和表示,例如,LIWC类别,标准嵌入,会话序列和非会话话语标记分别学习。给定标签集中的31个标签,如果我们允许每个标签使用不同的模型,则平均F-Score为0.61,如果使用单个模型,则为0.526。根据所提出的模式在注释讨论中取得的令人鼓舞的结果为许多下游任务和应用铺平了道路,例如早期检测讨论轨迹,主动调节开放式讨论和教师辅助机器人。最后,我们分享了第一个有争议的非收敛在线讨论的标记数据集。
2020-12-08 cs.CL cs.SI
ToxVis: Enabling Interpretability of Implicit vs. Explicit Toxicity Detection Models with Interactive Visualization
Virginia Tech(弗吉尼亚理工大学)
网络平台上仇恨言论的兴起导致了对有效内容审核的迫切需求。然而,仇恨在线内容的主观性和多方面性,包括隐含的仇恨言论,对人类版主和内容审核系统构成了重大挑战。为了解决这个问题,我们开发了ToxVis,这是一种视觉交互和可解释的工具,用于将仇恨言论分为三类:隐含的,明确的和非仇恨的。我们使用RoBERTa、XLNET和GPT-3微调了两个基于变压器的模型,并使用深度学习解释技术为分类结果提供解释。ToxVis使用户能够输入潜在的仇恨文本,并接收分类结果以及对哪些单词对决策贡献最大的视觉解释。通过使分类过程变得可解释,ToxVis提供了一个有价值的工具,用于理解仇恨内容的细微差别,并支持更有效的内容审核。我们的研究为越来越多的旨在减轻在线仇恨言论造成的危害的工作做出了贡献,并展示了将最先进的自然语言处理模型与可解释的深度学习技术相结合来解决这一关键问题的潜力。最后,ToxVis可以作为内容管理员,社交媒体平台和研究人员的资源,致力于打击在线仇恨言论的传播。
2023-03-01 cs.CL cs.HC
Toxicity Detection: Does Context Really Matter?
Athens University of Economic and Business(雅典经济与商业大学);Google(谷歌)
适度对于促进健康的在线讨论至关重要。虽然已经公布了几个“毒性”检测数据集和模型,但其中大多数都忽略了帖子的背景,隐含地假设评论可以独立判断。我们调查这一假设集中在两个问题:(a)上下文是否会影响人类的判断,(b)是否条件化的情况下提高性能的毒性检测系统?我们用维基百科的对话进行实验,将上下文的概念限制在线程中的前一篇文章和讨论标题中。我们发现,上下文可以放大或减轻感知的毒性的职位。此外,如果注释者没有提供上下文,一小部分但重要的手动标记的帖子(在我们的一个实验中为5%)最终会具有相反的毒性标签。令人惊讶的是,我们也没有发现任何证据表明,上下文实际上提高了毒性分类器的性能,尝试了一系列的分类器和机制,使他们的上下文意识。这表明需要更大的上下文注释评论数据集。我们公开我们的代码和数据。
2020-06-01 cs.CL
Towards Effective Counter-Responses: Aligning Human Preferences with Strategies to Combat Online Trolling
School of Computing(计算机学院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
针对不同类型网络喷子行为需匹配不同应对策略的难题,本研究发现喷子类型与人类偏好的应对策略存在相关性,提出基于策略推荐的反制回复生成方法并构建对齐数据集,实验证明该方法可引导建设性讨论、改善社区环境。
2024-10-05 cs.CL
The Power of LLM-Generated Synthetic Data for Stance Detection in Online Political Discussions
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学);Technical University Dortmund(多特蒙德工业大学)
本文提出利用 LLM 离线生成合成数据并结合主动学习筛选最具信息量样本,以少量标注数据提升在线政治讨论中立场检测模型的性能,超越全量标注微调的基线模型。
2025-03-12 cs.CL cs.LG
Findings of the Shared Task on Offensive Span Identification from Code-Mixed Tamil-English Comments
Georgia Institute of Technology(佐治亚理工学院);Data Science Institute, National University of Ireland Galway(爱尔兰国立高威大学数据科学研究所);National Institute of Technology Karnataka Surathkal(卡纳塔克邦苏拉特卡尔国家理工学院);National Institute of Technology, Trichy(特里奇国家理工学院);Vellore Institute of Technology(韦洛尔理工学院);Eastern University, Sri Lanka(斯里兰卡东方大学);Indian Institute of Information Technology and Management, Kerala(喀拉拉邦印度信息技术与管理学院);Thiagarajar College of Engineering(蒂亚加拉贾工程学院)
在社交媒体平台中,攻击性内容的审核对于支持健康的在线讨论至关重要。然而,他们在代码混合的达罗毗荼语中的流行仅限于对整个评论进行分类,而没有识别出其中导致冒犯的部分。这种限制主要是由于缺乏进攻性跨度的注释数据。因此,在这个共同的任务,我们提供泰米尔语,英语代码混合的社会评论与进攻跨度。本文概述了这样发布的数据集,方法和提交系统的结果
2022-05-12 cs.CL
Learning Latent Local Conversation Modes for Predicting Community Endorsement in Online Discussions
University of Washington(华盛顿大学)
许多社交媒体平台提供了一种机制,让读者对评论做出积极和消极的反应,总的来说,这可以被认为是社区认可。本文解决了在线讨论中预测社区认可的问题,利用参与者的响应结构和评论的文本。不同类型的特征被集成在神经网络中,该神经网络使用新颖的架构来学习讨论结构的潜在模式,该讨论结构的表现与深度神经网络一样好,但更可解释。此外,潜在模式可用于加权文本特征,从而提高预测精度。
2016-09-28 cs.CL cs.SI
To Facilitate or not to Facilitate: Human and LLM Facilitator Tendencies in Online Discussions
Athens University of Economics and Business(雅典经济与商业大学);Archimedes, Athena Research Center(阿基米德雅典娜研究中心)
本研究创建PEFK语料库,对比人类与LLM的在线讨论促进倾向,发现LLM过度急于促进,训练ModernBert分类器修正效果优于LLM替代设置。
2026-08-03 cs.CL cs.HC
Designing Synthetic Discussion Generation Systems: A Case Study for Online Facilitation
Athens University of Economics and Business(雅典经济与商业大学);Archimedes, Athena Research Center(阿基米德,雅典研究中心)
本文提出了一种理论框架,用于设计、评估和实现合成讨论模拟,展示小型量化模型在成本和性能上的优势,并探讨了在线协调中的应用及局限性。
2026-04-17 cs.CL cs.HC cs.LG
LLMs for Argument Mining: Detection, Extraction, and Relationship Classification of pre-defined Arguments in Online Comments
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
本文评估了四个最先进LLM在三个论点挖掘任务上的表现,发现大型和微调模型整体表现强劲但环境成本高,且在处理长篇细微和情绪化评论时存在系统性缺陷。
2025-05-29 cs.CL
LLM-based Rewriting of Inappropriate Argumentation using Reinforcement Learning from Machine Feedback
Leibniz University Hannover(汉诺威莱布尼茨大学)
本文提出一种基于强化学习的LLM重写方法,通过平衡内容保留与适当性来缓解论点中的不当语言,在文档级别进行改写,实验证明其显著优于少样本学习、提示和人类等基线方法。
2024-06-05 cs.CL
Cross-National Information Attacks: A Two-Decade Analysis of Troll Behavior in Korea
Korea Advanced Institute of Science and Technology (KAIST)(韩国高级科学研究院);Max Planck Institute for Security and Privacy (MPI-SP)(马克斯·普朗克安全与隐私研究所)
提出可解释机器学习框架,对韩国112M条新闻评论进行检测,识别出23,998个疑似协调操纵账户,发现其依赖道德谴责修辞而非直接宣传外国叙事,且此类修辞获得更高用户参与,主要针对国内政治人物,可能加剧两极分化。
2026-06-23 cs.CL cs.CR cs.SI