AI reasoning effort predicts human decision time in content moderation
Department of Sociology(社会学系);Rutgers University–New Brunswick(罗格斯大学-新布朗斯维爾)
本研究发现AI推理努力与人类决策时间存在相关性,揭示了推理痕迹在提升可解释性和决策制定中的潜力。
2025-12-20 cs.AI cs.CY
Socio-Culturally Aware Evaluation Framework for LLM-Based Content Moderation
Microsoft Corporation(微软公司);Pure Storage(纯存储公司);Relay42
针对现有内容审核数据集缺乏群体代表性导致评估不可靠的问题,提出一种社会文化感知评估框架,并引入基于角色生成的可扩展数据集创建方法,实验证明该方法能提供更广视角且对LLM构成更大挑战,尤其是较小规模的LLM。
2024-12-18 cs.AI cs.CL
LionGuard: Building a Contextualized Moderation Classifier to Tackle Localized Unsafe Content
GovTech Singapore(新加坡政府科技局)
本文提出LionGuard,一个针对新加坡语境的审核分类器,用于防范不安全的大语言模型输出,在Singlish数据上显著优于现有审核API,展示了本地化对审核分类器的价值及低资源语言的可行方案。
2024-07-19 cs.AI cs.CL
Tool-MCoT: Tool Augmented Multimodal Chain-of-Thought for Content Safety Moderation
Stanford University(斯坦福大学);Google(谷歌);Google DeepMind(谷歌DeepMind)
本文提出Tool-MCoT,一种基于工具增强的多模态链式思维模型,用于提升内容安全审核的效率与准确性,通过训练小语言模型以有效利用外部工具进行推理和决策。
2026-07-14 cs.AI cs.CL
Policy-as-Prompt: Rethinking Content Moderation in the Age of Large Language Models
Spotify(Spotify(流媒体音乐平台))
本文提出“策略即提示”框架,分析大语言模型直接解释策略进行内容审核的五个关键挑战,并提供缓解方法,为可扩展自适应的审核系统奠定基础。
2025-02-25 cs.AI cs.CY cs.SI
FlexGuard: Continuous Risk Scoring for Strictness-Adaptive LLM Content Moderation
The Hong Kong Polytechnic University(香港理工大学);ByteDance(字节跳动)
本文提出FlexGuard,一种基于LLM的连续风险评分系统,通过风险对齐优化提升审核准确性和在不同严格度下的鲁棒性。
2026-04-15 cs.AI cs.LG
RuleSafe-VL: Evaluating Rule-Conditioned Decision Reasoning in Vision-Language Content Moderation
Beijing University of Posts and Telecommunications(北京邮电大学)
RuleSafe-VL通过构建93个基本规则和92种规则关系,评估视觉-语言内容审核中规则条件决策推理的诊断能力,发现规则关系恢复是主要瓶颈,最佳模型仅达到64.8 Macro-F1。
2026-05-08 cs.AI
CARO: Chain-of-Analogy Reasoning Optimization for Robust Content Moderation
National Engineering Laboratory for Big Data System Computing Technology(大数据系统计算技术国家工程实验室);Shenzhen University(深圳大学);Tsinghua University(清华大学);National University of Singapore(新加坡国立大学)
CARO通过两阶段训练框架提升LLM的类比推理能力,有效缓解内容审核中的误导性决策短路问题,实验显示其在模糊审核基准上平均F1得分提升24.9%。
2026-04-12 cs.AI
Why Should This Article Be Deleted? Transparent Stance Detection in Multilingual Wikipedia Editor Discussions
Hasso Plattner Institute(哈索·普拉特纳研究所);University of Copenhagen(哥本哈根大学)
针对在线平台内容审核不透明且维基多语言编辑讨论中政策提及率低的问题,构建含编辑立场、理由及对应政策的三语言维基编辑讨论数据集,实现立场与政策的高准确率联合预测,并开源模型和数据集以支撑透明化自动内容审核研究。
2023-10-23 cs.CL cs.CY cs.LG
LLM Content Moderation and User Satisfaction: Evidence from Response Refusals in Chatbot Arena
Hankuk University of Foreign Studies(韩国外国语大学)
该研究基于Chatbot Arena的近5万组模型比较,用RoBERTa分类器区分伦理与技术拒绝,发现伦理拒绝会显著降低用户满意度,但敏感场景下表述贴合语境的拒绝评价更高,凸显LLM安全与用户预期的矛盾及对自适应审核的需求。
2025-05-16 cs.AI cs.CL cs.CY
GMP: A Benchmark for Content Moderation under Co-occurring Violations and Dynamic Rules
Beijing University of Posts and Telecommunications(北京邮电大学);The University of Hong Kong(香港大学)
GMP提出一个基准,用于评估AI在同时发生违规和动态规则下的内容审查能力。
2026-03-02 cs.AI
Scaling Reinforcement Learning for Content Moderation with Large Language Models
Meta AI
本文提出利用强化学习扩展大语言模型,以提升内容审核的准确性和效率,特别是在标签稀疏和政策复杂的情况下。
2025-12-23 cs.AI
Dynamic Content Moderation in Livestreams: Combining Supervised Classification with MLLM-Boosted Similarity Matching
TikTok Singapore Singapore(TikTok新加坡);TikTok San Jose United States(TikTok旧金山美国);TikTok Shanghai China(TikTok上海中国)
提出一种混合审核框架,结合监督分类和基于参考的相似度匹配,利用多模态大语言模型提升准确性,在保持轻量推理的同时实现大规模直播内容审核。
2026-06-03 cs.AI cs.CV
Advancing Content Moderation: Evaluating Large Language Models for Detecting Sensitive Content Across Text, Images, and Videos
New York University Abu Dhabi(纽约大学阿布扎比分校);Herbert Wertheim College of Engineering, University of Florida(佛罗里达大学赫伯特·韦特海姆工程学院)
针对跨文本、图像和视频的敏感内容检测挑战,本文评估了OpenAI审核模型、Llama-Guard3等基于LLM的内容审核方案及GPT、Gemini等LLM的表现,发现其优于传统技术,为高效内容审核系统提供了方向。
2024-11-26 cs.AI cs.CV
VLM as Policy: Common-Law Content Moderation Framework for Short Video Platform
Kuaishou(快手);Tsinghua(清华大学);CASIA(中国科学院自动化研究所)
针对短视频平台内容审核的挑战,本文提出普通法审核框架KuaiMod,利用视觉语言模型和思维链推理,基于稀疏用户反馈建模视频毒性,实现快速更新和高准确性的动态审核策略,显著降低举报率并提升用户指标。
2025-04-21 cs.AI cs.CL cs.MM
AEGIS: Online Adaptive AI Content Safety Moderation with Ensemble of LLM Experts
NVIDIA(英伟达)
针对现有内容安全数据集覆盖不全的问题,该研究构建了含2.6万条标注的AEGISSAFETYDATASET,微调出性能优异的安全模型,并提出带理论保障的AEGIS在线自适应集成审核框架。
2024-09-11 cs.CL cs.CY cs.LG
Toxicity Detection is NOT all you Need: Measuring the Gaps to Supporting Volunteer Content Moderators
Microsoft Research(微软研究院);University of Maryland, College Park(马里兰大学帕克分校);Cornell University(康奈尔大学)
本文研究了自动化内容审核模型与志愿审核人员需求之间的差距,通过模型审查、LLMs测试和用户调查,发现现有模型在规则覆盖和性能上存在不足,为未来开发审核辅助模型提供了指导。
2024-11-13 cs.AI cs.CL
Zero-Shot Image Moderation in Google Ads with LLM-Assisted Textual Descriptions and Cross-modal Co-embeddings
Google Research(谷歌研究院);Google(谷歌)
提出一种基于 LLM 辅助文本描述和跨模态共嵌入的零样本图像审核方法,无需大量标注数据即可高效检测 Google Ads 中的政策违规内容。
2024-12-18 cs.AI cs.CV cs.IR
CHAIRO: Contextual Hierarchical Analogical Induction and Reasoning Optimization for LLMs
National Engineering Laboratory for Big Data System Computing Technology(国家大数据系统计算技术工程实验室);Shenzhen University(深圳大学);Tsinghua University(清华大学);National University of Singapore(新加坡国立大学)
本文提出CHAIRO框架,通过类比示例提升规则归纳和决策可靠性,在内容审核中实现更准确和可解释的规则生成。
2026-04-12 cs.AI
SenBen: Sensitive Scene Graphs for Explainable Content Moderation
Graduate School of Informatics, METU(信息学院研究生院,梅尔夫大学);Ultralytics, Inc.(Ultralytics公司)
提出SenBen基准和紧凑学生模型,通过多任务训练和词汇平衡策略实现敏感内容的空间定位与可解释性,在场景图生成上超越多数VLM。
2026-05-26 cs.AI cs.CV cs.LG
Evaluating GPT-3 Generated Explanations for Hateful Content Moderation
Singapore University of Technology and Design(新加坡科技设计大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
本研究提出分析框架,通过2,400名受访者调查评估GPT-3生成的仇恨言论解释,发现其虽高质量但说服力可能导致内容审核错误判断,强调需谨慎应用。
2023-08-30 cs.AI cs.CL
LLM-C3MOD: A Human-LLM Collaborative System for Cross-Cultural Hate Speech Moderation
KAIST(韩国科学技术院);ETRI(韩国电子通信研究院)
本文提出LLM-C3MOD人机协作系统,通过RAG文化标注、LLM初筛和定向人工审核三步流程,在韩语仇恨言论审核中实现78%准确率并减少83.6%人工工作量,证明非本地审核员在LLM支持下可有效完成跨文化审核任务。
2025-03-10 cs.AI cs.CL
AgentPS: Agentic Process Supervision for Content Moderation with Multimodal LLMs
TikTok, Inc.(字节跳动公司)
针对多模态大语言模型在复杂细节密集逻辑推理上的不足,本文提出AgentPS框架,通过在微调中引入智能体式过程监督对辅助问题进行顺序推理,在公开基准和专有数据集上显著提升复杂多模态分类性能,并证明其可扩展性。
2025-07-04 cs.AI cs.CL
FLAME: Flexible LLM-Assisted Moderation Engine
AIRI;Moscow Institute of Physics and Technology(莫斯科物理技术学院);SberHealth;Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
针对LLM面临的越狱攻击问题,本文提出FLAME引擎,将审核重点从输入过滤转向输出评估,在保持计算效率的同时显著降低攻击成功率,为LLM内容安全提供更稳健的解决方案。
2025-02-13 cs.AI cs.CL cs.CR
A Trade-off-centered Framework of Content Moderation
内容审核研究通常优先考虑代表和解决一组利益相关者或社区在一种类型的背景下的挑战。虽然采取集中的方法是合理的,甚至有利于实证案例研究,但它并没有解决内容审核在多种背景下如何工作。通过对86篇实证研究的内容审核论文进行系统的文献回顾,我们试图揭示过去内容审核研究中的模式和紧张局势。我们发现,内容审核可以被描述为一系列的权衡周围的审核行动,风格,哲学和价值观。我们讨论如何促进合作和防止滥用,两个关键因素在Grimmelmann的适度的定义,在实践中是内在辩证的。最后,我们展示了研究人员,设计师和主持人如何在自己的工作中使用我们的权衡框架,并认为权衡应该是调查和设计内容审核的核心重要性。
2022-06-07 cs.CY cs.HC
Reliable Decision from Multiple Subtasks through Threshold Optimization: Content Moderation in the Wild
Hyperconnect(Hyperconnect公司);Match Group(Match集团)
社交媒体平台努力通过内容审核来保护用户免受有害内容的影响。这些平台最近利用机器学习模型来处理每天大量的用户生成的内容。由于调节策略因国家和产品类型而异,因此通常按策略训练和部署模型。然而,这种方法效率非常低,特别是当策略发生变化时,需要对数据分布进行数据集重新标记和模型重新训练。为了缓解这种成本低效率,社交媒体平台通常采用第三方内容审核服务,该服务提供多个子任务的预测分数,例如预测未成年人、粗鲁手势或武器的存在,而不是直接提供最终审核决策。然而,从针对特定目标策略的多个子任务的预测分数中做出可靠的自动调节决策尚未被广泛探索。在这项研究中,我们制定了现实世界的情况下,内容审核,并介绍了一个简单而有效的阈值优化方法,搜索多个子任务的最佳阈值,使一个可靠的审核决定在一个具有成本效益的方式。大量的实验表明,我们的方法显示出更好的性能,在内容适度相比,现有的阈值优化方法和算法。
2023-01-26 cs.CY cs.LG cs.SI
Content Moderation Justice and Fairness on Social Media: Comparisons Across Different Contexts and Platforms
本研究通过对200名美国Reddit、Twitter用户的在线实验,考察不同场景、审核策略及平台类型下用户对内容审核的正义公平感知差异,为平台优化审核系统设计提供参考。
2024-03-09 cs.CY cs.HC
User Attitudes to Content Moderation in Web Search
该研究针对用户对网页搜索内容审核的态度这一未被详细探究的问题,通过概述搜索引擎审核实践并对398名美国成年人开展代表性调查,分析了不同审核实践的支持度及用户特征与支持度的关系,发现内容提示支持度最高、完全移除最低,保守及低信任用户更反对审核。
2023-10-05 cs.CY cs.HC
Automated Content Moderation Increases Adherence to Community Guidelines
在线社交媒体平台使用自动审核系统来删除或减少违规内容的可见性。虽然以前的工作已经证明了手动内容审核的重要性,但自动内容审核的影响在很大程度上仍然未知。在这里,在一项针对Facebook评论的大型研究(n= 4.12亿)中,我们使用模糊回归不连续设计来衡量自动内容审核对后续违规行为(隐藏/删除的评论数量)和参与度(发布的额外评论数量)的影响。我们发现,删除评论减少了较短线程(20条或更少评论)中随后的违规行为,即使在其他参与者中也是如此,这表明干预可以防止对话脱轨。此外,删除对受影响用户随后违反规则行为的影响比减少评论的影响更持久,这表明用户被阻止违反规则,但不是评论。相比之下,隐藏(而不是删除)内容的影响很小,统计学上不显著。我们的研究结果表明,自动内容审核增加遵守社区准则。
2023-02-16 cs.CY
SoK: Content Moderation for End-to-End Encryption
流行的消息传递应用程序现在默认启用端到端加密(E2EE),E2EE数据存储也变得越来越普遍。这些在安全和隐私方面的重要进步为在线服务带来了新的内容审核挑战,因为服务不再能够直接访问明文内容。虽然在美国和欧盟正在进行的关于E2EE和内容审核的公共政策辩论强调了儿童性虐待材料和消息传递和存储中的错误信息,但我们确定并综合了远远超出这些主题的大量奖学金。我们在内容审核主题(如恶意软件、垃圾邮件、仇恨言论、恐怖主义内容和企业政策合规性)以及预期部署(不仅包括针对消息、电子邮件和云存储的隐私保护内容审核,还包括中间设备对加密Web流量的私人自省)方面建立了桥梁。在这项工作中,我们系统化的E2EE设置的内容审核的研究。我们制定了一个内容审核的流程管道,借鉴了广泛的跨学科文献,而不是特定于E2EE。我们在这个管道的所有阶段研究密码学和政策设计选择,我们建议未来的研究领域,以填补文献空白,更好地了解可能的前进道路。
2023-03-07 cs.CR cs.CY
Content Moderation and the Formation of Online Communities: A Theoretical Framework
本研究构建理论模型,分析内容审核政策对在线社区参与度和内容多样性的影响,揭示其可能增加参与度并丰富内容的反直觉效应,为平台决策提供数学框架。
2023-10-16 cs.CY cs.DS cs.SI
Control-Theoretic Content Moderation
IIT-CNR(意大利国家研究委员会信息技术与机器人研究所);University of Pisa(比萨大学)
本文提出将内容审核建模为全局自适应序贯决策问题,引入控制理论框架组合干预措施,模拟实验表明其优于基线策略,能更好平衡目标并有效应对有害性激增。
2026-09-17 cs.CY
The Potential of Vision-Language Models for Content Moderation of Children's Videos
University of Central Florida(中佛罗里达大学)
本文评估多种 CLIP 变体在监督与零样本设置下的儿童卡通视频内容审核能力,提出带投影层的 Vanilla CLIP,并证明上下文提示和 MOB 基准性能提升的重要性。
2023-12-06 cs.CV cs.CY cs.LG
Throwaway Accounts and Moderation on Reddit
Clemson University(克莱姆森大学)
本文研究了Reddit上匿名弃用账号与内容管理之间的关系,发现匿名账号内容更易被删除,但管理措施与普通账号一致,表明匿名账号不一定需要更多人工管理。
2025-01-29 cs.CY cs.HC
SoK: Content Moderation in Social Media, from Guidelines to Enforcement, and Research to Practice
本文系统梳理14个主流社交平台的内容审核准则,结合200余篇跨学科文献提出三个分类法,揭示主流与边缘平台审核差异,并探讨研究与实践中的挑战及解决方案。
2023-03-01 cs.CR cs.CY cs.SI
Algorithmic Arbitrariness in Content Moderation
Harvard University(哈佛大学);University of Oxford(牛津大学);Universidade de São Paulo(圣保罗大学);School of Engineering and Applied Science, Harvard University(哈佛大学工程与应用科学学院)
本文研究最先进LLM有毒内容检测中的预测多样性及其群体差异和与人工分类的差异,揭示算法审核对言论自由等人权的任意性风险,并呼吁提升透明度以支撑相关政策与立法。
2024-02-26 cs.CY cs.LG cs.SI
Characterizing Bluesky Content Moderation Service: From Automation of Service to Landscape of Harms
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Saarland University(萨尔大学);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
本研究利用 Bluesky 的透明架构,首次大规模审计其默认审核服务,分析 1060 万条标签,揭示其高精确率低召回率的人机协作机制及危害图景,为设计更优审核系统提供数据基础。
2026-09-11 cs.AI cs.CY
Content Moderation Futures
本研究通过33名从业者的参与式设计工作坊,揭示内容审核中企业激励与公共利益的结构性错位,并借鉴照护工作的计算历史,倡导治理工作者团结以推动系统性变革。
2025-09-11 cs.CY cs.HC
Content Moderation on Social Media in the EU: Insights From the DSA Transparency Database
本文基于 DSA 透明度数据库中两个月的 1.56 亿份理由声明,实证分析欧盟社交媒体内容审核,揭示平台在频率、内容类型、理由、自动化方式和处置措施上的显著不一致。
2023-12-07 cs.CY cs.SI
Longitudinal Monitoring of LLM Content Moderation of Social Issues
针对大语言模型内容审核政策不透明且多变的问题,提出纵向审计系统AI Watchman,通过400余个社会议题数据集审计多款模型,可检测未公开的政策变化、识别审核差异并分类拒绝形式,为LLM纵向审计提供工具与实证。
2025-09-24 cs.CL cs.CY cs.HC
Safe Spaces or Toxic Places? Content Moderation and Social Dynamics of Online Eating Disorder Communities
本研究比较分析了Twitter/X、Reddit和TikTok上进食障碍讨论的内容审核与用户参与,发现审核较弱的平台易形成放大支持厌食症言论的有毒回音室,揭示了审核策略对心理健康在线社区发展的显著影响。
2024-12-20 cs.CY cs.HC cs.SI
On the Design of Strategic Task Recommendations for Sustainable Crowdsourcing-Based Content Moderation
Missouri University of Science and Technology(密苏里科技大学)
基于众包的内容审核是一个平台,它为众包工作者提供内容审核任务,以审查用户提交的内容(例如文本、图像和视频),并就发布内容的可接受性做出决定,以及一系列其他任务,例如图像标记和语音到文本转换。为了减少工人的认知负荷并提高系统效率,这些平台根据工人的偏好提供个性化的任务建议。然而,目前最先进的推荐系统忽视了对工作者心理健康的影响,特别是当他们反复暴露于具有极端内容(例如暴力图像、仇恨言论)的内容审核任务时。在本文中,我们提出了一种新的,战略推荐系统的众包平台,推荐工作的基础上工人的精神状态。具体而言,本文模型之间的互动众包平台的推荐系统(领导者)和工人(追随者)作为贝叶斯Stackelberg游戏的追随者的类型对应于工人的认知萎缩率和任务偏好。我们讨论了如何设计奖励和成本,以引导游戏在最大限度地提高平台的生产力方面达到预期的结果,同时改善人群工作人员的工作条件。
2021-06-04 cs.AI cs.CY cs.GT
Response by the Montreal AI Ethics Institute to the Santa Clara Principles on Transparency and Accountability in Online Content Moderation
2020年4月,电子前沿基金会(EFF)公开呼吁就扩大和改进最初于2018年5月发布的《圣克拉拉透明度和问责制原则》(SCP)发表意见。蒙特利尔人工智能伦理研究所(MAIEI)响应了这一呼吁,根据MAIEI工作人员的见解和分析起草了一套建议,并在两次在线公众咨询研讨会期间召集了人工智能伦理社区的研讨会贡献。MAIEI为SCP提供了12条总体建议,包括:1)确保内容审核过程更加多样; 2)提高平台如何指导内容排名的透明度; 3)披露平台内容审核员培训和/或文化背景的匿名数据; 4)针对特定问题定制内容审核工具; 5)为消息应用程序起草关于内容审核中的数据保护的具体指导方针; 6)考虑与构成可接受的在线行为相关的文化差异; 7)确保平台在政治广告方面的透明度; 8)确保平台部署的用户生成的标记/报告系统的更大透明度; 9)澄清用户内容是否通过自动系统标记或报告; 10)提供更多关于从平台上删除的内容类型的数据; 11)提供关于上诉程序的明确指导方针,以及关于先前上诉的数据; 12)建立一个定期重新审查SCP的系统,使其反映各种技术进步,法律和政策的修改,以及内容调节的变化趋势或运动。
2020-07-01 cs.CY
Quantifying Feature Importance for Online Content Moderation
本研究通过量化方法分析Reddit上16.8K用户对审核干预的反应,识别出753个特征中预测行为变化的关键少数,为开发用户反应预测系统及个性化审核策略奠定基础。
2025-10-22 cs.AI cs.CY cs.LG
Watching the Watchers: A Comparative Fairness Audit of Cloud-based Content Moderation Services
Faculty of Electrical Engineering(电气工程学院);Weizenbaum Institute for the Networked Society(魏岑鲍姆网络社会研究所);Hertie School Berlin(柏林赫蒂学院)
本研究通过黑盒审计和四个基准数据集,对四款主流云内容审核服务开展公平性对比评估,发现其普遍存在隐性仇恨言论检测难、部分弱势群体偏见未消除等问题,为完善外部问责机制提供依据。
2024-06-20 cs.CL cs.CY cs.HC
Personalized Content Moderation and Emergent Outcomes
本研究聚焦个性化内容审核(PCM)的影响,首次发现其会引发非对称信息损失,还可能催生回声室、过滤气泡并加剧社区极化,揭示了PCM对在线社区的潜在负面作用。
2024-05-15 cs.CY cs.SI
Who Decides What Is Harmful? Content Moderation Policy Through A Multi-Agent Personalised Inference Framework
Warsaw University of Technology(华沙技术大学)
本文提出基于LLM的多智能体个性化推理框架,通过用户敏感性档案过滤内容,提升审核准确性,并为平台治理提供政策相关洞察。
2026-05-02 cs.CL cs.CY
Identity-related Speech Suppression in Generative AI Content Moderation
Haverford College(哈弗福德学院);University of Pennsylvania(宾夕法尼亚大学)
本文构建涵盖九个身份群体的言论抑制基准,测试五类内容审核服务,发现身份相关言论更易被错误过滤且原因随身份刻板印象而不同。
2025-07-24 cs.CL cs.CY cs.HC
Exploring Content Moderation in the Decentralised Web: The Pleroma Case
去中心化网络是一个理想但具有挑战性的目标。一个特殊的挑战是在面对各种对手(例如巨魔)时实现去中心化的内容审核。为了克服这一挑战,许多分散式Web(DW)实现依赖于联合策略。管理员使用这些策略来创建规则,以禁止或修改与特定规则匹配的内容。然而,这可能会对许多用户产生意想不到的后果。在本文中,我们提出了第一个研究的DW,他们在野外的使用,以及他们对用户的影响,联邦政策。我们确定了这些政策可能对“无辜”用户产生的负面影响,并概述了未来避免这一问题的可能解决方案。
2021-10-30 cs.CY
AI Feedback Enhances Community-Based Content Moderation through Engagement with Counterarguments
University College Dublin(都柏林大学学院);Trinity College Dublin(都柏林三一学院);Technological University Dublin(都柏林科技大学)
本文研究了AI辅助的混合审核框架,通过提供支持性、中立或论证性的AI反馈,提升用户注释质量,强调多样化视角和直接互动在人机协同智能中的价值。
2026-04-20 cs.CY cs.SI
"I Won the Election!": An Empirical Analysis of Soft Moderation Interventions on Twitter
在过去的几年里,有一个激烈的辩论和严重的公众关注的在线内容的节制,审查和网络上的言论自由的原则。为了缓解这些担忧,Twitter和Facebook等社交媒体平台改进了其内容审核系统,以支持软审核干预。软适度干预是指在可能有问题或有害的内容上贴上警告标签,在内容仍然可以访问的情况下告知其他用户有关内容及其性质,从而减轻与审查和言论自由有关的担忧。在这项工作中,我们对Twitter上的软审核干预进行了首批实证研究之一。使用混合方法的方法,我们研究的用户谁分享Twitter上的警告标签和他们的政治倾向,这些推文收到的参与,以及用户如何与有警告标签的推文互动。除此之外,我们发现72%的带有警告标签的推文是由共和党人分享的,而只有11%是由民主党人分享的。通过分析内容参与度,我们发现与没有警告标签的推文相比,带有警告标签的推文的参与度更高。此外,我们还定性分析了用户如何与带有警告标签的内容进行交互,发现最受欢迎的交互与进一步揭穿虚假声明、嘲笑有争议推文的作者或内容以及进一步强化或重新分享虚假声明有关。最后,我们描述了不一致的具体示例,例如错误添加的警告标签或尽管共享可疑和潜在有害信息但未在推文上添加的警告标签。
2021-04-13 cs.CY cs.SI
The Hidden Language of Harm: Examining the Role of Emojis in Harmful Online Communication and Content Moderation
University of Maryland, College Park(马里兰大学学院公园分校)
本文系统研究表情符号在冒犯性推文中的作用,并提出一种由LLM驱动的多步骤审核流程,在保留语义意图的同时选择性替换有害表情符号以降低冒犯性。
2025-05-31 cs.CL cs.CY cs.HC
Diverse Perspectives Can Mitigate Political Bias in Crowdsourced Content Moderation
本研究评估了众包工人识别政治内容的可行性,发现由异质工人汇总判断可缓解政治偏见,并提出了实现更公平标注的策略。
2023-05-23 cs.CY cs.HC
Investigating the heterogenous effects of a massive content moderation intervention via Difference-in-Differences
该研究通过因果推断方法分析Reddit的大规模封禁干预,发现封禁显著降低了多数用户的毒性行为,但少数用户毒性行为增加,为未来内容审核策略提供了新见解。
2025-07-01 cs.CY cs.HC