No Time Like the Present: Effects of Language Change on Automated Comment Moderation
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);European Research Center for Information Systems(欧洲信息系统研究中心)
网络仇恨的传播已经成为报纸评论部分的一个重要问题。因此,人们越来越有兴趣使用机器学习和自然语言处理进行(半)自动化的滥用语言检测,以避免手动评论审核成本或不得不完全关闭评论部分。然而,许多过去的工作对滥用语言检测假设,分类器在一个静态的语言环境中运行,尽管语言和新闻是在一个不断变化的状态。在本文中,我们使用一个新的德国报纸评论数据集来证明,使用朴素ML技术(如随机测试训练分割)训练的分类器在未来的数据上表现不佳,并且时间分层评估分割更合适。我们还表明,分类器的性能迅速下降时,从一个不同的时期比训练数据的数据评估。我们的研究结果表明,在开发滥用语言检测系统时,有必要考虑语言的时间动态,否则部署一个很快就会失效的模型的风险。
2022-07-08 cs.CL
Hotter and Colder: A New Approach to Annotating Sentiment, Emotions, and Bias in Icelandic Blog Comments
University of Iceland(冰岛大学);The Alexandra Institute(亚历山德拉研究所)
本文构建了Hotter and Colder数据集,利用GPT-4o mini自动标注约80万条冰岛博客评论,经人工修订后得到12,232条高质量标注,为冰岛内容审核和有害行为检测提供资源。
2025-02-24 cs.AI cs.CL
Catalysts of Conversation: Examining Interaction Dynamics Between Topic Initiators and Commentors in Alzheimer's Disease Online Communities
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
本研究通过倾向得分匹配等方法分析两个ADRD在线社区,发现主题发起者的积极参与和互惠回复能显著提升评论量,且不同话题与评论语言特征对用户互动有不同影响,为增强健康在线社区可持续性提供了策略。
2024-12-18 cs.CL cs.CY cs.LG
Topic Modeling, Clade-assisted Sentiment Analysis, and Vaccine Brand Reputation Analysis of COVID-19 Vaccine-related Facebook Comments in the Philippines
University of Birmingham(伯明翰大学);De La Salle University(德拉萨大学)
菲律宾的疫苗犹豫和其他与COVID-19相关的担忧和投诉在社交媒体上很明显。识别这些不同的话题和情绪非常重要,以便衡量公众意见,利用这些见解制定政策,并做出必要的调整或行动,以改善管理机构和COVID-19疫苗本身的公众形象和声誉。本文提出了一种半监督机器学习管道来执行主题建模、情感分析和疫苗品牌声誉分析,以深入了解菲律宾人在Facebook上的全国民意。该方法利用多语言版本的双向编码器表示从Transformers或BERT的主题建模,层次聚类,五个不同的分类器的情感分析,余弦相似度的BERT主题嵌入疫苗品牌声誉分析。研究结果表明,任何类型的COVID-19错误信息都是COVID-19舆论的一个紧急属性,而COVID-19错误信息的检测可能是一项无人监督的任务。情感分析结合层次聚类分析发现,在主题模型外推的25个主题中,有21个是负面主题。每当菲律宾卫生部发布有关其他国家COVID-19疫情的信息时,此类负面评论就会激增。此外,同一机构在Facebook帖子上的大量笑声反应-没有任何幽默内容-表明这些帖子的反应者往往会做出反应,不是因为帖子是关于什么的,而是因为谁发布了它们。
2021-10-11 cs.CL cs.CY
Investigating the Effect of Emoji in Opinion Classification of Uzbek Movie Review Comments
Samarkand State University(撒马尔罕国立大学);University of Hertfordshire(赫特福德大学);Lund University(隆德大学)
在社交媒体帖子上进行意见挖掘已经变得越来越流行。用户经常不仅用文字表达他们对某个主题的看法,而且还使用表情符号和emoji等图像符号。在本文中,我们研究了基于表情符号的功能在乌兹别克语文本的意见分类,更具体地说,从YouTube的电影评论的影响。测试了几种分类算法,并进行了特征排名,以评估基于表情符号的特征的区分能力。
2020-08-02 cs.CL
Analyzing Public Discourse on Urbanism: Topic Clustering, Sentiment Analysis and Retrieval-Augmented Generation using YouTube Comments
Luddy School of Informatics, Computing and Engineering, Indiana University(印第安纳大学卢迪信息学、计算与工程学院)
本研究提出结合地理实体解析、主题建模、情感分析和RAG的流水线系统,分析309个北美城市的YouTube评论,并测量标准NLP组件在短非正式文本上的性能表现。
2026-09-22 cs.AI cs.CL
Modeling Online Discourse with Coupled Distributed Topics
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一个深,全球规范化的主题模型,结合结构关系连接文档在社会上生成的语料库,如在线论坛。我们的模型(1)除了传统的主题信息之外,还沿着观察到的回复链接捕获话语交互,(2)将潜在的分布式表示纳入深层架构中,这使得基于GPU的平均场推理过程能够有效地扩展到大数据。我们将我们的模型应用于一个新的社交媒体数据集,该数据集由从流行的互联网论坛Reddit挖掘的1300万条评论组成,Reddit对不考虑连接用户评论的关系的模型构成了重大挑战。我们评估现有的方法在多个指标,包括困惑和元数据预测,并定性分析学习的交互模式。
2020-05-08 cs.CL cs.LG stat.ML
Wikipedia is Not a Dictionary, Delete! Text Classification as a Proxy for Analysing Wiki Deletion Discussions
Cardiff University(卡迪夫大学);AMPLYFI(AMPLYFI公司)
本文构建多语言Wiki删除讨论数据库,通过多种文本分类任务评估LM,发现删除结果更易预测,而用户标签未必能提升分类。
2025-03-13 cs.CL cs.LG
Context-Aware Content Moderation for German Newspaper Comments
St. Pölten University of Applied Sciences(斯图特格尔特应用科学大学);Der Standard(标准报)
本文针对德语报纸论坛内容审核,使用 LSTM、CNN 和 ChatGPT-3.5 Turbo 结合上下文信息开发二分类模型,发现 CNN 和 LSTM 表现优异,而 ChatGPT 零样本分类表现不佳。
2025-05-27 cs.AI cs.CL
CoRAL: a Context-aware Croatian Abusive Language Dataset
Queen Mary University of London(伦敦玛丽女王大学);Jožef Stefan Institute(约泽夫·斯蒂芬研究所)
鉴于互联网和社交媒体的普及程度空前提高,评论审核从未成为一项更重要的任务。半自动评论审核系统通过自动分类示例或允许审核员优先考虑哪些评论来极大地帮助人类审核员。然而,不适当内容的概念往往是主观的,这种内容可以通过许多微妙和间接的方式传达。在这项工作中,我们提出了CORAL -一个语言和文化意识的克罗地亚滥用数据集涵盖的现象的隐含性和依赖当地和全球范围内。我们的实验表明,目前的模型退化时,评论是不明确的,进一步降低时,需要语言技能和上下文知识来解释的评论。
2022-11-11 cs.CL
Predicting Good Configurations for GitHub and Stack Overflow Topic Models
School of Computer Science University of Adelaide(阿德莱德大学计算机学院)
软件存储库包含大量的文本数据,从源代码注释和问题描述到问题、答案和Stack Overflow上的注释。为了理解这些文本数据,主题建模经常被用作文本挖掘工具,用于发现文本主体中隐藏的语义结构。潜在狄利克雷分配(LDA)是一种常用的主题模型,旨在通过对文本进行分组来解释语料库的结构。LDA需要多个参数才能正常工作,关于如何设置这些参数,只有粗略的、有时相互冲突的指导方针。在本文中,我们贡献了(i)对GitHub和Stack Overflow文本语料库的参数进行了广泛的研究,以达到良好的局部最优,(ii)与八种程序设计语言相关的文本语料库的后验特征,以及(iii)通过每个语料库LDA配置分析语料库特征重要性。我们发现(1)主题建模参数配置的流行经验法则不适用于我们实验中使用的语料库,(2)从GitHub和Stack Overflow采样的语料库具有不同的特征,需要不同的配置才能实现良好的模型拟合,(3)我们可以可靠地预测未知语料库的良好配置。这些研究结果支持研究人员和从业人员在分析软件存储库中包含的文本数据时,有效地确定合适的主题建模配置。
2019-03-10 cs.CL cs.NE
Content Removal as a Moderation Strategy: Compliance and Other Outcomes in the ChangeMyView Community
University of Colorado Boulder(科罗拉多大学博尔德分校);Cornell University(康奈尔大学)
在线社区的版主经常使用删除评论作为工具。我们在这里问,除了屏蔽社区免受不良内容的积极影响外,删除评论是否真的会改善评论作者的行为?我们在一个特别有节制的社区ChangeMyView subreddit中研究这个问题。不幸的是,中断时间序列分析的标准分析方法无法回答这个因果关系问题,因为它无法区分发表不合规评论的影响和被版主删除该评论的影响。因此,我们利用“延迟反馈”的方法,根据观察,一些用户可能会在他们发布不合规评论的时间和评论被删除的时间之间保持活跃。将这种方法应用于此类用户,我们揭示了评论删除在降低即时不合规率方面的因果作用,尽管我们没有发现它在诱导其他行为改善方面具有因果作用的证据。因此,我们的工作经验证明了内容删除作为一种积极的适度策略的承诺和一些潜在的限制,并指出了从观测数据中识别因果效应的未来方向。
2019-10-21 cs.CL cs.CY cs.SI
Digital Guardians: Can GPT-4, Perspective API, and Moderation API reliably detect hate speech in reader comments of German online newspapers?
Hochschule München University of Applied Sciences(慕尼黑应用技术大学)
本文在德语仇恨言论数据集 HOCON34k 上比较 GPT-4o、Perspective API 和 Moderation API 的检测性能,发现 GPT-4o 在 MCC 与 F2-score 组合指标上优于其他方案并超过基线约 5 个百分点。
2025-01-02 cs.CL cs.LG
Probing Association Biases in LLM Moderation Over-Sensitivity
Department of Computer Science, Dartmouth College(达特茅斯大学计算机科学系);Department of Computer Science and Engineering, The Ohio State University(俄亥俄州立大学计算机科学与工程系)
本文研究LLM在内容审查中因主题关联偏差导致的过灵敏问题,提出Topic Association Analysis方法,发现高级模型在误报中存在更强的主题关联偏移,表明需结合关键词过滤与学习主题关联来缓解。
2026-03-17 cs.AI cs.CL
Analysing the Public Discourse around OpenAI's Text-To-Video Model 'Sora' using Topic Modeling
本研究利用 LDA 主题建模分析 1,827 条 Reddit 评论,揭示公众围绕 OpenAI 文生视频模型 Sora 的四大主题:AI 影响、公众担忧、艺术创作及媒体应用,为理解生成式 AI 的公众认知提供了框架。
2024-05-30 cs.CL cs.CY cs.IR
BingoGuard: LLM Content Moderation Tools with Risk Levels
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Salesforce;Microsoft Research(微软研究院)
本文提出BingoGuard审核系统,通过为11个有害主题设计严重程度评分标准并构建“先生成后过滤”的数据集构建框架,训练出的BingoGuard-8B能同时预测安全标签和风险等级,在多个基准上超越现有最佳模型。
2025-03-09 cs.CL
DriftGuard: Safety-Aware Multi-Monitor Detection and Selective Adaptation for Evolving Toxicity Moderation
Department of Information and Decision Sciences(信息与决策科学系);University of Minnesota(明尼苏达大学);Department of Industrial Engineering and Management Sciences(工业工程与管理科学系);Northwestern University(西北大学);Fuqua School of Business(福卡商学院);Duke University(杜克大学);Department of Engineering(工程系);Carnegie Mellon University(卡内基梅隆大学)
提出DriftGuard框架,结合多监测器漂移检测与选择性模型更新,针对毒性演化中的安全相关漂移,通过硬混合适应集提升毒性召回率与准确性。
2026-06-27 cs.CL
Hybrid moderation in the newsroom: Recommending featured posts to content moderators
KNAW Meertens Instituut(荷兰皇家艺术与科学学院梅滕斯研究所);Utrecht University(乌得勒支大学)
本文提出结合用户与文本特征、按类别概率排序的评论推荐系统,辅助新闻审核员选择精选帖子,并通过离线指标与专家评估验证其有效性。
2023-07-14 cs.CL cs.IR cs.LG
The Impact of Featuring Comments in Online Discussions
KNAW Meertens Instituut(KNAW Meertens研究所);Institute for Language Sciences, Utrecht University(乌得勒支大学语言科学研究所)
本文对比有无精选评论的新闻讨论,从用户与平台视角评估其影响,发现精选评论对讨论质量作用有限,但能提升活跃度并延缓参与度自然下降。
2024-12-03 cs.CL cs.HC
Like trainer, like bot? Inheritance of bias in algorithmic content moderation
University of Oxford(牛津大学);University College London(伦敦大学学院)
互联网已成为“网络公众”表达意见和进行辩论的中心媒介。冒犯性的评论和人身攻击可能会抑制这些空间的参与。自动内容审核旨在使用机器学习分类器来克服这个问题,这些分类器是在手动注释的大型文本语料库上训练的。虽然这样的系统可以帮助鼓励更多的民间辩论,但它们必须在内在规范上保持稳定的边界,并受制于提供训练数据的人类评分员的特殊规范。平台实施这些措施的一个重要目标可能是确保它们不会不适当地偏向或反对特定的犯罪规范。本文提供了一些探索性的方法,通过这些方法可以测量算法内容审核系统的规范性偏差,通过使用现有的标记为犯罪的评论数据集的案例研究。我们训练分类器标记的不同的人口子集(男性和女性)的意见,以了解这些群体之间的犯罪概念的差异可能会影响不同的测试集上的结果模型的性能。最后,我们讨论了一些道德的选择面临的算法适度系统的实施者,考虑到各种所需的水平之间的讨论参与者的观点的多样性。
2017-07-05 cs.CL cs.CY cs.LG
Why Should This Article Be Deleted? Transparent Stance Detection in Multilingual Wikipedia Editor Discussions
Hasso Plattner Institute(哈索·普拉特纳研究所);University of Copenhagen(哥本哈根大学)
针对在线平台内容审核不透明且维基多语言编辑讨论中政策提及率低的问题,构建含编辑立场、理由及对应政策的三语言维基编辑讨论数据集,实现立场与政策的高准确率联合预测,并开源模型和数据集以支撑透明化自动内容审核研究。
2023-10-23 cs.CL cs.CY cs.LG
Comment-level Topic Drift Analysis in the Reddit Corpus
William & Mary(威廉玛丽学院)
该研究将嵌入式动态主题建模技术应用于Reddit语料库,分析127亿条2006-2022年的评论,提出嵌入空间内语义漂移分析方法,发现争议性主题漂移显著而文体类主题相对稳定。
2026-08-20 cs.CL
Emotionally Aware Moderation: The Potential of Emotion Monitoring in Shaping Healthier Social Media Conversations
ETH Zurich(苏黎世联邦理工学院);University of St.Gallen(斯坦纳学院);Seoul National University(首尔国立大学);Bern University of Applied Sciences(巴塞尔应用科学大学)
针对现有社交媒体主动内容审核易引发审查争议、未触及不文明行为根源的问题,研究提出并测试两类情绪监测仪表盘,发现其可提升用户情绪感知、减少仇恨言论,但也可能增加敏感话题下的负面情绪表达,为健康数字互动工具研发提供参考。
2025-06-24 cs.CL cs.HC
Findings of the Shared Task on Offensive Span Identification from Code-Mixed Tamil-English Comments
Georgia Institute of Technology(佐治亚理工学院);Data Science Institute, National University of Ireland Galway(爱尔兰国立高威大学数据科学研究所);National Institute of Technology Karnataka Surathkal(卡纳塔克邦苏拉特卡尔国家理工学院);National Institute of Technology, Trichy(特里奇国家理工学院);Vellore Institute of Technology(韦洛尔理工学院);Eastern University, Sri Lanka(斯里兰卡东方大学);Indian Institute of Information Technology and Management, Kerala(喀拉拉邦印度信息技术与管理学院);Thiagarajar College of Engineering(蒂亚加拉贾工程学院)
在社交媒体平台中,攻击性内容的审核对于支持健康的在线讨论至关重要。然而,他们在代码混合的达罗毗荼语中的流行仅限于对整个评论进行分类,而没有识别出其中导致冒犯的部分。这种限制主要是由于缺乏进攻性跨度的注释数据。因此,在这个共同的任务,我们提供泰米尔语,英语代码混合的社会评论与进攻跨度。本文概述了这样发布的数据集,方法和提交系统的结果
2022-05-12 cs.CL
Large Language Models for Automatic Detection of Sensitive Topics
University of Canterbury(坎特伯雷大学);University of Auckland(奥克兰大学);Uppsala University(乌普萨拉大学);The University of Auckland(奥克兰大学);University of Aizu(会津大学)
本研究评估了五种大型语言模型在心理健康领域敏感消息检测中的性能,发现GPT-4o以99.5%准确率和0.99 F1分数表现最佳,证明LLMs可作为高效精准的内容审核辅助工具。
2024-09-02 cs.AI cs.CL
AI in the Gray: Exploring Moderation Policies in Dialogic Large Language Models vs. Human Answers in Controversial Topics
IMDEA Networks Institute(IMDEA网络研究所);Universidad Carlos III de Madrid(马德里卡洛斯三世大学);University of Surrey(萨里大学);King’s College London(伦敦国王学院);VRAIN, Universitat Politecnica de Valencia(瓦伦西亚理工大学VRAIN研究所)
本研究通过对比ChatGPT与人类在争议话题上的回答,发现新版模型显性偏见减少,但仍存在隐性右翼倾向,且整体知识水平接近人类,需加强社会政治审核。
2023-08-28 cs.CL cs.CY cs.LG
Generating Pertinent and Diversified Comments with Topic-aware Pointer-Generator Networks
Baidu, Inc.(百度公司);NJUPT(南京邮电大学)
注释生成是自然语言生成中一个新的、具有挑战性的课题,近年来引起了人们的广泛关注。然而,以往工作产生的评论往往缺乏针对性和多样性。本文提出了一种基于话题感知指针生成器网络(TPGN)的新的生成模型,该模型能够利用文章中隐藏的话题信息来指导针对性和多样性的评论生成。首先,我们设计了一个关键词级和主题级的编码器注意力机制来捕获文章中的主题信息。接下来,我们将主题信息集成到指针生成器网络中,以指导评论生成。在大规模评论生成数据集上的实验表明,该模型能够生成有价值的评论,并且显著优于竞争对手的基线模型。
2020-05-09 cs.CL cs.IR cs.LG
Leveraging Large Language Models and Topic Modeling for Toxicity Classification
University of California, Los Angeles(加州大学洛杉矶分校)
针对现有毒性分类模型存在偏见放大/缩小及边缘化群体被忽视的问题,研究通过在数据集上微调BERTweet和HateBERT并结合主题建模策略,发现特定主题微调可显著提升F1分数,揭示了当前大语言模型在文本毒性检测与解释上的局限性。
2024-11-26 cs.CL cs.LG
Retain or Reframe? A Computational Framework for the Analysis of Framing in News Articles and Reader Comments
School of Computing and Information Systems, The University of Melbourne(计算与信息系统学院,墨尔本大学)
该研究提出首个跨新闻文章与读者评论的大规模框架构建分析计算框架,优化标签并实现框架重构与内容对齐,实验发现评论框架复用度跨媒体高度相关,同时发布了相关分类器与数据集。
2025-10-01 cs.CL
Semantic and Contextual Modeling for Malicious Comment Detection with BERT-BiLSTM
Georgia Institute of Technology(佐治亚理工学院);Stevens Institute of Technology(史蒂文斯理工学院);Cornell University(康奈尔大学);Northeastern University(东北大学)
提出融合 BERT 深层语义特征与 BiLSTM 上下文依赖建模的 BERT+BiLSTM 模型,在 Jigsaw 数据集上以 0.94 准确率优于多种基线,用于恶意评论检测。
2025-03-14 cs.CL
Detecting Sexism in German Online Newspaper Comments with Open-Source Text Embeddings (Team GDA, GermEval2024 Shared Task 1: GerMS-Detect, Subtasks 1 and 2, Closed Track)
FH Aachen University of Applied Sciences(亚琛应用技术大学);ORDIX AG(ORDIX股份公司);Utrecht University(乌得勒支大学)
本文评估单语与多语开源文本嵌入,用于检测德语报纸评论中的性别歧视,并在GermEval 2024 GerMS-Detect两个子任务中取得第4和第2名。
2024-10-02 cs.CL
XREF: Entity Linking for Chinese News Comments with Supplementary Article Reference
Northeastern University(东北大学);ByteDance AI Lab(字节跳动人工智能实验室);Alibaba Group(阿里巴巴集团)
自动识别社交媒体帖子中提到的实体有助于快速消化热门话题和流行观点。尽管如此,由于有限的背景和不同的名称变化,这仍然是一项具有挑战性的任务。本文研究了中文新闻评论在提及跨度一定的情况下的实体链接问题。我们假设评论通常指的是相应新闻文章中的实体,以及涉及实体的主题。因此,我们提出了一个新的模型,XREF,利用注意力机制(1)查明相关的评论中的上下文,(2)检测支持实体的新闻文章。为了改进训练,我们做了两个贡献:(a)除了标准的交叉熵之外,我们还提出了一个监督的注意力损失,以及(b)我们开发了一个弱监督的训练方案来利用大规模的未标记语料库。在娱乐和产品领域的两个新的数据集收集和注释的实验。我们提出的方法在这两个数据集上都优于以前的方法。
2020-06-24 cs.CL
What Large Language Models Do Not Talk About: An Empirical Study of Moderation and Censorship Practices
Ghent University(根特大学)
本文通过区分硬审查与软审查,对14个来自西方、中国和俄罗斯的LLM在联合国六种官方语言下的政治话题回应进行实证分析,发现审查普遍存在但主要面向提供者国内受众,呼吁提升LLM的多样性与审核透明度。
2025-04-04 cs.CL cs.CY cs.LG
Stay on Topic, Please: Aligning User Comments to the Content of a News Article
Center for Data Analytics and Biomedical Informatics(数据分析与生物信息学中心);Temple University(天普大学)
社会科学家已经表明,高达50%的内容张贴到新闻文章没有关系,其新闻内容。在这项研究中,我们提出了一个分类算法来分类用户的评论张贴到一个新的文章基地上对齐其内容。对齐试图根据内容、讨论中的实体和主题的相似性将用户评论与文章匹配。我们提出了一种基于BERTAC,BAERT的方法,共同学习文章评论嵌入和推断评论的相关性类。我们引入了一个有序分类损失,惩罚预测和真实标签之间的差异。我们进行了深入的研究,以显示拟议的损失对学习过程的影响。在五个有代表性的新闻媒体上的结果表明,我们的方法可以学习评论类,与基线相比平均准确率提高了36%,与BA-BC模型相比平均准确率提高了25%。BA-BC是我们提出的一种方法,它由两个模型组成,旨在分离地捕获新闻文章的形式语言和评论的非正式语言。我们还进行了用户研究,以评估人类标记性能,以了解分类任务的难度。根据Krippendorff的alpha评分,用户对评论-文章对齐的一致性是“中等”,这表明分类任务很难。
2021-03-03 cs.CL cs.IR cs.LG
Personalized Prediction of Offensive News Comments by Considering the Characteristics of Commenters
Kyushu University(九州大学)
当阅读社交网络服务和新闻网站上的新闻文章时,读者可以查看其他人对这些文章的评论。通过阅读这些评论,读者可以了解有关新闻的舆论,往往有助于把握新闻的全貌。然而,这些评论通常包含读者不喜欢阅读的攻击性语言。本研究旨在预测此类攻击性评论,以提高读者在阅读评论时的体验质量。该方法考虑到读者价值观的多样性,根据读者过去评价为“攻击性”的少量新闻评论的反馈,预测每个读者的攻击性新闻评论。此外,我们使用了一个机器学习模型,该模型考虑评论者的特征来进行预测,独立于新闻评论中的单词和主题。实验结果表明,该方法可以个性化预测,即使在预测中使用的读者的反馈数据量是有限的。特别是,所提出的方法,它考虑了评论者的特点,具有较低的错误检测攻击性评论的概率。
2022-12-26 cs.CL
The Constant in HATE: Analyzing Toxicity in Reddit across Topics and Languages
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文基于Reddit上481个社区、六种语言、80个主题的150万条评论线程,系统分析了毒性语言在不同主题和语言社区中的分布规律,发现部分主题的毒性激增模式跨语言一致,而特定语言社区内部则存在显著差异。
2024-04-29 cs.CL
Conversational Networks for Automatic Online Moderation
Laboratoire Informatique d’Avignon (LIA EA 4128)(阿维尼翁信息学实验室(LIA EA 4128));Avignon University(阿维尼翁大学);Nectar de Code(花蜜代码公司)
在线社区中用户生成内容的适度化是一项具有巨大社会经济影响的挑战。然而,将这项工作委托给人类代理所产生的成本很高。出于这个原因,能够检测用户生成的内容中的滥用的自动系统是非常感兴趣的。有很多方法可以解决这个问题,但在实践中最常见的是词过滤或正则表达式匹配。主要的限制是它们容易受到用户故意混淆的影响,以及它们的上下文不敏感的性质。此外,它们依赖于语言,可能需要适当的语料库进行培训。在本文中,我们提出了一个自动滥用检测系统,完全无视消息内容。我们首先从原始聊天记录中提取一个会话网络,并通过拓扑测量来表征它。然后,我们使用这些特征来训练分类器进行滥用检测任务。我们彻底评估我们的系统上的用户评论数据集来自法国大型多人在线游戏。我们确定了最合适的网络提取参数,并讨论了我们的功能的判别力,相对于他们的拓扑和时间性质。当使用完整的特征集时,我们的方法达到了83.89的F-测量,改进了现有的方法。通过选择最具鉴别力的特征,我们大大减少了计算时间,同时保留了大部分性能(82.65)。
2019-01-31 cs.CL cs.CY cs.IR
Improving Cyberbully Detection with User Interaction
Tsinghua University(清华大学);Arizona State University(亚利桑那州立大学)
网络欺凌,被确定为故意和重复的在线欺凌行为,在过去几十年中变得越来越普遍。尽管迄今为止取得了重大进展,但大多数现有网络欺凌检测工作的重点在于对社交媒体会话中不同评论的独立内容分析。我们认为,这种领先的概念分析遭受三个关键的限制:他们忽略了不同的评论之间的时间相关性;他们只考虑在一个单一的评论,而不是跨评论的主题一致性的内容;他们仍然是通用的,并利用有限的社交媒体用户之间的互动。在这项工作中,我们观察到同一会话中的用户评论可能是内在相关的,例如,讨论类似的话题,他们的互动可能会随着时间的推移而演变。我们还表明,建模这样的主题连贯性和时间的相互作用是至关重要的,以捕捉欺凌行为的重复特征,从而导致更好的预测性能。为了实现这个目标,我们首先为每个社交媒体会话构建一个统一的时间图。利用图神经网络的最新进展,我们提出了一种基于图的原则性方法,用于对整个用户交互过程中的时间动态性和主题一致性进行建模。我们实证评估我们的方法的有效性与会话级欺凌检测和评论级的案例研究的任务。我们的代码已向公众发布。
2021-02-11 cs.AI cs.CL cs.SI
The Tone of Awareness: Topic, Sentiment, and Toxicity Maps During Mental Health Month on TikTok
Institute for Biocomputation and Physics of Complex Systems (BIFI)(生物计算与复杂系统物理研究所);University of Zaragoza(萨拉戈塔大学);ARAID Foundation(ARAID基金会);Network Science Institute(网络科学研究所);Northeastern University London(伦敦东北大学);Kent Medway Medical School(肯特梅德斯医疗学院);LASIGE(拉西格研究所);Faculdade de Ciências da Universidade de Lisboa(里斯本大学科学学院);Department of Psychology, University of Limerick(利默里克大学心理学系);Observatory on Social Media, Indiana University(社交媒体观察所,印第安纳大学);CSSI - Kellogg School of Management, Northwestern University(CSSI - 北western大学凯洛格管理学院)
通过分析 TikTok 2023-2024 年心理健康月期间的视频和评论,使用 BERTopic 提取主题、XLM-T 和 Detoxify 量化情感与毒性,发现视频情感偏负面而评论更混合,毒性在评论中呈长尾分布且集中于特定主题。
2026-06-12 cs.CL cs.CY cs.HC
When Large Language Models Do Not Work: Online Incivility Prediction through Graph Neural Networks
Stevens Institute of Technology(史蒂文斯理工学院)
本文提出基于图神经网络的框架,用于检测在线不文明行为,优于现有大语言模型并降低推理成本。
2026-02-01 cs.AI cs.CL cs.SI