SafeSpeech: A Comprehensive and Interactive Tool for Analysing Sexist and Abusive Language in Conversations
University of Warwick(华威大学);University of Sheffield(谢菲尔德大学);University of Leeds(利兹大学);Forensic Capability Network(法医能力网络)
SafeSpeech平台结合微调分类器与大语言模型,实现消息级和对话级的多粒度毒性检测、毒性感知摘要及人物画像,并引入困惑度增益等可解释性机制,在多个基准上复现了最先进性能。
2025-03-09 cs.CL
HULAT at SemEval-2023 Task 10: Data augmentation for pre-trained transformers applied to the detection of sexism in social media
本文介绍了我们参与SemEval-2023任务10,其目标是检测社交媒体中的性别歧视。我们将探讨一些最流行的Transformer模型,如BERT、DistilBERT、RoBERTa和XLNet。我们还研究了不同的数据增强技术来增加训练数据集。在开发阶段,我们通过对任务B和C使用RoBERTa和数据增强获得了最佳结果。然而,使用合成数据并不能改善任务C的结果。我们参与了三个子任务。我们的方法仍然有很大的改进空间,特别是在两个细粒度的分类。我们所有的代码都可以在存储库https://github.com/isegura/hulat_edos中找到。
2023-03-01 cs.AI cs.CL cs.LG
SexWEs: Domain-Aware Word Embeddings via Cross-lingual Semantic Specialisation for Chinese Sexism Detection in Social Media
Queen Mary University of London(伦敦玛丽女王大学)
针对中文性别歧视检测数据稀缺问题,提出跨语言领域感知语义特化框架,利用英语语义资源改造中文预训练词向量以注入领域知识,生成的SexWEs在内外评估中均显著提升性能。
2023-03-30 cs.CL cs.SI
Explaining Matters: Leveraging Definitions and Semantic Expansion for Sexism Detection
Department of Computer Science, University of Warwick(沃里克大学计算机科学系);School of Computing, University of Leeds(利兹大学计算机学院)
本文针对在线性别歧视检测中的数据稀疏和类别不平衡问题,提出基于定义的数据增强和上下文语义扩展两种提示增强方法,并结合多模型集成策略,在 EDOS 数据集上取得最优性能。
2025-06-06 cs.CL
Quantifying Stereotypes in Language
针对现有研究仅对句子刻板印象做二元划分的不足,该研究通过标注数据集实现语言刻板印象的细粒度量化,用PLMs预测刻板印象程度,验证其与多类社会议题的关联,为社会议题研究提供新维度。
2024-01-28 cs.CL
Automatic Sexism Detection with Multilingual Transformer Models
Austrian Institute of Technology GmbH(奥地利技术研究所股份公司);St. Pölten University of Applied Sciences(圣珀尔滕应用科技大学)
在过去的几年里,性别歧视已经成为社交网络上日益严重的问题。IberLEF 2021上的第一个关于社交网络中的性别歧视识别(EXIST)的共享任务是自然语言处理(NLP)领域的国际竞赛,旨在通过应用机器学习方法自动识别社交媒体内容中的性别歧视。因此,性别歧视检测被公式化为粗(二元)分类问题和细粒度分类任务,该细粒度分类任务区分多种类型的性别歧视内容(例如,支配、刻板印象和客观化)。本文介绍了AIT_FHSTP团队在EXIST 2021基准测试中对这两项任务的贡献。为了解决这些问题,我们应用了两种多语言的Transformer模型,一种基于多语言的BERT,另一种基于XLM-R。我们的方法使用两种不同的策略来适应Transformers的检测性别歧视的内容:第一,无监督的预训练与额外的数据和第二,监督微调与额外的和增强的数据。对于这两项任务,我们的最佳模型是XLM-R,对EXIST数据和其他数据集进行无监督预训练,并对提供的数据集进行微调。二元分类(任务1)的最佳运行达到了0.7752的宏观F1分数,在基准测试中排名第5;对于多类分类(任务2),我们的最佳提交分数排名第6,宏观F1分数为0.5589。
2022-02-08 cs.AI cs.CL
SSS at SemEval-2023 Task 10: Explainable Detection of Online Sexism using Majority Voted Fine-Tuned Transformers
Manipal Institute of Technology(马尼帕尔理工学院);Manipal Academy of Higher Education(马尼帕尔高等教育学院)
该研究面向 SemEval-2023 EDOS 三个子任务,提出微调 BERT 模型并结合多数投票集成的在线性别歧视可解释检测方法,性能优于单一基线。
2023-04-23 cs.AI cs.CL cs.CY
SWSR: A Chinese Dataset and Lexicon for Online Sexism Detection
Queen Mary University of London(伦敦玛丽女王大学);Oxford Brookes University(牛津布鲁克斯大学)
网络性别歧视已成为社交媒体平台上越来越令人担忧的问题,因为它影响了互联网的健康发展,并可能对社会产生负面影响。虽然性别歧视检测领域的研究正在增长,但大多数研究都集中在英语作为语言和Twitter作为平台上。我们的目标是通过考虑新浪微博上的中文语言来扩大这项研究的范围。我们提出了第一个中文性别歧视数据集--新浪微博性别歧视评论(SWSR)数据集--以及一个由辱骂性和性别相关术语组成的大型中文词典SexHateLex。我们介绍了我们的数据汇集和注释过程,并提供了一个探索性的分析数据集的特点,以验证其质量,并显示如何性别歧视的表现在中国。SWSR数据集提供了不同粒度级别的标签,包括(i)性别歧视或非性别歧视,(ii)性别歧视类别和(iii)目标类型,可以利用这些标签来构建计算方法,以识别和调查更细粒度的性别相关辱骂性语言。我们利用最先进的机器学习模型对三个性别歧视分类任务进行实验。我们的研究结果显示了有竞争力的性能,为中文中的性别歧视检测提供了基准,以及错误分析,突出了中文NLP需要更多研究的开放性挑战。SWSR数据集和SexHateLex词典是公开的。
2021-08-06 cs.CL
Sexism Identification in Tweets and Gabs using Deep Neural Networks
通过匿名化和可访问性,社交媒体平台促进了仇恨言论的扩散,促使人们更多地研究开发自动识别这些文本的方法。本文使用各种深度神经网络模型架构(如长短期记忆(LSTM)和卷积神经网络(CNN))探索文本中性别歧视的分类。这些网络与来自Transformers(BERT)和DistilBERT模型的双向编码器表示形式的迁移学习结合使用,以及数据增强,以对来自IberLEF 2021中社交网络中的sEXism识别(EXIST)任务的推文和gab数据集执行二进制和多类性别歧视分类。这些模型的性能与竞争对手的模型相比,使用BERT和多滤波器CNN模型的性能最好。数据增强进一步改善了多类分类任务的这些结果。本文还探讨了模型所产生的错误,并讨论了由于标签的主观性和社交媒体中使用的自然语言的复杂性而导致的性别歧视自动分类的困难。
2021-11-05 cs.CL cs.LG
SemEval-2023 Task 10: Explainable Detection of Online Sexism
Rewire;University of Oxford(牛津大学);Queen Mary University of London(伦敦玛丽女王大学)
针对在线性别歧视检测缺乏可解释性的问题,本文提出SemEval任务10,构建了性别歧视内容分层分类体系、含2万条细粒度标签的数据集及基线模型,并分析参与者方法、结果与错误。
2023-05-08 cs.CL cs.CY
Sexism Prediction in Spanish and English Tweets Using Monolingual and Multilingual BERT and Ensemble Models
Universitat Politècnica de València(瓦伦西亚理工大学);Escola Politécnica da Universidade de São Paulo(圣保罗大学)
社交媒体的普及带来了仇恨言论和性别歧视等问题。识别和分类社交媒体中的性别歧视是非常相关的任务,因为它们将有助于建立一个更健康的社会环境。然而,这些任务相当具有挑战性。这项工作提出了一个系统,使用多语言和单语言的BERT和数据点翻译和合奏策略的性别歧视识别和分类在英语和西班牙语。它是在伊比利亚语言评估论坛(IberLEF)提出的2021年社交网络共享(EXIST 2021)任务中进行的。本文介绍了所提出的系统及其主要组成部分,并进行了深入的超参数分析。观察到的主要结果是:(i)该系统获得了比基线模型(多语言BERT)更好的结果;(ii)集成模型获得了比单语言模型更好的结果;(iii)考虑到所有单个模型和最佳标准化值的集成模型获得了两项任务的最佳准确度和F1分数。这项工作在EXIST的两项任务中均获得第一名,准确率最高(任务1为0.780,任务2为0.658),F1得分最高(任务1的F1二进制为0.780,任务2的F1宏为0.579)。
2021-11-08 cs.AI cs.CL cs.CY
Fine-Grained Behavior Simulation with Role-Playing Large Language Model on Social Media
School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
针对LLM在社交媒体真实用户行为模拟上的不足,本文构建FineRob细粒度数据集,识别两类推理模式并提出OM-CoT微调方法,实验验证了其有效性。
2024-12-04 cs.AI cs.CL cs.CY
Attention at SemEval-2023 Task 10: Explainable Detection of Online Sexism (EDOS)
IIIT Hyderabad(海得拉巴国际信息技术研究所)
本文通过微调基于transformer的架构解决在线性别歧视检测的分类问题,结合多transformer组合、领域自适应预训练和联合学习等方法,在SemEval-2023任务10的三个子任务上取得显著成果。
2023-04-10 cs.CL
CL-UZH at SemEval-2023 Task 10: Sexism Detection through Incremental Fine-Tuning and Multi-Task Learning with Label Descriptions
University of Zurich(苏黎世大学)
针对 EDOS 2023 在线性别歧视检测,本文提出先在相关任务上增量微调、再利用标签描述进行多任务成对分类的模型,并在三个子任务上显著优于 DeBERTa-V3 基线。
2023-06-06 cs.CL cs.CY
"Call me sexist, but...": Revisiting Sexism Detection Using Psychological Scales and Adversarial Samples
GESIS(GESIS莱布尼茨社会科学研究所)
研究集中在有效检测在线性别歧视的自动化方法上。虽然公开的性别歧视似乎很容易发现,但其微妙的形式和多种表现却不是。在本文中,我们概述了不同层面的性别歧视接地他们在其实施的心理量表。从这些量表中,我们得出了一个社交媒体中性别歧视的密码本,我们用它来注释现有的和新的数据集,暴露出它们在性别歧视结构的广度和有效性方面的局限性。接下来,我们利用带注释的数据集生成对抗性示例,并测试性别歧视检测方法的可靠性。结果表明,目前的机器学习模型只关注一组非常狭窄的性别歧视语言标记,并且不能很好地推广到域外的例子。然而,在训练时包括不同的数据和对抗性的示例,会导致模型更好地泛化,并且对数据汇集的工件更鲁棒。通过提供一个基于规模的码本和关于最先进的缺点的见解,我们希望有助于更好和更广泛的性别歧视检测模型的发展,包括对理论驱动的数据汇集方法的反思。
2021-06-02 cs.CL cs.CY cs.SI
IndiVec: An Exploration of Leveraging Large Language Models for Media Bias Detection with Fine-Grained Bias Indicators
The Chinese University of Hong Kong(香港中文大学);MoE Key Laboratory of High Confidence Software Technologies(教育部高可信软件技术重点实验室);The Hong Kong Polytechnic University(香港理工大学)
本研究提出基于大语言模型的通用媒体偏见检测框架IndiVec,通过构建细粒度偏见数据库并自动选取指标进行多数投票,在四个政治偏见数据集上显著优于基线,兼具适应性与可解释性。
2024-02-01 cs.CL
Learning Fine-Grained Knowledge about Contingent Relations between Everyday Events
University of California Santa Cruz(加州大学圣克鲁兹分校)
社交媒体上的大部分用户生成内容都是由普通人讲述他们日常生活的故事提供的。我们开发并测试了一种新的方法,用于从这些关于日常事件之间的偶然(因果和条件)关系的故事中学习细粒度的常识知识。这种类型的知识对于文本和故事理解、信息抽取、问答和文本摘要是有用的。我们测试和比较不同的方法学习权变关系,并比较从主题排序的故事集合与一般领域的故事。我们的实验表明,使用特定主题的数据集可以学习有关事件的更细粒度的知识,并导致基线的显着改进。Amazon Mechanical Turk上的一项评估显示,我们从主题分类故事中了解到的事件之间的关系中,有82%被判断为偶然的。
2017-08-30 cs.AI cs.CL
FHSTP@EXIST 2025 Benchmark: Sexism Detection with Transparent Speech Concept Bottleneck Models
St. P\" o lten University of Applied Sciences, 3100 St. Pölten, Austria
针对 EXIST 2025 性别歧视识别任务,本文提出可解释的 SCBM 与融合 Transformer 的 SCBMT,并结合增强数据微调 XLM-RoBERTa,在多语评测中取得前列成绩。
2025-07-28 cs.AI cs.CL cs.CY
SOS-1K: A Fine-grained Suicide Risk Classification Dataset for Chinese Social Media Analysis
School of Software Engineering, Beijing University of Technology(北京工业大学软件学院);School of Nursing, Wuhan University(武汉大学护理学院);Sorbonne Université(索邦大学);Institut du Cerveau - Paris Brain Institute - ICM(大脑研究所-巴黎脑研究所-ICM);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Inserm(法国国家健康与医学研究院);AP-HP(巴黎公共医疗集团);Hôpital de la Pitié Salpêtrière(皮蒂-萨尔皮特里医院)
本研究构建了中文社交媒体细粒度自杀风险分类数据集SOS-1K,评估七个预训练模型,发现高/低风险分类表现良好(F1达88.39%),但细粒度分类效果欠佳(F1为50.89%),数据增强可提升性能,Chinese MentalBERT表现最优。
2024-04-19 cs.CL
System Report for CCL25-Eval Task 10: Prompt-Driven Large Language Model Merge for Fine-Grained Chinese Hate Speech Detection
School of Economics and Management, Dalian University of Technology(经济管理学院,大连理工大学)
本文提出基于提示的LLM融合框架,通过三阶段方法提升细粒度中文仇恨言论检测的性能。
2025-12-10 cs.AI cs.CL
Detecting Sexism in German Online Newspaper Comments with Open-Source Text Embeddings (Team GDA, GermEval2024 Shared Task 1: GerMS-Detect, Subtasks 1 and 2, Closed Track)
FH Aachen University of Applied Sciences(亚琛应用技术大学);ORDIX AG(ORDIX股份公司);Utrecht University(乌得勒支大学)
本文评估单语与多语开源文本嵌入,用于检测德语报纸评论中的性别歧视,并在GermEval 2024 GerMS-Detect两个子任务中取得第4和第2名。
2024-10-02 cs.CL
An Adaptive Supervised Contrastive Learning Framework for Implicit Sexism Detection in Digital Social Networks
提出ASCEND框架,利用阈值对比学习与多特征融合,在EXIST2021和MLSC数据集上显著提升隐性性别歧视检测性能。
2025-07-03 cs.CL
Sexism detection: The first corpus in Algerian dialect with a code-switching in Arabic/ French and English
Aston University(阿斯顿大学);Folding Space(Folding Space公司);University of Wolverhampton(伍尔弗汉普顿大学)
在本文中,仇恨言论检测对妇女在阿拉伯社区的社交媒体(如Youtube)的方法。在文献中,类似的作品已经为其他语言,如英语。然而,据我们所知,用阿拉伯文进行的工作不多。使用三种不同的注释器开发了一个新的仇恨言论语料库(阿拉伯语fr en)。对于语料验证,使用了三种不同的机器学习算法,包括深度卷积神经网络(CNN)、长短期记忆(LSTM)网络和双向LSTM(Bi-LSTM)网络。仿真结果表明,CNN模型的最佳性能,与LSTM和Bi-LSTM相比,对于不平衡语料库,其F1得分高达86\%。
2021-04-03 cs.CL
Automatic Detection of Sexist Statements Commonly Used at the Workplace
Stanford University(斯坦福大学);ISEP (Institut supérieur d’électronique de Paris)(巴黎高等电子学院)
检测工作场所的仇恨言论是一项独特的分类任务,因为潜在的社会背景意味着传统仇恨言论的微妙版本。关于最先进的工作场所性别歧视检测模型的应用包括人力资源部门的辅助工具,人工智能聊天机器人和情感分析。大多数现有的仇恨言论检测方法,虽然强大和准确,专注于社交媒体上发现的仇恨言论,特别是Twitter。社交媒体的环境比工作场所更加匿名,因此它往往会导致更具侵略性和“敌意”的性别歧视版本。因此,具有大量“敌意”性别歧视的数据集具有稍微容易的检测任务,因为“敌意”性别歧视陈述可以取决于几个词,无论上下文如何,都会提示模型该陈述是性别歧视的。在本文中,我们提出了一个在工作场所更有可能说的性别歧视言论的数据集,以及一个可以实现最先进结果的深度学习模型。以前的研究已经创建了最先进的模型来区分“敌意”和“善意”的性别歧视,仅仅基于汇总的Twitter数据。我们的深度学习方法,初始化为GloVe或随机词嵌入,使用具有注意力机制的LSTM,在更多样化的过滤数据集上优于这些模型,这些数据集更有针对性地针对工作场所的性别歧视,导致F1得分为0.88。
2020-07-08 cs.CL cs.CY cs.LG
PromptAug: Fine-grained Conflict Classification Using Data Augmentation
University of Glasgow(格拉斯哥大学);Radboud University(拉德堡德大学)
PromptAug是一种基于LLM的数据增强方法,通过在极端数据稀缺场景下评估,在冲突和情感数据集上实现2%的准确率和F1分数提升,并识别出增强文本中的四种问题模式。
2025-06-24 cs.AI cs.CL cs.CY
Sexism Detection on a Data Diet
GESIS Leibniz Institute for the Social Sciences(GESIS莱布尼茨社会科学研究所);Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS), Universidade de Santiago de Compostela(智能技术 singular 研究中心(CiTIUS),圣地亚哥德孔波斯特拉大学)
本文研究利用影响分数进行数据剪枝以训练性别歧视检测模型,发现大量数据可被移除而不显著降低性能,但现有剪枝策略会加剧类别不平衡,甚至导致仇恨类别完全缺失。
2024-06-07 cs.CL
How is Your Mood When Writing Sexist tweets? Detecting the Emotion Type and Intensity of Emotion Using Natural Language Processing Techniques
Dalhousie University(达尔豪斯大学);Huawei Technologies(华为技术有限公司);Ark Lab(方舟实验室)
近年来,在线社交平台一直是不同情感和态度的用户的战场。虽然性别歧视在文献中被认为是仇恨言论的一个类别,但没有一个吸引自然语言处理技术的性别歧视的全面定义和类别。将性别歧视归类为善意或敌意的性别歧视是如此广泛,以至于很容易忽视社交媒体上的其他性别歧视类别。Sharifirad S和Matwin S 2018提出了一个定义明确的性别歧视类别,包括间接骚扰,信息威胁,性骚扰和身体骚扰,灵感来自社会科学,用于自然语言处理技术。在本文中,我们利用SemEval-2018 task 1中新发布的数据集:推文中的情感,来显示每个类别中的情感类型和情感强度。我们在SemEval- 2018数据集上对不同的分类方法进行训练、测试和评估,并选择准确率最高的分类器对每类性别歧视推文进行测试,以了解每类推文用户的心理状态和情感状态。这是一个很好的探索途径,因为并不是所有的推文都是直接的性别歧视,它们承载着用户不同的情感。这是第一个对性别歧视推文进行深度影响检测的实验。根据我们最好的知识,他们都是该领域的新贡献;我们是第一个展示这种深入的情感分析对性别歧视推文的力量的人。
2019-01-28 cs.CL cs.LG cs.SI
FFN: a Fine-grained Chinese-English Financial Domain Parallel Corpus
School of Economics and Finance(经济与金融学院);Shanghai International Studies University(上海外国语大学);School of Education(教育学院)
本文构建了细粒度中英金融新闻平行语料库FFN,并通过对比ChatGPT、ERNIE-bot和OpenNMT模型的翻译质量,揭示了LLM在金融翻译中的不足,旨在推动该领域的优化研究。
2024-06-27 cs.AI cs.CE cs.CL
AraHalluEval: A Fine-grained Hallucination Evaluation Framework for Arabic LLMs
Information and Computer Science Department, King Fahd University of Petroleum and Minerals(信息与计算机科学系,国王法赫德石油和矿物大学);SDAIA-KFUPM Joint Research Center for Artificial Intelligence(SDAIA-KFUPM人工智能联合研究中心)
本文提出AraHalluEval,首个针对阿拉伯语LLM的细粒度幻觉评估框架,在生成式问答和摘要任务上评估12个模型,发现事实性幻觉更普遍,且阿拉伯语模型Allam表现优于多语言模型。
2025-09-09 cs.CL
Identifying Fine-grained Forms of Populism in Political Discourse: A Case Study on Donald Trump's Presidential Campaigns
本文构建民粹主义话语数据集,评估多类语言模型与提示范式,发现微调RoBERTa表现最佳,并用于分析特朗普演讲及欧洲政治语料的跨域迁移。
2025-07-25 cs.CL
Hope vs. Hate: Understanding User Interactions with LGBTQ+ News Content in Mainstream US News Media through the Lens of Hope Speech
Rochester Institute of Technology(罗切斯特理工学院);Drexel University(德雷塞尔大学)
本文基于百万级YouTube评论构建希望言论分类器,结合专家指导的3,750例标注数据集,分析用户对LGBTQ+新闻的互动,并揭示政治信念对标注与模型判断的影响。
2025-10-19 cs.CL cs.CY cs.LG
Fine-grained Video Dubbing Duration Alignment with Segment Supervised Preference Optimization
Alibaba Digital Media and Entertainment Group(阿里巴巴数字媒体与娱乐集团);School of Software Engineering, Huazhong University of Science and Technology(华中科技大学软件学院);Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence, Beijing Jiaotong University(北京交通大学交通数据挖掘与具身智能重点实验室)
针对视频配音中因语言信息密度差异导致的音画不同步问题,提出片段监督偏好优化(SSPO)方法,通过逐片段采样和细粒度损失优化基于LLM的机器翻译时长对齐,显著提升了时长对齐性能。
2025-08-12 cs.CL cs.SD
Detecting Actionable Requests and Offers on Social Media During Crises Using LLMs
Qatar Computing Research Institute(卡塔尔计算研究中心);Hamad Bin Khalifa University(哈马德·本·卡伊夫大学)
提出细粒度分层分类体系与查询特定少样本学习方法,利用大语言模型检测并优先处理危机期间社交媒体上的可执行请求与提供。
2025-04-22 cs.AI cs.IR
Attention-based method for categorizing different types of online harassment language
Athens University of Economics and Business(雅典经济与商业大学)
在社交媒体和网络平台时代,Twitter注定会对用户,特别是女性用户进行虐待和骚扰。监测传统媒体中的性别歧视和性骚扰内容比监测Twitter等在线社交媒体平台上的内容更容易,因为这些媒体中有大量用户生成的内容。因此,关于自动检测包含性骚扰或种族主义骚扰的内容的研究是一个重要问题,可以作为删除该内容或将其标记为人类评估的基础。以前的研究一直集中在收集关于性别歧视和种族主义的数据非常广泛。然而,没有太多的研究集中在不同类型的在线骚扰吸引自然语言处理技术。在这项工作中,我们提出了一种基于多注意力的方法来检测不同类型的骚扰的推文。我们的方法是基于递归神经网络,特别是我们正在使用一个深,分类特定的多注意力机制。此外,我们解决了不平衡的数据的问题,使用回翻译方法。最后,我们提出了基于递归神经网络的不同方法之间的比较。
2019-12-02 cs.CL cs.LG cs.SI
Detecting Offensive Language in Tweets Using Deep Learning
Norwegian University of Science and Technology(挪威科技大学)
本文讨论了识别社交媒体中仇恨内容的重要问题。我们提出了一个检测方案,这是一个合奏的递归神经网络(RNN)分类器,它结合了各种功能与用户相关的信息,如用户的倾向种族主义或性别歧视。这些数据作为输入与从文本内容导出的词频向量一起被馈送到上述分类器。我们的方法已被评估的公开可用的语料库的16k推文,结果表明其有效性相比,现有的最先进的解决方案。更具体地说,我们的计划可以成功地区分种族主义和性别歧视的消息从正常的文本,并实现更高的分类质量比目前最先进的算法。
2018-01-13 cs.CL cs.CY cs.SI
A Multimodal, Multilingual, and Multidimensional Pipeline for Fine-grained Crowdsourcing Earthquake Damage Evaluation
New York University(纽约大学);University of South Florida(佛罗里达州立大学);Google LLC(谷歌公司);University of California, Santa Barbara(加州大学圣巴巴拉分校);Massachusetts Institute of Technology(麻省理工学院)
本文提出多模态、多语言与多维(3M)流水线,利用多模态大语言模型融合社交媒体图像与文本进行细粒度地震灾害评估,并在两次地震事件中验证了其与真实震害数据的强相关性。
2025-06-03 cs.CL cs.CY cs.SI
ABCD-LINK: Annotation Bootstrapping for Cross-Document Fine-Grained Links
Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science and Hessian Center for AI (hessian.AI), TU Darmstadt(图腾知识处理实验室(UKP实验室)、计算机科学系和海德堡人工智能中心(hessian.AI)、图腾达姆斯塔特大学);Hebrew University of Jerusalem and The Allen Institute for AI (AI2)(耶路撒冷希伯来大学和人工智能研究所(AI2))
ABCD-LINK通过自举方法在同行评审和新闻领域实现跨文档细粒度链接的高效生成,结合检索模型与大语言模型,显著提升链接建议的批准率。
2026-01-26 cs.CL cs.IR cs.LG
Developing Linguistic Patterns to Mitigate Inherent Human Bias in Offensive Language Detection
Yildiz Technical University(耶尔德兹技术大学);Istanbul Technical University(伊斯坦布尔技术大学);University of Southern Denmark(南丹麦大学)
本文提出一种语言数据增强方法,利用机器辅助标注来减少冒犯性语言数据集中的人类偏见,从而提升多语言冒犯性语言分类的准确性与公平性。
2023-12-04 cs.AI cs.CL
Analysing Cyberbullying using Natural Language Processing by Understanding Jargon in Social Media
Delhi Technological University(德里理工大学)
网络欺凌在今天极为普遍。儿童和其他弱势群体中的网络仇恨评论、毒性、网络欺凌只会随着在线课程的增加而增加,社交平台的使用也会增加,特别是在COVID-19之后。在社交平台上检测和确保未成年人的安全至关重要,以便自动检测任何暴力或仇恨犯罪并采取严厉措施。在我们的工作中,我们通过使用来自各种社交媒体平台的数据集的组合来探索二元分类,这些数据集涵盖了性别歧视,种族主义,辱骂和仇恨言论等广泛的网络欺凌。我们通过多种模型进行实验,如Bi-LSTM,GloVe,最先进的模型,如BERT,并通过引入俚语滥用语料库应用独特的预处理技术,与没有俚语预处理的模型相比,实现了更高的精度。
2021-04-23 cs.CL cs.LG
Hate Speech Detection and Racial Bias Mitigation in Social Media based on BERT model
Télécom SudParis(南巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
最近,与仇恨和虐待内容识别任务中的数据集和经过训练的分类器相关的不同偏见引起了许多关注。虽然滥用语言检测的偏见数据集的问题已经得到了更频繁的解决,训练分类器产生的偏见还没有成为一个值得关注的问题。在这里,我们首先介绍了一种基于现有的预训练语言模型BERT的仇恨言论检测的迁移学习方法,并在两个公开的数据集上评估了所提出的模型,这些数据集注释了Twitter上的种族主义,性别歧视,仇恨或攻击性内容。接下来,我们在仇恨语音检测任务中引入了一种偏见缓解机制,以减轻在预训练的基于BERT的模型的微调过程中训练集中偏见的影响。为此,我们使用现有的正则化方法来重新加权输入样本,从而减少具有类别标签的高相关训练集的n元语法的影响,然后使用新的重新加权样本微调我们预先训练的基于BERT的模型。为了评估我们的偏见缓解机制,我们采用了一种跨域方法,在该方法中,我们使用上述数据集上的训练分类器来预测来自Twitter的两个新数据集的标签,AAE对齐和白人对齐组,这两个组分别表示用非洲裔美国英语(AAE)和标准美国英语(SAE)撰写的推文。结果表明,在训练的分类器中存在系统性的种族偏见,因为他们倾向于将AAE对齐组的AAE写的推文分配给负面类,如种族主义,性别歧视,仇恨和攻击性,而不是白人对齐的SAE写的推文。然而,种族偏见在我们的分类器显着减少后,我们的偏见缓解机制。这项工作可以为消除仇恨言论和辱骂性语言…
2020-08-28 cs.CL cs.IR cs.LG
One-step and Two-step Classification for Abusive Language Detection on Twitter
Hong Kong University of Science and Technology(香港科技大学)
滥用语言的自动检测是在线社交媒体的一项困难但重要的任务。我们的研究探讨了一个两步的方法进行分类的辱骂性语言,然后分类到特定的类型,并比较它与一步的方法做一个多类分类检测性别歧视和种族主义的语言。在一个包含2万条性别歧视和种族主义类型推文的公共英语Twitter语料库中,我们的方法通过使用HybridCNN一步和使用逻辑回归两步显示出0.824 F-测量的良好性能。
2017-06-05 cs.CL
Bias or Diversity? Unraveling Fine-Grained Thematic Discrepancy in U.S. News Headlines
University of Rochester(罗切斯特大学)
本研究利用180万条美国新闻标题数据,通过多重对应分析等方法,揭示国内政治和社会议题的报道差异源于媒体偏见,外交事务差异源于记者风格多样性,而经济报道高度一致。
2023-05-06 cs.CL
Fine-Grained Prediction of Political Leaning on Social Media with Unsupervised Deep Learning
Institute of Informatics and Telematics(信息与电信研究所);National Research Council(国家研究委员会)
预测社交媒体用户的政治倾向是一项越来越受欢迎的任务,因为它对选举预测,意见动态模型以及研究两极分化和虚假信息的政治层面非常有用。在这里,我们提出了一种新的无监督技术,用于从社交媒体帖子的文本内容中学习细粒度的政治倾向。我们的技术利用深度神经网络在表示学习任务中学习潜在的政治意识形态。然后,用户被投射到一个低维的意识形态空间,他们随后聚类。用户的政治倾向是从用户被分配到的集群中自动导出的。我们在两个具有挑战性的分类任务中评估了我们的技术,并将其与基线和其他最先进的方法进行了比较。我们的技术在所有无监督技术中获得了最好的结果,在8类任务中微F1 = 0.426,在3类任务中微F1 = 0.772。除了本身有趣之外,我们的研究结果还为开发新的和更好的无监督方法来检测细粒度的政治倾向铺平了道路。
2022-02-23 cs.AI cs.CL cs.CY
Weakly-supervised Fine-grained Event Recognition on Social Media Texts for Disaster Management
Texas A&M University(得克萨斯农工大学);Princeton University(普林斯顿大学)
人们越来越多地使用社交媒体来报告紧急情况、寻求帮助或在灾害期间分享信息,这使得社交网络成为灾害管理的重要工具。为了满足这些时间紧迫的需求,我们提出了一种弱监督的方法,用于快速构建高质量的分类器,这些分类器使用细粒度的事件类别标记每个单独的Twitter消息。最重要的是,我们提出了一种新的方法来创建高质量的标记数据,以及时的方式,自动集群的推文包含一个事件的关键字,并要求一个领域的专家,以消除歧义的事件词义和标签集群迅速。此外,处理非常嘈杂,往往是相当短的用户生成的消息,我们丰富的推文表示使用之前的上下文推文和回复推文在建设事件识别分类。对两次飓风哈维和佛罗伦萨的评估表明,仅使用1-2人小时的人工监督,快速训练的弱监督分类器优于使用超过50人小时创建的一万多条注释推文训练的监督分类器。
2020-10-04 cs.CL
A BERT-Based Transfer Learning Approach for Hate Speech Detection in Online Social Media
CNRS(法国国家科学研究中心);Institut Polytechnique de Paris(巴黎综合理工学院)
一部分用户在社交媒体上生成仇恨和有毒内容是一种日益增长的现象,促使研究人员投入大量精力,致力于具有挑战性的仇恨内容识别方向。我们不仅需要一个基于先进机器学习和自然语言处理的高效自动仇恨语音检测模型,还需要足够大量的注释数据来训练模型。缺乏足够数量的带有标签的仇恨言论数据,加上现有的偏见,一直是这一研究领域的主要问题。为了满足这些需求,在这项研究中,我们引入了一种新的迁移学习方法,该方法基于现有的预训练语言模型,称为BERT(来自Transformers的双向编码器表示)。更具体地说,我们调查的能力,BERT在捕捉仇恨的社会媒体内容的背景下,使用新的微调方法的基础上迁移学习。为了评估我们提出的方法,我们使用了两个公开可用的数据集,这些数据集已经在Twitter上注释了种族主义,性别歧视,仇恨或攻击性内容。结果表明,与现有方法相比,我们的解决方案在这些数据集上的精度和召回率方面获得了相当大的性能。因此,我们的模型可以捕获数据注释和收集过程中的一些偏差,并可能导致我们获得更准确的模型。
2019-10-28 cs.CL cs.IR cs.LG
ProvocationProbe: Instigating Hate Speech Dataset from Twitter
GESIS - Leibniz Institute for Social Sciences(莱布尼茨社会科学研究所GESIS);University of Tartu(塔尔图大学)
本文构建 ProvocationProbe 数据集,基于 Twitter 约两万条涉九起全球争议的推文,标注并刻画煽动性仇恨言论区别于一般仇恨言论的特征。
2024-10-25 cs.CL
SmokEng: Towards Fine-grained Classification of Tobacco-related Social Media Text
International Institute of Information Technology(国际信息技术研究所)
关于烟草消费的当代数据集集中在两个主题之一,要么是公共卫生提及和疾病监测,要么是对主题烟草产品和服务的情感分析。然而,两个主要的考虑因素没有考虑在内,即受影响的人口的语言和在细粒度分类机制中上述主题的组合。在本文中,我们创建了一个数据集的3144推文,这是选择的基础上存在的口语俚语相关的吸烟和分析的基础上的推文的语义。每个类都是基于tweets的内容创建和注释的,这样就可以很容易地应用进一步的分层方法。此外,我们证明了标准的文本分类方法在这个数据集上的有效性,通过设计实验,做二进制以及多类分类。我们的实验解决了识别特定主题(如烟草产品促销),一般提及(香烟和相关产品)或更细粒度的分类。这种方法为进一步分析铺平了道路,例如理解情绪或风格,这使得该数据集对疾病监测和烟草使用研究都做出了重要贡献。
2019-10-12 cs.CL
Improved two-stage hate speech classification for twitter based on Deep Neural Networks
Computer Science Research \& Development, \ , Greece
仇恨言论是一种涉及使用辱骂性语言的在线骚扰形式,常见于社交媒体帖子中。这种骚扰主要集中在特定群体的特征,如宗教,性别,种族等,它具有社会和经济后果。文本帖子中的辱骂性语言的自动检测一直是一项艰巨的任务,但它最近受到了科学界的极大兴趣。本文讨论了识别社交媒体中仇恨内容的重要问题。我们在这项工作中提出的模型是基于LSTM神经网络架构的现有方法的扩展,我们对其进行了适当的增强和微调,以检测短文本中某些形式的仇恨语言,例如种族主义或性别歧视。最显著的增强是转换为由递归神经网络(RNN)分类器组成的两阶段方案。第一阶段的OvR分类器的输出被组合并用于训练第二阶段分类器,其最终确定骚扰类型。我们的研究包括在16k tweets的公共语料库上评估的第二阶段的几种拟议的替代方法的性能比较,然后在另一个数据集上进行泛化研究。报告的结果表明,优越的分类质量的仇恨语音检测的任务相比,目前的最先进的所提出的计划。
2022-06-08 cs.AI cs.CL cs.IR
ToxSyn-PT: A Synthetic Fine-Grained Dataset of Minority-Targeted Toxic Language in Portuguese
Advanced Knowledge Center for Immersive Technologies(沉浸式技术先进知识中心)
针对葡萄牙语缺乏细粒度仇恨言论数据集的问题,提出ToxSyn-PT,一个覆盖9个受保护少数群体的多标签数据集,包含非毒性反例和话语类型注释,揭示社交媒体与少数群体上下文间的灾难性泛化失败。
2026-06-23 cs.AI cs.CL
DLocRL: A Deep Learning Pipeline for Fine-Grained Location Recognition and Linking in Tweets
Wuhan University(武汉大学);Inception Institute of Artificial Intelligence(人工智能初创研究所);State Key Lab of Mathematical Engineering and Advanced Computing(数学工程与先进计算国家重点实验室)
近年来,随着社交媒体和智能设备的普及,人们在推文中随意地透露他们的位置,如商店,酒店和餐馆。识别和链接这种细粒度的位置提到定义良好的位置配置文件是有益的检索和推荐系统。在本文中,我们提出了DLocRL,一种新的深度学习管道,用于细粒度的位置识别和tweets中的链接,并在真实世界的Twitter数据集上验证了其有效性。
2019-03-02 cs.AI cs.CL cs.IR
CFMS: Towards Explainable and Fine-Grained Chinese Multimodal Sarcasm Detection Benchmark
National Key Laboratory for Multimedia Information Processing(多媒体信息处理国家重点实验室);Peking University School of Computer Science(北京大学计算机科学学院);Peking University School of Software and Microelectronics(北京大学软件与微电子学院)
本文提出CFMS,首个针对中文社交媒体的细粒度多模态讽刺检测数据集,包含2796对高质量图像-文本对,提供三层次标注框架,并提出PGDS方法在关键任务中优于现有基线。
2026-03-23 cs.AI cs.CL
"Subverting the Jewtocracy": Online Antisemitism Detection Using Multimodal Deep Learning
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所);Microsoft(微软);IIIT, Delhi(德里国际信息技术研究所)
在线社交媒体的指数式增长使信息的创造、分发和消费以前所未有的速度成为可能。然而,这也导致了各种形式的网上虐待的迅速发展。越来越多的网络反犹太主义案件因其社会政治后果而成为主要关切之一。与其他主要形式的网上虐待,如种族主义,性别歧视等,从机器学习的角度来看,在线反犹太主义还没有得到太多的研究。据我们所知,我们提出的第一个工作方向的自动多模式检测在线反犹太主义。这项任务提出了多个挑战,包括跨多种模式提取信号,上下文参考,以及处理反犹太主义的多个方面。不幸的是,目前还没有任何公开的基准语料库来完成这一关键任务。因此,我们收集并标记了两个数据集,分别来自Twitter和Gab的3,102和3,509个社交媒体帖子。此外,我们提出了一个多模态深度学习系统,该系统使用帖子中的文本和图像来检测反犹太主义内容及其特定反犹太主义类别的存在。我们在两个数据集上进行了一组广泛的实验,以评估所提出的系统的有效性。最后,我们也对我们的研究进行了定性分析。
2021-06-18 cs.CL cs.MM
Fine-grained Narrative Classification in Biased News Articles
Indraprastha Institute of Information Technology Delhi(印度普拉斯塔理工大学德里);Bharat Electronics Limited(巴哈特电子有限公司)
本文提出INDI-PROP数据集和FANTA/TPTC框架,用于细粒度偏见新闻文章中的叙事分类和说服技巧识别。
2025-12-03 cs.AI cs.CL
ViSeRet: A simple yet effective approach to moment retrieval via fine-grained video segmentation
Twelve Labs;KAIST(韩国科学技术院)
视频文本检索有许多现实世界的应用,如媒体分析,监控和机器人。本文介绍了ICCV Value Challenge 2021视频检索赛道的第一名解决方案。我们提出了一个简单而有效的方法来联合处理两个视频文本检索任务(视频检索和视频语料库矩检索),利用模型只训练视频检索任务。此外,我们还创建了一个集成模型,在Value Challenge中提出的所有四个数据集(TVr,How2r,YouCook2r和VATEXr)上实现了最先进的性能。
2021-10-12 cs.AI cs.CL cs.CV