HP-BERT: A framework for longitudinal study of Hinduphobia on social media via language models
Transitional Artificial Intelligence Research Group, School of Mathematics and Statistics, UNSW Sydney（过渡人工智能研究组，数学与统计学学院，UNSW悉尼）；Centre for Artificial Intelligence and Innovation, Pingla Institute, Sydney, Australia（人工智能与创新中心，Pingla研究所，悉尼，澳大利亚）；Department of Data Science and Artificial Intelligence, IIIT Naya Raipur（数据科学与人工智能系，IIIT奈亚拉普尔）
本研究针对新冠疫情期间社交媒体上的印度教恐惧症问题，提出HP-BERT计算框架，构建专用数据集实现94.72%准确率，分析六国2740万条推文发现疫情病例增长与歧视内容存在中等相关性。
2025-10-05 cs.CL cs.SI
BERT-Based Arabic Social Media Author Profiling
The University of British Columbia（不列颠哥伦比亚大学）
我们报告我们的模型检测年龄，语言多样性和性别的社交媒体数据的背景下，阿拉伯文作者分析和欺骗检测共享任务（APDA）。我们基于来自Transformers（BERT）的预训练双向编码器构建简单模型。我们首先在三个数据集上使用共享任务发布的数据对预训练的BERT模型进行微调。然后，我们用性别和方言的内部数据增强共享任务数据，显示了增强训练数据的实用性。我们在共享任务测试数据上的最佳模型是通过在不同数据条件下训练的各种BERT模型的多数投票获得的。在这三个任务中，我们获得了54.72%的年龄准确率，93.75%的方言准确率，81.67%的性别准确率和40.97%的联合准确率。
2019-10-31 cs.CL
SMTCE: A Social Media Text Classification Evaluation Benchmark and BERTology Models for Vietnamese
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
文本分类是一个典型的自然语言处理或计算语言学任务，具有各种有趣的应用。随着社交媒体平台上用户数量的增加，数据加速促进了对这些宝贵资源的社交媒体文本分类（SMTC）或社交媒体文本挖掘的新兴研究。与英语相比，越南语作为一种低资源语言，目前还没有得到充分的重视和开发。受GLUE成功的启发，我们引入了社交媒体文本分类评估（SMTCE）基准，作为跨各种SMTC任务的数据集和模型的集合。通过所提出的基准测试，我们实现并分析了多种基于多语言BERT的模型（mBERT，XLM-R和DistilmBERT）和基于单语言BERT的模型（PhoBERT，vIBERT，vELECTRA和vIBERT 4 news）在SMTCE基准测试中的任务的有效性。单语言模型优于多语言模型，并在所有文本分类任务上实现最先进的结果。它提供了一个客观的评估多语言和单语言的BERT为基础的模型，这将有利于未来的BERT学在越南语的研究。
2022-09-21 cs.CL
BERT-based Ensembles for Modeling Disclosure and Support in Conversational Social Media Text
Netaji Subhas Institute of Technology（内塔吉·苏巴斯理工学院）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
人们越来越有兴趣了解人类如何发起和进行对话。会话的情感理解关注的是说话者如何利用情感对情景和彼此做出反应的问题。在CL-Aff共享任务中，组织者发布了Get it #OffMyChest数据集，其中包含来自休闲和忏悔对话的Reddit评论，标记为披露和保密特征。在本文中，我们介绍了一个预测集成模型，利用微调的上下文词嵌入，罗伯特和阿尔伯特。我们表明，我们的模型在所有考虑的指标优于基础模型，实现了$3\%$的F1分数的改善。我们进一步进行统计分析，并概述对给定数据集的更深入见解，同时为数据集提供新的影响特征。
2020-06-01 cs.CL cs.SI
Hierarchical Multi-Stage BERT Fusion Framework with Dual Attention for Enhanced Cyberbullying Detection in Social Media
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
针对社交媒体网络欺检检测难题，提出多阶段BERT融合框架，结合分层嵌入、双重注意力机制及情感等额外特征，并采用动态损失平衡策略优化多类别分类，显著提升了检测的准确率、精确率、召回率和F1分数。
2025-03-01 cs.CL
Detecting Redundant Health Survey Questions Using Language-agnostic BERT Sentence Embedding (LaBSE)
College of Natural Sciences, Seoul National University（首尔大学自然科学学院）；College of Nursing, Seoul National University（首尔大学护理学院）；The Research Institute of Nursing Science, Seoul National University（首尔大学护理科学研究所）；Samsung Medical Center（三星医疗中心）；David Geffen School of Medicine, University of California Los Angeles（加州大学洛杉矶分校大卫·格芬医学院）
本研究为促进基于调查的PGHD标准化，收集英韩双语健康调查问题构建STS数据集，对比三种分类器后发现SBERT-LaBSE跨语言语义相似度评估表现最佳，ROC和精确召回曲线下面积超0.99，为跨语言PGHD语义互操作提供支持。
2024-12-05 cs.CL
Benchmarking for Public Health Surveillance tasks on Social Media with a Domain-Specific Pretrained Language Model
University of Sydney（悉尼大学）
社交媒体上的用户生成文本使卫生工作者能够跟踪信息，确定可能的疫情，预测疾病趋势，监测紧急病例，并确定对疾病的认识和对官方卫生通信的反应。这种在社交媒体上交流健康信息的做法被认为是加强公共卫生监督的一种尝试。尽管有潜力，但这项技术仍处于早期阶段，尚未准备好广泛应用。预训练语言模型（PLM）的进步促进了几个特定领域的PLM和各种下游应用程序的开发。但是，没有涉及PHS的社交媒体任务的PLM。我们提出并发布了PHS-BERT，一个基于transformer的PLM，用于识别与社交媒体上的公共卫生监测相关的任务。我们比较了PHS-BERT在来自不同社交媒体平台的25个数据集上的性能，这些数据集与7个不同的PHS任务相关。与主要在有限任务上进行评估的现有PLM相比，PHS-BERT在所有25个测试数据集上都达到了最先进的性能，表明我们的PLM在常见的PHS任务中是鲁棒的和可推广的。通过提供PHS-BERT，我们的目标是促进社区降低计算成本，并为未来各种PHS相关任务的工作引入新的基线。
2022-04-09 cs.CL
Cost-effective Selection of Pretraining Data: A Case Study of Pretraining BERT on Social Media
CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61）；University of Sydney（悉尼大学）；Harrison ai（哈里森人工智能）
最近对特定领域BERT模型的研究表明，当模型在域内数据上进行预训练时，下游任务的有效性可以得到提高。通常，这些模型中使用的预训练数据是基于其主题选择的，例如，生物学或计算机科学。考虑到使用社交媒体文本的应用范围及其独特的语言多样性，我们分别在推文和论坛文本上预训练两个模型，并实证证明这两种资源的有效性。此外，我们还研究了如何使用相似性度量来提名域内预训练数据。我们在https://bit.ly/35RpTf0公开发布我们的预训练模型。
2020-10-02 cs.CL
KUISAIL at SemEval-2020 Task 12: BERT-CNN for Offensive Speech Identification in Social Media
KUIS AI Lab（KUIS人工智能实验室）；Koç University（科奇大学）
在本文中，我们描述了我们的方法，利用预训练的BERT模型和卷积神经网络，用于多语言攻击性语言识别共享任务（OffensEval 2020）的子任务A，这是SemEval 2020的一部分。我们表明，将CNN与BERT相结合比单独使用BERT更好，我们强调了利用预训练的语言模型进行下游任务的重要性。我们的系统在阿拉伯语中以0.897的宏观平均F1分数排名第四，在希腊语中以0.843的分数排名第四，在土耳其语中以0.814的分数排名第三。此外，我们还介绍了ArabicBERT，这是一组预训练的阿拉伯语Transformer语言模型，我们与社区共享。
2020-07-26 cs.CL
Mediators in Determining what Processing BERT Performs First
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
探测神经模型使用其激活模式执行下游任务的能力通常用于定位网络的哪些部分专门执行哪些任务。然而，很少有工作涉及这种比较中的潜在中介因素。作为测试用例的中介因素，我们考虑预测的上下文长度，即跨度的长度，其处理是执行预测所需的最低限度。我们发现，不控制上下文长度可能会导致矛盾的结论，网络的本地化模式，这取决于探测数据集的分布。事实上，当用七个任务探测BERT时，我们发现，当操纵探测数据集中上下文长度的分布时，它们之间有可能得到196个不同的排名。最后，我们提出了在未来进行这种比较的最佳实践。
2021-04-13 cs.CL
Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks
Sberbank Artificial Intelligence Laboratory（俄罗斯联邦储蓄银行人工智能实验室）；New York University（纽约大学）
在本文中，我们研究的问题，预测的文本电子健康记录（EHR）数据的临床诊断。我们显示了这个问题在医学界的重要性，并提出了全面的历史回顾的问题和建议的方法。作为主要的科学贡献，我们提出了一个修改的双向编码器表示从Transformers（BERT）模型的序列分类，实现了一种新的方式的全连接（FC）层组成和BERT模型预训练只在域数据。为了从经验上验证我们的模型，我们使用了一个大规模的俄罗斯EHR数据集，其中包括大约400万次独特的患者访问。这是对俄语最大的研究，也是全球最大的研究之一。我们进行了一些比较实验，与其他文本表示模型的多类分类的ICD-10的265个疾病子集的任务。实验表明，与其他基线相比，我们的模型的性能有所改善，包括微调的俄罗斯BERT（RuBERT）变体。我们还展示了我们的模型与经验丰富的医学专家小组的可比性能。这使我们希望该系统的实施将减少误诊。
2020-07-15 cs.AI cs.CL cs.LG
A BERT-based Deep Learning Approach for Reputation Analysis in Social Media
The University of Arizona（亚利桑那大学）；Legendary Labs（传奇实验室）
社交媒体已成为现代生活方式的重要组成部分，其使用非常普遍。这导致社交媒体上的用户产生了前所未有的大量数据，例如用户在生活各个方面的态度、观点、兴趣、购买和活动。因此，在社交媒体的世界里，它的力量已经转移到用户身上，公司和公众人物采取的行动经常受到有影响力的全球受众的监督。因此，社交媒体中的声誉管理变得至关重要，因为公司和公众人物需要维护他们的声誉以保护他们的声誉资本。然而，领域专家仍然面临着缺乏适当的解决方案来自动化可靠的在线声誉分析的挑战。为了解决这个问题，我们提出了一种新的声誉分析方法的基础上流行的语言模型BERT（双向编码器表示从Transformers）。使用RepLab 2013数据集在声誉极性任务上对所提出的方法进行评估。与以前的作品相比，我们实现了5.8%的精度提高，26.9%的平衡精度提高，和21.8%的F-分数方面的改善。
2022-10-23 cs.CL cs.LG cs.SI
GS_DravidianLangTech@2025: Women Targeted Abusive Texts Detection on Social Media
滥用社交媒体的现象日益增多，这已成为一个令人关切的问题;不过，目前正在开发技术解决方案，以有效地节制其内容。本文的重点是检测社交媒体平台上针对女性的辱骂性文本。辱骂性言论是指旨在伤害或煽动对弱势个人或群体的仇恨的通信。具体来说，这项研究的目的是确定针对妇女的辱骂性语言。为了实现这一目标，我们利用逻辑回归和BERT作为基础模型，对来自DravidianLangTech@2025的泰米尔语和马拉雅拉姆语数据集进行训练。在测试数据集上对模型进行了评估，分别得出BERT和泰米尔语和马拉雅拉姆语逻辑回归的宏观F1得分为0.729和0.6279。
2025-04-01 cs.CL cs.SI
BERT-Deep CNN: State-of-the-Art for Sentiment Analysis of COVID-19 Tweets
University of Birjand（比尔詹德大学）；Dibrugarh University（迪布鲁加尔大学）；Fasa University（法萨大学）；Ferdowsi University of Mashhad（马什菲尔德大学）；Deakin University（迪肯大学）；Shahid Beheshti University（沙希德·贝赫什提大学）；Khulna University（库尔纳大学）
本文提出结合BERT与Deep CNN分析COVID-19推文情感，借助NLP和机器学习识别社会情绪趋势，并通过相关研究对比表明BERT优于其他深度模型。
2023-03-10 cs.CL cs.SI
Analyzing Gender Polarity in Short Social Media Texts with BERT: The Role of Emojis and Emoticons
University of North Texas（北得克萨斯大学）
本文通过微调多个 BERT 模型识别 Twitter 账户性别极性，并考察表情符号、颜文字及账户提及在短文本分类中的作用。
2024-06-13 cs.AI cs.CL
Measuring Shifts in Attitudes Towards COVID-19 Measures in Belgium Using Multilingual BERT
KU Leuven（鲁汶大学）；TU Berlin（柏林工业大学）；Weizenbaum Institute（魏茨鲍姆研究所）
我们使用多语言BERT对比利时7个月的COVID相关推文进行分类，并将其与政府的COVID措施相关联。我们根据推文对比利时政府宵禁措施的看法（太严格，好，太宽松）对推文进行分类。我们会参考相关事件（如实施新措施或媒体发布的COVID-19相关公告）的日期，审视所讨论的议题及表达的意见随时间的变化。
2021-04-20 cs.CL cs.SI
CRAB: Class Representation Attentive BERT for Hate Speech Identification in Social Media
Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
近年来，社交媒体平台上出现了大量仇恨言论和令人反感的内容。对有效的自动仇恨言论检测模型的迫切需求吸引了公司和研究人员的大量投资。社交媒体帖子通常很短，即使是一个令牌，它们的语义也可能发生巨大变化。因此，学习上下文感知的输入表示，并将输入嵌入和类表示之间的相关性分数作为额外的信号，对于这项任务至关重要。为了满足这些需求，本文介绍了CRAB（类表示注意BERT），一种用于检测社交媒体中仇恨言论的神经模型。该模型受益于两种语义表示：（i）可训练的令牌式和令牌式类表示，以及（ii）来自最先进的BERT编码器的上下文化输入嵌入。为了研究CRAB的有效性，我们在Twitter数据上训练我们的模型，并将其与强基线进行比较。我们的研究结果表明，CRAB实现了1.89%的相对改善宏观平均F1超过国家的最先进的基线。本研究的结果为社会媒体中滥用行为自动检测的未来研究提供了机会
2020-10-25 cs.AI cs.CL cs.LG
KG-MTT-BERT: Knowledge Graph Enhanced BERT for Multi-Type Medical Text Classification
Alibaba Group（阿里巴巴集团）
由于电子健康记录（EHR）系统的广泛采用，医疗文本学习最近成为改善医疗保健的一个有前途的领域。医学文本的复杂性，如长度的多样性、文本类型的混合性、医学术语的大量使用等，给开发有效的深度学习模型带来了巨大的挑战。BERT在许多NLP任务中呈现了最先进的结果，例如文本分类和问答。然而，独立的BERT模型不能处理医学文本的复杂性，特别是冗长的临床笔记。在此，我们开发了一个新的模型称为KG-MTT-BERT（知识图增强多类型文本BERT）通过扩展BERT模型的长和多类型的文本与医学知识图谱的集成。我们的模型在诊断相关组（DRG）分类中的表现优于所有基线和其他最先进的模型，这需要全面的医学文本来进行准确的分类。我们还证明了我们的模型可以有效地处理多类型的文本和医学知识图谱的集成可以显着提高性能。
2022-10-08 cs.AI cs.CL cs.LG
Temporal Adaptation of BERT and Performance on Downstream Document Classification: Insights from Social Media
University of Oxford（牛津大学）
语言使用在不同领域之间存在差异，甚至在一个领域内，语言使用也会随着时间的推移而变化。对于像BERT这样的预训练语言模型，通过持续的预训练进行领域自适应已被证明可以提高域内下游任务的性能。在这篇文章中，我们调查时间适应是否可以带来额外的好处。为此，我们介绍了一个语料库的社会媒体评论采样超过三年。它包含用于上游掩蔽语言建模任务的适应和评估的未标记数据以及用于下游文档分类任务的微调和评估的标记数据。我们发现，这两个任务的时间性问题：时间适应提高上游和时间微调下游任务的性能。特定时间模型通常在过去的测试集上比在未来的测试集上表现得更好，这与主题词的突发使用相匹配。然而，使BERT适应时间和域并不比仅适应域提高下游任务的性能。标记水平的分析表明，时间适应捕捉事件驱动的变化，在语言使用的下游任务，但不是那些变化，实际上是相关的任务性能。根据我们的研究结果，我们讨论时，时间适应可能更有效。
2021-09-08 cs.CL
New Product Development (NPD) through Social Media-based Analysis by Comparing Word2Vec and BERT Word Embeddings
University of Indonesia（印度尼西亚大学）；CloudWalk Inc（云从科技公司）
本文比较Word2Vec与BERT词嵌入在有限数据下对推文情感和观点分类的效果，发现BERT结合Balanced Random Forest表现最佳，并通过词图分析为新产品开发提供改进反馈。
2023-04-17 cs.CL cs.LG
A BERT-Based Transfer Learning Approach for Hate Speech Detection in Online Social Media
CNRS（法国国家科学研究中心）；Institut Polytechnique de Paris（巴黎综合理工学院）
一部分用户在社交媒体上生成仇恨和有毒内容是一种日益增长的现象，促使研究人员投入大量精力，致力于具有挑战性的仇恨内容识别方向。我们不仅需要一个基于先进机器学习和自然语言处理的高效自动仇恨语音检测模型，还需要足够大量的注释数据来训练模型。缺乏足够数量的带有标签的仇恨言论数据，加上现有的偏见，一直是这一研究领域的主要问题。为了满足这些需求，在这项研究中，我们引入了一种新的迁移学习方法，该方法基于现有的预训练语言模型，称为BERT（来自Transformers的双向编码器表示）。更具体地说，我们调查的能力，BERT在捕捉仇恨的社会媒体内容的背景下，使用新的微调方法的基础上迁移学习。为了评估我们提出的方法，我们使用了两个公开可用的数据集，这些数据集已经在Twitter上注释了种族主义，性别歧视，仇恨或攻击性内容。结果表明，与现有方法相比，我们的解决方案在这些数据集上的精度和召回率方面获得了相当大的性能。因此，我们的模型可以捕获数据注释和收集过程中的一些偏差，并可能导致我们获得更准确的模型。
2019-10-28 cs.CL cs.IR cs.LG
UPB at SemEval-2020 Task 12: Multilingual Offensive Language Detection on Social Media by Fine-tuning a Variety of BERT-based Models
University Politehnica of Bucharest（布加勒斯特理工大学）
攻击性语言检测是自然语言处理领域中最具挑战性的问题之一，这是由于在线社交媒体中这种现象的不断增加而引起的。本文描述了我们基于transformer的解决方案，用于识别Twitter上五种语言的攻击性语言（即，英语、阿拉伯语、丹麦语、希腊语和土耳其语），用于Offenseval 2020共享任务的子任务A。几种神经架构（即，BERT、mBERT、Roberta、XLM-Roberta和ALBERT），使用单语言和多语言语料库进行预训练，使用多种数据集组合进行微调和比较。最后，得分最高的模型被用于我们在比赛中提交的作品，我们的团队在英语、阿拉伯语、丹麦语、希腊语和土耳其语中分别排名85位中的第21位、53位中的第28位、39位中的第19位、37位中的第16位和46位中的第10位。
2020-10-27 cs.CL cs.LG
URL-BERT: Training Webpage Representations via Social Media Engagements
Texas A&M University（德克萨斯A&M大学）；VerSe Innovation Labs（VerSe创新实验室）；Twitter Inc（推特公司）；UC San Diego（加州大学圣迭戈分校）
本文提出 URL-BERT，通过结合社交媒体互动图嵌入与对比预训练目标，使多语言 BERT 更好地理解 URL 和网页，并在多个任务及 Twitter 基准上验证其有效性。
2023-10-25 cs.CL cs.IR
Enhancing Pharmacovigilance with Drug Reviews and Social Media
University of California, Berkeley（加州大学伯克利分校）
本文探讨了是否可以利用药物评论和社交媒体作为药物不良反应（ADR）药物警戒的潜在替代来源。我们检查了BERT的性能以及在生物医学论文BioBERT 7和临床笔记Clinical BERT 8上训练的两个变体。对各种8种不同的BERT模型进行微调，并在三个不同的任务中进行比较，以评估它们在ADR任务中彼此的相对表现。这些任务包括药物评论的情感分类、Twitter帖子中ADR的存在以及Twitter帖子中ADR的命名实体识别。BERT在所有三种不同的药物警戒相关任务中表现出高性能的灵活性。
2020-04-18 cs.CL cs.IR cs.LG
Weakly Supervised Cross-platform Teenager Detection with Adversarial BERT
Queen Mary University of London（伦敦玛丽女王大学）
青少年检测是社交媒体中年龄检测任务的一个重要案例，其目的是检测青少年用户以保护他们免受负面影响。青少年检测任务受到标记数据稀缺的影响，这加剧了在社交媒体平台上表现良好的能力。为了进一步研究在平台上没有标记数据的情况下的青少年检测，我们提出了一种新的基于对抗性BERT的跨平台框架。我们的框架可以使用来自源平台的有限数量的标记实例，而不使用来自目标平台的标记数据，将知识从源转移到目标社交媒体。我们在四个公开的数据集上进行了实验，结果表明我们的框架可以显着改善跨平台青少年检测任务的竞争基线模型。
2021-08-24 cs.CL
Sentence-Level BERT and Multi-Task Learning of Age and Gender in Social Media
University of British Columbia（不列颠哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）
社交媒体目前为我们的生活提供了一个窗口，使我们能够了解来自不同地方，不同背景，年龄和性别的人如何使用语言。在这项工作中，我们利用一个新创建的阿拉伯语数据集与地面真相年龄和性别标签学习这些属性都单独和在句子级别的多任务设置。我们的模型基于深度双向神经网络的变体。更具体地说，我们建立模型与门控经常性单位和双向编码器表示从Transformers（BERT）。我们的效用多任务学习（MTL）的两个任务，并确定特定任务的注意力作为一个更好的选择，在这种情况下。我们还发现，一个单一的任务BERT模型优于我们最好的MTL模型上的两个任务。我们报告年龄任务（三向）的推文准确率为51.43%，性别任务（二进制）为65.30%，这两个都大大超过了我们的基线。我们的模型与语言无关，因此可以应用于其他语言。
2019-11-02 cs.CL cs.LG
Detecting Adverse Drug Reactions from Twitter through Domain-Specific Preprocessing and BERT Ensembling
UC Berkeley School of Information（加州大学伯克利分校信息学院）
社交媒体中的药物不良反应（ADR）检测自动化将彻底改变药物警戒实践，支持药物监管机构，制药行业和公众确保日常实践中处方药物的安全性。根据2019年8月发布的健康社交媒体挖掘（SMM 4H）应用研讨会和共享任务的会议记录，我们旨在开发一个深度学习模型，对包含药物提及的Twitter推文中的ADR进行分类。我们的方法涉及微调$BERT_{LARGE}$和两个特定领域的BERT实现，$BioBERT$和$Bio + clinicalBERT$，应用特定领域的预处理器，并开发一个最大预测集成方法。我们的最终模型在$F_1$评分（0.6681）和召回率（0.7700）方面的最新性能优于SMM4H 2019和迄今为止的后评价期间提交的所有模型。
2020-05-11 cs.CL cs.LG cs.SI
From Perceptions To Evidence: Detecting AI-Generated Content In Turkish News Media With A Fine-Tuned Bert Classifier
Bernoulli Institute University of Groningen（格罗宁根大学伯努利研究所）
本研究利用微调的土耳其BERT模型，首次实证测量土耳其新闻媒体中AI生成内容的使用情况，实现了高准确率的分类和检测。
2026-02-13 cs.AI cs.CL
Two-Stage Classifier for COVID-19 Misinformation Detection Using BERT: a Study on Indonesian Tweets
自2020年初以来，COVID-19大流行在全球范围内造成了重大影响。这给社会带来了很多混乱，特别是由于通过社交媒体传播错误信息。虽然已经有几项研究与社交媒体数据中错误信息的检测有关，但大多数研究都集中在英语数据集上。在印度尼西亚，关于COVID-19错误信息检测的研究仍然很少。因此，通过这项研究，我们收集和注释印度尼西亚的数据集，并通过考虑推文的相关性来建立用于检测COVID-19错误信息的预测模型。数据集的构建是由一组注释者进行的，他们标记了推文数据的相关性和错误信息。在这项研究中，我们提出了两个阶段的分类器模型，使用IndoBERT预训练的语言模型的推文错误信息检测任务。我们还尝试了其他几种用于文本分类的基线模型。实验结果表明，将用于相关性预测的BERT序列分类器和用于错误信息检测的Bi-LSTM相结合，其准确率达到87.02%，优于其他机器学习模型。总体而言，BERT的利用有助于提高大多数预测模型的性能。我们以印度尼西亚语发布了高质量的COVID-19错误信息推文语料库，由高注释者间协议表示。
2022-06-30 cs.CL cs.SI
LLM-Assisted Topic Reduction for BERTopic on Social Media Data
Ghent University（根特大学）
提出结合BERTopic与大型语言模型的框架，通过迭代合并相似主题来减少社交媒体数据中的重叠主题，在三个数据集上提升了主题多样性和连贯性。
2025-09-18 cs.CL cs.LG
Assessing the Level of Toxicity Against Distinct Groups in Bangla Social Media Comments: A Comprehensive Investigation
Ahsanullah University of Science and Technology（阿萨努拉科学与技术大学）
本研究构建数据集并采用多种预训练变压器模型，识别孟加拉语社交媒体中针对跨性别者、原住民和移民的毒性评论，发现Bangla-BERT最优，F1分数达0.8903。
2024-09-25 cs.CL
NEU at WNUT-2020 Task 2: Data Augmentation To Tell BERT That Death Is Not Necessarily Informative
Northeastern University（东北大学）
全球数百万人在社交媒体平台上分享COVID-19相关信息。由于并非社交媒体上共享的所有信息都是有用的，因此用于识别信息性帖子的机器学习系统可以帮助用户找到相关信息。在本文中，我们为W-NUT 2020共享任务2：信息性COVID-19英语推文的识别提出了一个BERT分类器系统。此外，我们表明，BERT利用一些简单的信号来识别信息丰富的推文，并添加简单的模式，以无信息的推文大大降低了BERT的性能。特别是，简单地将10个死亡事件添加到开发集中的推文中，将BERT F1分数从92.63降低到7.28。我们还提出了一个简单的数据增强技术，有助于提高BERT分类器的鲁棒性和泛化能力。
2020-09-18 cs.CL cs.IR
Temporal Mental Health Dynamics on Social Media
Queen Mary University of London（伦敦玛丽女王大学）；Jožef Stefan Institute（约瑟夫·斯特凡研究所）
我们描述了一组实验，建立一个时间的心理健康动力学系统。我们利用现有方法从社交媒体平台进行远程心理健康数据采掘监督，并在全球COVID-19疫情期间部署该系统作为案例研究。尽管这项任务具有挑战性，但我们取得了令人鼓舞的结果，无论是对全球大流行的显性研究，还是对文献支持的全球现象圣诞节抑郁症的隐性研究。我们提出了一种方法，提供洞察时间的心理健康动态用于战略决策。
2020-09-02 cs.CL cs.IR cs.SI
COVID-Twitter-BERT: A Natural Language Processing Model to Analyse COVID-19 Content on Twitter
EPFL（洛桑联邦理工学院）；FISABIO-Public Health（FISABIO公共卫生机构）
在这项工作中，我们发布了COVID-Twitter-BERT（CT-BERT），这是一个基于transformer的模型，在关于COVID-19的大型Twitter消息语料库上进行了预训练。我们的模型在五个不同的分类数据集上显示出与其基础模型BERT-Large相比10-30%的边际改进。最大的改进是在目标域上。预训练的Transformer模型，如CT-BERT，在特定的目标领域进行训练，可用于各种自然语言处理任务，包括分类，问答和聊天机器人。CT-BERT经过优化，可用于COVID-19内容，特别是来自Twitter的社交媒体帖子。
2020-05-15 cs.CL cs.LG cs.SI
Modeling Political Discourse with Sentence-BERT and BERTopic
Department of Computer Science, Faculty of Sciences, University of Porto, Portugal（计算机科学系，科学学院，波尔图大学，葡萄牙）
本研究结合BERTopic与道德基础理论，提出主题演化框架，分析美国国会Twitter政治话语，发现细粒度主题短暂、道德基础影响持久性，贡献于计算政治话语分析。
2025-10-27 cs.CL cs.CY cs.SI
Cross-Linguistic Offensive Language Detection: BERT-Based Analysis of Bengali, Assamese, & Bodo Conversational Hateful Content from Social Media
LUT University（拉彭兰塔理工大学）；University of Oulu（奥卢大学）；University of Helsinki（赫尔辛基大学）
针对社交媒体多语言仇恨言论检测问题，研究基于多种BERT模型开展HASOC-2023任务4的孟加拉语、阿萨姆语、博多语仇恨内容检测，发现XML-Roberta-large多数场景优于单语模型，团队在对应赛道取得第三、第五名的成绩。
2023-12-16 cs.CL cs.LG
MaNLP@SMM4H22: BERT for Classification of Twitter Posts
Manipal Institute of Technology（马尼帕尔理工学院）
所报告的工作是我们对由社会媒体挖掘健康应用（SMM 4 H）研讨会组织的推文自我报告年龄的共享任务分类的直接方法。该文献描述了用于构建二元分类系统的方法，该系统将与生日帖子相关的推文分为两类，即精确年龄（正类）和非精确年龄（负类）。我们提交了两份在文本预处理方面存在差异的作品，组织者评估时，它们的F1分数分别为0.80和0.81。
2022-12-12 cs.CL
Multimodal Fusion with BERT and Attention Mechanism for Fake News Detection
Toyo University（东洋大学）；Aimesoft JSC（艾美软件股份公司）
假新闻检测是提高媒体信息可信度的一项重要任务，因为假新闻每天都在社交媒体上不断传播，这是我们社会中非常严重的问题。假新闻通常是通过操纵图像，文本和视频来创建的。在本文中，我们提出了一种新的方法来检测假新闻融合来自文本和视觉数据的多模态特征。具体来说，我们使用预训练的BERT模型来学习文本特征，并使用在ImageNet数据集上预训练的VGG-19模型来提取图像特征。我们提出了一个尺度点积注意力机制来捕捉文本特征和视觉特征之间的关系。实验结果表明，我们的方法在公共Twitter数据集上的准确率比当前最先进的方法高3.1%。
2021-04-27 cs.CL
Case Study on Detecting COVID-19 Health-Related Misinformation in Social Media
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
2019冠状病毒病大流行造成了公共卫生官员所说的错误信息泛滥。随着社交距离和呆在家里的命令生效，许多人转向社交媒体进行社交。社交媒体使用的增加使其成为传播错误信息的主要工具。本文提出了一种跨学科方法检测社交媒体中与COVID-19健康相关的错误信息的机制。利用社会心理学作为基础和现有的错误信息框架，我们定义了错误信息的主题和相关的关键字纳入错误信息检测机制，使用应用机器学习技术。接下来，使用Twitter数据集，我们使用多个最先进的机器学习分类器探索了所提出的方法的性能。我们的方法显示了有前途的结果，在使用基于uni-gram的NLP特征生成的推文和决策树分类器对与健康相关的错误信息与真实信息进行分类时，准确率最高可达78%。我们还提供了关于替代方案的建议，以对抗错误信息和研究的伦理考虑。
2021-06-12 cs.CL cs.LG cs.SI
L3Cube-MahaSocialNER: A Social Media based Marathi NER Dataset and BERT models
Pune Institute of Computer Technology（浦那计算机技术学院）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
本文发布了首个马拉地语社交媒体NER数据集L3Cube-MahaSocialNER，包含1.8万句标注语料，评估了多种深度学习模型在非正式文本上的表现，并证明了构建专属社交NER数据集的必要性。
2023-12-30 cs.CL cs.LG
A Named Entity Recognition and Topic Modeling-based Solution for Locating and Better Assessment of Natural Disasters in Social Media
University of Engineering and Technology（工程技术大学）；Abbasyn University（阿巴西恩大学）；University of Western Australia（西澳大学）；Munster Technological University Cork（芒斯特理工大学科克分校）
本文提出一种三步解决方案，通过相关帖子分类、命名实体识别提取位置信息以及 BERTopic 主题建模，提升社交媒体中自然灾害信息的定位与评估能力。
2024-05-01 cs.CL
Kungfupanda at SemEval-2020 Task 12: BERT-Based Multi-Task Learning for Offensive Language Detection
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心）；The Hong Kong University of Science and Technology（香港科技大学）
如今，社交媒体中的攻击性内容已成为一个严重的问题，自动检测攻击性语言是一项必不可少的任务。在本文中，我们建立了一个攻击性语言检测系统，它结合了多任务学习和基于BERT的模型。使用预先训练的语言模型，如BERT，我们可以有效地学习社交媒体中嘈杂文本的表示。此外，为了提高攻击性语言检测的性能，我们利用了其他相关任务的监督信号。在OffensEval-2020竞赛中，我们的模型在英语子任务A中获得了91.51%F1的分数，与第一名（92.23%F1）相当。最后，通过实证分析，说明了本文方法的有效性.
2020-07-20 cs.CL cs.LG
Improving Extraction of Clinical Event Contextual Properties from Electronic Health Records: A Comparative Study
King’s College London（伦敦国王学院）；Guy’s and St Thomas’ NHS Foundation Trust（盖伊和圣托马斯 NHS 基金会信托）；King’s College Hospital NHS Foundation Trust（国王学院医院 NHS 基金会信托）；University College London（伦敦大学学院）；Health Data Research UK London（英国健康数据研究伦敦中心）
本文比较多种医学文本分类模型，发现结合类别不平衡缓解技术的 BERT 在少数类别召回率上显著优于 Bi-LSTM 和基线 BERT，并已集成到 CogStack/MedCAT 框架中。
2024-08-30 cs.CL
BBAEG: Towards BERT-based Biomedical Adversarial Example Generation for Text Classification
Microsoft Research India（微软研究院印度分院）
医疗保健预测分析有助于医疗决策，诊断预测和药物审查分析。因此，预测精度是一个重要的标准，这也需要鲁棒的预测语言模型。然而，使用深度学习的模型已被证明容易受到不太可能被人类错误分类的无意义扰动输入实例的影响。使用基于规则的同义词和BERT-MLM生成对手的最新努力已经在一般领域中被见证，但不断增加的生物医学文献提出了独特的挑战。我们提出了BBAEG（基于生物医学BERT的对抗性示例生成），生物医学文本分类的黑盒攻击算法，利用生物医学命名实体和BERTLM预测，拼写变化和数字替换的特定领域的同义词替换的优势。通过对两个数据集的自动和人工评估，我们证明了BBAEG与以前的工作相比具有更好的语言流畅性和语义连贯性。
2021-04-05 cs.CL
The Word and the Way: Strategies for Domain-Specific BERT Pre-Training in German Medical NLP
School of Computation, Information and Technology（计算信息科技学院）；Technical University of Munich（慕尼黑技术大学）；Chair of IT Infrastructure for Translational Medical Research（转化医学研究信息基础设施主任）；Faculty of Applied Computer Science（应用计算机科学学院）；University of Augsburg（艾希施泰特大学）；Institute of General Practice（基础医学研究所）；Faculty of Medicine and Medical Center（医学学院和医学中心）
本文提出ChristBERT系列模型，通过对比持续预训练、从头训练和领域词汇适应三种策略，在德语医学NLP任务中实现最优性能，并建立新的基准。
2026-06-02 cs.CL
Hate Speech Detection and Racial Bias Mitigation in Social Media based on BERT model
Télécom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
最近，与仇恨和虐待内容识别任务中的数据集和经过训练的分类器相关的不同偏见引起了许多关注。虽然滥用语言检测的偏见数据集的问题已经得到了更频繁的解决，训练分类器产生的偏见还没有成为一个值得关注的问题。在这里，我们首先介绍了一种基于现有的预训练语言模型BERT的仇恨言论检测的迁移学习方法，并在两个公开的数据集上评估了所提出的模型，这些数据集注释了Twitter上的种族主义，性别歧视，仇恨或攻击性内容。接下来，我们在仇恨语音检测任务中引入了一种偏见缓解机制，以减轻在预训练的基于BERT的模型的微调过程中训练集中偏见的影响。为此，我们使用现有的正则化方法来重新加权输入样本，从而减少具有类别标签的高相关训练集的n元语法的影响，然后使用新的重新加权样本微调我们预先训练的基于BERT的模型。为了评估我们的偏见缓解机制，我们采用了一种跨域方法，在该方法中，我们使用上述数据集上的训练分类器来预测来自Twitter的两个新数据集的标签，AAE对齐和白人对齐组，这两个组分别表示用非洲裔美国英语（AAE）和标准美国英语（SAE）撰写的推文。结果表明，在训练的分类器中存在系统性的种族偏见，因为他们倾向于将AAE对齐组的AAE写的推文分配给负面类，如种族主义，性别歧视，仇恨和攻击性，而不是白人对齐的SAE写的推文。然而，种族偏见在我们的分类器显着减少后，我们的偏见缓解机制。这项工作可以为消除仇恨言论和辱骂性语言…
2020-08-28 cs.CL cs.IR cs.LG
Multi-task Learning for Personal Health Mention Detection on Social Media
Durham University（杜伦大学）
检测社交媒体上的个人健康提及对于补充现有的健康监测系统至关重要。然而，注释数据以检测大规模的健康提及是一项具有挑战性的任务。本研究采用多任务学习框架，利用相关任务中的可用注释数据来提高主要任务的性能，以检测社交媒体文本中提到的个人健康体验。具体来说，我们专注于将情感信息纳入我们的目标任务，使用情感检测作为辅助任务。我们的方法显着提高了广泛的个人健康提及检测任务相比，一个强大的国家的最先进的基线。
2022-12-09 cs.AI cs.CL
Sentiment Classification in Swahili Language Using Multilingual BERT
Soonchunhyang University（顺天乡大学）
互联网的发展增加了人们在不同平台上表达的信息量。这些信息可以是产品评论、论坛讨论或社交媒体平台。这些意见和人们的感受的可访问性打开了意见挖掘和情感分析的大门。随着语言和语音技术的发展，已经使用了许多语言，并获得了最佳模型。然而，由于语言多样性和缺乏数据集，非洲语言被抛在后面。在这项研究中，通过使用当前国家的最先进的模型，多语言BERT，我们进行情绪分类斯瓦希里语数据集。这些数据是通过提取和注释不同社交媒体平台上的8.2k评论和评论以及ISOMEMORY情感数据集创建的。数据分为阳性或阴性。对模型进行了微调，达到了87.59%的最佳精度。
2021-04-19 cs.CL
Detecting mental disorder on social media: a ChatGPT-augmented explainable approach
University of Calabria（卡拉布里亚大学）
本研究提出一种结合LLM、XAI和ChatGPT的可解释抑郁症检测方法，通过BERT-XDD模型实现分类与解释，并转化为人类可读评论，以支持早期干预。
2025-03-10 cs.AI cs.CL cs.LG
UATTA-EB: Uncertainty-Aware Test-Time Augmented Ensemble of BERTs for Classifying Common Mental Illnesses on Social Media Posts
Manipal Institute of Technology, Manipal Academy of Higher Education（马尼帕尔高等教育学院马尼帕尔理工学院）
针对深度学习模型在社交媒体心理健康状况识别中缺乏可靠性和校准不佳的问题，提出 UATTA-EB 方法，通过不确定性感知的测试时增强 BERT 集成，对 Reddit 上的六种心理疾病进行可靠且校准良好的分类预测。
2023-04-10 cs.AI cs.CL cs.LG
Language Identification of Hindi-English tweets using code-mixed BERT
Jamia Millia Islamia（贾米亚·米利亚伊斯兰大学）；Aligarh Muslim University（阿里加尔穆斯林大学）
社交媒体文本的语言识别近年来一直是一个有趣的研究问题。社交媒体信息主要是在非英语国家混合的代码。通过预训练上下文嵌入的现有知识已经显示了一系列下游任务的最新结果。最近，诸如BERT之类的模型已经表明，使用大量未标记的数据，预训练的语言模型对于学习公共语言表示更加有益。本文提出了利用迁移学习和微调BERT模型来识别Twitter上的语言的广泛实验。这项工作利用了一个数据汇集的印地语-英语-乌尔都语代码混合文本的语言预训练和印地语-英语代码混合为随后的词级语言分类。结果表明，在混合数据上预训练的表示产生更好的结果，由他们的单语对应。
2021-07-02 cs.CL cs.LG
ViCGCN: Graph Convolutional Network with Contextualized Language Models for Social Media Mining in Vietnamese
University of Information Technology（信息技术大学）；Vietnam National University（越南国立大学）
针对越南社交媒体文本分类中的不平衡与噪声问题，提出ViCGCN方法，结合PhoBERT上下文嵌入与图卷积网络，在三个基准数据集上优于13个基线模型，最高提升6.21%。
2023-09-06 cs.CL
Decoding Linguistic Nuances in Mental Health Text Classification Using Expressive Narrative Stories
University of Missouri（密苏里大学）；Texas A&M University-Corpus Christi（德州农工大学科珀斯克里斯蒂分校）
本研究利用Reddit数据评估BERT、MentalBERT等模型在表达性叙事故事心理健康文本分类中的表现，发现BERT对主题词缺失敏感性低且能保持句序打乱时的准确率，更具实际应用优势。
2024-12-20 cs.CL cs.LG
Quantifying Mental Health from Social Media with Neural User Embeddings
INESC-ID Lisboa（里斯本INESC-ID研究所）；Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）；Qntfy（Qntfy公司）；Universidade Europeia（欧洲大学）；Northeastern University（东北大学）
精神疾病对全世界很大一部分人口产生不利影响。然而，传统上用于估计和描述精神健康状况流行程度的方法既耗时又昂贵。因此，关于精神健康状况流行率的现有最佳估计数往往已经过时多年。自动化的方法，以补充这些调查方法与广泛的，汇总的信息来自社会媒体内容提供了一个潜在的手段，近实时估计规模。反过来，这些可以为支持、评估和反复改进公共卫生方案和干预措施提供有利条件。我们提出了一个新的模型，自动化的心理健康状态量化，结合用户嵌入。这建立在最近的工作探索表示学习方法，诱导嵌入利用社会媒体后的历史。这样的嵌入捕捉个体的潜在特征（例如，政治倾向），并编码一个软概念的同质性。在这篇论文中，我们调查了从twitter历史记录中学习到的用户嵌入是否编码了与心理健康状态相关的信息。为此，我们估计用户嵌入一组已知的受抑郁症和创伤后应激障碍（PTSD），并为一组人口统计学匹配的“控制”用户。然后，我们评估了这些嵌入：（i）它们捕获与心理健康状况有关的同性恋关系的能力;以及（ii）基于这些特征的下游心理健康预测模型的性能。我们的实验结果表明，用户嵌入捕捉用户之间的相似性，心理状况，并预测心理健康。
2017-04-30 cs.AI cs.CL cs.SI
