LMFusion: Adapting Pretrained Language Models for Multimodal Generation
University of Washington(华盛顿大学);FAIR, Meta(Meta FAIR);Stanford University(斯坦福大学)
LMFusion 通过冻结 Llama-3 文本模块、仅训练新增并行图像扩散模块,以 50% FLOPs 实现图像理解提升 20%、生成提升 3.6%,同时保留语言能力。
2025-02-05 cs.AI cs.CL cs.CV
One-Way Coupling via Patchwise Adaptive Normalization in Transformer Surrogates
Mistral AI(米斯特拉尔人工智能公司);ASML The Netherlands B.V(阿斯麦荷兰有限公司)
本文提出分块自适应归一化(PAdaNorm),将其应用于受Walrus启发的Transformer PDE代理模型,可提升长时程预测精度、保持物理约束并降低推理FLOPs,消融实验验证了其有效性。
2026-10-14 cs.LG
ViSoLex: An Open-Source Repository for Vietnamese Social Media Lexical Normalization
University of Information Technology(信息科技大学);Vietnam National University(越南国立大学)
该研究提出开源系统ViSoLex,融合预训练语言模型与弱监督学习技术,提供越南语社交媒体非标准词查询与词汇规范化服务,可适配多场景,助力越南语NLP工具开发与相关研究。
2025-01-13 cs.AI cs.CL
A Weakly Supervised Data Labeling Framework for Machine Lexical Normalization in Vietnamese Social Media
University of Information Technology(信息科技大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
本文提出一种结合半监督学习与弱监督的自动标注框架,用于越南语社交媒体词汇规范化,在减少人工标注的同时取得82.72%的F1分数和高达99.22%的词汇完整性准确率,并使下游NLP任务平均准确率提升1-3%。
2024-09-30 cs.AI cs.CL
Boosting Adverse Drug Event Normalization on Social Media: General-Purpose Model Initialization and Biomedical Semantic Text Similarity Benefit Zero-Shot Linking in Informal Contexts
University of Ghent(根特大学);University of Udine(乌迪内大学)
针对社交媒体文本上不良药物事件规范化难题,提出基于BioLORD通用模型初始化与STS语义文本相似性微调的零样本链接新方法,在多个数据集上取得最先进性能,有望成为未来研究基准。
2023-07-31 cs.CL
ViLexNorm: A Lexical Normalization Corpus for Vietnamese Social Media Text
Faculty of Information Science and Engineering(信息科学与工程学院);University of Information Technology(信息技术大学);Vietnam National University(越南国家大学)
本研究构建了首个越南语社交媒体词汇规范化语料库ViLexNorm,含超10000对人工标注句,经评估最优系统ERR达57.74%,验证了该任务对下游NLP任务的增益,语料库供研究公开使用。
2024-01-31 cs.CL
Adapting Deep Learning Methods for Mental Health Prediction on Social Media
Heidelberg Institute for Theoretical Studies gGmbH(海德堡理论研究所股份有限公司(Heidelberg Institute for Theoretical Studies gGmbH)(注:gGmbH通常译为“股份有限公司”,但该机构可能为非营利性质,此处按原文直译))
心理健康对个人的福祉构成重大挑战。对社交媒体等丰富资源的文本分析有助于更深入地了解疾病,并为早期发现疾病提供手段。我们通过基于深度学习的模型来解决检测社交媒体用户精神状态的挑战,远离传统的任务方法。在预测用户是否患有九种不同疾病之一的二元分类任务中,分层注意力网络优于先前为四种疾病设定的基准。此外,我们探讨了我们的模型的局限性,并通过检查模型的词级注意力权重来分析与分类相关的短语。
2020-03-17 cs.CL
Adapting Phrase-based Machine Translation to Normalise Medical Terms in Social Media Messages
University of Cambridge(剑桥大学)
以前的研究表明,社交媒体上的健康报告,如DailyStrength和Twitter,有可能监测特定社区的健康状况(如药物不良反应,传染病)。然而,为了让机器理解并推断这些健康状况,需要能够识别外行术语何时指的是特定的医学概念(即文本标准化)。为了实现这一点,我们建议适应现有的基于短语的机器翻译(MT)技术和矢量表示的话之间的映射社交媒体短语和医疗概念。我们使用与药物不良反应相关的推文中的短语集合来评估我们提出的方法。我们的实验结果表明,基于短语的MT技术和词向量表示之间的相似性的组合优于仅应用其中任何一个的基线高达55%。
2015-08-10 cs.CL
Adapting a general parser to a sublanguage
在本文中,我们提出了一种方法来适应一个通用的分析器(链接解析器)的子语言,专注于在生物学文本的分析。我们的主要建议是使用术语(术语的识别和分析),以减少要解析的文本的复杂性。其他几个策略进行了探讨,并最终结合其中的文本规范化,词汇和形态猜测模块扩展和语法规则的适应。我们比较了这些调整前后的解析结果。
2006-06-28 cs.CL cs.IR
Lexical Normalization for Code-switched Data and its Effect on POS-tagging
IT University of Copenhagen(哥本哈根信息技术大学);University of Stuttgart(斯图加特大学)
词汇规范化,将非规范数据转换为标准语言,已被证明可以提高社交媒体上许多自然语言处理任务的性能。然而,在一个话语中使用多种语言,也称为代码转换(CS),经常被这些规范化系统所忽视,尽管它在社交媒体中很常见。在本文中,我们提出了三个规范化模型,专门设计用于处理代码转换的数据,我们评估两种语言对:土耳其语-英语(Id-En)和土耳其语-德语(Tr-De)。对于后者,我们为数据集引入了新的规范化层及其相应的语言ID和POS标签,并评估了规范化对POS标签的下游影响。结果表明,我们的CS定制的规范化模型优于Id-En国家的最先进的和Tr-De单语模型,并导致5.4%的相对性能提高的POS标记相比,非规范化的输入。
2021-01-31 cs.CL
Reasoning-Guided Claim Normalization for Noisy Multilingual Social Media Posts
TIFIN
本文提出基于六何问题分解与推理引导的声明规范化方法,通过LoRA微调Qwen3-14B并结合检索增强少样本学习,在仅用英语训练的情况下实现20种语言的跨语言迁移,在多个排行榜上取得领先成绩。
2025-11-07 cs.CL
Automatic Normalization of Word Variations in Code-Mixed Social Media Text
Language Technologies Research Centre (LTRC)(语言技术研究中心);Kohli Center on Intelligent Systems (KCIS)(科利智能系统中心);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
针对语码混合社交媒体文本的拼写变体问题,提出利用词分布式表示无监督捕捉同上下文词汇变体的归一化方法,可提升词性标注与情感分析任务性能。
2018-04-03 cs.CL
From Chaos to Clarity: Claim Normalization to Empower Fact-Checking
Indraprastha Institute of Information Technology Delhi(因德拉普拉斯塔信息技术学院德里校区);Mohammed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Indian Institute of Technology Delhi(印度理工学院德里校区)
本文提出声明规范化任务,旨在将嘈杂的社交媒体帖子分解为易懂的规范化声明,并构建数据集 CLAN;提出基于思维链和大模型上下文学习的 CACN 方法,在多项指标上超越基线。
2024-02-12 cs.AI cs.CL
DS4DH at #SMM4H 2023: Zero-Shot Adverse Drug Events Normalization using Sentence Transformers and Reciprocal-Rank Fusion
University of Geneva(日内瓦大学)
本研究针对SMM4H 2023共享任务5的Twitter药物不良事件归一化需求,提出BERT微调实体识别结合Sentence Transformers与倒数排名融合的零样本归一化两阶段方法,取得任务最优性能,验证了该方法的有效性与应用潜力。
2023-11-06 cs.CL
Adapting Deep Learning for Sentiment Classification of Code-Switched Informal Short Text
Lahore University of Management Sciences(拉合尔管理科学大学)
如今,大量的短文本正在产生,这些短文本使用受区域语言影响的非标准写作风格。这种非正式和代码转换的内容在标记数据集和语言模型方面资源不足,即使是对于像情感分类这样的流行任务。在这项工作中,我们(1)提出了一个名为MultiSenti的标记数据集,用于代码转换非正式短文本的情感分类,(2)探索从资源丰富的语言中调整资源用于非正式语言的可行性,以及(3)提出了一个基于深度学习的代码转换非正式短文本情感分类模型。我们的目标是在没有任何词汇规范化、语言翻译或语码转换指示的情况下实现这一目标。所提出的模型的性能进行了比较,与现有的三种多语言情感分类模型。结果表明,所提出的模型在一般情况下表现更好,适应基于字符的嵌入产生相同的性能,而计算效率比训练基于单词的特定领域的嵌入。
2020-01-04 cs.CL
Normalization of Transliterated Words in Code-Mixed Data Using Seq2Seq Model & Levenshtein Distance
SRM Institute of Science & Technology(SRM科技学院)
为代码混合数据构建工具在NLP研究社区中迅速流行,因为此类数据在社交媒体上呈指数级增长。处理代码混合数据包含几个挑战,特别是由于语法不一致和拼写变化,以及社交媒体场景中所有先前已知的挑战。在这篇文章中,我们提出了一种新的架构,专注于规范化语音类型的变化,这是常见的代码混合数据。我们的架构的主要特点之一是,除了规范化,它也可以用于回音译和单词识别在某些情况下。我们的模型在测试数据上达到了90.27%的准确率。
2018-05-22 cs.CL
Towards Efficient Simultaneous Inverse Text Normalization with Pretrained Text-to-Text Language Model and Read-Tag-Write Policy
UNEY
该研究针对流式逆文本规范化的非流式问题,提出适配预训练文本到文本模型的流式端到端系统,经越南语数据集验证,其准确率优于混合方法且满足实时延迟要求。
2026-10-15 cs.CL
AfroXLMR-Social: Adapting Pre-trained Language Models for African Languages Social Media Text
Instituto Politécnico Nacional(智利国家理工学院);Saarland University(萨尔兰大学);Northeastern University(东北大学);Bayero University Kano(卡诺巴耶罗大学);Mila-Quebec AI Institute(魁北克AI研究所);McGill University(麦吉尔大学);University of Pretoria(比勒陀利亚大学);Bahir Dar University(巴赫达尔大学);Imperial College London(伦敦帝国理工学院);University of Hamburg(汉堡大学);Wollo University(沃尔洛大学)
本文提出AfriSocial语料库,探索DAPT与TAPT持续预训练方法,在覆盖19种非洲语言的社交媒体主观任务上显著提升性能,并公开数据与模型资源。
2025-09-19 cs.CL
Sequence-to-Sequence Lexical Normalization with Multilingual Transformers
University of Bucharest(布加勒斯特大学);University Politehnica of Bucharest(布加勒斯特理工大学)
当前自然语言处理的基准测试任务包含的文本与日常非正式数字通信中使用的文本在质量上不同。这种差异导致最先进的NLP模型在对真实世界数据进行微调时性能严重下降。解决这个问题的一种方法是通过词汇规范化,这是将非标准文本(通常来自社交媒体)转换为更标准化形式的过程。在这项工作中,我们提出了一个基于mBART,框架的问题作为一个机器翻译问题的双层次序列到序列模型。由于嘈杂的文本是一个跨语言的普遍问题,不仅仅是英语,我们利用mBART的多语言预训练来微调它以适应我们的数据。虽然目前的方法主要是在字或子字的水平,我们认为,这种方法是直接从技术的角度来看,并建立在现有的预先训练的Transformer网络。我们的研究结果表明,虽然单词级别的,内在的,性能评估是落后于其他方法,我们的模型提高了外在的,下游任务的性能,通过规范化相比,模型操作的原始,未处理的,社交媒体文本。
2021-10-12 cs.CL
Improving Text Normalization by Optimizing Nearest Neighbor Matching
文本规范化是以非正式写作为主的社交媒体处理和分析中的一项重要任务。它旨在将非正式词汇映射到其预期的标准形式。以前提出的文本规范化方法通常需要手动选择参数以提高性能。本文提出了一种基于自动优化的最近邻匹配文本规范化方法。这种方法的动机是观察,文本规范化本质上是一个匹配问题和最近邻匹配的自适应相似性函数是最直接的procedure.We相似性函数结合了上下文,字符串和语音相似性的加权贡献,和最近邻匹配涉及最小的相似性阈值。这四个参数使用网格搜索进行有效调整。我们在两个基准数据集上评估了我们的方法的性能。结果表明,在小尺寸标记数据集上的参数调整产生了最先进的文本规范化性能。因此,这种方法允许实际上容易地构建不断发展的领域特定的规范化词典
2017-12-27 cs.CL
Exploiting Dialect Identification in Automatic Dialectal Text Normalization
Computational Approaches to Modeling Language Lab(语言建模计算方法实验室);New York University Abu Dhabi(纽约大学迪拜分校);Carnegie Mellon University in Qatar(卡内基梅隆大学多哈分校)
本文研究阿拉伯方言文本规范化(CODAfication)任务,通过在预训练序列到序列模型中利用方言识别信息,提升了五种城市方言的规范化性能,并公开了代码、数据和模型。
2024-07-03 cs.CL
MANorm: A Normalization Dictionary for Moroccan Arabic Dialect Written in Latin Script
社交媒体用户生成的文本实际上是许多NLP任务的主要资源。然而,这段文字并没有遵循写作的标准规则。此外,在书面交流中使用摩洛哥阿拉伯语等方言进一步增加了NLP任务的复杂性。方言是一种没有标准拼写的口头语言,这导致用户在写作时即兴拼写。因此,对于同一个词,我们可以找到多种形式的音译。随后,必须将这些不同的音译规范化为一个规范的词形。为了实现这一目标,我们利用了由YouTube评论语料库生成的词嵌入模型的强大功能。此外,使用提供规范形式的摩洛哥阿拉伯语方言字典,我们已经建立了一个规范化字典,我们称之为MANGORY。我们已经进行了几个实验,以证明效率的MANSTRUCTURE,这表明它的实用性方言规范化。
2022-06-18 cs.CL
Aggressive Language Detection with Joint Text Normalization via Adversarial Multi-task Learning
Wuhan University(武汉大学)
攻击性语言检测(ALD)是自然语言处理领域的重要应用之一。现有的研究大多将ALD视为神经模型的规则分类,而忽略了社交媒体文本的内在冲突,它们非常不规范和不规则。在这项工作中,我们的目标是通过对抗性多任务学习框架联合执行文本规范化(TN)来改进ALD。ALD和TN的私有编码器分别专注于特定于任务的特征检索,而共享编码器学习两个任务的底层公共特征。在对抗性训练中,任务学习区分ALD或TN的单独学习。在四个ALD数据集上的实验结果表明,我们的模型在不同设置下的性能优于所有基线,证明了联合学习TN与ALD的必要性。为了更好地理解我们的方法,进行了进一步的分析。
2020-09-19 cs.CL
Temporal Adaptation of BERT and Performance on Downstream Document Classification: Insights from Social Media
University of Oxford(牛津大学)
语言使用在不同领域之间存在差异,甚至在一个领域内,语言使用也会随着时间的推移而变化。对于像BERT这样的预训练语言模型,通过持续的预训练进行领域自适应已被证明可以提高域内下游任务的性能。在这篇文章中,我们调查时间适应是否可以带来额外的好处。为此,我们介绍了一个语料库的社会媒体评论采样超过三年。它包含用于上游掩蔽语言建模任务的适应和评估的未标记数据以及用于下游文档分类任务的微调和评估的标记数据。我们发现,这两个任务的时间性问题:时间适应提高上游和时间微调下游任务的性能。特定时间模型通常在过去的测试集上比在未来的测试集上表现得更好,这与主题词的突发使用相匹配。然而,使BERT适应时间和域并不比仅适应域提高下游任务的性能。标记水平的分析表明,时间适应捕捉事件驱动的变化,在语言使用的下游任务,但不是那些变化,实际上是相关的任务性能。根据我们的研究结果,我们讨论时,时间适应可能更有效。
2021-09-08 cs.CL
Qualitative Analysis of a Graph Transformer Approach to Addressing Hate Speech: Adapting to Dynamically Changing Content
University of Waterloo(滑铁卢大学)
该研究提出结合图Transformer、注意力建模与BERT的社交媒体仇恨言论预测方法,经定性分析明确其优劣场景,指明多模态拓展方向,契合动态变化需求且可助力心理健康福祉。
2023-05-01 cs.CL cs.LG cs.SI
Dynamic hashtag recommendation in social media with trend shift detection and adaptation
DIMES Department, University of Calabria(卡拉布里亚大学DIMES部门)
针对社交媒体话题标签推荐的动态性问题,提出H-ADAPTS方法,通过趋势感知机制检测并适应趋势转移,利用Apache Storm实现可扩展分析,在真实案例中显著优于现有方案。
2025-04-23 cs.CL cs.DC cs.NE
Sequence Learning with RNNs for Medical Concept Normalization in User-Generated Texts
Kazan Federal University(喀山联邦大学);Neuromation OU;St. Petersburg Department of the Steklov Mathematical Institute(斯捷克洛夫数学研究所圣彼得堡分所);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
在这项工作中,我们考虑了医学概念规范化问题,即,将自由格式文本中提到的疾病映射到受控词汇表中的概念的问题,通常映射到统一医学语言系统(UMLS)中的标准词库。这项任务是具有挑战性的,因为医疗术语是非常不同的,当来自医疗保健专业人员或来自社会媒体文本形式的一般公众。我们将其视为一个序列学习问题,训练递归神经网络以获得单词和多词表达式的语义表示。我们开发了专门针对医学概念规范化的端到端神经架构,包括双向LSTM和GRU,以及基于UMLS的注意力机制和其他语义相似性特征。我们对标准基准的评估表明,我们的模型比基于CNN的分类的最新基线有所改进。
2018-11-29 cs.CL cs.IR
A Cross-media Retrieval System for Lecture Videos
我们提出了一个跨媒体的讲座点播系统,在该系统中,用户可以选择性地查看特定的片段的讲座视频提交文本查询。用户可以很容易地制定查询使用与目标讲座相关联的教科书,即使他们不能拿出有效的关键字。我们的系统从一个目标讲座视频提取音轨,产生一个大词汇量连续语音识别转录,并产生一个文本索引。实验结果表明,通过适应语音识别的演讲主题,识别的准确率提高和检索的准确率是由人类转录获得的。
2003-09-13 cs.CL
Automatic Textual Normalization for Hate Speech Detection
Faculty of Information Science and Engineering, University of Information Technology(信息科学与工程学院,信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
本文提出仅用Seq2Seq模型进行越南语文本规范化,构建了含2181条标注的数据集,虽规范化准确率略低于70%,但使仇恨言论检测准确率提升约2%。
2024-07-25 cs.CL
Cross-lingual Capsule Network for Hate Speech Detection in Social Media
Queen Mary University of London(伦敦玛丽女王大学)
大多数仇恨言论检测研究都集中在一种语言上,通常是英语,这限制了它们对其他语言的普遍性。在本文中,我们研究了跨语言的仇恨言论检测任务,解决这个问题,通过适应仇恨言论资源从一种语言到另一种语言。我们提出了一个跨语言的胶囊网络学习模型,加上额外的特定领域的词汇语义仇恨言论(CCNL-Ex)。我们的模型在AMI @ Evalita 2018和AMI@Ibereval2018的基准数据集上实现了最先进的性能,涉及三种语言:英语,西班牙语和意大利语,在所有六种语言对上都优于最先进的基线。
2021-08-06 cs.CL
Complaint Identification in Social Media with Transformer Networks
University of Sheffield(谢菲尔德大学);Department of Computer Science, University of Sheffield(谢菲尔德大学计算机科学系)
抱怨是人类广泛使用的一种言语行为,用于传达现实与期望之间的负面不一致。以前在社交媒体中自动识别投诉的工作主要集中在使用基于特征和特定任务的神经网络模型。调整最先进的预训练神经语言模型及其与来自主题或情绪的其他语言信息的组合以进行投诉预测还有待探索。在本文中,我们评估了一组神经模型支持的Transformer网络,我们随后结合语言信息。在一个公开的投诉数据集上的实验表明,我们的模型比以前的最先进的方法有很大的优势,实现了高达87的宏F1。
2020-10-21 cs.CL
Emotional Analysis of Fashion Trends Using Social Media and AI: Sentiment Analysis on Twitter for Fashion Trend Forecasting
Delhi Public School, Ruby Park, India(印度德里公共学校,Ruby Park分校);Poolesville High School, USA(美国Poolesville高中)
本研究利用T4SA数据集和NLP技术分析Twitter情感,提出改进的预测模型,证实社交媒体情感分析可作为时尚趋势的有效早期指标。
2025-04-30 cs.AI cs.CL
Capturing Stance Dynamics in Social Media: Open Challenges and Research Directions
Queen Mary University of London(伦敦玛丽女王大学);Imam Abdulrahman Bin Faisal University(伊玛目阿卜杜拉赫曼·本·费萨尔大学)
社交媒体平台为挖掘公众对具有广泛社会利益和影响的问题的意见提供了一座金矿。意见挖掘是一个可以通过捕捉和汇总个人社交媒体帖子的立场来实现的问题,这些帖子支持,反对或对手头的问题保持中立。虽然大多数先前的工作在立场检测调查的数据集,涵盖短时间内,调查纵向数据集的兴趣最近有所增加。在新数据中观察到的语言和行为模式的动态变化需要调整姿态检测系统来应对这些变化。在这篇综述论文中,我们研究了计算语言学与数字媒体中人类交流的时间演变之间的交叉点。我们执行一个关键的审查新兴的研究考虑动态,探索不同的语义和语用因素,影响语言数据一般,特别是立场。我们进一步讨论了在社交媒体中捕捉立场动态的当前方向。我们讨论了在处理立场动态时遇到的挑战,确定开放的挑战,并在三个关键方面讨论未来的发展方向:话语,语境和影响。
2021-11-26 cs.CL
MultiLexNorm++: A Unified Benchmark and a Generative Model for Lexical Normalization for Asian Languages
School of Information Science and Technology (VISTEC)(信息科学与技术学院);University of Information Technology, Ho Chi Minh City(胡志明市信息技术大学);Vietnam National University, Ho Chi Minh City(越南国家大学胡志明市分校);Graduate School of Science and Engineering, Ehime University(Ehime大学研究生院);D3 Center, The University of Osaka(大阪大学D3中心);Chung-Ang University(Chung-Ang大学);IT University of Copenhagen(哥本哈根IT大学)
MultiLexNorm++提出一种基于大语言模型的新架构,用于改进亚洲语言的词汇规范化任务,涵盖5种不同语言家族的亚洲语言。
2026-01-23 cs.CL
Re-ranking Using Large Language Models for Mitigating Exposure to Harmful Content on Social Media Platforms
University of California, Davis(加州大学戴维斯分校);University of South Florida(佛罗里达州立大学);Microsoft Corporation(微软公司)
针对社交媒体推荐算法导致有害内容曝光的问题,提出在零样本和少样本设置下利用大型语言模型动态评估并重新排序内容序列的方法,无需大量标注数据,且在多数据集和模型配置下显著优于现有专有审核方法。
2025-05-29 cs.AI cs.CL cs.CY
MMChat: Multi-Modal Chat Dataset on Social Media
Alibaba Group(阿里巴巴集团);Utrecht University(乌得勒支大学);Samsung Research China - Beijing (SRC-B)(三星中国研究院-北京(SRC-B))
在会话中描述多模态上下文对于开发更具吸引力的对话系统是重要的。在这项工作中,我们探索这一方向,通过引入MMChat:一个大规模的中文多模态对话语料库(32.4M原始对话和120.84K过滤对话)。与以前的众包或从虚构电影中收集的语料库不同,MMChat包含从社交媒体上的真实对话中收集的基于图像的对话,其中观察到稀疏性问题。具体而言,在日常交流中,图像发起的对话可能会偏离一些非图像为基础的话题进行。为了更好地研究这个问题,我们手动注释来自MMChat的100 K对话,并进一步相应地过滤语料库,从而产生MMChat-hf。我们开发了一个基准模型,以解决对话生成任务的稀疏性问题,通过调整注意力路由机制的图像特征。实验表明,将图像特征的有用性和处理图像特征的稀疏性的有效性。
2022-05-01 cs.CL cs.CV
Can LLMs Assist Annotators in Identifying Morality Frames? -- Case Study on Vaccination Debate on Social Media
Purdue University(普渡大学)
本研究通过少样本学习利用LLMs生成概念与解释,辅助人工标注者识别社交媒体疫苗辩论中的道德框架,实验表明该方法能提高标注准确性并降低认知负荷。
2025-02-05 cs.AI cs.CL cs.CY
BERT based Transformers lead the way in Extraction of Health Information from Social Media
Manipal Institute of Technology, Manipal Academy of Higher Education(曼尼帕尔理工学院,曼尼帕尔高等教育学院)
本文介绍了我们提交的2021年健康社交媒体挖掘(SMM 4 H)共享任务。我们参与了两项任务:(1)对英文推文中提及的药物不良反应(ADE)进行分类、提取和标准化(任务1);(2)对包含症状的COVID-19推文进行分类(任务6)。我们的第一个任务的方法使用的语言表示模型RoBERTa与二进制分类头。对于第二个任务,我们使用基于RoBERTa的BERTweet。对这两个任务的预训练模型进行微调。模型被放置在定制的特定于域的处理管道之上。我们的系统在子任务1(a)的所有提交中排名第一,F1分数为61%。对于子任务1(b),我们的系统获得了50%的F1分数,比所有提交的平均分数提高了+8%F1。BERTweet模型在SMM 4 H 2021 Task-6上取得94%的F1分数。
2021-04-15 cs.CL cs.SI
Construction of Large-Scale Misinformation Labeled Datasets from Social Media Discourse using Label Refinement
University of Southern California(南加州大学)
传播错误信息的恶意账户近年来导致广泛的虚假和误导性叙述,特别是在COVID-19大流行期间,社交媒体平台难以迅速消除这些内容。这是因为适应新的领域需要大量的人力事实核查,这是缓慢且难以扩展的。为了应对这一挑战,我们建议利用新闻源可信度标签作为社交媒体帖子的弱标签,并提出模型引导的标签细化,以构建新领域中的大规模,多样化的错误信息标记数据集。弱标签在文章或社交媒体帖子级别可能是不准确的,其中用户的立场与新闻来源或文章可信度不一致。我们提出了一个框架,使用在初始弱标签上自我训练的检测模型,基于模型预测中的熵进行不确定性采样,以识别潜在的不准确标签,并使用自我监督或重新标记来纠正它们。该框架将在其相关用户的社区方面纳入帖子的社会背景,以便以最少的人力构建大规模数据集。为了提供具有误导性叙述的标记数据集,其中信息可能缺少重要的上下文或具有不准确的辅助细节,所提出的框架将使用少量标记样本作为类原型,将高置信度样本分离为虚假,未经证实,混合,大部分虚假,大部分真实,真实和揭穿信息。该方法被证明用于提供关于COVID-19疫苗的大规模错误信息数据集。
2022-02-24 cs.CL cs.LG cs.SI
User Factor Adaptation for User Embedding via Multitask Learning
University of Memphis(孟菲斯大学);University of Colorado Boulder(科罗拉多大学博尔德分校);Adobe Research(奥多比研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
语言在社交媒体数据中的用户和他们感兴趣的领域之间变化:用户在他/她的兴趣中创作的词可能具有不同的含义(例如,酷)或情绪(例如,快)。然而,大多数现有的训练用户嵌入的方法忽略了用户兴趣之间的变化,例如产品和电影类别(例如,戏剧与动作)。在这项研究中,我们把用户的兴趣作为域,并实证研究如何在三个英语社交媒体数据集的用户因素的用户语言可以变化。然后,我们提出了一个用户嵌入模型,通过多任务学习框架来考虑用户兴趣的语言变异性。该模型在没有人类监督的情况下学习用户语言及其变体。虽然现有的工作主要是评估用户嵌入的外在任务,我们提出了一个内在的评价,通过聚类和评估用户嵌入的外在任务,文本分类。在三个英语社交媒体数据集上的实验表明,我们提出的方法通常可以通过调整用户因素来超越基线。
2021-02-22 cs.CL cs.LG
Voice Under Revision: Large Language Models and the Normalization of Personal Narrative
Social Sciences D-Lab, University of California, Berkeley(社会科学D实验室,加州大学伯克利分校)
研究探讨大型语言模型如何通过改写影响个人叙述的风格和叙述质感,发现改写导致风格规范化,包括功能词、缩略语和第一人称代词减少,而词汇多样性、词长和标点使用增加,影响叙述方式和因果推理。
2026-04-24 cs.CL cs.CY
Language Independent Sentiment Analysis
Lahore University of Management Sciences (LUMS)(拉合尔管理科学大学);Islamic University(伊斯兰大学)
社交媒体平台和在线论坛产生快速和越来越多的文本数据。企业、政府机构和媒体组织寻求对该富文本数据执行情感分析。这些分析的结果用于调整营销策略,定制产品,安全和其他各种决策。情感分析已被广泛研究,并已开发出各种方法,取得了巨大的成功。然而,这些方法适用于以特定语言编写的文本。这限制了对有限人口和特定地理区域的适用性。在本文中,我们提出了一个通用的方法,情感分析的数据包含来自多种语言的文本。这使得所有的应用程序能够以语言无关或语言独立的方式利用情感分析的结果。
2020-01-23 cs.CL
Coping with low data availability for social media crisis message categorisation
University College Dublin(都柏林大学学院);College of Science(理学院);UCD School of Computer Science(都柏林大学学院计算机科学学院)
针对危机消息分类中标注数据稀缺问题,本文提出基于预训练语言模型的多任务领域自适应方法,利用历史危机数据适配当前事件,并通过集成进一步提升分类性能。
2023-05-26 cs.CL
Normalizing Text using Language Modelling based on Phonetics and String Similarity
Dwarkadas J. Sanghvi College of Engineering(德瓦卡达斯·J·桑格维工程学院)
社交媒体网络和聊天平台通常使用自然文本的非正式版本。对抗性拼写攻击也倾向于通过修改文本中的字符来改变输入文本。对这些文本进行规范化是语言翻译和文本到语音合成等各种应用程序的重要步骤,其中模型在干净的常规英语语言上进行训练。我们提出了一个新的鲁棒模型来执行文本规范化。我们的系统使用BERT语言模型来预测与未规范化的单词相对应的掩码单词。我们提出了两种独特的掩蔽策略,试图用基于语音和字符串相似性度量的独特得分来替换文本中的非规范化单词。我们使用以人为中心的评估,要求志愿者对规范化文本进行排名。我们的策略产生的准确率为86.7%和83.2%,这表明我们的系统在处理文本规范化的有效性。
2020-06-25 cs.CL
CANDLE: CTC-based Arabic Noisy-character Deduplication using a Lightweight Encoder
Abjad Ltd.(阿布贾有限公司);SDAIA - NCAI(SDAIA-国家人工智能 institute)
提出CANDLE系统,利用连接主义时间分类(CTC)对阿拉伯语文本中的字符重复进行去重,无需手工规则或词典,在三个基准上达到5.37%的句子错误率,并通过知识蒸馏实现3倍深度缩减。
2026-08-04 cs.CL
SugarTextNet: A Transformer-Based Framework for Detecting Sugar Dating-Related Content on Social Media with Context-Aware Focal Loss
The Hong Kong Polytechnic University(香港理工大学);The University of Hong Kong(香港大学);Northeastern University(东北大学)
针对社交媒体糖约会内容检测面临的委婉语、模糊线索及类别不平衡挑战,提出集成Transformer编码器、注意力线索提取器和上下文短语编码器的SugarTextNet框架,结合上下文感知焦点损失,在自建微博数据集上性能优于传统模型、深度学习基线及大语言模型。
2025-11-11 cs.CL cs.CY cs.SI
Experiments to Improve Named Entity Recognition on Turkish Tweets
European Commission, Joint Research Centre(欧盟委员会联合研究中心)
社交媒体文本对于包括趋势分析、事件监测和意见挖掘在内的若干应用领域是重要的信息源。不幸的是,用于诸如命名实体识别的任务的现有解决方案在正式文本上表现良好,但在应用于社交媒体文本时通常表现不佳。在本文中,我们报告的实验,有提高命名实体识别土耳其推文的目的,使用两个不同的注释数据集。在这些实验中,从基线命名实体识别系统,我们适应其识别规则和资源,以更好地适应Twitter的语言,放松其资本化约束,并通过变音符号为基础的扩展其词汇资源,我们采用了一个简单的规范化方案的推文,以观察这些对土耳其推文的整体命名实体识别性能的影响。这些不同的设置的系统的评价结果提供这些结果的讨论。
2014-10-31 cs.CL
Assessing Text Classification Methods for Cyberbullying Detection on Social Media Platforms
University of Science and Technology Beijing(北京科技大学);Stevens Institute of Technology(史蒂文斯理工学院)
本文比较了BERT、RoBERTa、XLNet、DistilBERT和GPT-2.0等模型在网络欺凌检测中的表现,发现BERT在性能与资源效率间取得最佳平衡,并指出通过针对性微调现有模型可达到最先进水平。
2024-12-27 cs.CL cs.SI