Covid-Transformer: Detecting COVID-19 Trending Topics on Twitter Using Universal Sentence Encoder
Tabriz University(大不里士大学);Snap Inc(Snap公司)
新型冠状病毒病(也称为COVID-19)已导致大流行,影响全球200多个国家。由于其全球影响,COVID-19已成为几乎世界各地人们的主要关注点,因此世界各地都有大量关于COVID-19相关主题的推文。在这项工作中,我们试图分析推文,并检测Twitter上人们的热门话题和主要关注点,这可以使我们更好地了解情况,并制定更好的计划。更具体地说,我们提出了一个模型的基础上,通用的句子编码器来检测最近几个月的推文的主要主题。我们使用通用的句子编码器,以获得的语义表示和相似性的鸣叫。然后,我们使用句子相似性和它们的嵌入,并将它们馈送到K-means聚类算法,以将相似的推文(在语义意义上)分组。然后,使用基于深度学习的文本摘要算法获得聚类摘要,该算法可以揭示每个聚类的底层主题。通过实验结果,我们表明,我们的模型可以检测非常翔实的主题,通过处理大量的句子级别的推文(这可以保持推文的整体意义)。由于该框架对特定数据分布没有限制,因此可用于检测来自任何其他社交媒体和任何其他背景的热门话题,而不是COVID-19。实验结果表明,我们提出的方法优于其他基线,包括TF-IDF,和潜在的Dirichlet分配(LDA)。
2020-09-19 cs.CL cs.LG
Public Sentiment Toward Solar Energy: Opinion Mining of Twitter Using a Transformer-Based Language Model
University of Colorado Boulder(科罗拉多大学博尔德分校);University of Colorado Denver(科罗拉多大学丹佛分校)
公众对可再生能源的接受和支持是可再生能源政策和市场条件的重要决定因素。本文使用Twitter的数据研究了美国公众对太阳能的看法,Twitter是一个微博平台,人们在其中发布消息,称为推文。我们过滤了特定于太阳能的推文,并使用来自Transformers的鲁棒优化的双向编码器表示(RobERTa)执行分类任务。分析2020年1月底至7月初期间的71,262条推文,我们发现各州的公众情绪差异很大。在研究期间,美国东北部地区对太阳能的态度比美国南部地区更积极。太阳辐射与各州太阳情绪的变化无关。我们还发现,公众对太阳能的看法与可再生能源政策和市场条件相关,具体而言,可再生能源组合标准(RPS)目标,客户友好的净计量政策和成熟的太阳能市场。
2020-07-27 cs.CL cs.CY
Gender prediction using limited Twitter Data
TNO(荷兰应用科学研究组织)
Transformer模型在各种NLP任务上表现出令人印象深刻的性能。现成的预训练模型可以针对特定的NLP分类任务进行微调,从而减少对大量额外训练数据的需求。然而,很少有研究涉及需要多少数据来精确地微调这种预先训练的Transformer模型,以及需要多少数据来进行精确预测。本文探讨了BERT(一种用于词嵌入的Transformer模型)在社交媒体性别预测中的可用性。法医应用包括检测性别混淆,例如在聊天室中男性冒充女性。一个荷兰BERT模型在荷兰Twitter数据集的不同样本上进行了微调,这些样本被标记为性别,每个人使用的推文数量不同。结果表明,微调BERT有助于良好的性别分类性能(80%F1)时,微调只有200鸣叫每个人。但是,当每个人只使用20条推文时,我们的分类器的性能并没有急剧下降(到70% F1)。这些结果表明,即使使用相对少量的数据,也可以对BERT进行微调,以准确帮助预测Twitter用户的性别,因此,可以根据少量的推文来确定性别。这为迅速发现性别问题开辟了业务前景。
2020-09-29 cs.AI cs.CL cs.LG
Arabic Tweet Act: A Weighted Ensemble Pre-Trained Transformer Model for Classifying Arabic Speech Acts on Twitter
本研究针对Twitter方言阿拉伯语言语行为分类问题,提出基于BERT的加权集成学习方法,构建标注数据集并采用数据增强解决类别不平衡,性能优于单模型。
2024-01-30 cs.AI cs.CL
Transformer-based Context-aware Sarcasm Detection in Conversation Threads from Social Media
Emory University(埃默里大学)
我们提出了一个基于transformer的讽刺检测模型,该模型考虑了整个会话线程的上下文,以实现更强大的预测。我们的模型使用深层的Transformer层来执行线程中的目标话语和相关上下文之间的多头注意力。在来自社交媒体Twitter和Reddit的两个数据集上对上下文感知模型进行了评估,并显示出比基线提高了3.1%和7.0%。我们的最佳模型分别为Twitter和Reddit数据集提供了79.0%和75.0%的F1分数,成为该共享任务中36名参与者中性能最高的系统之一。
2020-05-22 cs.CL
Twitter Data Analysis: Izmir Earthquake Case
Muğla Sıtkı Koçman University(穆拉·斯特克·科奇曼大学)
图尔基耶位于断层线上,经常发生大规模和小规模的地震。有必要找到有效的解决办法,在灾害期间收集最新信息。我们可以利用社交媒体来了解公众舆论。这种见解可以用于公共关系和灾害管理。在这项研究中,分析了2020年10月发生的伊兹密尔地震的Twitter帖子。我们质疑这种分析是否可以用来对时间进行社会推断。数据采掘和自然语言处理(NLP)的方法用于此分析。NLP用于情感分析和主题建模。潜在狄利克雷分配(LDA)算法用于主题建模。我们使用双向编码器表示从Transformers(BERT)模型与Transformers架构工作的情感分析。结果表明,用户分享了他们的善意愿望,并旨在为地震后发起的援助活动做出贡献。用户希望主管机构和组织听到他们的声音。所提出的方法有效地工作。并对今后的研究进行了展望。
2022-12-02 cs.AI cs.CL cs.LG
Twitter-Based Gender Recognition Using Transformers
York University(约克大学);K.N. Toosi University(K.N.图西理工大学)
社交媒体包含有关人和社会的有用信息,可以帮助推进许多不同领域的研究(例如通过应用意见挖掘,情绪/情感分析和统计分析),如商业和金融,健康,社会经济不平等和性别脆弱性。用户统计数据提供了丰富的信息,可以帮助进一步研究这个问题。然而,用户的人口统计数据,如性别,被认为是私人的,不能免费提供。在这项研究中,我们提出了一个基于Transformers的模型来预测用户的性别,从他们的图像和推文。我们基于视觉Transformer(ViT)对模型进行微调,以分层女性和男性图像。接下来,我们基于来自Transformers的双向编码器表示(BERT)微调另一个模型,以通过用户的推文识别用户的性别。这是非常有益的,因为并非所有用户都提供指示其性别的图像。这些用户的性别可以从他们的推文中检测出来。该组合模型使图像和文本分类模型的准确率分别提高了6.98%和4.43%。这表明图像和文本分类模型能够通过彼此提供额外的信息来相互补充。我们将我们的方法应用于PAN-2018数据集,并获得了85.52%的准确率。
2022-04-24 cs.AI cs.CL cs.SI
A Survey on Automated Sarcasm Detection on Twitter
Lakehead University(湖首大学)
自动反语检测是计算机科学中一个不断发展的领域。短信越来越多地用于通信,特别是通过Twitter等社交媒体平台。由于上下文不足或缺失,这些信息中未识别的讽刺可能会颠倒陈述的含义,导致混乱和沟通失败。本文介绍了目前用于讽刺检测的各种方法,包括上下文检测,发帖历史和机器学习模型。此外,可以观察到向深度学习方法的转变,这可能是由于使用具有诱导特征而不是离散特征的模型以及Transformers创新的好处。
2022-02-05 cs.CL
5q032e@SMM4H'22: Transformer-based classification of premise in tweets related to COVID-19
Sberbank(俄罗斯联邦储蓄银行);AIRI(人工智能研究所)
本文提出基于Transformer的模型,用于分类COVID-19相关推文中是否存在前提,实验表明RoBERTa性能最佳,ROC AUC为0.807,F1为0.7648。
2023-10-15 cs.AI cs.CL cs.LG
Cross-Platform Generalisation Failure in Mental Health Natural Language Processing: A Five-Axis Fairness Audit of Transformer Models on Social Media
Gyan Ganga Institute of Technology and Sciences(gyan ganga 技术与科学学院)
本研究提出CPFE五维度公平性审计框架,发现心理健康NLP的Transformer模型跨平台泛化失效显著,温度缩放可缓解校准问题,需将CPFE验证作为心理健康NLP系统的标准要求。
2026-08-28 cs.CL cs.LG
EdinburghNLP at WNUT-2020 Task 2: Leveraging Transformers with Generalized Augmentation for Identifying Informativeness in COVID-19 Tweets
University of Edinburgh(爱丁堡大学)
Twitter和一般社交媒体已成为紧急情况下不可或缺的沟通渠道。无处不在的智能手机小工具使人们能够宣布实时观察到的紧急情况。因此,越来越多的机构有兴趣以编程方式监控Twitter(救灾组织和新闻机构)。因此,识别推文的信息量可以帮助过滤大量推文中的噪声。在本文中,我们提交了WNUT-2020任务2:识别信息性COVID-19英语推文的提交内容。我们最成功的模型是一组Transformers,包括在半监督学习(SSL)设置中训练的RoBERTa、XLNet和BERTweet。该系统在测试集上的F1得分为0.9011(排行榜上排名第7),与使用FastText嵌入的基线系统相比,该系统的性能有了显着提高。
2021-04-18 cs.CL cs.IR cs.LG
TweetDrought: A Deep-Learning Drought Impacts Recognizer based on Twitter Data
University of Nebraska-Lincoln(内布拉斯加大学林肯分校);Thomson Reuters Labs(汤森路透实验室);National Drought Mitigation Center(国家干旱减灾中心);University of Nebraska-Kearney(内布拉斯加大学卡尼分校)
在气候变暖的情况下,更好地了解干旱的影响变得越来越重要。传统的干旱指数主要描述生物物理变量,而不是对社会、经济和环境系统的影响。我们利用基于迁移学习的Transformers(BERT)的自然语言处理和双向编码器表示,对基于新闻的干旱影响报告(Drought Impact Report,简称DFI)的数据进行微调,然后将其应用于识别基于过滤后的美国Twitter数据的七种类型的干旱影响。我们的模型取得了令人满意的宏观F1得分为0.89的测试集。然后将该模型应用于加利福尼亚州的推文,并使用基于关键字的标签进行验证。宏观F1评分为0.58。但由于关键词的限制,我们也抽查了带有争议标签的推文。与关键字标签相比,83.5%的BERT标签正确。总体而言,微调BERT识别器提供了正确的预测和干旱影响的宝贵信息。该模型的解释和分析与经验领域的专业知识是一致的。
2022-12-07 cs.CL cs.LG
UIT-HSE at WNUT-2020 Task 2: Exploiting CT-BERT for Identifying COVID-19 Information on the Twitter Social Network
National Research University HSE(国立研究型高等经济大学)
最近,COVID-19影响了世界的各个现实生活方面,并导致了可怕的后果。越来越多关于COVID-19的推文在Twitter上被公开分享。然而,这些推文中的多个是无信息的,这对于构建自动系统来检测有用的AI应用程序的信息是具有挑战性的。在本文中,我们在W-NUT 2020共享任务2:信息性COVID-19英语推文的识别中展示了我们的结果。特别是,我们提出了我们的简单而有效的方法,使用基于COVID-Twitter-BERT(CT-BERT)的模型与不同的微调技术。结果,我们获得了90.94%的F1分数,在该任务的排行榜上排名第三,共吸引了56个提交的团队。
2020-11-13 cs.CL
Unraveling Social Perceptions & Behaviors towards Migrants on Twitter
L3S Research Center, Leibniz Universität Hannover(汉诺威莱布尼茨大学L3S研究中心)
我们从社会心理学文献中汲取见解,以确定Twitter对移民的审议的两个方面,即,对移民的看法和对移民补助金的行为。我们的理论锚定帮助我们确定了两种普遍的看法(即,同情和反感)和两种主导行为(即,社会媒体用户对移徙者的声援和敌意。我们采用了无监督和监督的方法来识别这些感知和行为。在应用NLP领域,我们的研究提供了一个微妙的理解移民相关的Twitter的de-liberations。我们提出的基于变压器的模型,即,BERT + CNN的F1得分为0.76,优于其他模型。此外,我们认为,传达反感或敌意的推文可以被广泛认为是对移民的仇恨言论,但它们并不相同。因此,我们的方法通过突出仇恨言论的感知和行为方面之间的颗粒差异,微调了二进制仇恨言论检测任务。
2021-12-04 cs.CL cs.CY cs.LG
Predicting the Geolocation of Tweets Using transformer models on Customized Data
National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”(乌克兰国立技术大学“伊戈尔·西科尔斯基基辅理工学院”)
提出基于 BERT 微调的推文地理位置预测方法,用坐标与二维 GMM 表示位置,全球误差中位值低于 30 公里、美国低于 15 公里,并开源代码与数据。
2024-11-02 cs.AI cs.CL cs.IR
Multimodal Detection of Bots on X (Twitter) using Transformers
National Technical University of Athens(雅典国立技术大学);School of Electrical and Computer Engineering(电气与计算机工程学院)
本文提出一种基于 Transformers 的多模态机器人检测方法,通过将用户描述文本与推文转换的 3D 图像结合,利用 TwHIN-BERT 和 VGG16 提取特征并采用三种融合策略,在 Cresci'17 和 TwiBot-20 数据集上优于现有方法。
2024-07-24 cs.CL
Social Media as a Sensor: Analyzing Twitter Data for Breast Cancer Medication Effects Using Natural Language Processing
Emory University(埃默里大学)
本文提出基于NLP的方法,利用transformer分类器识别X平台乳腺癌患者并收集数据,构建副作用词典分析药物使用与副作用,揭示了社交媒体在临床研究中的价值。
2024-02-26 cs.CL cs.LG cs.SI
Hashing it Out: Predicting Unhealthy Conversations on Twitter
UC Berkeley(加州大学伯克利分校)
本文提出基于注意力的BERT模型,在推特语料上预训练并微调,用于预测对话脱轨,性能优于LSTM,且通过合成过采样在小数据集上有效。
2023-11-17 cs.AI cs.CL
Twitter Bot Detection Using Bidirectional Long Short-term Memory Neural Networks and Word Embeddings
York University(约克大学)
Twitter是一个网络应用程序,扮演着在线社交网络和微博的双重角色。Twitter的流行和开放结构吸引了大量的自动化程序,被称为机器人。合法机器人生成大量良性上下文内容,即,tweets提供新闻和更新提要,而恶意机器人则传播垃圾邮件或恶意内容。为了帮助人类用户识别他们正在与谁交互,本文重点关注Twitter上的人类和垃圾邮件账户的分类,通过采用递归神经网络,特别是双向长短期记忆(BiLSTM),有效地捕获推文的特征。据我们所知,我们的工作是第一个开发具有词嵌入的递归神经模型,以区分Twitter机器人和人类帐户,不需要事先了解或假设用户的个人资料,友谊网络或目标帐户的历史行为。此外,我们的模型不需要任何手工制作的功能。初步的模拟结果非常令人鼓舞。在cresci-2017数据集上的实验表明,与现有的最先进的机器人检测系统相比,我们的方法可以实现具有竞争力的性能。
2020-02-03 cs.CL cs.CR cs.LG
Fairness Metric Design Exploration in Multi-Domain Moral Sentiment Classification using Transformer-Based Models
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学院);Department of Computer Science and Technology, SUNY Empire State University(纽约州立大学奥本大学计算机科学与技术系);Faculty of Computer Studies, Arab Open University, Oman(阿曼开放大学计算机研究学院)
针对跨领域道德情感分类中的公平性问题,本文评估了BERT和DistilBERT的跨领域性能差异,并提出MFC指标量化道德基础检测的跨领域稳定性,为公平性评估提供互补性诊断工具。
2025-10-13 cs.AI cs.CL
Benchmarking PyCaret AutoML Against IndoBERT Fine-Tuning for Sentiment Analysis on Indonesian IKN Twitter Data
Institut Teknologi Sumatera Lampung Selatan(印度尼西亚苏门答腊理工大学)
本文比较了PyCaret AutoML的传统机器学习方法与IndoBERT微调的深度学习方法,用于印尼语言推文的二分类情感分析。实验显示IndoBERT在准确率和F1分数上均优于传统模型。
2026-04-28 cs.CL
COVID-19 Tweets Analysis through Transformer Language Models
Information Technology University(信息技术大学)
了解公众的情绪和看法,在医疗危机是必不可少的发展适当的危机管理技术。虽然一些研究在COVID-19期间使用Twitter数据进行预测建模,但尚未对这一流行病期间人们在社交媒体上的意见进行细粒度的情感分析。在这项研究中,我们对COVID-19中的推文进行了深入的细粒度情感分析。为此,我们对四个Transformer语言模型进行监督训练,用于将推文多标签分类为七个音调类的下游任务:[自信,愤怒,恐惧,喜悦,悲伤,分析,试探]。我们通过RoBERTa实现了0.9267的LRAP(标签排名平均精度)得分。这个经过训练的Transformer模型能够以高精度正确预测推文的语气。然后,我们利用这个模型来预测20万条关于COVID-19的推文的音调。然后,我们对推文的语气进行了国家层面的分析,并提取了有关这一流行病中人们心理状况的有用指标。
2021-02-27 cs.CL cs.IR cs.LG
The X Types -- Mapping the Semantics of the Twitter Sphere
University of Haifa(海法大学)
针对Twitter缺乏结构化语义信息的问题,该研究通过将约20万账户与DBpedia和Wikidata对齐获取标签,微调Transformer文本编码器生成语义嵌入并结合网络嵌入,构建了136种细粒度语义类型的预测模型,揭示了Twitter全局语义并提升了实体相似性评估性能。
2024-09-22 cs.CL
Sifting Robotic from Organic Text: A Natural Language Approach for Detecting Automation on Twitter
Vermont Complex Systems Center(佛蒙特复杂系统中心);Vermont Center for Behavior and Health(佛蒙特行为与健康中心);Vermont Center for Clinical and Translational Science(佛蒙特临床与转化科学中心)
Twitter,一个流行的社交媒体,已经发展成为一个巨大的语言数据来源,充满了观点,情感和讨论。由于Twitter越来越受欢迎,其发挥社会影响力的潜力导致了一个多样化的自动机社区的兴起,通常被称为机器人。这些无机和半有机的Twitter实体可以从善意的(例如,天气更新机器人,求助警报机器人)到恶意的(例如,滥发讯息、广告或激进意见)。现有的检测算法通常利用元数据(推文之间的时间,关注者数量等)。来识别机器人账户在这里,我们提出了一个强大的分类方案,专门使用的自然语言文本从有机用户提供一个标准,用于识别帐户发布自动消息。由于分类器仅对文本进行操作,因此它很灵活,可以应用于Twitter范围之外的任何文本数据。
2016-06-14 cs.CL
Towards Automatic Bot Detection in Twitter for Health-related Tasks
University of Pennsylvania(宾夕法尼亚大学);Emory University(埃默里大学)
随着越来越多地使用社交媒体数据进行健康相关研究,来自此来源的信息的可信度受到质疑,因为这些帖子可能来自自动账户或“机器人”。虽然已经提出了自动机器人检测方法,但还没有对发布健康相关信息的用户进行评估。在本文中,我们扩展了现有的机器人检测系统,并将其定制为与健康相关的研究。使用Twitter用户的数据集,我们首先表明,该系统,这是专为政治机器人检测,当应用于健康相关的Twitter用户表现不佳。然后,我们结合了额外的功能和统计机器学习分类器,以显着提高机器人检测性能。我们的方法获得的F_1得分为0.7的“机器人”类,代表0.339的改进。我们的方法是可定制的和可推广的机器人检测在其他健康相关的社交媒体队列。
2019-09-29 cs.CL cs.SI
Dissecting a Social Botnet: Growth, Content and Influence in Twitter
University of Washington(华盛顿大学)
社交僵尸网络已经成为社交媒体上的一个重要现象。社交机器人可以通过许多方式破坏或影响在线话语,例如垃圾邮件标签,诈骗twitter用户和astroturfing。在本文中,我们考虑了Twitter中的一个特定社交僵尸网络,以了解它如何随着时间的推移而增长,社交僵尸网络的推文内容与同一数据集中的普通用户有何不同,以及社交僵尸网络如何影响相关讨论。我们的分析是基于对叙利亚社交机器人的大约3000条阿拉伯语和英语推文的定性编码,这些推文在关闭之前在Twitter上活跃了35周。我们发现,这个特定的僵尸网络的增长,行为和内容并没有特别符合僵尸网络的常见概念。此外,我们确定僵尸网络的有趣的方面,区分它从普通用户。
2016-04-13 cs.CL cs.CY cs.SI
A Transformer-Based Cross-Platform Analysis of Public Discourse on the 15-Minute City Paradigm
1 College of Science;Engineering, Texas State University, San Marcos, Texas, USA Email;3 Texas A\&M Transportation Institute, Texas A\&M University, Houston, Texas, USA Email
本研究首次跨平台分析15分钟城市概念的公共 discourse,采用压缩Transformer模型进行多平台情感分类,发现DistilRoBERTa表现最佳,MiniLM一致性最高,揭示平台特性差异及压缩模型的高效优势。
2025-09-14 cs.CL cs.SI
Alt-Text with Context: Improving Accessibility for Images on Twitter
Carnegie Mellon University(卡内基梅隆大学);LatinX in AI(LatinX in AI(拉丁裔人工智能组织));University of California San Diego(加利福尼亚大学圣迭戈分校)
提出融合推文文本与图像视觉信号的多模态 alt-text 生成模型,并构建 371k Twitter 数据集,证明两类上下文效用叠加且 BLEU@4 较先前方法提升逾 2 倍。
2024-02-29 cs.CL cs.CV cs.LG
Job Detection in Twitter
University of Waterloo(滑铁卢大学)
在这份报告中,我们提出了一个新的Twitter数据的应用程序称为\textit{job detection}。我们根据人们的推文来确定他们的工作类别。作为一项初步工作,我们将我们的任务限制为仅从其他职位持有者中识别IT工作者。我们使用和比较了简单的词袋模型和基于Skip-gram模型的文档表示。实验结果表明,基于Skip-gram的模型,可以达到76%的准确率和82%的召回率.
2017-01-11 cs.CL
Transformer based Automatic COVID-19 Fake News Detection System
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
Twitter等在线社交网络最近的快速技术进步导致了传播虚假信息和假新闻的巨大趋势。在持续的冠状病毒病(COVID-19)大流行中,错误信息尤其普遍,导致个人接受虚假和潜在有害的索赔和文章。快速发现假新闻可以减少公众恐慌和混乱的传播。就我们在本文中的分析而言,我们报告了一种分析社交媒体上分享的与COVID-19大流行有关的信息可靠性的方法。我们最好的方法是基于三个Transformer模型(BERT,ALBERT和XLNET)的集合来检测假新闻。该模型在约束AI 2021共享任务COVID 19英语假新闻检测的背景下进行了训练和评估。我们的系统在测试集上获得了0.9855的f1分数,在160个团队中排名第5。
2021-01-21 cs.CL
HumAID: Human-Annotated Disaster Incidents Data from Twitter with Deep Learning Benchmarks
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,哈马德·本·哈利法大学)
社交网络被广泛用于信息消费和传播,特别是在诸如自然灾害等时间紧迫的事件期间。尽管社交媒体内容的容量非常大,但它通常太嘈杂,无法直接用于任何应用程序。因此,对可用内容进行过滤、分类和简明扼要的总结,以促进有效的消费和决策制定,这一点非常重要。为了解决这些问题,已经使用监督建模方法开发了自动分类系统,这要归功于早期在创建标记数据集方面的努力。然而,现有的数据集在不同方面受到限制(例如,大小,包含重复),并且不太适合支持更高级和数据需求量更大的深度学习模型。在本文中,我们提出了一个新的大规模数据集,其中包含约7.7万条人类标记的推文,这些推文是从2016年至2019年发生的19起灾难事件中的约2400万条推文中采样的。此外,我们提出了一个数据汇集和采样管道,这是很重要的社会媒体数据采样人类注释。我们使用基于经典和深度学习(fastText和Transformer)的模型报告多类分类结果,为未来的研究奠定基础。数据集和相关资源是公开的。https://crisisnlp.qcri.org/humaid_dataset.html
2021-04-08 cs.AI cs.CL cs.CY
MeLT: Message-Level Transformer with Masked Document Representations as Pre-Training for Stance Detection
Stony Brook University(石溪大学)
大部分自然语言处理都集中在利用大容量语言模型上,这些语言模型通常是在单个消息上训练的,任务是预测一个或多个标记。然而,在更高层次的上下文(即,消息的序列)是未被探索的。在立场检测和其他社交媒体任务中,目标是预测消息的属性,我们有上下文数据,这些数据通过作者身份松散地连接在一起。在这里,我们介绍了消息级Transformer(MeLT)--一个通过Twitter预先训练的分层消息编码器,并应用于立场预测任务。我们专注于立场预测,作为一项受益于了解消息上下文的任务(即,先前消息的序列)。该模型使用掩码语言建模的变体进行训练;其中,它不是预测令牌,而是试图通过重建损失生成整个掩码(聚合)消息向量。我们发现,将这种预训练的掩蔽消息级Transformer应用于下游的姿态检测任务,实现了67%的F1性能。
2021-11-01 cs.CL
Real Time Sentiment Change Detection of Twitter Data Streams
Department of Computer Science;Biomedical Informatics, University of Thessally, Lamia, Greece.
在过去的几年里,Twitter情感分析有了巨大的增长,已经提供了相当数量的研究,对Twitter用户中的公众舆论的情感检测。鉴于Twitter消息以令人眼花缭乱的速度不断生成,因此创建了大量的流数据,因此迫切需要准确的知识发现和挖掘这些信息的方法。尽管在最近的文献中存在过多的twitter情感分析方法,但正如预期的那样,研究人员已经转向对twitter流数据进行实时情感识别。一个主要的挑战是处理Twitter流媒体应用程序中出现的关于音量和速度的大数据挑战。在这种情况下,在本文中,提供了一种基于开源工具的方法论方法,用于实时检测情绪的变化,在内存消耗和计算成本方面都是超高效的。这是通过实时的迭代地收集推文并在处理后立即丢弃它们来实现的。为了这个目的,我们采用的词汇方法的情感特征,而变化检测是通过适当的控制图,不需要历史信息。我们认为,所提出的方法为潜在的大规模监控线程提供了触发器,以试图在早期发现假新闻传播或宣传活动。我们的实验实时分析的基础上,最近的标签提供的证据表明,所提出的方法可以检测有意义的情绪变化在整个标签的生命周期。
2018-04-02 cs.CL
RideKE: Leveraging Low-Resource, User-Generated Twitter Content for Sentiment and Emotion Detection in Kenyan Code-Switched Dataset
University of Minnesota -Twin Cities(明尼苏达大学双城校区)
针对Twitter低资源语言数据因语码转换等问题难以利用的挑战,分析肯尼亚语码转换数据,用监督和半监督方法评估四种SOTA模型,发现XLM-R在情感分析、DistilBERT在情绪分析中表现较好,为低资源语码转换数据的情感情绪检测提供了参考。
2025-02-10 cs.AI cs.CL
BUT-FIT at SemEval-2019 Task 7: Determining the Rumour Stance with Pre-Trained Deep Bidirectional Transformers
Brno University of Technology, Faculty of Information Technology(布尔诺理工大学信息技术学院)
本文描述了我们提交给SemEval 2019任务7的系统:RumourEval 2019:确定谣言的真实性和对谣言的支持,子任务A(Gorrell等人,2019年)。这项挑战的重点是对来自Twitter和Reddit的帖子是否支持、否认、质疑或评论隐藏的谣言进行分类,这些谣言的真实性是一个潜在的讨论主题。我们制定的立场分类的问题,确定谣言的立场后,相对于以前的线程后和源线程后。最近的BERT架构被用来构建一个端到端系统,该系统在所提供的测试数据上达到了61.67%的F1分数。它在比赛中获得第二名,没有任何手工制作的功能,仅落后冠军0.2%。
2019-03-21 cs.AI cs.CL cs.LG
Cross-Lingual Query-Based Summarization of Crisis-Related Social Media: An Abstractive Approach Using Transformers
Universitat Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚研究与高级研究院)
在危机期间从社交媒体收集的相关和及时的信息可以成为应急管理的宝贵资源。然而,提取这些信息仍然是一项具有挑战性的任务,特别是在处理多种语言的社交媒体帖子时。这项工作提出了一种跨语言的方法,检索和总结危机相关的信息,从社交媒体帖子。我们描述了一个统一的方式来表达各种信息需求,通过结构化查询和创建摘要回答这些信息需求的方式。该方法基于多语言Transformers嵌入。句子是用嵌入支持的语言之一编写的,提取的句子可以是支持的任何其他语言。Transformers创建抽象摘要。这项评估由众包评估人员和应急管理专家完成,并在五次大规模灾难期间从Twitter上提取了10种语言的集合,显示了我们方法的灵活性。生成的摘要被认为比现有的最先进的方法更有重点,更有结构,更连贯,专家们将其与现有的最先进的方法创建的摘要进行了比较。
2022-04-21 cs.CL cs.CY cs.IR
What do the US West Coast Public Libraries Post on Twitter?
University of South Carolina(南卡罗来纳大学)
Twitter为公共图书馆提供了一个很好的机会,可以为各种目的传播信息。Twitter数据已被应用于不同的领域,如健康,政治和历史。在美国有成千上万的公共图书馆,但还没有研究调查他们的社交媒体帖子的内容,如推文,以找到他们的兴趣。此外,对Twitter内容的传统内容分析对于探索数千条推文来说不是一项有效的任务。因此,需要自动方法来克服手动方法的局限性。本文提出了一种计算方法来收集和分析使用Twitter应用程序编程接口(API),并调查了超过138,000推文从48个美国西海岸图书馆使用主题建模。我们找到了20个主题,并将它们分配到五个类别,包括公共关系,书籍,活动,培训和社会公益。我们的研究结果表明,美国西海岸的图书馆更感兴趣的是使用Twitter的公共关系和图书相关的事件。本研究对图书馆及其他组织探索其客户和自身的社会化媒体活动具有实践和理论应用价值。
2018-09-28 cs.CL cs.CY stat.AP