Causal Mediation Analysis for Interpreting Neural NLP: The Case of Gender Bias
Salesforce Research(赛富时研究院);Harvard University(哈佛大学);Technion – Israel Institute of Technology(以色列理工学院);Tel Aviv University(特拉维夫大学)
在自然语言处理中解释神经模型的常用方法通常会检查它们的结构或行为,但不会同时检查两者。我们提出了一种基于因果中介分析理论的方法,用于解释模型的哪些部分与其行为有因果关系。它使我们能够分析信息通过各种模型组件(称为中介)从输入流向输出的机制。我们应用这种方法来分析预训练的Transformer语言模型中的性别偏见。我们研究了单个神经元和注意力头在三个数据集中介导性别偏见的作用,这些数据集旨在衡量模型对性别偏见的敏感性。我们的中介分析表明,性别偏见的影响是(i)稀疏,集中在网络的一小部分;(ii)协同,放大或抑制不同的组件;(iii)分解成直接从输入和间接通过中介流的效果。
2020-11-22 cs.CL
NLP Privacy Risk Identification in Social Media (NLP-PRISM): A Survey
George Mason University(乔治·马歇尔大学)
本文提出NLP-PRISM框架,系统评估社交媒体中NLP处理的隐私风险,揭示模型隐私保护与效用之间的权衡,并呼吁加强隐私保护措施。
2026-01-26 cs.AI cs.CL cs.CR
When a Tweet is Actually Sexist. A more Comprehensive Classification of Different Online Harassment Categories and The Challenges in NLP
Dalhousie University(达尔豪斯大学)
性别歧视在社交媒体中非常普遍,这使得女权主义者和女性用户的自由边界变得更紧。目前还没有一个吸引自然语言处理技术的性别歧视的综合分类。将社交媒体中的性别歧视归类为敌意或善意的性别歧视是如此普遍,以至于忽略了这些媒体中发生的其他类型的性别歧视。本文提出了一个更全面和深入的类别,在社会媒体,如Twitter的在线骚扰分为以下类别,“间接骚扰”,“信息威胁”,“性骚扰”,“身体骚扰”和“非性别歧视”,并解决了标签的挑战,并提出了分类结果。这是应用机器学习来学习性别歧视概念的初步工作,并通过查看社交媒体中更精确的性别歧视类别来区分自己。
2019-02-27 cs.CL
You Shall Know a User by the Company It Keeps: Dynamic Representations for Social Media Users in NLP
University of Amsterdam(阿姆斯特丹大学);Amazon(亚马逊);University of Stuttgart(斯图加特大学)
关于个人的信息可以帮助更好地理解他们所说的话,特别是在文本很短的社交媒体上。目前对社交媒体用户进行建模的方法关注他们的社交联系,但以静态的方式利用这些信息,统一对待所有联系。这忽略了一个社会语言学中众所周知的事实,即一个人可能是几个社区的一部分,这些社区在所有的交际情境中并不同等相关。我们提出了一个基于图注意力网络的模型来捕捉这种观察。它动态地探索用户的社交图谱,计算给定目标任务的最相关连接的用户表示,并将其与语言信息相结合以进行预测。我们将我们的模型应用于三个不同的任务,对替代模型进行评估,并对结果进行了广泛的分析,结果表明,它显着优于目前的其他方法。
2019-09-01 cs.CL
Challenges and Opportunities in Information Manipulation Detection: An Examination of Wartime Russian Media
Carnegie Mellon University(卡内基梅隆大学);University of Michigan(密歇根大学);Stanford University(斯坦福大学);University of Washington(华盛顿大学)
NLP对舆论操纵运动的研究主要集中在检测公开的策略,如假新闻和虚假信息。然而,正在进行的俄罗斯-乌克兰战争中的信息操纵表明,政府和媒体也采用了更微妙的策略。我们发布了一个新的数据集VoynaSlov,其中包含俄罗斯媒体在Twitter和VKontakte上发布的3800多万条帖子,以及2022年俄罗斯-乌克兰战争之前和期间的公共活动和反应。我们在VoynaSlov上应用标准和最近开发的NLP模型来研究议程设置,框架和启动,几种信息操纵策略,并揭示媒体控制,社交媒体平台和时间的变化。我们对这些媒体效应的研究和对当前方法局限性的广泛讨论,鼓励进一步发展NLP模型,以理解新兴危机中的信息操纵,以及其他现实世界和跨学科任务。
2022-10-24 cs.CL
NLP as a Lens for Causal Analysis and Perception Mining to Infer Mental Health on Social Media
Mayo Clinic(梅奥诊所);The Chinese University of Hong Kong(香港中文大学);The University of Sydney(悉尼大学);University of Florida(佛罗里达大学)
本文提出将NLP作为因果分析与感知挖掘的透镜用于社交媒体心理健康推断,明确两大研究维度,探索话语分析等相关NLP领域,倡导可解释的计算心理学研究,以推动相关对话智能体发展。
2023-08-23 cs.CL
A POS Tagger for Code Mixed Indian Social Media Text - ICON-2016 NLP Tools Contest Entry from Surukam
Surukam Analytics(Surukam分析公司)
由于缺乏精确注释的训练语料库,为代码混合的印度语言构建词性标注器是计算语言学中一个特别具有挑战性的问题。ICON作为其NLP工具竞赛的一部分,连续第二年将此挑战作为一项共同任务来组织,以提高最先进的水平。本文介绍了在Surukam构建的POS标记器,用于预测三种语言对的粗粒度和细粒度POS标记-孟加拉语-英语,泰卢固语-英语和印地语-英语,文本跨越三个流行的社交媒体平台- Facebook,WhatsApp和Twitter。我们采用条件随机场作为序列标记算法,并使用一个名为sklearn-crfsuite的库-一个围绕CRFsuite的薄包装器来训练我们的模型。我们使用的特征包括多字符n-grams,语言信息和emoji,数字,标点符号和网址的模式。我们在受限环境中提交的文件,即,在不使用任何单语POS标记器等的情况下,获得了76.45%的总体平均F1分数,这与2015年的76.79%的获胜分数相当。
2016-12-31 cs.CL
Ontology-Driven Self-Supervision for Adverse Childhood Experiences Identification Using Social Media Datasets
University College London(伦敦大学学院);University of Edinburgh(爱丁堡大学)
不良童年经历(ACE)被定义为在整个童年和/或青春期发生的高度压力和潜在创伤性事件或环境的集合。它们已被证明与晚年精神健康疾病或其他异常行为的风险增加有关。然而,用自然语言处理(NLP)从文本数据中识别ACE是具有挑战性的,因为(a)没有NLP就绪的ACE本体;(b)可用于机器学习的资源很少,需要临床专家的数据注释;(c)领域专家的昂贵注释和用于支持大型机器学习模型的大量文档。在本文中,我们提出了一种本体驱动的自监督方法(使用自动编码器从基线NLP结果中获得概念嵌入),用于生成支持大规模机器学习的公开可用资源(例如,训练基于Transformer的大语言模型)。该资源以及拟议的方法旨在促进社区培训可转移的NLP模型,以有效地在低资源场景中显示ACE,如电子健康记录中的临床笔记上的NLP。该资源包括ACE本体术语列表、ACE概念嵌入和NLP注释语料库,可在https://github.com/knowlab/ACE-NLP上获得。
2022-08-24 cs.CL cs.LG
Nürnberg NLP @ GermEval Shared Task 2026: Harmful Content Detection in German Social Media through Error-Independent LLM Voters
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用技术大学)
该研究针对德语社交媒体有害内容检测的类别不平衡挑战,构建了含三个正交维度的九投票器集成系统,在2026年GermEval共享任务四个子任务中均获第一。
2026-08-25 cs.CL
NLP Techniques for Water Quality Analysis in Social Media Content
University of Engineering and Technology, Peshawar(白沙瓦工程技术大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文介绍了我们对MediaEval 2021任务的贡献,即“WaterMM:社交多媒体中的水质”。该任务旨在分析与水质相关的社交媒体帖子,特别关注水彩,气味,味道和相关疾病等方面。为此,提供了一个包含文本和视觉信息以及元数据的多模态数据集。考虑到可用内容的质量和数量,我们主要集中在文本信息,分别采用三种不同的模型和联合后融合的方式。这些模型包括(i)来自Transformers的双向编码器表示(BERT),(ii)鲁棒优化的BERT预训练方法(XLM-RoBERTa),以及(iii)定制的长短期记忆(LSTM)模型,在官方测试集上分别获得0.794、0.717、0.663的总体F1分数。在融合方案中,所有的模型都被平等对待,并没有显着的改善,观察到在性能最好的个人模型。
2021-11-30 cs.CL cs.SI
On the State of NLP Approaches to Modeling Depression in Social Media: A Post-COVID-19 Outlook
University of Bucharest(布加勒斯特大学);PRHLT Research Center(PRHLT研究中心);Universitat Politècnica de València(瓦伦西亚理工大学);Rochester Institute of Technology(罗切斯特理工学院);George Mason University(乔治梅森大学);Human Language Technology Research Center(人类语言技术研究中心);Faculty of Mathematics and Computer Science, University of Bucharest(布加勒斯特大学数学与计算机科学学院)
本文综述了后COVID-19时代社交媒体抑郁症建模的NLP方法,梳理疫情背景下最新方法与数据集的运用,并探讨心理健康数据处理的公平性、问责制与伦理问题。
2025-03-07 cs.CL
nlpBDpatriots at BLP-2023 Task 2: A Transfer Learning Approach to Bangla Sentiment Analysis
George Mason University(乔治梅森大学)
本文介绍了nlpBDpatriots团队参加BLP-2023孟加拉语情感分析任务的方案,通过结合数据增强的迁移学习方法识别社交媒体内容极性,取得0.71的micro F1分数,在30支队伍中排名第12。
2023-11-25 cs.CL
Connecting the Dots in News Analysis: Bridging the Cross-Disciplinary Disparities in Media Bias and Framing
The University of Melbourne(墨尔本大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
该综述对比了社会科学与NLP领域的媒体偏见分析方法,指出当前NLP方法的不足,提出了弥合理论与模型及评估差距的多个方向。
2024-06-19 cs.CL
Product Market Demand Analysis Using NLP in Banglish Text with Sentiment Analysis and Named Entity Recognition
Brac University(布拉奇大学)
产品市场需求分析对企业竞争领域的影响是显而易见的,因此对企业战略的制定起着重要的作用。此外,大约有2.28亿母语为孟加拉语的人,其中大多数人使用孟加拉语文本在社交媒体上相互交流。随着社交媒体成为企业家的在线市场,消费者正在用孟加拉语文本在社交媒体上购买和评估商品。人们使用社交媒体通过与他们分享他们的正面和负面体验来找到首选的智能手机品牌和型号。出于这个原因,我们的目标是收集孟加拉语文本数据,并使用情感分析和命名实体识别来评估孟加拉国市场对智能手机的需求,以便按性别确定最受欢迎的智能手机。我们使用即时数据抓取器从社交媒体上抓取产品相关数据,并使用Python Web Scraper从维基百科和其他网站上抓取数据以获取产品信息。使用Python的Pandas和Seaborn库,使用NLP方法过滤原始数据。为了训练我们的数据集进行命名实体识别,我们使用了Spacey的自定义NER模型Amazon Comprehend Custom NER。采用参数调整的张量流序贯模型进行情感分析。同时,我们使用Google Cloud Translation API来估计使用BanglaLinga库的审稿人的性别。在本文中,我们使用自然语言处理(NLP)方法和几种机器学习模型来识别孟加拉国市场上最受欢迎的项目和服务。我们的模型在Spacy Custom命名实体识别中的准确率为87.99%,在Amazon…
2022-04-04 cs.CL
Natural Language Processing, Sentiment Analysis and Clinical Analytics
Effat University(埃法特大学)
大数据的最新进展促使医疗保健从业者利用社交媒体上的数据来辨别情绪和情感表达。健康信息学和临床分析在很大程度上依赖于从不同来源收集的信息。传统上,医疗从业者会要求病人填写一份问卷,这将形成诊断医疗条件的基础。然而,医疗从业人员可以获得许多数据来源,包括患者在各种媒体上的文章。自然语言处理(NLP)允许研究人员收集这些数据并对其进行分析,以收集这些文字的潜在含义。情感分析领域(应用于许多其他领域)在很大程度上依赖于NLP使用的技术。这项工作将研究NLP领域的各种流行理论,以及如何利用它们来收集社交媒体上的用户情绪。这种情绪可以在一段时间内剔除,从而最大限度地减少数据输入和其他压力源引入的错误。此外,我们还研究了情感分析的一些应用以及NLP在心理健康方面的应用。读者还将了解实现各种NLP理论的NLTK工具包,以及它们如何使数据清理过程变得更加容易。
2019-02-02 cs.CL
Fake News Detection in Social Media using Graph Neural Networks and NLP Techniques: A COVID-19 Use-case
University of Engineering and Technology, Peshawar(白沙瓦工程技术大学);IBM Research - Almaden(IBM阿尔马登研究中心);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Shaheed Benazir Bhutto Women University(沙希德·贝娜齐尔·布托女子大学)
本文介绍了MediaEval 2020任务的解决方案,即FakeNews:Corona病毒和5G阴谋多媒体基于数据的分析。该任务旨在分析与COVID-19和5G阴谋论相关的推文,以检测错误信息传播者。该任务由两个子任务组成,即(i)基于文本的假新闻检测和(ii)基于结构的假新闻检测。对于第一个任务,我们提出了六种不同的解决方案,依赖于词袋(BoW)和BERT嵌入。其中三种方法通过区分5G阴谋和其余的COVID-19相关推文来实现二元分类任务,而其余方法则将任务视为三元分类问题。在三元分类任务中,我们基于BoW和BERT的方法在开发集上分别获得了0.606%和0.566%的F1分数。在二进制分类上,基于BoW和BERT的解决方案分别获得了.666%和.693%的平均F1分数。另一方面,对于基于结构的假新闻检测,我们依靠图神经网络(GNNs)在开发集上实现了0.95%的平均ROC。
2020-11-30 cs.CL
NLP-CUET@DravidianLangTech-EACL2021: Investigating Visual and Textual Features to Identify Trolls from Multimodal Social Media Memes
Chittagong University of Engineering and Technology(吉大港工程技术大学)
在过去的几年里,模因已经成为互联网上一种新的传播方式。由于模因是带有嵌入文本的图像,它可以迅速传播仇恨,冒犯和暴力。模因的分类是非常具有挑战性的,因为它们的多模态性质和区域特定的解释。一个共享的任务是组织开发模型,可以识别巨魔从多模态社会媒体模因。这项工作提出了一个计算模型,我们已经开发的一部分,我们参与的任务。训练数据有两种形式:嵌入泰米尔语代码混合文本的图像和用英语给出的相关标题。我们使用CNN,VGG 16,Inception,Multilingual-BERT,XLM-Roberta,XLNet模型研究了视觉和文本特征。通过早期融合方法将图像(CNN、ResNet 50、Inception)和文本(长短期记忆网络)特征相结合来提取多模态特征。结果表明,XLNet的文本方法实现了$0.58$的最高加权$f_1$ -分数,这使得我们的模型能够在该任务中获得$3^{rd}$排名。
2021-02-28 cs.CL cs.CV
AI Adoption to Combat Financial Crime: Study on Natural Language Processing in Adverse Media Screening of Financial Services in English and Bangla multilingual interpretation
Institute of Business Administration - JU(贾达沃普尔大学商业管理学院)
本研究探讨利用NLP在孟加拉国MFS中进行负面媒体筛查以打击金融犯罪,准确率约94%,并指出AI接受度低及技术、成本、监管障碍,强调其预防潜力。
2024-12-12 cs.AI cs.CL
bitsa_nlp@LT-EDI-ACL2022: Leveraging Pretrained Language Models for Detecting Homophobia and Transphobia in Social Media Comments
Birla Institute of Technology and Science, Pilani(皮拉尼贝拉理工与科学学院)
在线社交网络无处不在,用户友好。然而,检测和适度的攻击性内容以保持体面和同情心是至关重要的。然而,挖掘社交媒体文本是一项复杂的任务,因为用户不遵守任何固定的模式。评论可以用任何语言组合编写,其中许多可能是低资源的。在本文中,我们提出了我们的系统LT-EDI共享任务检测同性恋恐惧症和跨性别恐惧症在社交媒体评论。我们实验了一些单语和多语言的基于Transformer的模型,如mBERT以及用于解决类不平衡的数据增强技术。这种预训练的大型模型最近在自然语言处理的各种基准任务上取得了巨大的成功。我们观察他们的表现仔细注释,现实生活中的YouTube评论数据集在英语以及泰米尔语。我们提交的作品在英语、泰米尔语和泰米尔英语子任务中分别获得了9,6和3的宏观平均F1分数,分别为0.42,0.64和0.58。该系统的代码已经开源。
2022-04-09 cs.AI cs.CL
Understanding COVID-19 News Coverage using Medical NLP
John Snow Labs inc.(约翰·斯诺实验室公司)
COVID-19疫情为全球性大流行病,受到全球媒体关注。在这项研究中,我们分析了CNN和卫报-世界上最有影响力的两个媒体组织的新闻出版物。该数据集包括36,000多篇文章,使用Spark NLP for Healthcare库中的临床和生物医学自然语言处理(NLP)模型进行分析,这使得对医学概念的分析比以前更深入。该分析涵盖了关键实体和短语,观察到的偏见,以及通过将挖掘的医疗症状,程序,药物和指导与常见的人口统计和职业群体相关联来改变新闻报道。另一项分析是关于药物和疫苗制造商的提取的药物不良事件,当主要新闻媒体报道时,会对疫苗犹豫产生影响。
2022-03-19 cs.AI cs.CL
NLP Case Study on Predicting the Before and After of the Ukraine-Russia and Hamas-Israel Conflicts
Hofstra University(霍夫斯特拉大学);Northeastern University(东北大学)
本研究针对俄乌与哈马斯-以色列两场冲突,整理多平台社交媒体前后时段数据集,用有监督和无监督NLP技术预测文本毒性等属性,验证了社媒 discourse 可预判冲突,预测误差低至约1.2%。
2024-10-08 cs.AI cs.CL cs.LG
ViLexNorm: A Lexical Normalization Corpus for Vietnamese Social Media Text
Faculty of Information Science and Engineering(信息科学与工程学院);University of Information Technology(信息技术大学);Vietnam National University(越南国家大学)
本研究构建了首个越南语社交媒体词汇规范化语料库ViLexNorm,含超10000对人工标注句,经评估最优系统ERR达57.74%,验证了该任务对下游NLP任务的增益,语料库供研究公开使用。
2024-01-31 cs.CL
Insight from NLP Analysis: COVID-19 Vaccines Sentiments on Social Media
University of Manchester(曼彻斯特大学)
社交媒体是分析公众对COVID-19疫苗和各种品牌的态度的适当来源。然而,相关的研究很少。在这项研究中,我们收集了英国和美国居民在大流行期间从Twitter API发布的推文,并设计了实验来回答有关疫苗接种的三个主要问题。为了获得公民的主导情绪,我们使用VADER进行情感分析,并提出了一种新的方法,可以计算个人的影响力。这使我们能够在情感分析中更进一步,并解释数据变化中的一些波动。结果表明,名人可以引导社交媒体上疫苗接种进展的意见转变。此外,在高峰期,两国近40%的人口对COVID-19疫苗持消极态度。此外,我们还调查了人们对不同疫苗品牌的看法。我们发现辉瑞疫苗最受人们欢迎。通过应用情感分析工具,我们发现大多数人对大多数品牌生产的COVID-19疫苗持正面看法。最后,利用LDA模型进行了主题建模。我们发现两国居民都愿意分享他们对疫苗的看法和感受。接种疫苗后发生了几例死亡病例。由于这些负面事件,美国居民更加担心疫苗的副作用和安全性。
2021-06-08 cs.CL cs.SI
Evaluation of ChatGPT for NLP-based Mental Health Applications
大语言模型(LLM)在几个自然语言理解任务中取得了成功,并可能与基于自然语言处理(NLP)的心理健康应用研究相关。在这项工作中,我们报告了基于LLM的ChatGPT(具有gpt-3.5-turbo后端)在三个基于文本的心理健康分类任务中的性能:压力检测(2类分类),抑郁检测(2类分类)和自杀检测(5类分类)。我们从公共数据集中获得了三个分类任务的注释社交媒体帖子。然后ChatGPT API对社交媒体帖子进行分类,并输入分类提示。我们获得的F1分数为0.73,0.86,0.37压力检测,抑郁检测,自杀倾向检测,分别。一个总是预测优势类的基线模型导致F1得分为0.35,0.60和0.19。使用ChatGPT获得的zero-shot分类精度表明语言模型在心理健康分类任务中的潜在用途。
2023-03-28 cs.AI cs.CL
TweetNLP: Cutting-Edge Natural Language Processing for Social Media
Cardiff University(卡迪夫大学);AMPLYFI(AMPLYFI公司);University of Cambridge(剑桥大学);University of Granada(格拉纳达大学);Graphext(Graphext公司);Snap Inc.(Snap公司)
在本文中,我们提出了TweetNLP,一个集成的平台,自然语言处理(NLP)在社交媒体。TweetNLP支持多种NLP任务,包括情感分析和命名实体识别等通用重点领域,以及表情符号预测和攻击性语言识别等社交媒体特定任务。特定于任务的系统由大小合理的基于transformer的语言模型提供支持,这些语言模型专门针对社交媒体文本(特别是Twitter),可以在不需要专用硬件或云服务的情况下运行。TweetNLP的主要贡献是:(1)一个集成的Python库,用于一个现代工具包,支持使用我们适应社交领域的各种特定任务模型进行社交媒体分析;(2)一个使用我们的模型进行无代码实验的交互式在线演示;(3)一个涵盖各种典型社交媒体应用程序的教程。
2022-10-25 cs.CL
Theme-driven Keyphrase Extraction to Analyze Social Media Discourse
Dartmouth College(达特茅斯学院);BUET(孟加拉国工程技术大学)
本文提出面向社交媒体的主题驱动关键短语提取框架,构建首个MOUD-Keyphrase数据集,并验证ChatGPT在该任务上优于无监督模型。
2023-05-28 cs.CL
Leveraging ChatGPT and Other NLP Methods for Identifying Risk and Protective Behaviors in MSM: Social Media and Dating apps Text Analysis
1 Department of Computer Science, Henry Samueli School of Engineering, University of California, Los Angeles, Los Angeles, CA;2 Department of Social Welfare, Luskin School of Public Affairs, University of California, Los Angeles, Los Angeles, CA;3 Department of Counseling \& Educational Psychology, New Mexico State University, Las Cruces, NM
本研究利用NLP方法分析社交媒体和约会应用文本,以预测MSM的性风险行为和饮酒情况,展示大语言模型在公共卫生干预中的应用价值。
2026-01-20 cs.AI cs.CL
Improving Multilingual Social Media Insights: Aspect-based Comment Analysis
Institute for Infocomm Research, A*STAR, Singapore(信息与通信研究所)
针对社交媒体文本多样性带来的下游NLP任务挑战,提出基于方面术语生成(CAT-G)的多语言大模型微调方法,并贡献首个涵盖四种语言的多语言CAT-G测试集以评估跨语言性能。
2025-05-29 cs.CL
Deep Sentiment Classification and Topic Discovery on Novel Coronavirus or COVID-19 Online Discussions: NLP Using LSTM Recurrent Neural Network Approach
Nanjing University of Science and Technology(南京理工大学);Dalhousie University(达尔豪斯大学);Jiangsu University of Science and Technology(江苏科技大学)
互联网论坛和公共社交媒体,如在线医疗论坛,为关注健康问题的用户(人/患者)提供了一个方便的渠道,以相互讨论和分享信息。2019年12月下旬,据报道爆发了新型冠状病毒(感染导致的疾病称为COVID-19),由于该病毒在世界其他地区迅速传播,世界卫生组织宣布进入紧急状态。在这篇论文中,我们使用了从社交媒体中自动提取与COVID-19相关的讨论,以及基于主题建模的自然语言处理(NLP)方法,从公众舆论中发现与COVID-19相关的各种问题。此外,我们还研究了如何使用LSTM循环神经网络对COVID-19评论进行情感分类。我们的研究结果揭示了利用公众意见和合适的计算技术来理解COVID-19相关问题并指导相关决策的重要性。
2020-04-24 cs.CL cs.IR
The Hype Index: an NLP-driven Measure of Market News Attention
Department of Applied Mathematics and Statistics(应用数学与统计学系);Johns Hopkins University(约翰霍普金斯大学)
本文提出基于 NLP 的 Hype Index,从新闻计数和市值调整两个层面度量 S&P 100 个股与行业的媒体关注,并验证其在波动分析和短期市场信号中的作用。
2025-05-30 cs.CE cs.CL q-fin.ST
MASON-NLP at eRisk 2023: Deep Learning-Based Detection of Depression Symptoms from Social Media Texts
George Mason University(乔治梅森大学)
本研究采用结合MentalBERT、RoBERTa和LSTM的深度学习方法,参与eRisk 2023任务1,旨在从社交媒体文本中识别与BDI问卷抑郁症状相关的句子,尽管结果低于预期,但揭示了该任务的挑战性。
2023-10-17 cs.CL cs.LG
Internal and External Impacts of Natural Language Processing Papers
Texas A&M University(德克萨斯A&M大学)
本研究分析1979-2024年顶级NLP会议论文的引用,发现语言建模影响最广,而伦理等主题在政策文件中受关注但学术引用少,外部领域偏好各异。
2025-05-21 cs.CL cs.DL
Social media mining for toxicovigilance of prescription medications: End-to-end pipeline, challenges and future work
Emory University(埃默里大学)
本文介绍了一个从Twitter和Reddit挖掘非医疗处方药物使用信息的端到端流水线,采用监督机器学习和NLP过滤噪声,并讨论了挑战与未来方向。
2023-09-02 cs.AI cs.CL
BanMANI: A Dataset to Identify Manipulated Social Media News in Bangla
Rajshahi University of Engineering & Technology(拉杰沙希工程技术大学);University of South Florida(南佛罗里达大学)
针对孟加拉语缺乏社交媒体新闻操纵识别相关数据集的问题,本文构建了标注信息操纵的孟加拉语数据集BanMANI,提出适配低资源语言的数据集收集方法,并验证该任务对现有大语言模型具有挑战性。
2023-11-05 cs.CL
Taxonomic survey of Hindi Language NLP systems
DDU
自然语言处理(NLP)代表了机器自动处理自然人类语言的任务。NLP有很多可能的应用,有助于自动化任务,如将文本从一种语言翻译成另一种语言,从非常庞大的存储库中检索和总结数据,垃圾邮件过滤,识别数字媒体中的假新闻,发现人们的情绪和反馈,发现政治观点和人民对各种政府政策的看法,根据病人过去的历史记录提供有效的医疗援助等印地语是印度的官方语言,在印度有近6.91亿用户,在世界其他地区有3.66亿用户。目前,印度和国外的一些政府和私营部门的项目和研究人员正在努力开发印度语言的NLP应用程序和资源。该调查报告了印地语NLP可用的资源和应用程序。
2021-01-30 cs.AI cs.CL
Radar de Parité: An NLP system to measure gender representation in French news stories
Simon Fraser University(西蒙菲莎大学)
本文提出 Radar de Parité NLP 系统,通过法语共指消解等技术统计六家加拿大法语媒体引述中的男女比例,并用逾28万篇文章揭示女性代表性不足。
2023-04-19 cs.CL
Lexicon and Rule-based Word Lemmatization Approach for the Somali Language
Jamhuriya University(贾姆胡里亚大学);Aston University(阿斯顿大学)
本文针对低资源的索马里语,开发了基于词典和规则的词形还原器,构建了包含1247个词根和7173个派生词的初始词典及还原规则,在120篇文档测试中短文本准确率达95.87%。
2023-08-03 cs.CL
A Systematic Review of NLP for Dementia -- Tasks, Datasets and Opportunities
Technion - Israel Institute of Technology(以色列理工学院)
该研究系统回顾240余篇NLP应用于痴呆症的论文,识别出检测、生物标志物提取等方向,发现半数聚焦临床数据检测,同时指出信任、跨社区协作等差距,旨在启发更严谨创新的相关研究。
2025-02-10 cs.CL
Countering Online Hate Speech: An NLP Perspective
The Chinese University of Hong Kong(香港中文大学)
网络仇恨言论已经引起了所有人的注意,从与COVID-19大流行、美国大选和全球抗议活动有关的新闻。网络毒性--网络仇恨行为的总称,表现为网络仇恨言论等形式。仇恨言论是以目标实体的身份或观点为动机,针对个人或群体的蓄意攻击。通过社交媒体进行的大众传播日益增多,进一步加剧了网上仇恨言论的有害后果。虽然使用自然语言处理(NLP)对仇恨言论识别进行了大量研究,但利用NLP预防和干预在线仇恨言论的工作相对缺乏。本文提出了一个整体的概念框架仇恨言论的NLP对抗方法,以及对NLP对抗网络仇恨言论的当前进展进行了全面调查。它根据其作用时间对对抗技术进行了分类,并确定了未来关于这一主题的潜在研究领域。
2021-09-07 cs.CL cs.LG
CodemixedNLP: An Extensible and Open NLP Toolkit for Code-Mixing
Carnegie Mellon University(卡内基梅隆大学)
NLP社区最近在单语和多语言语言处理领域的各种任务中取得了长足的进步。这些成功与社交媒体上激增的混合语言交互相结合,提高了对代码混合文本建模的兴趣。在这项工作中,我们提出了CodemixedNLP,一个开源库,其目标是汇集代码混合NLP的进步,并将其开放给更广泛的机器学习社区。该库包括用于开发和基准测试为混合文本量身定制的多功能模型架构的工具,扩展训练集的方法,量化混合风格的技术,以及针对7个Hinglish任务的微调最先进模型。我们相信这项工作有潜力在分散的代码混合研究空间中培养一个分布式但协作和可持续的生态系统。该工具包被设计为简单,易于扩展,并足智多谋的研究人员以及从业者。
2021-06-10 cs.CL
A Survey on Multilingual Mental Disorders Detection from Social Media Data
Università della Svizzera italiana(瑞士大学);Interdisciplinary School of Doctoral Studies, University of Bucharest(布加勒斯特大学跨学科博士研究学院);PRHLT Research Center, Universitat Politècnica de València(瓦伦西亚理工大学PRHLT研究中心);George Mason University(乔治·梅森大学);Lancaster University(兰卡斯特大学)
本文综述了多语言环境下利用社交媒体数据检测心理健康障碍的方法与挑战,提出构建多语言基准以提升全球心理健康筛查能力。
2026-01-26 cs.CL
Increasing Adverse Drug Events extraction robustness on social media: case study on negation and speculation
University of Udine(乌迪内大学);Università degli Studi di Napoli Federico II(那不勒斯费德里科二世大学);The Hong Kong Polytechnic University(香港理工大学);Bayer(拜耳)
在过去的十年中,越来越多的用户开始在社交媒体平台、博客和健康论坛上报告药物不良事件(ADE)。鉴于报告数量巨大,药物警戒部门一直关注如何使用自然语言处理(NLP)技术快速检查这些大量文本,检测药物相关不良反应的提及,以触发医学调查。然而,尽管对任务的兴趣越来越大,并且NLP取得了进展,但这些模型在面对诸如否定和推测等语言现象时的鲁棒性仍然是一个开放的研究问题。否定和推测是自然语言中普遍存在的现象,并且会严重阻碍自动化系统区分文本中的事实和非事实陈述的能力。在本文中,我们考虑了四种最先进的社交媒体文本ADE检测系统。我们引入SNAX,一个基准测试他们的性能对样本包含否定和推测的ADE,显示他们对这些现象的脆弱性。然后,我们介绍了两种可能的策略,以增加这些模型的鲁棒性,表明它们都带来了显着的性能提高,降低了60%的否定和80%的猜测模型预测的虚假实体的数量。
2022-09-06 cs.CL
NLP-CIC at SemEval-2020 Task 9: Analysing sentiment in code-switching language using a simple deep-learning classifier
CIC, Instituto Politécnico Nacional(墨西哥国立理工学院计算机研究中心)
语码转换是指在同一信息中使用两种或两种以上语言的现象。如今,在社交媒体中发现语言混合的消息是很常见的。这种现象对情感分析提出了挑战。在本文中,我们使用标准的卷积神经网络模型来预测西班牙语和英语混合语言的推文的情绪。我们的简单方法在竞争测试集上获得了0.71的F1分数。我们分析了我们最好的模型能力,并进行错误分析,以暴露在代码切换设置中分类情感的重要困难。
2020-09-07 cs.AI cs.CL
Contrastive Learning of Sociopragmatic Meaning in Social Media
The University of British Columbia(不列颠哥伦比亚大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出一种学习任务无关社会语用表示的新对比学习框架,可迁移至情感、仇恨言论、幽默、讽刺等任务,并在域内外及少样本设置下优于现有方法,在16个数据集上仅用20个样本微调即平均提升F1值11.66。
2023-05-25 cs.AI cs.CL
Adversarial Attacks and Defenses for Social Network Text Processing Applications: Techniques, Challenges and Future Research Directions
Texas A&M University, San Antonio(德克萨斯A&M大学圣安东尼奥分校);Hamad Bin Khalifa University(哈马德·本·哈利法大学);New Jersey Institute of Technology(新泽西理工学院);Qatar Computing Research Institute(卡塔尔计算研究所);King Faisal University(费萨尔国王大学)
社交媒体的使用越来越多,导致了几种机器学习(ML)和自然语言处理(NLP)工具的开发,以处理前所未有的社交媒体内容,从而做出可行的决策。然而,这些MLand NLP算法已被广泛证明容易受到对抗攻击的攻击。这些漏洞允许攻击者在社交媒体文本处理的不同应用中对这些算法发动多样化的对抗攻击。在本文中,我们提供了一个全面的审查的主要方法,对抗攻击和防御的背景下,社交媒体应用程序,特别关注的关键挑战和未来的研究方向。详细地说,我们涵盖了六个关键应用的文献,即(i)谣言检测,(ii)讽刺检测,(iii)点击诱饵和垃圾邮件识别,(iv)仇恨言论检测,(v)错误信息检测,(vi)情感分析。然后,我们强调并发和预期的未来研究问题,并为未来的工作提供建议和方向。
2021-10-26 cs.CL
Leveraging Personal Navigation Assistant Systems Using Automated Social Media Traffic Reporting
Stevens Institute of Technology(史蒂文斯理工学院)
现代城市化需要更智能的技术来改善智能交通系统的各种应用,以缓解日益增加的车辆交通拥堵和事故。现有的事件检测技术仅限于在交通网络中使用传感器,并依赖于人为输入。尽管其数据丰富,但社交媒体在这种情况下并没有得到很好的利用。在本文中,我们开发了一个基于自然语言处理(NLP)的自动交通警报系统,该系统可以过滤大量信息并提取重要的交通相关信息。为此,我们采用微调双向编码器表示从Transformers(BERT)语言嵌入模型,以过滤相关的交通信息,从社会媒体。然后,我们应用问答模型来提取必要的信息,表征报告事件,如其确切的位置,发生时间和事件的性质。我们证明了所采用的NLP方法优于其他现有方法,在有效训练它们之后,我们专注于现实世界的情况,并展示了所开发的方法如何实时提取交通相关信息并自动将其转换为导航辅助应用程序(如导航应用程序)的警报。
2020-04-21 cs.AI cs.CL
RSM-NLP at BLP-2023 Task 2: Bangla Sentiment Analysis using Weighted and Majority Voted Fine-Tuned Transformers
Manipal Institute of Technology(马尼帕尔理工学院);Manipal Academy of Higher Education(马尼帕尔高等教育学院)
本文针对孟加拉语社交媒体情感分析任务,通过微调多种多语言预训练BERT模型,并采用加权和多数投票集成方法,在BLP-2023 Task 2中以0.711的得分获得第10名。
2023-10-22 cs.AI cs.CL cs.LG
Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts
本研究利用TF-IDF、t-SNE、k均值聚类和LDA对Reddit与Twitter整形外科帖子进行无监督分析,并用简单深度学习模型以近90%准确率预测用户情感,证明无监督学习可用于社交媒体NLP标注。
2023-07-05 cs.CL
A Browser-based Open Source Assistant for Multimodal Content Verification
University of Sheffield(谢菲尔德大学);AFP Medialab(法新社媒体实验室)
本文提出VERIFICATION ASSISTANT,一种浏览器工具,整合多个NLP服务,为非专家用户提供清晰的可信度信号和反虚假信息指导。
2026-03-30 cs.CL
Can LLMs Learn Macroeconomic Narratives from Social Media?
Technion, IIT(以色列理工学院);Columbia University(哥伦比亚大学);Hebrew University(希伯来大学)
本研究实证检验叙事经济学假设,引入含X平台经济叙事的数据集,用NLP方法提取总结叙事并测试其宏观经济预测能力,为该领域研究提供数据、工具及挑战洞察。
2025-02-11 cs.CE cs.CL
Building Arabic NLP from the Ground Up: Twenty Years of Lessons, Failures, and Open Problems
Northwestern University in Qatar(卡塔尔西北大学)
本文总结了过去二十年阿拉伯语NLP资源和研究基础设施建设的经验,指出构建数据集是社会和技术过程的结合,社区围绕共享任务形成比任务本身更重要,从语言资源到计算社会科学暴露了传统NLP训练无法解决的挑战。
2026-05-20 cs.CL
Adapting Sequence to Sequence models for Text Normalization in Social Media
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
社交媒体提供了丰富的有价值的原始数据来源,但非正式的写作可能很快成为许多自然语言处理(NLP)任务的瓶颈。现成的工具通常是在正式文本上训练的,不能显式地处理简短的在线帖子中发现的噪音。此外,频繁出现的语言变体的多样性带来了一些挑战,即使对于可能无法理解这些帖子的含义的人来说,特别是当它们包含俚语和缩写时。文本规范化旨在将在线用户生成的文本转换为规范形式。目前的文本规范化系统依赖于字符串或语音相似性和分类模型,这些模型以本地方式工作。我们认为,处理上下文信息是至关重要的这项任务,并介绍了一个社交媒体文本规范化混合字字符注意力为基础的编码器-解码器模型,可以作为NLP应用程序的预处理步骤,以适应社会媒体中的嘈杂文本。我们基于字符的组件是在合成对抗性示例上训练的,这些示例旨在捕获在线用户生成文本中常见的错误。实验表明,我们的模型超越了为文本规范化设计的神经架构,并实现了与最先进的相关工作相当的性能。
2019-04-12 cs.AI cs.CL cs.LG
BEIKE NLP at SemEval-2022 Task 4: Prompt-Based Paragraph Classification for Patronizing and Condescending Language Detection
Beike(贝壳)
PCL检测任务旨在识别和分类普通媒体中对弱势群体的傲慢或居高临下的语言,与其他段落分类的NLP任务相比,PCL检测任务中呈现的负面语言通常更隐含和微妙,使得常见的文本分类方法的性能令人失望。针对SemEval-2022任务4中的PCL检测问题,在本文中,我们介绍了我们团队的解决方案,该解决方案利用了基于文本的学习对段落分类的强大功能。我们重新制定的任务作为一个适当的完形填空提示,并使用预先训练的掩蔽语言模型,以填补完形填空槽。对于二元分类和多标签分类两个子任务,采用DeBERTa模型并进行微调,预测特定任务提示的屏蔽标签词。在评估数据集上,对于二进制分类,我们的方法达到了0.6406的F1分数;对于多标签分类,我们的方法达到了0.4689的宏观F1分数,在排行榜上排名第一。
2022-08-02 cs.CL
TempoWiC: An Evaluation Benchmark for Detecting Meaning Shift in Social Media
Cardiff University(卡迪夫大学);Snap Inc.(Snap公司);AMPLYFI(AMPLYFI公司)
语言随着时间的推移而演变,词义也随之变化。这在社交媒体中尤其如此,因为它的动态特性导致更快的语义转变,使NLP模型在处理新内容和趋势方面具有挑战性。然而,专门针对这些社交平台的动态性质的数据集和模型的数量很少。为了弥合这一差距,我们提出了TempoWiC,一个新的基准,特别是旨在加速研究基于社交媒体的意义转变。我们的研究结果表明,TempoWiC是一个具有挑战性的基准,即使是最近发布的专门用于社交媒体的语言模型。
2022-09-16 cs.CL