Towards Real-Time Summarization of Scheduled Events from Twitter Streams
Queens College(皇后学院);City University of New York(纽约城市大学);UNED(西班牙国立远程教育大学)
本文探讨了实时的【形】摘要的预定事件,如足球比赛的洪流的Twitter流。我们提出并评估了一种方法,大大缩小了流的鸣叫实时的【形】,并由两个步骤组成:(i)子事件检测,确定是否有新的事情发生,(ii)鸣叫选择,选择一个代表性的鸣叫来描述每个子事件。我们比较了三种语言的摘要生成的所有足球比赛在“2011年美洲杯”,以参考现场报告提供的雅虎!体育记者。我们发现,简单的文本分析方法,不涉及外部知识导致总结,平均覆盖84%的子事件,和100%的关键类型的子事件(如足球的目标)。我们的方法应该直接适用于其他类型的预定事件,如其他体育,颁奖典礼,主题演讲,电视节目等。
2012-04-17 cs.CL cs.IR cs.SI
A Deep Multi-View Learning Framework for City Event Extraction from Twitter Data Streams
University of Oxford(牛津大学);University of Surrey(萨里大学)
几个世纪以来,由于其复杂的基础设施,城市一直是公民的繁荣之地。网络-物理-社会系统(CPSS)和上下文感知技术的出现,推动了人们对分析、提取和最终理解城市事件的兴趣,这些事件随后可用于利用公民对城市的观察。在本文中,我们探讨了使用Twitter的文本流提取城市事件的可行性。我们提出了一种层次化的多视图深度学习方法,以将公民对各种城市系统和服务的观察置于情境中。我们的目标是构建一个灵活的架构,可以学习对任务有用的表示,从而避免过多的特定于任务的功能工程。我们将我们的方法应用于真实世界的数据集,包括来自旧金山湾区数据集的四个多月的事件报告和推文以及从伦敦收集的其他数据集。我们的评估结果表明,我们提出的解决方案优于现有的模型,可以用于提取城市相关的事件,平均准确率为81%,在所有类。为了进一步评估我们的Twitter事件提取模型的影响,我们使用了两个授权报告来源,通过从伦敦交通API收集道路交通中断数据,并解析Time Out London网站的社会文化事件。分析显示,49.5%的Twitter流量评论是在官方记录之前大约5小时报告的。此外,我们发现,在预定的社会文化事件主题中,报道交通,文化和社会事件的推文比体育,天气和犯罪主题更有可能影响Twitter评论的分布。
2017-05-28 cs.CL cs.SI
An Event Detection Approach Based On Twitter Hashtags
Purdue University(普渡大学)
Twitter是世界上最受欢迎的微博客服务之一。Twitter所包含的大量信息使其成为人们学习和分享新闻的重要信息渠道。Twitter标签是一个受欢迎的功能,可以被视为人类标记的信息,人们用来识别推文的主题。许多研究人员提出了事件检测方法,可以监控Twitter数据并确定是否发生了特殊事件,如事故,极端天气,地震或犯罪。尽管许多方法使用主题标签作为其特征之一,但很少有方法明确关注使用主题标签进行事件检测的有效性。在这项研究中,我们提出了一个事件检测方法,利用标签的推文。采用了STREAMCUBE中的特征提取方法,并将聚类K-means方法应用于STREAMCUBE中,实验表明K-means方法的聚类效果优于STREAMCUBE。还讨论了K均值方法的最佳K值。
2018-04-02 cs.CL cs.IR cs.SI
Extracting News Events from Microblogs
Norwegian University of Science and Technology(挪威科技大学)
Twitter流已经成为许多人的一个重要信息来源,但推文的数量及其内容的嘈杂性使得从Twitter中获取知识对研究人员来说是一项具有挑战性的任务。为了克服从Twitter流中提取隐藏信息的一些主要挑战,这项工作提出了一种新的方法,从Twitter流中实时检测新闻事件。我们将方法分为三个步骤。第一步是使用神经网络或深度学习从流中检测与新闻相关的推文。第二步是将一种新的流数据聚类算法应用于检测到的新闻推文以形成新闻事件。第三步也是最后一步是根据事件集群的大小和鸣叫频率的增长速度对检测到的事件进行排名。我们评估了一个大型的,公开可用的语料库的注释新闻事件从Twitter上提出的系统。作为评估的一部分,我们将我们的方法与相关的最先进的解决方案进行比较。总体而言,我们的实验和基于用户的评估表明,我们的方法检测当前(真实)新闻事件提供了最先进的性能。
2018-06-20 cs.CL cs.IR cs.SI
Deep Learning Approach for Enhanced Cyber Threat Indicators in Twitter Stream
Amrita School Of Engineering, Amrita Vishwa Vidyapeetham(阿姆里塔大学阿姆里塔工程学院);Texas State University(德克萨斯州立大学);Cincinnati Children’s Hospital Medical Centre(辛辛那提儿童医院医学中心)
最近几天,通过社交媒体资源(主要是Twitter)共享的网络安全文本数据量有所增加。对这些数据的准确分析可以帮助开发针对网络威胁的网络威胁态势感知框架。本文提出了一种基于深度学习的推文数据分析方法。为了将推文转换为数字表示,采用了各种文本表示。这些特征被馈送到深度学习架构中,以进行最佳特征提取和分类。各种超参数调整方法用于识别最佳文本表示方法以及深度学习模型的最佳网络参数和网络结构。为了进行对比分析,采用了经典的文本表示方法和经典的机器学习算法。从实验的详细分析中,我们发现采用先进文本表示方法的深度学习架构表现优于经典文本表示和经典机器学习算法。其主要原因是,高级文本表示方法能够学习文本数据中存在的顺序属性,而深度学习架构在减少特征大小的同时学习最佳特征。
2020-03-31 cs.CL cs.CR cs.LG
EcoVerse: An Annotated Twitter Dataset for Eco-Relevance Classification, Environmental Impact Analysis, and Stance Detection
针对NLP领域对气候变化外环境主题研究不足、环境影响分析空白的问题,本文构建了含3023条推文的EcoVerse标注数据集,设计三级标注方案,用BERT类模型实验验证了数据质量,指出需定制环境文本专用模型,数据集已开放。
2024-04-08 cs.CL
Twitter-Network Topic Model: A Full Bayesian Treatment for Social Network and Text Modeling
ANU(澳大利亚国立大学);NICTA(澳大利亚国家信息通信技术研究院)
Twitter的数据非常嘈杂--每条推文都很短,没有结构,语言也不正式,这对当前的主题建模来说是一个挑战。另一方面,推文伴随着额外的信息,如作者,标签和用户追随者网络。利用这些额外的信息,我们提出了Twitter网络(TN)的主题模型,共同建模的文本和社会网络在一个完整的贝叶斯非参数的方式。TN主题模型采用分层泊松-狄利克雷过程(PDP)的文本建模和高斯过程随机函数模型的社会网络建模。我们表明,TN主题模型显着优于现有的几个非参数模型,由于其灵活性。此外,TN主题模型能够实现额外的信息推理,例如作者的兴趣,主题标签分析,以及导致进一步的应用,例如作者推荐,自动主题标签和主题标签建议。注意,我们的一般推理框架可以很容易地应用到其他主题模型嵌入PDP节点。
2016-09-22 cs.CL cs.IR cs.SI
VIBE: Topic-Driven Temporal Adaptation for Twitter Classification
The Hong Kong Polytechnic University(香港理工大学);Research Center on Data Sciences & Artificial Intelligence(数据科学与人工智能研究中心)
针对社交媒体语言演化导致的分类性能下降,提出基于变分信息瓶颈的主题演化模型VIBE,利用少量未标注数据实现时间自适应,在Twitter分类任务上显著超越持续预训练方法。
2023-11-15 cs.CL
Stance in Replies and Quotes (SRQ): A New Dataset For Learning Stance in Twitter Conversations
Carnegie Mellon University(卡内基梅隆大学)
从社交媒体上的对话中提取立场(否认与支持意见)的自动化方法对于推进意见挖掘研究至关重要。最近,随着我们看到新的模型试图改进最先进的技术,该领域再次令人兴奋。然而,为了训练和评估模型,使用的数据集通常很小。此外,这些小数据集具有不均匀的类分布,即,数据集中只有一小部分例子有赞成或反对的立场,而大多数其他例子没有明确的立场。此外,现有的数据集没有区分社交媒体上的不同类型的对话(例如,回复vs.在Twitter上引用)。因此,在一个事件上训练的模型不会推广到其他事件。在所提出的工作中,我们创建了一个新的数据集标签的立场,在Twitter上的帖子(回复和报价)有争议的问题。据我们所知,这是目前Twitter对话中最大的人类标记立场数据集,拥有超过5200个立场标签。更重要的是,我们设计了一个推文收集方法,有利于选择否认型的回应。这个类预计在识别谣言和确定用户之间的敌对关系方面更有用。此外,我们包括许多基线模型学习的立场在对话中,并比较各种模型的性能。我们发现,结合数据的答复和报价降低了模型的准确性,表明这两种方式的行为不同,当涉及到立场学习。
2020-06-27 cs.CL cs.LG
Uncertainty-Aware Label Refinement for Sequence Labeling
Microsoft Research Asia(微软亚洲研究院);Fudan University(复旦大学)
用于标签解码的条件随机场(CRF)在序列标签任务中已经变得无处不在。然而,局部标签依赖和低效率的Viterbi译码一直是一个需要解决的问题。在这项工作中,我们引入了一种新的两阶段标签解码框架来建模长期标签依赖关系,同时计算效率更高。一个基本模型首先预测草稿标签,然后一个新的双流自注意模型根据长范围标签依赖关系对这些草稿预测进行改进,可以实现并行解码以实现更快的预测。此外,为了减轻不正确的草稿标签的副作用,使用贝叶斯神经网络来指示错误概率高的标签,这可以极大地帮助防止错误传播。在三个序列标记基准上的实验结果表明,该方法不仅优于基于CRF的方法,而且大大加快了推理过程。
2020-12-19 cs.CL
Automated Sentiment Classification and Topic Discovery in Large-Scale Social Media Streams
Georgia Institute of Technology(佐治亚理工学院)
本文提出一个面向 Twitter 的大规模情感与主题分析框架,通过关键词定向采集、多模型情感标注、LDA 主题建模及交互式可视化,实现动态地缘政治语境下社交媒体话语的可扩展分析。
2025-05-03 cs.CL
Unsupervised Domain Adaptation of Contextualized Embeddings for Sequence Labeling
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);Facebook AI Research(脸书人工智能研究院);Georgia Institute of Technology(佐治亚理工学院)
ELMo和BERT等语境化词嵌入通过在大型未标记文本语料库上进行预训练,为广泛的自然语言处理任务提供了强大的性能基础。然而,这种方法的适用性是未知的,当目标域从预训练语料库变化很大。我们特别感兴趣的场景是,标记数据仅在一个规范的源域(如newstext)中可用,而目标域与标记文本和预训练文本都不同。为了解决这种情况下,我们提出了域自适应微调,其中的上下文嵌入适应掩蔽语言建模的文本从目标域。我们测试这种方法在两个具有挑战性的领域:早期现代英语和Twitter的序列标签。这两个领域与现有的预训练语料库有很大的不同,领域自适应微调在强BERT基线上产生了实质性的改进,在词汇表外的单词上取得了特别令人印象深刻的结果。我们的结论是,域自适应微调为序列标记对困难的新域的无监督适应提供了一种简单有效的方法。
2019-09-05 cs.CL cs.DL cs.LG
An open access NLP dataset for Arabic dialects : Data collection, labeling, and model construction
Mohamed VI Polytechnic University (UM6P)(穆罕默德六世理工大学(UM6P))
自然语言处理(NLP)是当今非常活跃的研究和创新领域。然而,许多应用程序需要大的数据集用于监督学习,并为训练目的进行适当的标记。这包括阿拉伯语及其民族方言的应用。然而,这种阿拉伯语及其方言的开放获取标记数据集在数据科学生态系统中缺乏,这种缺乏可能成为该领域创新和研究的负担。在这项工作中,我们提出了一个开放的数据集的社会数据内容在几个阿拉伯语方言。这些数据是从Twitter社交网络收集的,包括五(5)种国家方言的+50K twitter。此外,这些数据被标记为几个应用,即方言检测,主题检测和情感分析。我们将这些数据作为开放获取数据发布,以鼓励创新,并鼓励阿拉伯语方言和社交媒体的NLP领域的其他工作。选择的模型建立使用该数据集,并在本文中介绍了他们的表现。
2021-02-07 cs.CL cs.LG
An Incremental Clustering Baseline for Event Detection on Twitter
Lattice(Lattice(法国国家科学研究中心、巴黎高等师范学院-PSL、新索邦大学联合机构));Sciences Po(巴黎政治学院);médialab(媒介实验室)
针对文本流事件检测中平衡性能标准与计算复杂度的挑战,本研究采用增量聚类算法结合sentence embeddings技术,相比Cao et al. (2024)和Mazoyer et al. (2020)的研究取得显著改进,为未来研究提供了相关基线。
2024-12-16 cs.CL cs.SI
Probing Spurious Correlations in Popular Event-Based Rumor Detection Benchmarks
National University of Singapore(新加坡国立大学)
随着社交媒体成为错误信息传播的温床,谣言检测的关键任务已经见证了开源基准数据集所带来的有希望的进步。尽管被广泛使用,但我们发现这些数据集存在虚假相关性,这些相关性被现有的研究所忽略,并导致严重高估现有的谣言检测性能。虚假的相关性源于三个原因:(1)基于事件的数据汇集和标签方案将相同的真实性标签分配给来自同一基础事件的多个高度相似的帖子;(2)合并多个数据源虚假地将源身份与真实性标签相关联;以及(3)标签偏差。在本文中,我们仔细研究了三个最流行的谣言检测基准数据集(即,Twitter 15,Twitter 16和PHEME),并提出事件分离的谣言检测作为一种解决方案,以消除虚假的线索。在事件分离设置下,我们观察到现有最先进模型的准确性显著下降了40%以上,仅与简单的神经分类器相当。为了更好地解决这一任务,我们提出了出版商风格聚合(PSA),一种可推广的方法,聚合出版商发布记录,以了解写作风格和准确性的立场。大量的实验表明,我们的方法优于现有的基线的有效性,效率和泛化能力。
2022-09-19 cs.AI cs.CL cs.SI
Multi Class Depression Detection Through Tweets using Artificial Intelligence
National University of Computer and Emerging Science(国家计算机与新兴科学大学);University of Salzburg(萨尔茨堡大学)
本研究针对现有推文抑郁症检测仅关注严重程度及数据集标注不准确的问题,基于词汇标注预测五种抑郁症类型,并使用BERT和可解释AI进行特征提取、模型训练与推理,最终BERT模型达到0.96的总体准确率。
2024-04-19 cs.AI cs.CL
Zero-shot prompt-based classification: topic labeling in times of foundation models in German Tweets
University Trier(特里尔大学);krAil
本研究在德语推文主题标注任务中实证评估零样本提示分类,证明其效果与微调BERT相当,且无需标注训练数据,凸显NLP领域范式转变。
2024-06-26 cs.AI cs.CL
Short text classification with machine learning in the social sciences: The case of climate change on Twitter
Stockholm University(斯德哥尔摩大学)
本文针对社会科学研究中小规模标注、类别低频的短文本分类难题,以气候变化相关Twitter推文分类为案例,对比多种文本分类器性能,发现传统机器学习方法效果媲美深度学习且资源需求更低。
2023-10-03 cs.CL cs.LG stat.ME
Localized Flood DetectionWith Minimal Labeled Social Media Data Using Transfer Learning
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
社交媒体每天都会产生大量的数据,但要有效地利用这些数据,而不根据目标应用对其进行注释或标记,这是非常具有挑战性的。我们调查的问题,本地化的洪水检测使用社会感知模型(Twitter),以提供一个高效,可靠和准确的洪水文本分类模型与最小的标记数据。这项研究是很重要的,因为它可以极大地帮助提供洪水相关的更新和通知的城市官员的紧急决策,救援行动,预警等,我们建议使用归纳迁移学习方法,即预训练的语言模型ULMFiT和微调,以有效地分类在任何新的位置与洪水相关的饲料进行文本分类。最后,我们表明,在目标域中使用很少的新标记数据,我们可以成功地构建一个高效和高性能的洪水检测和分析模型,并使用Twitter上的人工生成的事实和观察结果。
2020-02-10 cs.CL cs.LG
Event detection in Twitter: A keyword volume approach
University of Adelaide(阿德莱德大学)
使用社交媒体流的事件检测需要一组具有强信号的信息特征,这些特征需要最少的预处理并且与感兴趣的事件高度相关。将这些信息特征识别为Twitter的关键字是一项挑战,因为人们使用非正式语言来表达他们的想法和感受。这种非正式性包括首字母缩略词、拼写错误的单词、同义词、音译和模棱两可的术语。在本文中,我们提出了一种有效的方法来选择Twitter中经常使用的关键字,这些关键字大多与抗议等感兴趣的事件相关。这些关键词的量被实时的跟踪以在二元分类方案中识别感兴趣的事件。我们使用词对中的关键词来捕捉上下文。该方法首先对每个词对的每日计数向量进行二值化,然后使用Jaccard度量度量每个词对的二值向量与描述事件发生的二值向量的相似性。前n个词对被用作将任何一天分类为事件或非事件日的特征。使用多个分类器,如朴素贝叶斯,支持向量机,逻辑回归,KNN和决策树测试所选择的功能。它们的AUC ROC评分均高达0.91,F1评分均高达0.79。该实验在墨尔本、悉尼和布里斯班等多个城市使用英语进行,在雅加达使用印度尼西亚语进行。这两个实验,包括不同的语言和地点,产生了类似的结果。
2019-01-03 cs.CL cs.LG cs.SI
From Abusive Language Classification to Sequence Labeling Identification
Everdian
本研究将辱骂性语言识别定义为序列标注任务,联合提取辱骂片段与目标提及,在试点语料上对比句子级分类,证明其竞争力并提供局部化输出,同时指出边界恢复难点与未来方向。
2026-10-06 cs.CL cs.LG