Towards Real-Time Summarization of Scheduled Events from Twitter Streams
Queens College(皇后学院);City University of New York(纽约城市大学);UNED(西班牙国立远程教育大学)
本文探讨了实时的【形】摘要的预定事件,如足球比赛的洪流的Twitter流。我们提出并评估了一种方法,大大缩小了流的鸣叫实时的【形】,并由两个步骤组成:(i)子事件检测,确定是否有新的事情发生,(ii)鸣叫选择,选择一个代表性的鸣叫来描述每个子事件。我们比较了三种语言的摘要生成的所有足球比赛在“2011年美洲杯”,以参考现场报告提供的雅虎!体育记者。我们发现,简单的文本分析方法,不涉及外部知识导致总结,平均覆盖84%的子事件,和100%的关键类型的子事件(如足球的目标)。我们的方法应该直接适用于其他类型的预定事件,如其他体育,颁奖典礼,主题演讲,电视节目等。
2012-04-17 cs.CL cs.IR cs.SI
A Novel Approach for Detection and Ranking of Trendy and Emerging Cyber Threat Events in Twitter Streams
Kansas State University(堪萨斯州立大学)
我们提出了一种新的机器学习和文本信息抽取方法来检测Twitter中的网络威胁事件,这些事件是新颖的(以前不存在的)和发展中的(以与以前检测到的事件的相似性为标志)。虽然一些现有的事件检测方法测量新颖性和趋势性,通常作为独立的标准,偶尔作为一个整体的措施,这项工作的重点是使用无监督的机器学习方法检测新的和发展中的事件。此外,我们提出的方法,使网络威胁事件的排名的基础上的重要性分数提取的鸣叫的条款,其特征在于命名的实体,关键字,或两者兼而有之。我们还将影响力归因于用户,以便根据用户影响力和命名实体和关键字的相应事件得分,为名词短语分配加权得分。为了评估我们提出的方法的性能,我们测量的效率和检测出错率的事件在指定的时间间隔,相对于人类注释地面真相。
2019-07-12 cs.CR cs.IR cs.LG
TwiSent: A Multistage System for Analyzing Sentiment in Twitter
在本文中,我们提出了TwiSent,一个情感分析系统的Twitter。根据搜索的主题,TwiSent收集与之相关的推文,并将其分类为积极,消极和客观的不同极性类别。然而,与其他文本类型相比,分析微博帖子有许多固有的挑战。通过TwiSent,我们解决了以下问题:1)Twitter中与情感分析有关的垃圾邮件,2)文本中的结构异常,如拼写错误、不标准的缩写、俚语等,3)主题语境中的实体特异性; 4)语篇中的语用学。该系统的性能进行了评估手动注释的黄金标准数据和自动注释的推文集的基础上的标签。在自动注释的数据集上显示监督系统的有效性是一种常见的做法。然而,我们表明,这样的系统实现较低的分类精度时,测试通用twitter数据集。我们还表明,我们的系统比现有的系统表现得更好。
2012-09-18 cs.CL cs.IR
An Event Detection Approach Based On Twitter Hashtags
Purdue University(普渡大学)
Twitter是世界上最受欢迎的微博客服务之一。Twitter所包含的大量信息使其成为人们学习和分享新闻的重要信息渠道。Twitter标签是一个受欢迎的功能,可以被视为人类标记的信息,人们用来识别推文的主题。许多研究人员提出了事件检测方法,可以监控Twitter数据并确定是否发生了特殊事件,如事故,极端天气,地震或犯罪。尽管许多方法使用主题标签作为其特征之一,但很少有方法明确关注使用主题标签进行事件检测的有效性。在这项研究中,我们提出了一个事件检测方法,利用标签的推文。采用了STREAMCUBE中的特征提取方法,并将聚类K-means方法应用于STREAMCUBE中,实验表明K-means方法的聚类效果优于STREAMCUBE。还讨论了K均值方法的最佳K值。
2018-04-02 cs.CL cs.IR cs.SI
Be In The Know: Connecting News Articles to Relevant Twitter Conversations
在数据驱动的新闻时代,数据分析可以提供工具来支持记者连接到新的和正在发展的新闻故事,例如,这一点在Twitter等微博上得到了回应,Twitter是一种新的公民驱动媒体。在本文中,我们提出了一个框架,用于跟踪和自动连接新闻文章的Twitter对话,捕捉Twitter的主题标签。例如,这样一个系统可以提醒记者注意Twitter上有很多反应的新闻,这样他们就可以调查这些对话,了解故事的新发展,将他们的文章推广给一组感兴趣的消费者,或者发现对故事的普遍看法。然而,将文章映射到适当的主题标签非常具有挑战性,因为文章与推文中使用的语言风格不同、新闻和推文的流媒体方面以及将某些推文术语标记为主题标签时的用户行为。作为一个案例研究,我们持续跟踪爱尔兰时报新闻文章的RSS提要和一个集中的Twitter流在两个月的时间内,并提出了一个系统,根据其Twitter的回声,为每篇文章分配标签。我们提出了一种机器学习方法来对文章标签对进行分类和排名。我们的实证研究表明,我们的系统提供了高精度的这项任务。
2014-05-13 cs.IR cs.SI physics.soc-ph
Sub-Story Detection in Twitter with Hierarchical Dirichlet Processes
社交媒体现在已经成为现实世界事件的事实上的信息源。然而,由于社交媒体流的高容量和速度性质,挑战在于如何随着时间的推移跟踪与给定事件有关的所有帖子,这是一项称为故事检测的任务。此外,通常有几个不同的故事属于一个给定的事件,我们称之为子故事和相应的任务,他们的自动检测子故事检测。本文提出了层次狄利克雷过程(HDP),概率主题模型,作为一种有效的方法自动子故事检测。HDP可以学习与子故事相关联的子主题,这使得它能够处理子故事中的微妙变化。它是比较国家的最先进的故事检测方法的基础上局部敏感哈希和谱聚类。我们展示了优越的性能HDP子故事检测真实世界的Twitter数据集,使用各种评估措施。HDP学习子主题的能力有助于它以高精度回忆子故事。本文的另一个贡献是证明了Twitter流中的会话结构可以用来显着提高子故事检测性能。
2016-06-11 cs.IR cs.SI
Extracting News Events from Microblogs
Norwegian University of Science and Technology(挪威科技大学)
Twitter流已经成为许多人的一个重要信息来源,但推文的数量及其内容的嘈杂性使得从Twitter中获取知识对研究人员来说是一项具有挑战性的任务。为了克服从Twitter流中提取隐藏信息的一些主要挑战,这项工作提出了一种新的方法,从Twitter流中实时检测新闻事件。我们将方法分为三个步骤。第一步是使用神经网络或深度学习从流中检测与新闻相关的推文。第二步是将一种新的流数据聚类算法应用于检测到的新闻推文以形成新闻事件。第三步也是最后一步是根据事件集群的大小和鸣叫频率的增长速度对检测到的事件进行排名。我们评估了一个大型的,公开可用的语料库的注释新闻事件从Twitter上提出的系统。作为评估的一部分,我们将我们的方法与相关的最先进的解决方案进行比较。总体而言,我们的实验和基于用户的评估表明,我们的方法检测当前(真实)新闻事件提供了最先进的性能。
2018-06-20 cs.CL cs.IR cs.SI
Event Detection from Social Media Stream: Methods, Datasets and Opportunities
Tencent(腾讯);Shanghai World Foreign Language Academy(上海世界外国语中学)
本文综述了Twitter数据流的事件检测方法,介绍了公开数据集,并指出了未来的研究机遇,帮助读者了解该领域的最新进展。
2023-06-28 cs.AI cs.IR cs.SI
Approaches for Sentiment Analysis on Twitter: A State-of-Art study
National Institute of Technology, Surat(苏拉特国立理工学院)
微博是一个非常普遍的广播媒体之间的互联网兄弟这些天。人们分享他们对产品、新闻、机构等各种主题的看法和感受,每天都在微博网站上情感分析在预测系统、意见挖掘系统等中起着关键作用。微博平台之一的Twitter允许其用户的字符数限制为140个。这种限制促使用户非常简洁地表达自己的观点,并在twitter上发表大量的观点供分析。Twitter还提供了开发者友好的流API用于数据检索目的,允许分析师搜索来自不同用户的实时的tweet。在本文中,我们讨论了国家的艺术作品,集中在Twitter上,在线社交网络平台,情感分析。我们调查了各种词汇,机器学习和混合方法的情感分析在Twitter上。
2015-12-03 cs.CL cs.IR cs.SI
Variation across Scales: Measurement Fidelity under Twitter Data Sampling
对数据质量的全面理解是社交媒体研究中测量研究的基石。本文介绍了在不同的时间尺度和不同的主题(实体,网络和级联)的Twitter数据采样的影响进行深入的测量。通过构建完整的推文流,我们表明,Twitter的速率限制消息是一个准确的指标,失踪的推文量。取样在不同的时间尺度上也有很大的不同。虽然每小时采样率受不同时区的昼夜节律的影响,但毫秒级采样受实现选择的严重影响。对于Twitter用户等实体,我们发现具有均匀速率的伯努利过程很好地逼近了经验分布。它还允许我们使用观察到的样本数据估计真实排名。对于Twitter上的网络,它们的结构发生了显着变化,一些组件更有可能被保留下来。对于转推级联,我们观察到的鸣叫到达时间和用户的影响,这将影响依赖于这些功能的模型分布的变化。这项工作呼吁关注社会数据中的噪音和潜在偏见,并提供了一些工具来衡量Twitter的抽样效果。
2020-04-05 cs.IR cs.SI
A Web Scraping Methodology for Bypassing Twitter API Restrictions
从社交网络中检索信息是许多数据分析领域(如自然语言处理、情感分析和机器学习)的第一步和基本步骤。重要的数据科学任务依赖于历史数据收集,以获得进一步的预测结果。最近的大部分作品都使用Twitter API,这是一个收集公共信息流的公共平台,允许查询不超过三周的按时间顺序排列的推文。在本文中,我们提出了一种新的方法来收集历史推文在任何日期范围内使用Web抓取技术绕过Twitter API的限制。
2018-03-27 cs.IR
A customisable pipeline for continuously harvesting socially-minded Twitter users
在社交媒体平台,特别是Twitter上,特定类别的用户,如影响者,在网络和内容指标方面得到了令人满意的操作定义。其他人,例如网上活动家,也同样重要,但他们的特征仍然需要实验。我们假设这样的有趣的用户可以在时间和空间上局部化的上下文中找到,即,网络的小而热门的片段,包含关于社交事件或活动的互动,在Twitter上有重要的影响。为了探索这一假设,我们设计了一个持续的用户配置文件发现管道,通过从Twitter流中收集和分析上下文,产生不断增长的用户简档数据集。配置文件数据集包括关键的网络和基于内容的用户指标,允许使用用户定义的评分函数进行实验,以识别特定类别的在线用户。本文介绍了管道的设计和实施,并在英国的医疗保健相关的运动组成的案例研究的实证评估,显示它如何支持在线行动主义的操作定义,通过比较三个实验排名功能。代码是公开的。
2019-03-17 cs.IR cs.SI
Twitter Sentiment Analysis
这个项目解决了twitter中的情感分析问题;也就是根据其中表达的情感对tweet进行分类:积极的,消极的或中性的。Twitter是一个在线微博和社交网络平台,允许用户编写最长140个字符的简短状态更新。这是一个迅速扩大的服务,拥有超过2亿注册用户-其中1亿是活跃用户,其中一半每天登录twitter-每天产生近2.5亿条推文。由于大量的使用,我们希望通过分析推文中表达的情绪来反映公众情绪。分析公众情绪对于许多应用都很重要,例如公司试图找出他们的产品在市场上的反应,预测政治选举和预测股票交易等社会经济现象。该项目的目的是开发一个功能分类器,用于对未知的推文流进行准确和自动的情感分类。
2015-09-14 cs.CL cs.IR cs.SI
TSSuBERT: Tweet Stream Summarization Using BERT
深度神经网络的发展和预先训练的语言模型(如BERT)的出现可以提高许多NLP任务的性能。然而,这些模型并不符合tweet摘要的相同流行度,这可能是因为缺乏现有的训练和评估集合。我们在本文中的贡献是双重的:(1)我们引入了一个用于Twitter事件摘要的大型数据集,以及(2)我们提出了一个神经模型来自动总结巨大的推文流。该提取模型以原始的方式结合了预训练的语言模型和基于词汇频率的表示来预测推文显著性。该模型的另一个优点是,它可以根据输入的tweet流自动调整输出摘要的大小。我们使用两个不同的Twitter集合进行了实验,与最先进的基线相比,观察到了有希望的结果。
2021-06-16 cs.IR
Fusing Text and Image for Event Detection in Twitter
在这篇文章中,我们开发了一种准确有效的事件检测方法来检测Twitter流中的事件,该方法使用视觉和文本信息来提高挖掘过程的性能。该方法监视Twitter流以拾取具有文本和图像的推文,并将它们存储到数据库中。接下来是应用挖掘算法来检测事件。该过程首先检测事件的基础上,只有通过使用的词袋,这是使用词频逆文档频率(TF-IDF)的方法计算的功能的文本。然后,它检测基于图像的事件,仅使用视觉特征,包括直方图的有向梯度(HOG)描述符,灰度共生矩阵(GLCM),颜色直方图。在检测中使用K近邻(Knn)分类。基于纯文本检测和纯图像检测的可靠性来做出事件检测的最终决策。实验结果表明,该方法取得了较高的准确率为0.94,与0.89相比,只有文本,只有图像0.86。
2015-03-13 cs.IR cs.MM
Distant Supervision for Topic Classification of Tweets in Curated Streams
我们在分析新闻媒体和其他组织的大量精选流的背景下解决了推文主题分类的挑战,以向用户提供相关内容。我们的方法在应用远程监督方面很新颖,该方法基于半自动识别主题聚焦(例如,政治、娱乐或体育)的精选流。这些流提供了标记数据的来源,以训练主题分类器,然后可以应用这些主题分类器来对来自更多主题扩散流的推文进行分类。噪声标签和人类地面真理判断的实验表明,我们的方法产生良好的主题分类器基本上是“免费的”,并且以这种方式训练的主题分类器能够随着Twitter上的新闻的发展动态调整主题漂移。
2017-04-22 cs.IR cs.SI
Adaptive Representations for Tracking Breaking News on Twitter
Twitter通常是查找和跟踪突发新闻故事的最新来源。因此,人们对开发推特流过滤器以跟踪和总结故事非常感兴趣。这是一个不平凡的文本分析任务,因为推文很短,并且随着时间的推移,标准的检索方法往往会失败。在本文中,我们研究了跟踪和总结突发新闻故事的自适应机制的有效性。我们评估了这些机制在最近一些新闻事件上的有效性,这些事件可以手动策划时间表。基于ROUGE指标的评估表明,自适应方法最适合跟踪Twitter上不断变化的故事。
2014-11-28 cs.IR cs.NE
Citizens' Emotion on GST: A Spatio-Temporal Analysis over Twitter Data
人们可能不会近在咫尺,但他们仍然是-凭借社会网络。社交网络在许多方面改变了人们的生活。人们可以在各种平台上表达他们的观点,意见和生活经历,无论是Twitter,Facebook还是任何其他媒体。此类活动包括审查产品或服务、传达对政治玩笑的看法、预测股价或对非货币化或商品及服务税等政府政策提供反馈。这些社交平台可以用来调查公众产生的情感曲线的见解。这种分析可以使产品更好,预测未来的前景,也可以更好地执行公共政策。这种对情感分析的研究正在迅速增加。在这篇研究论文中,我们分别对1,42,508和58,613条推文进行了时间分析和空间分析,这些推文是在2017年7月4日至2017年7月25日的GST实施期间发布的。这些推文是使用Twitter流媒体API收集的。一个著名的词汇,加拿大国家研究委员会(NRC)情感词汇被用于意见挖掘,表现出八种基本情感的混合,即喜悦,信任,预期,惊讶,恐惧悲伤,愤怒,厌恶和两种情感,即积极和消极的6,554个单词。
2019-06-20 cs.IR cs.SI
Twitter Hash Tag Recommendation
University of Minnesota(明尼苏达大学)
Twitter等微博客服务的普及导致了内容注释策略(如hashtag)的使用增加。主题标签为用户提供了一种标记机制,以帮助组织,分组和创建其帖子的可见性。这是一个简单的想法,但在实践中对用户来说可能是一个挑战,这会导致不频繁的使用。在本文中,我们将研究在创建新帖子时推荐标签的各种方法,以鼓励更广泛的采用和使用。标签推荐带来了许多挑战,包括处理大量的流数据和小而嘈杂的内容。我们将研究预处理方法来减少数据中的噪声,并基于流行的分类算法确定一种有效的主题标签推荐方法。
2015-01-31 cs.IR cs.LG
Targeted aspect-based emotion analysis to detect opportunities and precaution in financial Twitter messages
University of Vigo(维戈大学)
针对金融推特中资产机遇与风险预测的识别需求,提出基于NLP和机器学习流算法的TABEA系统,可分资产识别情感,在标注数据集上目标情感准确率超90%,填补了相关研究空白。
2024-03-30 cs.CL cs.IR cs.LG
An event detection technique using social media data
人们在社交媒体平台(如Twitter,Facebook,PInterest和Google+)上发布有关其活跃词汇中不同主题的信息。他们互相关注,更有可能的是,发布有关当前事件信息的人会得到更好的回应。对社交媒体平台上的大量数据进行手动分析是困难的。这为自动分析用户贡献的社交媒体文档开辟了新的研究方向。由于用户共享的大量信息,自动社交媒体数据分析是困难的。许多研究人员使用Twitter数据进行社交媒体分析(SMA),因为Twitter数据可以在公共领域免费获得。这是最重要的研究工作之一。来自社交媒体数据的事件检测用于不同的应用,如交通拥堵检测,灾难和紧急管理以及实时新闻检测。在twitter平台上分享的信息本质上是短文本的、嘈杂的、模糊的。因此,事件检测和事件短语从用户生成的和畸形的数据的提取变得具有挑战性。为了应对这些挑战,使用不同的认知属性以关键词的形式从流媒体社交媒体数据中提取事件。这项研究工作背后的动机是提供实质性的改进,在词汇变化的事件短语,同时检测事件和子事件从twitter数据。在这项研究工作中,对社会媒体数据的事件检测的方法分为三个阶段,即:识别子图微博词共现网络(WCN),提供了重要的关键词信息;识别多个事件从社会媒体数据;和排名事件短语的上下文信息。
2022-08-27 cs.IR cs.SI
Impact of Feature Selection on Micro-Text Classification
University of Waterloo(滑铁卢大学)
社交媒体数据集,特别是Twitter推文,在文本分类领域很受欢迎。推文是微文本(有时称为“微博”)的有价值的来源,并且已经在诸如情感分析、推荐系统、垃圾邮件检测、聚类等领域中被研究。推文通常包括被称为“主题标签”的关键字,这些关键字可以用作推文的标签。使用包含50个标签的推文,我们研究了单词与字符级别的特征选择和提取对不同学习者解决多类分类任务的影响。我们表明,简单的字符级组的特征提取比简单的单词组和预处理方法,如使用波特的词干和词性(“POS”)-词形化规范化更好。
2017-08-27 cs.CL cs.IR
A Relevant Content Filtering Based Framework For Data Stream Summarization
如今,社交媒体平台是一个丰富的信息来源,然而,在所有可用的信息中,只有一小部分是用户感兴趣的。为了帮助用户从社交媒体中的大量信息中了解他们感兴趣的最新主题,我们提出了一个基于相关内容过滤的数据流摘要框架。更具体地,给定感兴趣的主题或事件,该框架可以动态地从社交媒体平台提供的文本流中的不相关信息中发现并过滤出相关信息。然后,它进一步捕捉最具代表性和最新的信息,以生成一个连续的摘要或事件的故事线随着主题或事件的演变。我们的框架不依赖于任何标记数据,而是使用用户提供的弱监督,这与用户搜索有关正在进行的事件的信息的真实场景相匹配。我们在TREC 2011的Twitter数据集跟踪的两个真实事件上进行了实验。实验结果验证了该框架在相关内容过滤和顺序摘要生成方面的有效性。它还显示了其使用最容易获得的弱监督的鲁棒性,即,热门话题或标签。因此,这个框架可以很容易地集成到社交媒体平台,如Twitter,以生成感兴趣的事件的顺序摘要。我们还公开了手动生成的两个测试事件的黄金标准顺序摘要,供社区将来使用。
2016-06-23 cs.IR
TweetDIS: A Large Twitter Dataset for Natural Disasters Built using Weak Supervision
Georgia State University(佐治亚州立大学)
社交媒体通常被用作自然灾害期间的通信生命线。传统上,使用自然灾害的名称从Twitter流中过滤自然灾害推文,并将过滤后的推文发送给人工注释。为机器学习模型创建标记集的人工注释过程是费力、耗时的,有时是不准确的,更重要的是在大小和实时使用方面不可扩展。在这项工作中,我们使用弱监督来管理银标准数据集。为了验证其实用性,我们在弱监督数据上训练训练机器学习模型来识别三种不同类型的自然灾害,即地震,飓风和洪水。我们的研究结果表明,在银标准数据集上训练的模型在对手动管理的金标准数据集进行分类时,性能达到90%以上。为了实现可重复的研究和额外的下游效用,我们为科学界发布了银标准数据集。
2022-07-11 cs.CL cs.IR cs.LG