Tweets Miner for Stock Market Analysis
Ivan Franko Lviv National University(伊万·弗兰科利沃夫国立大学)
在本文中,我们提出了一个软件包的数据采掘的Twitter微博的目的是使用它们的股票市场分析。该软件包是用R语言编写的,使用适当的R软件包。我们考虑了推文的模型。我们还将股市图表与Twitter微博消息中常见的关键词集进行了比较。
2013-05-30 cs.CL cs.IR cs.SI
Text mining and sentiment analysis of COVID-19 tweets
引起COVID-19疾病的人类严重急性呼吸道综合征冠状病毒2(SARS-Cov-2)继续在全球蔓延。它不仅威胁着公共卫生和全球经济,而且还威胁着心理健康和情绪。尽管COVID-19疫情的影响已被广泛研究,但有关民众情绪反应的讨论相对较少。在这篇文章中,我们在微博平台Twitter上抓取了与COVID-19相关的推文,并检查了2020年2月24日至2020年10月14日在四个加拿大城市(多伦多,蒙特利尔,温哥华和卡尔加里)和四个美国城市(纽约,洛杉矶,芝加哥和西雅图)的推文。应用Vader和NRC方法,我们评估了情绪强度分数,并将大流行不同时期的信息可视化。我们计算了关于口罩、疫苗和封锁这三项防疫措施的推文的情绪得分,以供比较。加拿大四个城市的结果与美国四个城市进行了比较。我们通过将回声状态网络方法与收敛交叉映射相结合,研究了感染病例、推文活动和COVID-19相关推文的情感得分之间的因果关系。我们的分析显示,公众对COVID-19的情绪在不同时间段和地点有所不同。总体而言,人们对COVID-19和口罩持积极态度,但对疫苗和封锁的话题持消极态度。因果推断表明,情绪影响人们在Twitter上的活动,这也与每日感染人数相关。
2021-06-26 cs.SI stat.AP
Mining Twitter to Assess the Determinants of Health Behavior towards Human Papillomavirus Vaccination in the United States
University of Florida(佛罗里达大学);National Cancer Institute(美国国家癌症研究所);Macquarie University(麦考瑞大学);The University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心);University of Minnesota(明尼苏达大学)
目的探讨使用Twitter数据评估消费者对人乳头瘤病毒(HPV)疫苗接种的健康行为决定因素的可行性。我们使用了2014年至2018年的三个Twitter数据集。我们对推文进行了预处理和地理编码,然后构建了一个基于规则的模型,将每条推文分类为促销信息或消费者讨论。我们应用主题建模来发现主要主题,随后探索了从消费者讨论中了解到的主题与健康信息全国趋势调查(HINTS)中HPV相关问题的回答之间的关联。结果我们收集了2,846,495条推文,并分析了335,681条地理编码的推文。通过主题建模,我们确定了122个高质量的主题。消费者讨论最多的话题是“宫颈癌筛查”;而在促销推文中,最热门的话题是提高对“HPV致癌”的认识。在122个主题中,有87个主题与促销信息和消费者讨论相关。在IBM的指导下,我们检查了Twitter发现与HINTS结果之间的一致性。35个主题可以通过关键字映射到HINTS问题,112个主题可以映射到IBM结构,45个主题在地理分布方面与HINTS响应具有统计学显著相关性。结论挖掘Twitter来评估消费者的健康行为不仅可以获得与调查相当的结果,而且可以通过理论驱动的方法产生额外的见解。尽管存在局限性,但这些令人鼓舞的结果促使我们在不断变化的健康传播环境中开发利用社交媒体的创新方法。
2019-07-06 cs.CY cs.LG cs.SI
A multi-modal approach towards mining social media data during natural disasters -- a case study of Hurricane Irma
University of North Carolina - Greensboro(北卡罗来纳大学格林斯伯勒分校);The Pennsylvania State University(宾夕法尼亚州立大学);Mississippi State University(密西西比州立大学)
流媒体社交媒体提供了极端天气影响的实时一瞥。然而,大量的流数据使挖掘信息成为应急管理人员、政策制定者和学科科学家的挑战。在这里,我们探讨了数据学习方法的有效性,以挖掘和过滤来自飓风厄玛在美国佛罗里达州登陆的流媒体数据中的信息。我们使用了来自16,598名用户的54,383条Twitter消息(来自784 K地理定位消息)。2017年10月10日至12日,开发4个独立的模型来过滤相关性数据:1)基于每个推文的地点和时间的强制条件的地理空间模型,2)包括图像的推文的图像分类模型,3)预测高音喇叭可靠性的用户模型,以及4)确定文本是否与飓风伊尔玛有关的文本模型。所有四个模型都经过独立测试,并且可以结合起来,根据用户为每个子模型定义的阈值快速过滤和可视化推文。我们设想,这种类型的过滤和可视化例程可以作为从噪声源(如Twitter)中捕获数据的基础模型。这些数据随后可以被政策制定者、环境管理者、应急管理者和领域科学家使用,他们有兴趣找到具有特定属性的推文,以便在灾难的不同阶段使用(例如,准备、响应和恢复)或详细研究。
2021-01-02 cs.IR cs.LG cs.SI
Mining Social Media for Open Innovation in Transportation Systems
University of Porto(波尔图大学)
这项工作提出了一个新的框架,通过开放式创新方法的基础上自动内容分析的社会媒体数据的新产品和服务的发展。该框架能够从在线社交网络(OSN)中提取用户评论,通过信息抽取和情感分析技术对文本进行处理和分析,从而获得市场上产品接受的相关信息。使用移动应用程序Uber开发了一个用例,该应用程序是当今世界上增长最快的技术公司之一。我们测量了一个有争议的,高度分散的事件如何影响关于Uber的推文数量及其用户的感知。虽然Uber的形象没有变化,但提到该公司的推文数量大幅增加,这意味着其产品的自由和重要传播。
2016-10-31 cs.AI cs.CY cs.SI
Evaluating Marijuana-Related Tweets On Twitter
本文研究了社交网络Twitter中与大麻相关的推文。我们在2016年11月的研究中收集了超过30万条与大麻相关的推文。我们基于文本挖掘的算法和数据分析揭示了一些有趣的模式,包括:(i)用户的态度(例如,(ii)67%的用户使用移动电话发布信息,而许多用户使用第三方自动发布服务发布信息;(3)周末的推文数量远高于工作日。我们的数据还显示了美国总统大选或州大麻合法化投票等政治事件对大麻相关推文频率的影响。
2016-12-28 cs.SI
Semantic Properties of Customer Sentiment in Tweets
Northwestern University(西北大学)
越来越多的人正在使用在线社交网络服务(SNS),并且大量与消费体验相关的信息通过这种新媒体形式共享。文本挖掘是一种新兴的从网络中挖掘有用信息的技术。我们的目标是发现,特别是在消费者的讨论在社交媒体上的推文语义模式。具体来说,本研究的目的是双重的:1)发现两组文本文档之间的相似性和差异性,包括消费者的情感极性,两种形式的积极与消极的意见和2)驱动实际内容的文本数据,具有语义趋势。经过考虑的推文包括消费者对美国零售公司的看法(例如,亚马逊、沃尔玛)。前一个目标是使用余弦相似度和K均值聚类方法,后一个目标是使用潜在狄利克雷分配(LDA),一个流行的主题建模算法。这是第一个发现消费语境中文本数据语义特性的研究,而不是情感分析。除了主要发现外,我们还将LDA(潜在狄利克雷分配)应用于相同的数据,并绘制了代表消费者在社交媒体上的积极意见和消极意见的潜在主题。
2016-03-24 cs.CL cs.IR cs.SI
Understanding the perception of COVID-19 policies by mining a multilanguage Twitter dataset
本研究的目的是探索关于COVID-19流行病的流行话语以及为管理它而实施的政策。使用自然语言处理、文本挖掘和网络分析来分析与COVID-19流行病相关的推文语料库,我们确定了对COVID-19流行病的常见反应以及这些反应在不同时间的差异。此外,还介绍了从这一大流行病的早期阶段开始,如何通过Twitter传播信息和错误信息的见解。最后,这项工作介绍了从世界各地收集的推文数据集,以多种语言,可追溯到1月22日,当时全球报告的COVID-19病例总数低于600例。这项工作中提出的见解可以帮助决策者在面对未来的大流行时提供信息,所介绍的数据集可以用于获得有价值的知识,以帮助减轻COVID-19大流行。
2020-03-23 cs.SI
Discourse Analysis of Covid-19 in Persian Twitter Social Networks Using Graph Mining and Natural Language Processing
Amirkabir University of Technology(阿米尔卡比尔理工大学);Allame Tabatabaei Universiy(阿拉梅·塔巴塔巴伊大学);Tarbiat Modarres University(塔比亚特莫达雷斯大学)
分析社交网络的公开数据是理解话语动态的一种新的科学方法。本研究的目的是使用波斯社会智能数据采掘对新冠肺炎现象进行后结构主义话语分析(PDA)(受拉克劳和墨菲的话语理论启发)。研究的大数据是来自波斯Twitter网络的16万用户的500万条推文,以比较两种话语。除了单独分析推文文本之外,还基于转发关系创建了社交网络图数据库。我们使用VoteRank算法来介绍和排名的人,其职位成为口碑,提供的总信息传播范围最大化的网络。这些用户还根据他们的单词使用模式进行聚类(使用高斯混合模型)。有影响力的传播者的建构话语被比作最活跃的用户。该分析是基于8次事件中与Covid相关的帖子进行的。此外,通过对推文的统计内容分析和极性分析,对所有提到的子群体,特别是对排名靠前的个人进行了话语分析。本研究最重要的结果是,推特被试的话语建构是以政府为基础的,而不是以社区为基础的。被分析的伊朗社会并不认为自己对新冠病毒的邪恶问题负有责任,不相信参与,并期望政府解决所有问题。最活跃和最有影响力的用户的相似性是政治、国家和批评性话语建构占主导地位。除了其研究方法论的优势外,也有必要注意到其研究的局限性。对伊朗社会今后遇到类似危机提出了建议。
2021-09-01 cs.CL cs.SI
Design and analysis of tweet-based election models for the 2021 Mexican legislative election
Niels Bohr International Academy(尼尔斯·玻尔国际研究院);Niels Bohr Institute(尼尔斯·玻尔研究所);The Aspen Institute México(墨西哥阿斯彭研究所);Max-Planck-Institut für Astrophysik(马克斯·普朗克天体物理研究所);Metrics(Metrics公司);Universidad Nacional Autónoma de México(墨西哥国立自治大学);Universidad La Salle México(墨西哥拉萨尔大学);Imperial College London(帝国理工学院)
本文基于2021年墨西哥立法选举前六个月的1500万条推文构建并比较选举模型,证明带地理属性的Twitter数据在预测选举结果上优于传统民调,并与官方人口及互联网普查数据正相关。
2023-06-21 cs.CL cs.CY cs.SI
EMBERS at 4 years: Experiences operating an Open Source Indicators Forecasting System
EMBERS是一个预测性情报系统,用于预测拉丁美洲多个国家的人口事件。从2012年开始部署的系统,EMBERS一直通过收集广泛的数据源(包括新闻,博客,推文,机器编码事件,货币汇率和食品价格)来生成24x7警报。在本文中,我们描述了我们的经验,连续运行的EMBERS近4年,特别注意它已经启用的发现,正确的以及错过的预测,并从参加预测比赛,包括我们的观点预测和道德考虑的局限性的经验教训。
2016-03-31 cs.CY cs.SI
Ask "Who", Not "What": Bitcoin Volatility Forecasting with Twitter Data
ETH Zurich(苏黎世联邦理工学院)
了解交易价格的变化(波动性)及其对外生信息的反应,是金融学中一个很好的研究课题。在这项研究中,我们专注于使用从Twitter获得的公共社交媒体数据的深度学习表示,为相对较新的加密货币资产类别(特别是比特币)找到稳定和准确的波动预测因子。在我们的实验中,我们从超过3000万条与比特币相关的推文中提取了语义信息和用户统计数据,以及144天内15分钟的频率价格数据。利用这些数据,我们构建了几个深度学习架构,这些架构利用了收集到的信息的不同组合。对于每个模型,我们进行了消融研究,以评估不同组件和特征集对预测准确性的影响。我们发现了以下假设的统计证据:(i)时间卷积网络的表现明显优于经典的自回归模型和文献中其他基于深度学习的架构,(ii)推文作者元信息,即使与推文本身分离,也是比语义内容和推文数量统计更好的波动性预测指标。我们展示了如何从社交媒体收集的不同信息集可以在不同的架构中使用,以及它们如何影响预测结果。作为额外的贡献,我们将我们的数据集公开,以供未来研究。
2022-12-06 cs.LG cs.SI q-fin.ST
Overcoming data scarcity of Twitter: using tweets as bootstrap with application to autism-related topic content analysis
尽管最近的工作已经证明了使用Twitter消息进行特定内容的数据采掘和分析的潜力,但这种分析的深度本质上受到140个字符的Twitter限制所带来的数据稀缺的限制。在本文中,我们描述了一种新的方法,有针对性的知识探索,使用推文内容分析作为一个初步的步骤。此步骤用于从直接相关但更丰富的内容源引导更复杂的数据汇集。特别是,我们证明,有价值的信息可以通过以下网址包括在推文收集。我们自动提取内容,从相应的网页,并把每个网页作为一个文件链接到原来的推文显示一个时间主题模型的基础上的分层狄利克雷过程可以用来跟踪一个复杂的主题结构的Twitter社区的演变。使用与自闭症相关的推文,我们证明了我们的方法能够捕获比用户选择的主题标签更有意义的信息交换图片。
2015-07-10 cs.SI
Mining and Forecasting Career Trajectories of Music Artists
许多音乐家,从后起之秀到知名艺术家,都严重依赖现场表演来推广和传播他们的音乐。为了宣传现场演出,艺术家们经常使用音乐会发现平台,让他们的粉丝更容易跟踪巡演日期。在本文中,我们询问在这些平台上生成的现场表演的数字痕迹是否可以用来了解艺术家的职业轨迹。首先,我们通过交叉引用这些平台的数据构建了一个新的数据集。然后,我们演示了如何使用该数据集来挖掘和预测音乐家的重要职业里程碑,例如与主要音乐品牌签约,或在某个场地表演。最后,我们进行了时间分析的二分艺术家的场地图,并证明,在这个图上的高中心性与成功。
2018-05-09 cs.SI
Automatic Detection and Categorization of Election-Related Tweets
Massachusetts Institute of Technology(麻省理工学院)
随着公共社交媒体和微博客服务的普及,特别是Twitter,人们找到了一个没有中间人的地方来倾听他们的同龄人的声音。因此,在Twitter的公共性质的帮助下,政治科学家现在有可能分析和理解在政治运动中有机形成、传播和衰落的公众叙事。然而,Twitter上对话的数量和多样性,加上其嘈杂和独特的性质,使这成为一项艰巨的任务。因此,需要先进的数据采掘和语言处理技术来处理和分析数据。在本文中,我们提出并评估了一个技术框架,基于深度神经网络的最新进展,用于识别和分析Twitter上与选举相关的对话。我们的模型可以检测到与选举相关的推文,F分数为0.92,并可以将这些推文分类为22个主题,F分数为0.90。
2016-05-17 cs.CL cs.IT cs.SI
Making the Most of Tweet-Inherent Features for Social Spam Detection on Twitter
社交垃圾邮件在Twitter等社交媒体服务上产生大量噪声,这降低了最终用户和数据采掘应用程序观察到的信噪比。现有的社交垃圾邮件检测技术主要集中在通过使用大量的历史和基于网络的数据来识别垃圾邮件帐户。在本文中,我们专注于垃圾推文的检测,优化的数据量,需要收集只依赖于推文固有的功能。这使得能够以及时的方式将垃圾邮件检测系统应用于大量推文,潜在地可应用于实时或近实时设置。使用两个大的手标记的数据集的推文包含垃圾邮件,我们研究了五个分类算法和四个不同的功能集的社会垃圾邮件检测任务的适用性。我们的研究结果表明,通过使用有限的一组功能,在一条推文中,我们可以实现令人鼓舞的结果相比,现有的垃圾邮件发送者检测系统,利用额外的,昂贵的用户功能是有竞争力的。我们的研究是第一次尝试概括不同数据集上的最佳分类器和社交垃圾邮件检测功能集的结论。
2015-03-25 cs.IR cs.SI
Sentiment analysis model for Twitter data in Polish language
Politechnika Warszawska(华沙理工大学);Wydział Elektroniki i Technik Informacyjnych(电子与信息技术学院);Instytut Informatyki(计算机科学研究所)
对2015年5月10日波兰总统选举期间收集的推文进行文本挖掘分析。该项目包括实现从Twitter检索信息的引擎,构建文档语料库,语料库清理,以及创建术语文档矩阵。来自文本语料库的每条推文都根据其情感得分被分配了一个类别。分数是使用每个文档中积极和/或消极的表情符号和波兰语单词的数量计算的。结果数据集用于训练和测试四个机器学习分类器,以选择提供最准确的自动推文分类结果的分类器。朴素贝叶斯算法和最大熵算法的准确率最高,分别为71.76%和77.32%。所有的实现任务都是使用R程序设计语言完成的。
2019-11-03 cs.CL cs.IR cs.LG
Mining online social networks with Python to study urban mobility
在线社交网络在过去几年中发展迅速,现在许多人经常使用它们。此外,智能手机的出现允许从任何物理位置随时访问这些网络。在社交网络中,Twitter提供了一个特别大的公开数据集。在这里,我们将讨论使用Python脚本挖掘这些数据并将其存储在分布式数据库中的过程。我们还说明了地理定位的推文可以用来研究城市地区的人的流动性。
2014-04-25 cs.PL cs.SI
Determining Health Utilities through Data Mining of Social Media
“健康效用”衡量的是患者对完美健康的偏好,而不是特定的不健康状态,如哮喘、髋关节骨折或结肠癌。当随着时间的推移进行整合时,这些估计被称为质量调整生命年(QELS)。到目前为止,描述卫生事业(HU)需要详细的患者访谈或书面调查。这些数据虽然可靠和具体,但由于要努力寻找、招募和协调参与者,费用仍然很高。因此,所审查的疾病的范围、背景和时间性仍然有限。现在有超过10亿人使用社交媒体,我们提出了一种新的策略:使用自然语言处理来分析公共在线对话,以获得医疗状况严重程度的信号,并使用机器学习将这些信号与已知的HU相关联。在这项工作中,我们过滤了一个数据集,该数据集最初包含60种疾病的20亿条推文。使用这些数据,我们的算法成功地区分了轻度和重度疾病,这些疾病以前只能通过传统技术进行分类。这代表了两个相关应用的进展:第一,在不存在此类信息的情况下预测HU;第二,(在已经存在丰富HU数据的情况下)通过数据采掘估计疾病严重性的时间或地理模式。
2016-08-13 cs.AI cs.CL cs.CY
Forecasting the onset and course of mental illness with Twitter data
我们开发了计算模型来预测Twitter用户中抑郁症和创伤后应激障碍的出现。研究人员收集了204名个人(105名抑郁症患者,99名健康人)的Twitter数据和抑郁症病史的详细信息。我们从参与者推文(N= 279,951)中提取了测量影响,语言风格和上下文的预测特征,并使用这些特征和监督学习算法建立模型。由此产生的模型成功地区分了抑郁和健康的内容,并在诊断抑郁症方面与全科医生的平均成功率相比毫不逊色。即使分析仅限于第一次抑郁症诊断前发布的内容,结果也是如此。状态空间时间分析表明,抑郁症的发作可能是从诊断前几个月的Twitter数据中检测到的。预测结果与被诊断患有PTSD的个体的单独样本(174名用户,243,775条推文)重复。状态空间时间序列模型揭示了创伤后应激障碍的指标几乎立即创伤后,往往是许多个月前的临床诊断。这些方法为早期筛查和发现精神疾病提供了一种数据驱动的预测方法。
2016-08-27 cs.SI physics.soc-ph
Mining of health and disease events on Twitter: validating search protocols within the setting of Indonesia
这项研究旨在验证一个搜索协议的不健康相关的条款,使用Twitter的数据,可以用来了解如果,以及如何,Twitter可以揭示信息的当前健康状况。我们使用一组预定义的关键字提取与Twitter上的健康和疾病帖子相关的对话,评估这些对话中此类内容的流行率,频率和时间,并验证此搜索协议如何能够检测相关的疾病推文。分类和回归树(CART)算法被用来训练和测试搜索协议的疾病和健康的命中相比,我们的团队确定。预测的准确性显示出良好的有效性,AUC超过0.8。我们的研究表明,对Twitter上公众情绪的监测可以作为健康事件的实时代理。
2017-05-28 cs.CY cs.SI stat.ML
Stock Market Forecasting Based on Text Mining Technology: A Support Vector Machine Method
Information Systems School, Queensland University of Technology(昆士兰科技大学信息系统学院);School of Information, Renmin University of China(中国人民大学信息学院)
新闻对股票市场有着重要的影响,但影响的方式却不明确。许多以前的作品旨在找到准确的股票市场预测模型。本文将文本挖掘和情感分析相结合,对中文网络财经新闻进行分析,并基于支持向量机(SVM)对中国股市走势和股价进行预测。首先,我们收集了2,302,692条新闻,日期从1/1/2008到1/1/2015。其次,基于该数据集,形成特定领域的停用词词典和精确的情感词典。第三,我们提出了一种基于支持向量机的预测模型。在支持向量机的实现算法上,我们还提出了双参数优化算法来寻找最佳的初始参数设置。结果表明,参数G对混凝土的抗弯强度有主要影响,而参数C的影响不明显。此外,支持向量回归(SVR)模型对不同的中国股票是相似的,而在支持向量分类(SVC)模型的最佳参数是相当不同的。一系列对比实验表明:(1)新闻对股市有显著的影响;(2)当当天没有新闻数据时,支持向量回归机对额外情况的扩展输入向量优于正常输入向量,而支持向量回归机对正常情况的扩展输入向量则较差;(3)支持向量回归机对股市波动的预测拟合度很好,但拟合结果存在一定的时滞;(4)新闻对股市的影响时滞小于2天; e)在SVC中,历史股票数据具有最有效的时间滞后,约为10天,而在SVR中,这种影响不明显。此外,基于输入向量的特殊结构,本文还设计了一种计算资金来源影响因子的方法。结果表明,新闻质量和受众数量对信源影响因子都有显著影响。此外,对于中国投资者…
2019-09-27 cs.LG cs.SI stat.ML
Utilizing Deep Learning to Identify Drug Use on Twitter Data
社交媒体的收集和检查已经成为研究用户心理活动和行为倾向的有用机制。通过对收集到的推特数据进行分析,建立了对与毒品有关的推特进行分类的模型。使用与主题相关的关键词,如俚语和吸毒方法,生成了一组推文。然后对潜在的候选者进行预处理,得到3,696,150行的数据集。比较了多种方法的分类能力,包括基于支持向量机(SVM)、XGBoost和卷积神经网络(CNN)的分类器。不是简单的特征或属性分析,而是实施深度学习方法来筛选和分析推文的语义。与其他方法相比,这两个基于CNN的分类器呈现出最好的结果。第一个是用2,661个手动标记的样本训练的,而另一个包括合成生成的推文,最终有12,142个样本。准确性评分分别为76.35%和82.31%,AUC分别为0.90和0.91。此外,关联规则挖掘表明,经常提到的药物与经常使用的非法物质有一定程度的对应关系,证明了该系统的实用性。最后,综合生成的集合提供了增加的分数,提高了分类能力,证明了这种方法的价值。
2020-03-08 cs.CL cs.LG cs.SI
The role of emotional variables in the classification and prediction of collective social dynamics
本研究以2012年奥运会期间英国推文为对象,考察情绪变量对集体社会动态分类与预测的影响,发现其能提升分类准确率却会降低预测性能。
2014-12-11 cs.SI physics.soc-ph
Sentiment Analysis and Text Analysis of the Public Discourse on Twitter about COVID-19 and MPox
Emory University(埃默里大学)
针对现有研究未同时分析COVID-19与MPox相关推文的空白,本研究对6万余条同时涉及二者的推特开展情感与文本分析,得出情感分布、热门话题标签与高频词等结果,并验证了研究的创新性。
2023-12-17 cs.AI cs.CL cs.LG
'Beating the news' with EMBERS: Forecasting Civil Unrest using Open Source Indicators
我们描述的设计,实施和评估的EMBERS,一个自动化的,24x7连续的系统,用于预测内乱在10个国家的拉丁美洲使用开源指标,如推文,新闻来源,博客,经济指标,和其他数据源。与回顾性研究不同,EMBERS自2012年11月以来一直在对未来进行预测,并已(并将继续)由独立T&E团队(MITRE)进行评估。值得注意的是,EMBERS成功地预测了2013年6月巴西抗议活动期间事件的上升和下降。我们概述了系统架构的EMBERS,个别模型,利用特定的数据源,和融合和抑制引擎,支持权衡特定的评估标准。EMBERS还提供了一个审计跟踪界面,可以调查为什么做出特定的预测以及用于预测的数据。通过大量的评估,我们证明了EMBERS的优越性超过baserate方法及其预测重大社会事件的能力。
2014-02-28 cs.CY cs.SI physics.soc-ph
Emoji Retrieval from Gibberish or Garbled Social Media Text: A Novel Methodology and A Case Study
Emory University(埃默里大学)
本文提出一种三步逆向工程方法论,从社交媒体乱码文本中检索Emoji,并在509,248条Mpox推文上成功检索157,748个Emoji,显著提升了文本可读性。
2024-12-23 cs.AI cs.CL cs.CY
Forecasting election results by studying brand importance in online news
本研究使用语义品牌得分,一种在大文本数据中衡量品牌重要性的新方法,预测基于在线新闻的选举。将约35,000篇在线新闻文章转化为共现词网络,并结合社会网络分析和文本挖掘的方法和工具进行分析。对意大利四次投票活动的预测在不同的投票系统中提供了一致的结果:大选,公投和两轮市政选举。这项工作通过关注基于在线大数据的预测,为选举预测的研究做出了贡献;它通过相对快速且易于应用的方法,为在线新闻的文本分析提供了新的视角。这项研究还表明,政治候选人和政党的品牌重要性与选举结果之间存在联系。
2021-05-12 cs.CL cs.SI physics.soc-ph
Mining Social Media to Inform Peatland Fire and Haze Disaster Management
泥炭地火灾和烟雾事件是具有国家、区域和国际影响的灾害。这些现象直接损害了当地资产,并造成更广泛的经济和环境损失。卫星图像仍然是灾害管理的主要而且往往是唯一可用的信息来源。在这篇文章中,我们测试了社交媒体协助灾害管理的潜力。为此,我们比较了两个数据集的见解:通过NASA卫星图像检测到的火灾热点和2014年期间发布的印度尼西亚苏门答腊岛几乎所有GPS标记的推文。之所以选择苏门答腊岛,是因为它经常发生大量雾霾事件,影响印度尼西亚以及马来西亚和新加坡等邻近国家的公民。我们分析了数据集之间的时间相关性和它们的地理空间相互依赖性。此外,我们还展示了Twitter数据如何揭示用户在严重雾霾事件中的行为变化。总的来说,我们证明了社交媒体是雾霾灾害管理的补充和补充信息的宝贵来源。根据我们的方法和调查结果,印度尼西亚当局正在开发一种分析工具,以改善泥炭地火灾和烟霾灾害管理。
2017-08-02 cs.SI
Cross Event Detection and Topic Evolution Mining in cross events for Man Made Disasters in Social Media Streams
Sardar Patel Institute Of Technology(萨达尔·帕特尔技术学院)
本文提出CEED框架,通过微博分段与聚类检测跨事件,分析主题演变,验证了在人为灾害中事件检测与主题演变的有效性。
2026-04-03 cs.AI cs.SI
Mining Reaction and Diffusion Dynamics in Social Activities
Osaka University(大阪大学)
大量的在线用户活动数据,如每周的网络搜索量,与几个查询和位置的相互影响共同发展,作为一个重要的社会传感器。通过从这些数据中发现潜在的相互作用来准确地预测未来的活动是一项重要的任务,即,每个查询之间的生态系统和每个区域之间的影响流。然而,这是一个困难的问题,在数据量和复杂的模式覆盖的动态。为了解决这个问题,我们提出了FluxCube,这是一种有效的挖掘方法,预测大量的共同发展的在线用户活动,并提供良好的可解释性。我们的模型是两个数学模型的组合的扩展:反应扩散系统提供了一个框架,用于模拟局部区域组之间的影响流,生态系统模型每个查询之间的潜在相互作用。此外,通过利用物理信息神经网络的概念,FluxCube实现了从参数和高预测性能中获得的高可解释性。在真实数据集上的大量实验表明,FluxCube在预测精度方面优于同类模型,FluxCube中的每个组件都有助于提高性能。然后,我们展示了一些案例研究,FluxCube可以提取有用的潜在的查询和区域组之间的相互作用。
2022-09-19 cs.AI cs.LG cs.SI
Big data and big values: When companies need to rethink themselves
为了面对复杂的商业环境,并检测优先级,同时触发应急策略,我们提出了一种新的方法,结合文本挖掘,社交网络和大数据分析,与利益相关者对公司核心价值观的态度评估。这种方法被应用在一个案例研究中,我们认为在意大利的核心价值观的Twitter话语。我们收集了超过94,000条与《财富》全球最受赞赏公司排名(2013-2017)中列出的公司核心价值观相关的推文。对于意大利的情况,我们发现三个主要的核心价值取向(客户,员工和卓越)-这应该是任何商业战略的基础-和三个潜在的(经济金融增长,公民和社会责任),需要定期关注。我们的贡献主要是方法论,并扩展了对文本挖掘和应用于复杂商业环境的在线大数据分析的研究。
2021-05-25 cs.CL cs.SI physics.soc-ph
A latent shared-component generative model for real-time disease surveillance using Twitter data
利用大量的可用数据来解决相关的社会问题一直是数据采掘的关键挑战之一。这些努力最近被命名为“数据科学为社会公益”,并引起了一些研究人员和机构的注意。我们在这一目标的贡献,在本文中考虑一个困难的公共卫生问题,及时监测登革热疫情在小的地理区域。我们开发了一个简单而有效的生成模型来连接疾病病例和疾病相关Twitter帖子的波动。我们考虑了一个隐藏的马尔可夫过程,驱动着登革热报告病例的波动和每个地区发布的推文。我们添加了一个稳定但随机的推文来源,以代表没有疾病病例记录的帖子。该模型通过马尔可夫链蒙特卡罗算法学习,该算法产生相关参数的后验分布。使用来自大量巴西大城镇的数据,我们凭经验证明,我们的模型能够很好地预测未来几周的疾病计数,同时使用推文和疾病病例。
2015-10-20 cs.SI stat.ML
Active learning in annotating micro-blogs dealing with e-reputation
Vodkaster(Vodkaster公司);Université d’Avignon(阿维尼翁大学);My Local Influence(My Local Influence公司);Conacyt(墨西哥国家科学技术委员会)
本文提出一种主动学习方法,利用Twitter特征自动标注法语政治推文,构建观点数据集,并探讨噪声减少与信息丢失的权衡。
2017-09-25 cs.CL cs.SI
Citizens' Emotion on GST: A Spatio-Temporal Analysis over Twitter Data
人们可能不会近在咫尺,但他们仍然是-凭借社会网络。社交网络在许多方面改变了人们的生活。人们可以在各种平台上表达他们的观点,意见和生活经历,无论是Twitter,Facebook还是任何其他媒体。此类活动包括审查产品或服务、传达对政治玩笑的看法、预测股价或对非货币化或商品及服务税等政府政策提供反馈。这些社交平台可以用来调查公众产生的情感曲线的见解。这种分析可以使产品更好,预测未来的前景,也可以更好地执行公共政策。这种对情感分析的研究正在迅速增加。在这篇研究论文中,我们分别对1,42,508和58,613条推文进行了时间分析和空间分析,这些推文是在2017年7月4日至2017年7月25日的GST实施期间发布的。这些推文是使用Twitter流媒体API收集的。一个著名的词汇,加拿大国家研究委员会(NRC)情感词汇被用于意见挖掘,表现出八种基本情感的混合,即喜悦,信任,预期,惊讶,恐惧悲伤,愤怒,厌恶和两种情感,即积极和消极的6,554个单词。
2019-06-20 cs.IR cs.SI
Text-mining forma mentis networks reconstruct public perception of the STEM gender gap in social media
心智重构映射了个体如何构建和感知知识,通过研究语言及其在人类心智中的认知反映(即心理词汇)来展开这一映射。文本形式网络(TFMN)是一种用于从文本数据中提取、表示和理解思维结构的玻璃盒。结合网络科学,心理语言学和大数据,TFMNs成功地识别了基准文本中的相关概念,而无需监督。工作队管理网络一旦得到验证,就被用于科学领域性别差距的案例研究,最近的研究表明,科学领域的性别差距与扭曲的心态密切相关。这项工作侧重于社会媒体的看法和在线话语,分析了10 000条相关推文。“性别”和“差距”引起了一个主要是积极的看法,与信任/欢乐的情感概况和语义联想,庆祝成功的女科学家,相关的性别差距工资差异,并希望未来的解决方案。对“妇女”的看法突出了关于性骚扰和陈规定型观念威胁(一种隐性认知偏见)的讨论,这些威胁与科学界妇女“牺牲个人技能以取得成功”有关。对“人”的重构凸显了社会使用者对科学领域男尊女卑神话的认识。在“人”的周围没有发现愤怒,这表明以性别为中心的话语在无性别术语周围变得不那么紧张。与现实世界的调查不同,网上没有发现对“科学家”的刻板印象。总体分析表明,网上讨论促进了对性别差距的基本上没有陈规定型观念、积极/信任的看法,意识到隐性/显性偏见,并预计将缩小差距。工作队为调查不同群体的看法开辟了新的途径,为决策提供了详细的数据依据。
2020-03-18 cs.CY cs.SI physics.soc-ph