Inferring Fine-grained Details on User Activities and Home Location from Social Media: Detecting Drinking-While-Tweeting Patterns in Communities
University of Rochester(罗切斯特大学)
几乎所有以前关于从社交媒体地理定位潜在状态和活动的工作都混淆了关于活动的一般讨论,过去或未来参与这些活动的用户的自我报告,以及在活动发生的即时时间和地点进行的自我报告。饮酒等活动可能发生在不同的地方和不同类型的地方,不仅要检测这些活动发生的地方区域,而且要分析当地居民参与这些活动的程度。在本文中,我们开发了新的基于机器学习的方法,用于从Twitter数据中精细定位活动和家庭位置。我们应用这些方法来发现和比较酒精消费模式在一个大的城市地区,纽约市,和一个更郊区和农村地区,门罗县。我们发现,一个社区的Twitter用户和酒精出口的密度之间的酒精消费率呈正相关,表明城市和郊区之间的相关程度显着不同。虽然我们的实验主要集中在酒精使用上,但我们用于定位家庭和区分时间特定的自我报告的方法适用于广泛的行为和潜在状态。
2016-03-10 cs.AI cs.SI
Infringement of Tweets Geo-Location Privacy: an approach based on Graph Convolutional Neural Networks
在线社交网络(OSN)的巨大普及引起了人们对社交媒体平台中用户隐私的自然关注。尽管OSN中的用户可以通过故意决定分享什么来调整他们的隐私,但与社交网络中的其他个人的交互可能会暴露并最终泄露敏感信息。在所有可共享的个人数据中,地理位置尤其有趣。一方面,用户倾向于认为他们的当前位置是一个非常敏感信息,避免分享它的大部分时间。另一方面,服务提供商有兴趣提取和利用地理标记的数据,以提供定制的服务。在这项工作中,我们考虑的问题,推断当前位置的用户只利用现有的信息,其他社会联系人在OSN。为此,我们采用基于图的深度学习架构来学习在所考虑的时间段内用户的已知和未知地理位置之间的模型。作为一个研究案例,我们考虑Twitter,其中用户生成内容(即,tweet)可以嵌入用户的当前位置。我们的实验验证了我们的方法,并进一步证实了OSN中的数据隐私相关的问题。结果表明存在临界质量现象,即,如果至少有10%的用户提供了带有地理标签的推文,那么所有剩余用户的隐私都将面临严重风险。事实上,我们的方法能够定位近50%的推文,精度低于1公里,只依赖于一小部分可用信息。
2019-03-27 cs.SI
A Survey of Location Prediction on Twitter
地点,例如,国家、州、城市和兴趣点是新闻、紧急事件和人们日常生活的中心。与文档相关联或在文档中提到的位置的自动识别已经探索了几十年。作为最受欢迎的在线社交网络平台之一,Twitter吸引了大量用户,他们每天发送数百万条推文。由于其用户的全球覆盖范围和实时更新的推文,Twitter上的位置预测近年来获得了极大的关注。研究工作花在处理新的挑战和机遇所带来的嘈杂,短,和上下文丰富的性质推文。在这项调查中,我们的目标是提供Twitter上位置预测的整体情况。具体来说,我们专注于预测用户的家庭位置,推文位置和提到的位置。我们首先定义这三个任务并回顾评估指标。通过总结Twitter网络,推文内容和推文上下文作为潜在的输入,然后我们从结构上突出了问题如何依赖于这些输入。每一个依赖性说明了国家的最先进的方法所采用的相应战略的全面审查。此外,我们还简要回顾了两个相关问题,即,语义位置预测和兴趣点推荐。最后,我们列出了未来的研究方向。
2018-02-24 cs.IR cs.SI
Location Inference from Tweets using Grid-based Classification
社交媒体的影响及其与分享思想和传播信息的日益密切的联系在日常沟通中仍然至关重要。Twitter是一个有效的平台,用于传播有关世界各地最近发生的事件的新闻和故事。它拥有一个不断增长的数据库,目前有超过3亿用户采用。在本文中,我们提出了一种新的网格为基础的方法,采用监督多项式朴素贝叶斯,同时提取地理实体的相关用户描述元数据,给出了一个空间指示的用户位置。据我们所知,我们的方法是第一个使用地理丰富的基于网格的分类从推文进行位置推断。我们的方法比现有的基线表现更好,在城市级别的粒度上实现了超过57%的准确性。此外,我们提出了一种新的框架,通过指定预定义的位置网格所需的粒度水平,基于内容的用户位置估计。
2017-01-14 cs.IR cs.SI
Towards Real-Time, Country-Level Location Classification of Worldwide Tweets
University of Warwick(华威大学);University of St Andrews(圣安德鲁斯大学)
与以前的工作集中在位置分类的推文仅限于一个特定的国家相比,在这里,我们承担的任务在更广泛的背景下,在国家一级的全球推文分类,这是迄今为止尚未探索的实时的【形】场景。我们分析在何种程度上可以确定一个推文的原产国利用八个推文的固有特征进行分类。此外,我们使用两个数据集,收集彼此相隔一年,以分析从历史推文训练的模型仍然可以用于新推文分类的程度。通过对我们数据集中所有217个国家以及前25个国家的分类实验,我们对如何最好地利用推文固有特征进行准确的国家级推文分类提供了一些见解。我们发现,使用一个单一的功能,如单独使用推文内容-在以前的工作中使用最广泛的功能-留下了很多需要改进的地方。选择一个适当的tweet内容和元数据的组合实际上可以带来20%到50%的实质性改进。我们观察到推文内容、用户自我报告的位置和用户的真实姓名,所有这些都是推文中固有的,并且在实时的【形】场景中可用,对于确定来源国特别有用。我们还对在历史推文上训练的模型对新推文进行分类的适用性进行了实验,发现选择其效用不会随着时间的推移而减弱的特定特征组合实际上可以带来相当的性能,从而避免重新训练的需要。然而,对于具有多种共同点的国家,特别是英语和西班牙语国家,实现准确分类的难度略有增加。
2017-04-25 cs.CL cs.IR cs.SI
Leveraging Contrastive Learning for Few-shot Geolocation of Social Posts
针对社交帖子地理定位中标签稀缺与数据不平衡问题,提出对比学习框架 ContrastGeo,通过推文—位置对比、匹配目标、在线难负例挖掘及多融合策略提升少样本定位性能。
2024-02-19 cs.IR cs.SI
Home Location Identification of Twitter Users
IBM Research – Almaden(IBM 阿尔马登研究中心)
我们提出了一种新的算法来推断Twitter用户的家庭位置在不同的粒度,包括城市,州,时区或地理区域,使用用户的推文的内容和他们的推文行为。与现有的方法不同,我们的算法使用的统计和启发式分类器来预测位置,并利用一个地理地名词典来识别地名实体。我们发现,一个分层的分类方法,其中时区,国家或地理区域的预测第一和城市的预测下,可以提高预测精度。我们还分析了Twitter用户的运动变化,建立了一个分类器来预测用户是否在一定时间内旅行,并使用它来进一步提高位置检测的准确性。实验证据表明,我们的算法在实践中工作得很好,并优于现有的最好的算法来预测Twitter用户的家庭位置。
2014-03-07 cs.CL cs.CY cs.SI
Fine-grained Geolocation Prediction of Tweets with Human Machine Collaboration
Georgia Institute of Technology(佐治亚理工学院)
Twitter是分析人们对各种主题的意见的有用资源。这些主题通常与这些推文发布的位置相关或相关联。例如,餐馆老板可能需要知道他们的目标客户在哪里吃饭,以了解与食物相关的帖子的情绪,政策规划者可能需要分析公民对城市或县或州的特定部分的相关问题,如犯罪,安全,拥堵等的意见。尽管这很有希望,但只有不到$1\%$的抓取推文帖子带有地理位置标签。这使得准确预测非地理标记推文的推文帖子对于分析各个领域的数据非常重要。在这项研究中,我们利用数百万条Twitter帖子和最终用户的领域专业知识,使用自然语言处理(NLP)技术构建了一组深度神经网络模型,该模型可以预测不同粒度级别的非地理标记的Twitter帖子的地理位置,例如社区,邮政编码和经度与纬度。通过多个神经架构实验和协作式人机工作流设计,我们正在进行的地理位置检测工作显示出令人鼓舞的结果,使最终用户能够将选择变量与位置信息之间的关系关联起来。
2021-06-25 cs.CL cs.LG cs.SI
User's Centrality Analysis for Home Location Estimation
用户属性(如家庭位置)对许多应用程序都很有用。许多研究人员一直在研究如何利用用户之间的关系来估计用户的家庭位置。已知的是,诸如名人的某些用户的家庭位置难以使用关系来估计。然而,因为估计所有名人的家庭位置实际上并不困难,所以重要的是要澄清家庭位置难以估计的用户的特征。我们分析了代表用户特征的中心性和与朋友拥有相同家庭位置的倾向是否相关。结果表明,PageRank和HITS分数与用户是否与朋友拥有相同的家庭位置有关,HITS分数较高的用户与朋友拥有相同的家庭位置的频率较低。该结果表明,存在两种类型的用户,其家庭位置难以估计:跟随许多名人的中心用户和作为名人的权威用户。
2019-10-29 cs.SI
Analysis of Home Location Estimation with Iteration on Twitter Following Relationship
用户的家庭位置被许多社交媒体应用使用,例如社交媒体分析。然而,由于用户的家庭位置通常不对公众公开,因此许多研究人员一直在尝试开发更准确的家庭位置估计。使用表达用户之间的关系的社交网络来估计用户的家庭位置。基于网络的家庭位置估计方法采用迭代的方法,通过传播估计的位置来估计更多用户的家庭位置。在这项研究中,我们分析的功能,基于网络的家庭位置估计与迭代,而使用的社会网络的基础上,以下关系的Twitter。结果表明,在朋友的位置中选择最频繁的位置的函数具有最好的准确性。我们的分析还表明,88%的用户,谁是在社交网络的基础上,以下关系,有至少一个正确的家庭位置在一跳(朋友和朋友的朋友)。根据社会网络的这一特性,我们指出两次迭代就足够了。
2016-08-30 cs.SI
Fusing location and text features for sentiment classification
地理标记的Twitter数据最近被用来推断社交媒体人性化方面的见解。在最近的研究中,人们已经从带有地理标签的twitter数据中挖掘出了与人口统计、文化活动的空间分布、人类的时空旅行轨迹以及幸福感相关的见解。到目前为止,还没有太多的研究已经做了一个推文的地理定位功能对其情绪的影响。这一观察启发了我们提出使用地理位置特征作为执行情感分类的方法。在该方法中,通过将地理位置特征和独热编码词向量连接起来作为卷积神经网络(CNN)和长短期记忆(LSTM)网络的输入来执行地理标记推文的情感分类。以地理位置特征的形式添加与语言无关的特征有助于丰富推文表示,以对抗短推文消息的稀疏性。所取得的结果表明,与单独使用词向量进行情感分类相比,将地理位置特征连接到独热编码词向量可以实现更高的准确性。
2019-07-28 cs.CL cs.IR cs.SI
CML-COVID: A Large-Scale COVID-19 Twitter Dataset with Latent Topics, Sentiment and Location Information
作为一个平台,Twitter一直是讨论COVID-19疫情的重要公共空间。Twitter等公共社交媒体平台是参与大流行病的重要网站,这些数据可供研究团队用于社会、健康和其他研究。了解公众对COVID-19的看法以及信息如何在社交媒体上传播对政府和研究机构非常重要。Twitter是一个无处不在的公共平台,因此在了解公众对COVID-19的看法、行为和态度方面具有巨大的效用。在这项研究中,我们展示了CML-COVID,这是一个COVID-19 Twitter数据集,包含来自5,977,653个独立个体的19,298,967百万条推文,并总结了这些数据的一些属性。这些推文是在2020年3月至2020年7月期间使用与COVID-19相关的冠状病毒、COVID和口罩等查询词收集的。我们使用主题建模、情感分析和描述性统计来描述我们收集的与COVID-19相关的推文以及推文的地理位置(如有)。我们提供有关如何访问我们的tweet数据集的信息(使用twarc存档)。
2021-01-28 cs.CY cs.HC cs.SI
Design and evaluation of an agentic workflow for crisis-related synthetic tweet datasets
Department of Computer Science, University College London, London, United Kingdom(伦敦大学学院计算机科学系,伦敦,英国);National Institute of Informatics, Tokyo, Japan(日本信息学研究院,东京,日本)
本文提出一种代理工作流生成危机相关合成推文数据集,以解决真实数据获取困难和标注成本高的问题,通过迭代生成、评估和反馈机制,实现灵活可扩展的合成数据生成。
2026-03-13 cs.CL cs.LG cs.MA
On Predicting Geolocation of Tweets using Convolutional Neural Networks
在许多Twitter研究中,重要的是要知道推文来自哪里,以便使用推文内容来研究区域用户行为。然而,使用Twitter来了解用户行为的研究人员通常缺乏足够的地理标记数据。由于Twitter数据量巨大,因此需要精确的自动地理定位解决方案。在这里,我们提出了一种新的方法来预测Twitter用户的位置的基础上的信息在一个单一的鸣叫。我们使用卷积神经网络将文本和用户简档元数据集成到单个模型中。我们的实验表明,我们的神经模型大大优于基线方法,在城市级和国家级预测上分别达到52.8%和92.1%的准确率。
2017-04-17 cs.SI
Home Location Estimation Using Weather Observation Data
我们可以通过添加用户的家庭位置来从社交媒体数据中提取有用的信息。然而,由于用户的家庭位置通常不公开,因此许多研究人员一直在尝试开发更准确的家庭位置估计。在这项研究中,我们提出了一种方法来估计一个Twitter用户的家庭位置,通过使用AMeDAS的天气观测数据。在我们的方法中,我们首先通过使用推文来估计由估计目标用户发布的区域的天气,接下来,我们根据天气观测数据来检查估计的天气,并缩小用户发布的区域。最后,用户的家庭位置被估计为用户经常从哪些区域发帖。在我们的实验中,结果表明,我们的方法有效地发挥作用,也表明在一定条件下,准确性提高。
2017-09-03 cs.IR cs.SI
EDNA-Covid: A Large-Scale Covid-19 Tweets Dataset Collected with the EDNA Streaming Toolkit
新型冠状病毒疫情从根本上改变了我们生活的许多方面。随着全国性的封锁和居家隔离,有关疫情的讨论自然转移到Twitter等社交网络。这为我们提供了一个前所未有的视角,来了解在存在长期不稳定因素的情况下社会话语的演变,比如一场大规模、高速度、高噪音的新型冠状病毒(COVID-19,即2019冠状病毒病)Twitter推送。然而,从这样的数据流中实时信息抽取需要容错流传输基础设施来执行来自新闻机构、社交馈送和权威医疗机构(如CDC)的异构数据源的非平凡集成。为了解决这个问题,我们提出了(i)用于消费和处理流媒体数据的EDNA流媒体工具包,以及(ii)EDNA-Covid,这是自2020年1月25日以来EDNA收集的冠状病毒相关推文的多语言大规模数据集。截至本报告发表时,EDNA-Covid包括来自世界各地的超过6亿条推文,使用10多种语言。我们向公众发布了EDNA工具包和EDNA-Covid数据集,以便它们可以用于提取关于这一非凡社会事件的宝贵见解。
2020-10-21 cs.SI
GeoCoV19: A Dataset of Hundreds of Millions of Multilingual COVID-19 Tweets with Location Information
Qatar Computing Research Institute(卡塔尔计算研究院);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文发布 GeoCoV19,一个涵盖 90 天、超过 5.24 亿条多语言推文并含地理位置推断的大规模 Twitter 数据集,以支持 COVID-19 期间的社会响应分析及假新闻识别、疾病预测等计算研究。
2020-05-22 cs.CL cs.CY cs.IR
Changes in Twitter geolocations: Insights and suggestions for future usage
在过去的几年里,Twitter数据已经成为各种应用场景的有价值的数据来源。对于许多这样的应用程序,有必要知道Twitter帖子(tweets)是从哪里发送的,或者它们指的是什么位置。研究人员经常使用在一小部分推文中提供的精确坐标,但Twitter在2019年年中删除了共享这些坐标的选项。此外,有理由怀疑所提供的坐标中的很大一部分甚至在此之前就不对应于用户的GPS坐标。在本文中,我们解释了这一情况和2019年的政策变化,并阐明了仍然从推文中获取位置信息的各种选择。我们提供使用统计数据,包括随时间的变化,并分析删除确切坐标对使用Twitter数据执行的各种常见研究任务意味着什么。最后,我们提出了建议,为未来的研究需要地理定位的推文。
2021-09-22 cs.SI
Choosing the right home location definition method for the given dataset
自从第一部配备GPS的手机进入市场以来,知道确切的用户位置已经成为数字世界中几乎所有服务的圣杯。从基于位置的服务的想法开始,现在不仅要知道用户的实时的位置,而且要能够预测他们将来会在哪里。此外,以GPS设备提供的纬度经度坐标的形式知道用户位置是不够的,而且还给予地点其含义(即,语义标记它),特别是检测给定用户的最可能的家庭位置。本文的目的是提供新的见解的方式之间的差异如何不同类型的人类数字轨迹代表实际的移动模式,因此解释这些线索推断所述模式的方法之间的差异。也就是说,随着提供有关用户移动性信息的不同数字源的出现,充分理解并非所有数字源都能捕捉到完全相同的图像至关重要。话虽如此,在本文中,我们开始从一个例子,显示如何通过回转半径描述的人类移动模式是不同的Flickr社交网络和数据集的银行卡交易。而不是捕捉人类的运动更接近他们的家园,Flickr更经常揭示人们的旅行模式。因此,在两种情况下使用的归属位置推断方法不能相同。我们认为,从文献中已知的家庭位置定义的几种方法,并证明,虽然银行卡交易,他们提供了高度一致的结果,家庭位置定义检测方法应用到Flickr数据集发生的方式更敏感的方法选择,强调调整的方法,以特定的数据集使用的至关重要。
2015-10-13 cs.SI
Breaking Down the Lockdown: The Causal Effects of Stay-At-Home Mandates on Uncertainty and Sentiments During the COVID-19 Pandemic
本文以2020年2月意大利突发封锁为准实验,利用Twitter文本和交错双重差分法评估居家令对公众不确定性与情绪的因果效应。
2023-06-01 cs.SI econ.GN q-fin.EC
Enhanced Twitter Sentiment Classification Using Contextual Information
MIT(麻省理工学院)
随着Twitter的普及和普及,对推文的情感分析已经成为一个重要的研究领域。然而,对推文施加的140个字符的限制使得很难使用标准的语言学方法进行情感分类。另一方面,推特缺乏结构,但它们却用庞大的数量和丰富的元数据来弥补。该元数据包括地理位置、时间和作者信息。我们假设情绪依赖于所有这些背景因素。不同的地点,不同的时代,不同的作者,有着不同的情感价值。在本文中,我们通过利用远程监督收集来自不同地点,时间和作者的数百万条标记推文来探索这一假设。我们使用这些数据来分析不同作者,时间和地点的推文情绪的变化。一旦我们探索并理解了这些变量和情绪之间的关系,我们就使用贝叶斯方法将这些变量与更标准的语言特征(如n-gram)结合起来,创建了一个Twitter情绪分类器。这种组合分类器的性能优于纯语言分类器,表明将Twitter上丰富的上下文信息整合到情感分类中是一个很有前途的研究方向。
2021-01-02 cs.AI cs.CL cs.IR
Happiness and the Patterns of Life: A Study of Geolocated Tweets
大量人口所表现出的生活模式已经被描述和建模,既作为基础科学练习,也用于一系列应用目标,如减少汽车拥堵,改善灾难响应,甚至预测个人的位置。然而,这些研究以前有有限的访问会话内容,呈现变化的表达作为一个不可见的运动功能。此外,他们通常使用移动电话与其最近的天线塔之间的通信来推断位置,将数据的空间分辨率限制在每个手机塔所服务的地理区域。我们使用了3700万条地理定位的推文来描述18万人的运动模式,利用了相对于以前工作的几个数量级的空间准确性。利用最近开发的名为“快乐计”的情感分析工具,我们将词语使用的变化描述为运动的函数,并发现表达的幸福感随着与个人平均位置的距离呈对数增加。
2013-09-12 cs.SI physics.soc-ph
A Deep Learning Approach for Tweet Classification and Rescue Scheduling for Effective Disaster Management
Missouri University of Science and Technology(密苏里科技大学)
及时获取受灾地区不同区域的信息是一项具有挑战性和复杂性的任务。社交媒体和网络的广泛传播和覆盖范围使人们能够实时分享信息。然而,社交媒体数据的处理和有价值信息的收集需要一系列操作,例如(1)处理每个特定的推文以进行文本分类,(2)基于推文确定需要帮助的人的可能位置,以及(3)基于推文分类计算救援任务的优先级。这是使用社交媒体数据开发有效救援调度操作的三个主要挑战。在本文中,首先,我们提出了一种结合基于注意力的双向长短期记忆(BLSTM)和卷积神经网络(CNN)的深度学习模型,以将推文分类到不同类别下。我们使用预训练的危机词向量和全局词向量表示(GLoVe)来从推文中捕获语义含义。接下来,我们执行特征工程来创建辅助特征图,这大大提高了模型的准确性。在我们使用来自飓风哈维和厄玛的真实数据集的实验中,观察到我们提出的方法与基于精度,召回率,F1分数和准确性的其他分类方法相比表现更好,并且非常有效地确定推文的正确优先级。此外,为了评估所提出的分类模型的有效性和鲁棒性,使用了由CrisisNLP的4个不同数据集和CrisisLex的另外15个不同灾害数据组成的合并数据集。最后,我们开发了一个自适应的多任务混合调度算法,考虑资源约束,执行一个有效的救援调度操作,考虑不同的救援优先级。
2019-08-05 cs.LG cs.SI stat.ML
CoronaVis: A Real-time COVID-19 Tweets Data Analyzer and Data Repository
由于数据和公共互动的性质,twitter在理解和模拟各种事件方面变得越来越有用。CoronaVis的目标是使用推文作为人们共享的信息,以可视化主题建模,研究主观性,并对COVID-19大流行期间的人类情绪进行建模。主要目的是探讨社会大众的心理和行为,以协助管理疫情持续期间的经济和社会危机及其后果。新型冠状病毒(COVID-19)大流行迫使人们留在家中,通过保持社交距离来减少病毒的传播。然而,社交媒体让人们在本地和全球保持联系。人们正在分享信息(例如个人观点、某些事实、新闻、状态等)在社交媒体平台上,这有助于了解当前流行病期间的各种公众行为,如情绪,情绪和流动性。在这项工作中,我们开发了一个实时应用程序来观察来自美国的COVID-19推文。在本文中,我们在一段时间内生成了各种数据分析,以研究主题,主观性和人类情感的变化。我们还分享了一个经过清理和处理的数据集,名为CoronaVis Twitter数据集(专注于美国),可在https://github.com/mykabir/COVID19上提供给研究社区。这将使社区能够找到更多有用的见解,并创建不同的应用程序和模型,以应对COVID-19大流行和未来的大流行。
2020-07-11 cs.SI
Automatic Query Optimization for Retrieving Traffic Tweets
与许多社交媒体和数据经纪公司一样,Twitter通过搜索API(应用程序编程接口)提供数据。除了按日期和位置过滤结果外,研究人员还可以使用布尔文本查询来搜索具有特定内容的推文,使用{ \it AND}、{ \it OR}和{ \it NOT}运算符来选择必须或不得出现在匹配推文中的短语组合。这种布尔文本搜索系统并不是Twitter独有的,它在许多不同的环境中都可以找到,包括学术,法律和医疗数据库,但是由于推文的相对数量和简短性,它在Twitter的用例中被扩展到了极限。此外,在20世纪80年代和90年代期间,在信息检索的主题下,对这种系统的半自动化使用进行了很好的研究,然而,从那时起,对这种系统的研究已经大大下降。因此,我们提出了更新的方法,自动选择和完善复杂的布尔搜索查询,可以隔离相关的结果具有更大的特异性和完整性。此外,我们提出了初步的结果,使用优化的查询收集样本的交通事故相关的推文,以及手动分类和分析它们的结果。
2020-06-21 cs.IR cs.SI
Observational Study of Working from Home during the COVID-19 Pandemic Using Social Media Data
自二零二零年三月起,由于确诊的COVID-19病例迅速增加,全国各地的公司开始在家工作,以帮助防止冠状病毒传播并拯救经济免受大流行的影响。不少机构曾进行调查,了解市民对WFH的意见。然而,调查结果是有限的,由于样本量小,随着时间的推移,动态的主题。这项研究旨在了解美国公众对COVID-19大流行期间在家工作的看法。我们使用Twitter数据进行了一项大规模的社交媒体研究,以描绘对WFH有积极/消极意见的不同群体。我们进行了一个普通的最小二乘回归调查的情绪WFH和用户特征,包括性别,年龄,种族,家庭收入中位数,人口密度之间的关系。为了更好地理解公众意见,我们使用潜在的Dirichlet分配提取的主题,并发现如何推文内容与人们的态度。这些发现提供了证据表明,关于WFH的情绪因用户特征而异。此外,内容分析揭示了情绪的细微差别,并揭示了与WFH相关的差异。
2021-07-12 cs.SI
HoWDe: a validated algorithm for Home and Work location Detection
DTU Compute, Technical University of Denmark(丹麦技术大学计算系);Bocconi University(博科尼大学);DONDENA and BIDSA research centres(多登纳和比德萨研究中心);The World Bank(世界银行);University of California, Berkeley(加州大学伯克利分校)
HoWDe是一种开源算法,用于从大规模移动数据中准确检测家庭和工作地点,通过透明的模块化管道提升预处理的可重复性和可扩展性。
2025-12-01 cs.CY cs.SI
An NLP-Assisted Bayesian Time Series Analysis for Prevalence of Twitter Cyberbullying During the COVID-19 Pandemic
University of Florida(佛罗里达大学)
本文利用NLP模型和贝叶斯时间序列分析,研究新冠疫情期间推特上网络欺凌的 prevalence 及其季节性变化。
2023-03-01 cs.LG cs.SI stat.AP
Deep Learning Reveals Patterns of Diverse and Changing Sentiments Towards COVID-19 Vaccines Based on 11 Million Tweets
Northwestern University(西北大学);Feinberg School of Medicine(范伯格医学院);Ann & Robert H. Lurie Children's Hospital of Chicago(芝加哥安与罗伯特·H·卢里儿童医院);Northwestern Medicine(西北医学中心)
在撰写本报告时,已接种了超过120亿剂COVID-19疫苗。然而,公众对疫苗的看法一直很复杂。我们分析了与COVID-19疫苗相关的推文,以了解人们对COVID-19疫苗的看法。我们使用最先进的模型XLNet微调了一个深度学习分类器,以自动检测每条推文的情绪。我们采用有效的方法从用户简档中提取用户的种族或民族、性别、年龄和地理位置。通过分析多个数据来源,我们评估了亚群之间的情感模式,并将其与疫苗接种数据并列,以揭示其互动模式。分析了两年内与2,203,681名用户对应的11,211,672条COVID-19疫苗相关推文。用于情感分类的微调模型在测试集上的准确率为0.92。来自不同人口群体的用户对COVID-19疫苗的情绪表现出不同的模式。随着时间的推移,用户的情绪变得更加积极,我们观察到人口水平的疫苗摄取量随后上升。在积极情绪高涨的日期周围,我们发现了有关疫苗开发和分发的令人鼓舞的消息或事件。与一般人群的趋势相比,怀孕相关推文中的积极情绪表现出延迟模式,疫苗接种趋势推迟。各亚群之间的独特模式表明需要量身定制的策略。全球新闻和事件深刻地影响了用户在社交媒体上的想法。由于缺乏及时的建议,有其他问题的人群,如怀孕,表现出更大的犹豫。特征分析显示,不同亚群的犹豫源于临床试验逻辑、风险和并发症以及科学证据的紧迫性。
2022-07-05 cs.CL cs.LG cs.SI
Estimating hourly population distribution change at high spatiotemporal resolution in urban areas using geo-tagged tweets, land use data, and dasymetric maps
本文介绍了一个时空分析框架,估计每小时变化的人口分布在城市地区使用地理标记的推文(包含用户的物理位置的消息),土地利用数据和dasymetric地图。我们使用Twitter的流应用程序编程接口(API)在一年(2015年)内收集了圣地亚哥县内的地理标记社交媒体(推文)。一个用于数据清理的半手动Twitter内容验证程序首先应用于人类和非人类用户(机器人)创建的单独推文。下一步是使用两种不同的地理单位计算每小时唯一Twitter用户的数量:(1)人口普查区块,以及(2)LandScan的1km × 1km分辨率网格。最后一步是通过将每个人口普查区块或网格中唯一Twitter用户的数量转换为具有空间和时间变化因素的估计人口密度来估计实际动态人口。时间因素是基于每小时的频率变化的独特的Twitter用户在圣地亚哥县,加利福尼亚州。利用土地利用图和2010年人口普查数据,使用dasymetric方法估计了空间因素。建立了几个比较图,以可视化动态人口分布的时空格局变化。
2018-10-15 cs.SI physics.soc-ph
A Location-Sentiment-Aware Recommender System for Both Home-Town and Out-of-Town Users
空间项目推荐已经成为帮助人们发现感兴趣地点的重要手段,特别是当人们访问不熟悉的区域时。目前的一些研究主要集中在基于用户签到记录的空间项目推荐中的个人和集体地理偏好建模,但他们未能探索用户兴趣跨地理区域漂移的现象,即,当用户到不同的地区旅游时,他们会表现出不同的兴趣。此外,他们忽略了公众评论对后续用户签到行为的影响。具体来说,用户会拒绝签入历史评论总体上看是负面的空间项目,即使它可能符合他们的兴趣。因此,有必要在正确的位置向正确的用户推荐正确的商品。在本文中,我们提出了一个潜在的概率生成模型称为LSARS模拟的决策过程中,用户的签到活动在家乡和外地的场景,通过适应用户的兴趣漂移和人群的情绪,它可以学习位置感知和感知的个人兴趣的空间项目和用户评论的内容。由于用户活动在外地地区的稀疏性,LSARS被进一步设计为包含从本地用户的签到行为中学习到的公共偏好。最后,我们将LSARS部署到两个实际的应用场景:空间项目推荐和目标用户发现。在两个大规模的基于位置的社交网络(LBSNs)数据集上的实验表明,LSARS实现了更好的性能比现有的国家的最先进的方法。
2017-06-20 cs.IR cs.SI
DiPD: Disruptive event Prediction Dataset from Twitter
Malaviya National Institute of Technology Jaipur(马拉维亚国家理工学院斋浦尔)
骚乱和抗议如果失去控制,可能会在一个国家造成严重破坏。我们已经看到了这样的例子,如BLM运动,气候罢工,CAA运动等等,这些运动在很大程度上造成了破坏。我们创建这个数据集的动机是用它来开发机器学习系统,让用户了解正在发生的趋势事件,并提醒他们可能导致国家混乱的事件。如果任何事件开始失控,可以在事件升级之前通过监控来处理和缓解。该数据集收集了过去或正在发生的已知造成破坏的事件的推文,并将这些推文标记为1。我们还收集被认为是无事件的推文,并将其标记为0,以便它们也可以用于训练分类系统。该数据集包含94855条独特事件记录和168706条独特非事件记录,因此总数据集为263561条记录。我们从推文中提取多个特征,例如用户的追随者数量和用户的位置,以了解推文的影响和影响范围。该数据集可能在各种事件相关的机器学习问题中有用,例如事件分类、事件识别等。
2021-11-25 cs.CL cs.IR cs.LG
Data and models for stance and premise detection in COVID-19 tweets: insights from the Social Media Mining for Health (SMM4H) 2022 shared task
Sber AI(俄罗斯联邦储蓄银行人工智能实验室);University of Electronic Science and Technology of China(电子科技大学);Kazan Federal University(喀山联邦大学);National Research University Higher School of Economics(国立研究型大学高等经济学院)
本文组织了 SMM4H 2022 共享任务 2 评估立场与前提检测模型,扩展收集了 Twitter 疫苗接种新数据,并采用特征级融合和双视图架构等策略进行广泛实验,为健康领域论辩挖掘提供数据集与研究支持。
2023-11-14 cs.CL cs.SI
TBCOV: Two Billion Multilingual COVID-19 Tweets with Sentiment, Entity, Geo, and Gender Labels
Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文构建TBCOV大规模多语言COVID-19推文数据集,利用深度学习标注情感、实体、用户与性别,并提出地理标记方法以支持疫情舆情与现实问题分析。
2021-10-04 cs.CL cs.SI
Multi-class Twitter Data Categorization and Geocoding with a Novel Computing Framework
这项研究详细介绍了交通数据分析的进展与一种新的计算框架,以保持与计算技术的不断发展。计算框架结合了标记潜在狄利克雷分配(L-LDA)纳入支持向量机(SVM)分类器与支持计算策略上公开可用的Twitter数据,在确定交通相关的事件,提供可靠的信息,旅客。分析方法包括使用文本分类和基于字符串相似性的地理编码位置来分析推文。为纽约市及其周边地区进行的案例研究表明了分析方法的可行性。分析了大约700,010条推文,以提取一周的相关交通信息。SVM分类器在从结构化数据中识别与交通相关的推文方面达到了85%以上的准确率。为了进一步将交通相关推文分类为子类:事故、拥堵、施工、特殊事件和其他事件,使用了三种监督分类器:L-LDA、SVM和L-LDA合并SVM。这项研究的结果表明,使用L-LDA结合SVM的分析框架可以对Twitter中与道路运输相关的数据进行分类,准确率超过98.3%,这明显高于独立L-LDA和SVM所达到的准确率。
2019-08-28 cs.SI
Is the Sample Good Enough? Comparing Data from Twitter's Streaming API with Twitter's Firehose
Twitter是一家社交媒体巨头,以交换简短的140个字符的消息而闻名,称为“tweets”。在科学界,微博网站以分享数据的开放性而闻名。它通过一个"Streaming API"提供了数百万用户和数十亿推文的一瞥,该API提供了与API用户预设的一些参数相匹配的所有推文的样本。API服务已被许多研究人员,公司和政府机构使用,他们希望根据与社交媒体有关的各种问题提取知识。Twitter API的主要缺点是缺乏关于用户获得什么和多少数据的文档。这导致研究人员质疑采样数据是否有效地代表了Twitter上的整体活动。在这项工作中,我们开始回答这个问题,通过比较使用Twitter的采样API服务收集的数据与使用完整的数据收集的数据,虽然昂贵,Firehose流,包括每一个发布的推文。我们使用常见的统计指标以及允许我们比较主题,网络和推文位置的指标来比较这两个数据集。我们的工作结果将帮助研究人员和从业者理解使用Streaming API的含义。
2013-06-21 cs.SI physics.soc-ph
A Hierarchical Location Prediction Neural Network for Twitter User Geolocation
Carnegie Mellon University(卡内基梅隆大学)
用户位置的准确估计对于许多在线服务是重要的。以前的基于神经网络的方法在很大程度上忽略了位置之间的层次结构。在本文中,我们提出了一个分层的位置预测神经网络的Twitter用户的地理定位。我们的模型首先为用户预测本国,然后使用国家结果来指导城市级别的预测。此外,我们采用了字符感知的词嵌入层,以克服噪声信息的推文。通过特征融合层,我们的模型可以适应各种特征组合,并在不同特征设置下通过三种常用基准测试获得最先进的结果。它不仅提高了预测精度,而且大大降低了平均误差距离。
2019-10-28 cs.CL cs.SI
Comparison of home detection algorithms using smartphone GPS data
本文比较了五种基于智能手机GPS数据的家庭位置检测算法,提出新算法和三个评估指标,发现时空连续性比数据规模更重要,并验证了算法差异对后续推断的显著影响。
2023-12-21 cs.CY cs.SI
Understanding the Hoarding Behaviors during the COVID-19 Pandemic using Large Scale Social Media Data
COVID-19大流行以前所未有的规模影响了世界各地人们的生活。我们打算使用大规模社交媒体数据来调查应对疫情的囤积行为。首先,我们收集了冠状病毒爆发后不久与囤积有关的推文。接下来,我们分析了2020年3月1日至4月30日期间美国超过42,000名独特Twitter用户的囤积和反囤积模式,并按年龄,性别和地理位置分析了与囤积相关的推文。我们发现囤积和反囤积组中的女性比例高于一般Twitter用户群体。此外,使用主题建模,我们调查的意见表示对囤积行为进行分类,这些主题根据人口和地理群体。我们还使用词汇法计算了囤积和反囤积相关推文的焦虑分数。通过将他们的焦虑分数与基线Twitter焦虑分数进行比较,我们揭示了进一步的见解。囤积相关推文的LIWC焦虑均值显著高于基线Twitter焦虑均值。有趣的是,与推文中提到的其他囤积物品相比,啤酒的计算焦虑得分最高。
2021-06-28 cs.CY cs.SI
Profiling presence patterns and segmenting user locations from cell phone data
对通勤流量的动态监测对于改善世界各地快速发展城市的交通系统至关重要。然而,现有的方法来推断通勤始发地和目的地要么依赖于大规模的调查数据,这是固有的昂贵的实施,或呼叫详细记录,但基于ad-hoc启发式分配规则的基础上出现在给定的位置。在本文中,我们提出了一种新的方法来准确地推断点的起源和目的地的通勤流的基础上推断个人的时空模式从呼叫详细记录。我们的项目显着提高了启发式分配规则的准确性普遍采用的文献。从一组个人的地理时间旅行模式的历史数据开始,我们为每个人的位置创建一个概率分布向量,该向量捕获了该人在一天中的给定时间出现在该位置的可能性。以这种方式堆叠,历史地理时间数据矩阵使我们能够应用特征分解并使用无监督机器学习技术来提取不同旅行者群体的位置共性,这最终使我们能够在特定位置上进行推断并创建标签,例如家庭和工作。在具有已知位置标签的真实世界数据上测试该方法表明,我们的方法识别家庭和工作场所具有显着的准确性,比文献中最常用的方法分别提高了79%和34%。最重要的是,我们的方法不承担任何重大的计算负担,并且易于扩展,易于扩展到具有历史跟踪的其他真实数据。
2020-06-01 cs.SI
Understanding Human Mobility from Twitter
了解人类流动对于从疾病预测到通信网络的广泛应用至关重要。到目前为止,研究人类流动的大多数努力都使用私有和低分辨率数据,例如呼叫数据记录。在这里,我们建议Twitter作为人类流动的代理,因为它依赖于公开的数据,并提供高分辨率定位时,用户选择地理标记他们的推文与他们的当前位置。我们分析了一个Twitter数据集,其中包含在澳大利亚发布的600多万条带有地理标记的推文,我们证明Twitter可以成为研究人类流动模式的可靠来源。我们的分析表明,地理标记的推文可以捕捉到人类流动的丰富特征,如个人之间的运动轨迹的多样性和城市内部和之间的运动。我们还发现,短距离和长距离的移动都花费他们的大部分时间在大都市地区,在对比中距离的移动,反映了不同的旅行方式的影响。我们的研究提供了坚实的证据,证明Twitter确实可以成为跟踪和预测人类运动的有用代理。
2015-04-22 cs.SI physics.soc-ph
A deep learning approach for detecting traffic accidents from social media data
本文采用深度学习从社交媒体数据中检测交通事故。首先,我们彻底调查了两个大都市地区一年内超过300万条推文内容:北弗吉尼亚州和纽约市。我们的研究结果表明,成对的令牌可以捕获的关联规则中的事故相关的推文,进一步提高交通事故检测的准确性。其次,研究了两种深度学习方法:深度信念网络(DBN)和长短期记忆(LSTM),并在提取的令牌上实现。结果表明,DBN可以获得约44个单独的令牌特征和17对令牌特征的总体准确率为85%。DBN的分类结果优于支持向量机(SVM)和监督潜在狄利克雷分配(sLDA)。最后,为了验证这项研究,我们将事故相关的推文与来自15,000个循环检测器的高速公路上的交通事故日志和当地道路上的交通数据进行了比较。研究发现,近66%的事故相关推文可以通过事故日志定位,其中80%以上可以与附近的异常交通数据相关联。通过比较,提出了使用Twitter检测交通事故的几个重要问题,包括位置和时间偏差,以及有影响力的用户和标签的特征。
2018-01-04 cs.SI stat.OT
Location-Based Events Detection on Micro-Blogs
越来越多地使用社交网络产生了大量的数据,可用于许多类型的分析。其中一些数据具有时间和地理信息,可用于全面审查。在本文中,我们提出了一种新的方法来分析Twitter中的大量消息,以确定世界上出现电视节目,气候变化,灾害和体育等主题的地方。所提出的方法基于用于从时间序列中检测离群值的神经网络,该时间序列建立在来自位于不同政治分区的推文的统计数据上(即,国家、城市)。离群值用于识别Twitter中异常行为中的主题。我们的方法的有效性进行了评估,在一个在线的环境中表示新的发现,从不同的地方对当地人的行为建模。
2012-10-15 cs.IR cs.SI physics.soc-ph
Geosocial Location Classification: Associating Type to Places Based on Geotagged Social-Media Posts
Amazon(亚马逊);AT&T Labs-Research(AT&T 实验室研究院);Technion(以色列理工学院)
将类型与位置相关联可用于丰富地图,并可用于大量地理空间应用程序。这样做的自动方法可以使这个过程在人力方面更便宜,并且对变化做出更快的反应。在本文中,我们研究了地理社会位置分类问题,其中一个网站的类型,例如,一座建筑,是基于社交媒体帖子发现的。我们的目标是正确地将在给定位置周围的小半径内发布的一组消息与相应的位置类型相关联,例如,学校、教堂、餐馆或博物馆。我们探索两种方法来解决这个问题:(a)管道方法,其中每个消息首先被分类,然后从各个消息标签推断与消息集相关联的位置;以及(b)联合方法,其中同时处理各个消息以产生所需的位置类型。我们在一个带有地理标记的tweet数据集上测试了这两种方法。我们的研究结果证明了联合方法的优越性。此外,我们表明,由于问题的独特结构,其中弱相关的消息被联合处理以产生单个最终标签,线性分类器优于深度神经网络替代品。
2020-09-18 cs.CL cs.IR cs.SI
Geographic Space as a Living Structure for Predicting Human Activities Using Big Data
受克里斯托弗·亚历山大的世界观的启发--空间不是无生命的或中性的,而是一个包含远多于大事物的生命结构,拓扑表示法先前已经被开发出来以表征生命结构或地理空间的整体性。本文进一步发展了用于预测地理空间中人类活动的拓扑表示和生命结构。基于从OpenStreetMap中提取的英国数百万个街道节点,我们以嵌套的方式建立了不同尺度的生活结构。我们发现,在不同的规模水平,如国家和城市,可以很好地预测推文位置的基本生活结构。高的可预测性表明,生活结构和拓扑表示是有效的,更好地理解地理形态。基于这一重要发现,我们认为拓扑表示是一种真正的多尺度表示,并指出现有的地理表示本质上是单尺度的,因此它们存在许多尺度问题,如可修改的面积单位问题、长度难题和生态谬误。我们进一步讨论了为什么活结构是构建地理空间大数据的有效工具,以及为什么亚历山大的有机世界观构成了第三种空间观。关键词:有机世界观,拓扑表示,鸣叫位置,自然城市,地理空间的缩放
2018-01-16 cs.SI physics.soc-ph
Visualizing the "Heartbeat" of a City with Tweets
New England Complex Systems Institute(新英格兰复杂系统研究所);Binghamton University, State University of New York(纽约州立大学宾汉姆顿分校)
本研究利用纽约市超600万条地理定位推文,构建推文地理密度动态图,揭示城市昼夜“心跳”与通勤模式,量化工作日与周末行为差异,并分析特定活动与个体对Twitter活跃度的影响,为理解城市动态提供新视角。
2014-11-03 cs.CY cs.SI physics.soc-ph
Mobile phone location data reveal the effect and geographic variation of social distancing on the spread of the COVID-19 epidemic
SARS-CoV-2和冠状病毒传染病(COVID-19)的出现已成为一种流行病。社交(物理)距离是降低SARS-COV-2传播率的关键非药物控制措施,但需要高水平的依从性。利用笛卡尔实验室和SafeGraph提供的大规模匿名手机定位数据得出的每日出行距离和居家时间,我们量化了美国遵守社交距离规定的程度及其对COVID-19病例增长的影响。COVID-19增长率与出行距离衰减率和居家停留时间变化率的相关性分别为-0.586(95%CI:-0.742 ~ -0.370)和0.526(95%CI:0.293 ~ 0.700)。实施社会距离命令后,国家特异性病例总数倍增时间增加了1.04 ~ 6.86天,增加了3.66 ~ 30.29天,与流行病的机械预测模型一致。社交距离规定在得到遵守时可减少COVID-19的传播。
2020-04-23 cs.SI physics.soc-ph q-bio.PE