Exploiting Text and Network Context for Geolocation of Social Media Users
The University of Melbourne（墨尔本大学）
对自动地理定位社交媒体用户的研究通常基于来自给定用户或用户的社交网络的帖子的文本内容，两者之间的交叉非常少，并且没有在可比较的数据集上对两种方法进行基准测试。我们把两个线程的研究在一起，首先提出了一个基于文本的方法，基于自适应网格，其次是混合网络和文本为基础的方法。通过对三个Twitter数据集的评估，我们发现基于文本和基于网络的方法之间的经验差异并不大，并且两者的混合优于组件方法，特别是在用户图连接不好的情况下。我们在所有三个数据集上都获得了最先进的结果。
2015-06-16 cs.CL cs.SI
Density Estimation for Geolocation via Convolutional Mixture Density Network
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
如今，与Twitter相关的地理信息对于细粒度应用程序至关重要。然而，Twitter上可用的地理信息量很低，这使得许多应用程序的追求具有挑战性。在这种情况下，估计推文的位置是研究的一个重要目标。与大多数以前的研究，估计预定义的区域作为分类任务，本研究采用了概率分布来表示更丰富的信息的鸣叫，不仅位置，而且其模糊性。为了实现这种建模，我们提出了卷积混合密度网络（CMDN），它使用文本数据来估计混合模型参数。实验结果表明，CMDN实现了最高的预测性能之间的方法来预测准确的坐标。它还提供了每个推文的位置模糊度的定量表示，可以正确地提取可靠的位置估计。
2017-05-08 cs.CL
Confounds and Consequences in Geotagged Twitter Data
School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）
Twitter经常用于定量研究，以确定地理偏好的主题，写作风格和实体。这些研究依赖于附加到单个消息的GPS坐标，或者依赖于每个配置文件中的用户提供的位置字段。在本文中，我们比较了这些数据采集技术，并量化了它们引入的偏见，我们还测量了它们对语言分析和基于文本的地理定位的影响。GPS标记和自我报告的位置产生可测量的不同语料库，这些语言差异部分归因于年龄和性别的数据集组成的差异。使用隐变量模型，以诱导年龄和性别，我们显示这些人口统计变量如何与地理相互作用，影响语言使用。我们还表明，基于文本的地理定位的准确性随人口统计数据而变化，对于40岁以上的男性来说，结果最好。
2015-08-22 cs.CL
Predicting the Geolocation of Tweets Using transformer models on Customized Data
National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”（乌克兰国立技术大学“伊戈尔·西科尔斯基基辅理工学院”）
提出基于 BERT 微调的推文地理位置预测方法，用坐标与二维 GMM 表示位置，全球误差中位值低于 30 公里、美国低于 15 公里，并开源代码与数据。
2024-11-02 cs.AI cs.CL cs.IR
Geocoding Without Geotags: A Text-based Approach for reddit
Warner Media Applied Analytics（华纳媒体应用分析公司）
在本文中，我们介绍了Reddit的第一个地理位置推断方法，Reddit是一个社交媒体平台，用户的匿名性迄今为止使监督人口统计推断难以实现和验证。特别是，我们设计了一个基于文本的启发式模式，以便在没有显式地理标记数据的情况下为reddit用户生成地面实况位置标签。在评估了标记过程的准确性之后，我们在reddit数据集和三个基准Twitter地理位置数据集上训练和测试了几个地理位置推理模型。最终，我们表明，在同一个域上训练和应用的地理定位模型大大优于试图跨域传输训练数据的模型，在reddit上更是如此，其中特定于平台的兴趣组元数据可以用来改善推理。
2018-10-07 cs.CL cs.IR
Semi-supervised User Geolocation via Graph Convolutional Networks
The University of Melbourne（墨尔本大学）
社交媒体用户的地理位置对于许多应用程序（如事件检测）至关重要。在本文中，我们提出了GCN，一个基于图卷积网络的多视图地理定位模型，它同时使用文本和网络上下文。我们将GCN与最先进的技术以及我们提出的两个基线进行比较，并表明当有足够的监督时，我们的模型在三个基准地理位置数据集上达到或与最先进的技术竞争。我们还评估了GCN下的最小监督的情况下，并显示它优于基线。我们发现，高速公路网络门户对于控制GCN中有用的社区扩展量至关重要。
2018-05-15 cs.CL
Lost in Space: Geolocation in Event Data
Duke University（杜克大学）
从文本数据中提取“正确的”位置信息，即，确定事件的地点长期以来一直是自动化文本处理的目标。为了近似人类的编码模式，我们引入了一个有监督的机器学习算法，该算法将每个位置词分类为正确或不正确。我们使用从世界各地收集的新闻文章（综合危机预警系统[ICEWS]数据和开放事件数据联盟[OEDA]数据）来测试我们的算法，该算法包括两个阶段。在特征选择阶段，我们从文本中提取上下文信息，即位置词的N-gram模式，提及的频率，以及包含位置词的句子的上下文。在分类阶段，我们使用三个分类器来估计训练集中的模型参数，然后预测测试集中的新闻文章中的位置词是否是事件的地点。验证结果表明，我们的算法将当前字典法地理定位方法的准确率提高了25%。
2016-11-14 cs.CL
Through the Twitter Glass: Detecting Questions in Micro-Text
Palo Alto Research Center（帕洛阿尔托研究中心）
在另一项研究中，我们对了解人们在Twitter上的问答习惯感兴趣。在Twitter中发现问题是一个困难的挑战，所以我们考虑应用一些传统的NLP方法来解决这个问题。一方面，Twitter充满了特质，这使得处理变得困难。另一方面，它的长度非常有限，倾向于使用简单的句法结构，这有助于NLP处理的性能。为了找出NLP和Twitter的可行性，我们构建了一个工具管道，专门用于Twitter输入，以完成在推文中查找问题的任务。这项工作仍然是初步的，但在本文中，我们将讨论我们使用的技术和我们学到的教训。
2020-06-13 cs.CL cs.SI
Transformer Based Geocoding
在本文中，我们制定的问题预测的地理位置从自由文本作为一个序列到序列的问题。使用这个公式，我们通过使用自由文本作为输入和地理位置作为输出来训练T5编码器-解码器Transformer模型来获得地理编码模型。地理编码模型是在地理标记的wikidump数据上训练的，具有用于地理位置表示的自适应单元格划分。所有的代码，包括基于REST的应用程序，数据集和模型检查点在这项工作中使用的是公开的。
2023-01-02 cs.AI cs.CL
Topic Modelling and Event Identification from Twitter Textual Data
University of Ottawa（渥太华大学）；Institute for Big Data Analytics, Dalhousie University（达尔豪斯大学大数据分析研究所）；Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）；Peacegeeks（和平极客）；iHUB
互联网上社交媒体内容的巨大增长激发了文本分析的发展，以了解和解决现实生活中的问题。利用统计主题建模可以帮助研究人员和从业人员更好地理解文本内容，并为进一步分析提供有用的信息。当我们处理大量动态文本时，统计主题建模变得尤为重要，例如，Facebook或Twitter数据集。在这项研究中，我们总结了四个数据集的Twitter消息在肯尼亚具有挑战性的社会事件的消息内容。我们使用潜在狄利克雷分配（LDA）主题模型来分析内容。我们的研究使用了两个评价指标，归一化互信息（NMI）和主题一致性分析，以选择最好的LDA模型。实验结果表明，该工具可以有效地提取讨论主题并进行归纳，以便于进一步的人工分析
2016-08-08 cs.CL cs.SI
Sentiment Analysis for Twitter : Going Beyond Tweet Text
National University of Singapore（新加坡国立大学）
分析推文的情绪很重要，因为它有助于确定用户的意见。了解人们的意见对于从收集有关客户群、电子政务、竞选活动等方面的知识开始的几个目的至关重要。在这份报告中，我们的目标是开发一个系统来检测从推文的情绪。我们采用几种语言特征以及其他一些外部信息源来检测推文的情感。我们发现，增加140个字符长的推文，从推文中共享的外部URL以及社交媒体功能中获取的信息，可以显着提高情感预测的准确性。
2016-11-29 cs.CL cs.SI
Community Question Answering Platforms vs. Twitter for Predicting Characteristics of Urban Neighbourhoods
University College London（伦敦大学学院）
在本文中，我们调查是否可以使用来自社区问答（QA）平台的文本来预测和描述现实世界的属性。我们的实验预测范围广泛的62个人口统计属性的伦敦街区。我们使用的文本来自Yahoo！答案，并将我们的结果与从Twitter微博获得的结果进行比较。结果表明，预测的人口统计属性之间的相关性使用文本从雅虎！答案讨论和观察到的人口统计属性可以达到平均皮尔逊相关系数\r{ho} = 0.54，略高于使用Twitter数据获得的预测。我们的定性分析表明，从两个数据集中提取的最高相关术语与其相对的人口统计属性之间存在语义相关性。此外，相关性突出了雅虎中包含的信息的不同性质！答案和Twitter前者似乎提供了更多的科普内容，而后者提供了与当前社会文化方面或现象有关的信息。
2017-01-17 cs.CL cs.SI
Large Language Models for Geolocation Extraction in Humanitarian Crisis Response
Universidad de San Andrés Victoria（圣安德烈斯大学）
本文提出基于LLM的两步框架，通过结合命名实体识别和上下文地理编码模块，提升人道主义文档中地理信息提取的精度与公平性。
2026-02-09 cs.CL cs.IR
HeGeL: A Novel Dataset for Geo-Location from Hebrew Text
Bar-Ilan University（巴伊兰大学）；The Technion（以色列理工学院）；Tel Aviv University（特拉维夫大学）
本文提出首个面向希伯来语的地理定位数据集 HeGeL，众包收集 5,649 条字面地点描述，分析表明该数据集需要新的环境表示方法以支持地理空间推理。
2023-07-02 cs.AI cs.CL cs.IR
TweetBERT: A Pretrained Language Representation Model for Twitter Text Analysis
Lakehead University（湖首大学）
Twitter是一个著名的微博社交网站，用户可以实时表达自己的观点和意见。因此，推文往往包含有价值的信息。随着深度学习在自然语言处理领域的发展，从推文中提取有意义的信息已经成为自然语言研究者越来越感兴趣的问题。应用现有的语言表示模型从Twitter中提取信息通常不会产生好的结果。此外，还没有针对社交媒体领域的文本分析的现有语言表示模型。因此，在本文中，我们介绍了两个TweetBERT模型，它们是领域特定的语言表示模型，在数百万条推文上进行了预训练。我们发现，在每个Twitter数据集上，TweetBERT模型在Twitter文本挖掘任务中的表现明显优于传统的BERT模型，超过7%。我们还通过在31个不同的数据集上评估7个BERT模型来提供广泛的分析。我们的研究结果验证了我们的假设，即在Twitter语料库上持续训练语言模型有助于Twitter的性能。
2020-10-17 cs.CL
Twitter-Network Topic Model: A Full Bayesian Treatment for Social Network and Text Modeling
ANU（澳大利亚国立大学）；NICTA（澳大利亚国家信息通信技术研究院）
Twitter的数据非常嘈杂--每条推文都很短，没有结构，语言也不正式，这对当前的主题建模来说是一个挑战。另一方面，推文伴随着额外的信息，如作者，标签和用户追随者网络。利用这些额外的信息，我们提出了Twitter网络（TN）的主题模型，共同建模的文本和社会网络在一个完整的贝叶斯非参数的方式。TN主题模型采用分层泊松-狄利克雷过程（PDP）的文本建模和高斯过程随机函数模型的社会网络建模。我们表明，TN主题模型显着优于现有的几个非参数模型，由于其灵活性。此外，TN主题模型能够实现额外的信息推理，例如作者的兴趣，主题标签分析，以及导致进一步的应用，例如作者推荐，自动主题标签和主题标签建议。注意，我们的一般推理框架可以很容易地应用到其他主题模型嵌入PDP节点。
2016-09-22 cs.CL cs.IR cs.SI
Sifting Robotic from Organic Text: A Natural Language Approach for Detecting Automation on Twitter
Vermont Complex Systems Center（佛蒙特复杂系统中心）；Vermont Center for Behavior and Health（佛蒙特行为与健康中心）；Vermont Center for Clinical and Translational Science（佛蒙特临床与转化科学中心）
Twitter，一个流行的社交媒体，已经发展成为一个巨大的语言数据来源，充满了观点，情感和讨论。由于Twitter越来越受欢迎，其发挥社会影响力的潜力导致了一个多样化的自动机社区的兴起，通常被称为机器人。这些无机和半有机的Twitter实体可以从善意的（例如，天气更新机器人，求助警报机器人）到恶意的（例如，滥发讯息、广告或激进意见）。现有的检测算法通常利用元数据（推文之间的时间，关注者数量等）。来识别机器人账户在这里，我们提出了一个强大的分类方案，专门使用的自然语言文本从有机用户提供一个标准，用于识别帐户发布自动消息。由于分类器仅对文本进行操作，因此它很灵活，可以应用于Twitter范围之外的任何文本数据。
2016-06-14 cs.CL
Detecting Anti-Vaccine Users on Twitter
USC Information Sciences Institute（南加州大学信息科学研究所）
最近由在线叙事驱动的疫苗犹豫，大大降低了疫苗接种策略的有效性，例如COVID-19疫苗。尽管医学界对现有疫苗的安全性和有效性达成了广泛共识，但大量社交媒体用户继续被有关疫苗的虚假信息所淹没，并犹豫不决或不愿意接种疫苗。这项研究的目的是通过开发一个能够自动识别负责传播反疫苗叙述的用户的系统，更好地了解反疫苗情绪。我们引入了一个公开可用的Python包，该包能够分析Twitter个人资料，以评估该个人资料在未来分享反疫苗情绪的可能性。该软件包使用文本嵌入方法、神经网络和自动数据集生成来构建，并在数百万条推文上进行训练。我们发现这个模型可以在反疫苗用户发布反疫苗标签或关键词之前准确检测他们长达一年。我们还展示了文本分析如何通过检测Twitter上的反疫苗传播者和普通用户之间的道德和情感差异来帮助我们理解反疫苗讨论的例子。我们的研究结果将帮助研究人员和政策制定者了解用户如何成为反疫苗以及他们在Twitter上讨论的内容。政策制定者可以利用这些信息开展更有针对性的运动，揭穿有害的反疫苗接种神话。
2022-11-04 cs.CL cs.SI
Scaling in Words on Twitter
Eötvös Loránd University（厄特沃什·罗兰大学）；Senseable City Laboratory, MIT（麻省理工学院感知城市实验室）；Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工学院研究与技术联盟）
语言的尺度特性是理解语篇生成过程的一个有用工具。我们调查的城市Twitter语料库来自美国的大都市和小都市统计区的缩放关系。我们观察到一个稍微超线性的城市规模与城市人口的推文和文字的总量在一个城市。然后，我们发现，一定的核心词汇遵循的规模关系的散装文本，但大多数的话是敏感的城市规模，表现出超线性或次线性的城市规模。对于这两种制度，我们可以根据词语的含义提供一个合理的解释。我们还表明，Zipf定律和堆定律的参数不同的Twitter上的其他文本，Zipf定律的指数与城市规模的变化。
2019-03-11 cs.CL cs.SI physics.soc-ph
TexTrolls: Identifying Russian Trolls on Twitter from a Textual Perspective
Universitat Politècnica de València（瓦伦西亚理工大学）；CNRS（法国国家科学研究中心）；Université Paris 13（巴黎第十三大学）
在线新出现的可疑用户，通常被称为巨魔，是仇恨，虚假和欺骗性在线信息的主要来源之一。一些议程正在利用这些有害的用户来传播煽动性的推文，结果，观众被欺骗了。检测此类账户的挑战在于，它们隐藏了自己的身份，这使得它们在社交媒体中伪装起来，增加了仅使用其社交网络信息识别它们的难度。因此，在本文中，我们提出了一种基于文本的方法来检测在线巨魔，例如在美国2016年总统选举期间发现的巨魔。我们的方法主要是基于文本特征，利用主题信息，和分析功能，以确定帐户从他们的写作推文的方式。我们推导出的主题信息，在一个无监督的方式，我们表明，将它们与文本特征，增强了所提出的模型的性能。此外，我们发现，建议的剖析功能执行最好的比较文本功能。
2019-10-03 cs.CL cs.LG cs.SI
Emoji-Emotion Ranking System Using Twitter Data
KBTU
本研究基于10万条Twitter回复数据，提出表情符号情感分析框架，通过文本情感分类和情感聚合，构建表情符号-情感排序系统，并投影到Russell空间，证明表情符号具有概率性和上下文敏感的情感特征。
2026-10-06 cs.CL cs.SI
Assessing perceived organizational leadership styles through twitter text mining
我们提出了一种基于支持向量机的文本分类工具，用于评估Twitter用户所看到的组织领导风格。我们收集了超过51天的Twitter数据，这些数据与2015年福布斯全球2000强排名中的前30家意大利组织有关，我们从中选出了与Twitter相关性最高的五家组织。我们分析了公司领导者的沟通，以及每个公司的利益相关者之间的对话，以了解与感知的领导风格和维度的关联。为了评估领导力，我们参考了Barchiesi和La Bella在2007年开发的10因素模型。我们保持我们提出的方法的独特性，因为它允许快速评估企业的感知领导能力，因为它们来自社交媒体互动。它还可以用来显示公司在特定事件发生时如何应对和管理其沟通，并评估其利益相关者的反应。
2021-05-24 cs.CL
GeoRC: A Benchmark for Geolocation Reasoning Chains
Georgia Institute of Technology（佐治亚理工学院）
本文提出GeoRC基准，通过Champion级GeoGuessr专家生成的800条真实推理链，评估VLM生成推理链的准确性，发现大模型在生成可审计推理链上仍逊于人类专家，而小型模型表现更差。
2026-04-20 cs.AI cs.CL cs.CV
An Empirical Survey of Unsupervised Text Representation Methods on Twitter Data
ProtagoLabs；Dartmouth College（达特茅斯学院）
近年来，NLP领域取得了前所未有的成就。最值得注意的是，随着大规模预训练的基于transformer的语言模型（如BERT）的出现，文本表示有了明显的改进。然而，目前还不清楚这些改进是否会转化为嘈杂的用户生成的文本，如推文。在本文中，我们提出了一个实验性的调查，广泛的知名的文本表示技术的文本聚类嘈杂的Twitter数据的任务。我们的研究结果表明，更先进的模型不一定最好的工作推文，在这方面需要更多的探索。
2020-12-07 cs.CL cs.LG
How much is said in a microblog? A multilingual inquiry based on Weibo and Twitter
University of Oxford（牛津大学）；University of Hong Kong（香港大学）
本文提出了一个多语种的研究，每一个微博文本的帖子，（a）有多少可以说，（b）有多少是写在字符和字节，（c）有多少是说在不同的组织在不同的语言的帖子的信息内容。本研究以三种不同的语言（英语、中文和日语）为重点，分析了主要大使馆和新闻机构的微博和Twitter账户。我们首先根据公开的《世界人权宣言》和TED演讲的翻译字幕，建立了量化数字文本中“能说多少”的标准。这些并行语料库使我们能够确定用不同语言和字符编码表示相同内容所需的字符和位数。然后，我们推导出微博和Twitter上选定帐户创作的微博帖子中实际包含的信息量。我们的研究结果证实，语言与较大的字符集，如中文和日语包含更多的信息，每个字符比英文，但实际的信息内容包含在微博文本的组织类型和语言的职位而有所不同。最后，我们讨论了不同语言的微博文本限制的设计意义。
2015-06-13 cs.CL cs.CY cs.SI
A Geolocation-Aware Multimodal Approach for Ecological Prediction
ECEO, Ecole Polytechnique Fédérale de Lausanne (EPFL)（ECEO，洛桑联邦理工学院（EPFL））；INRIA, University of Montpellier（法国国家信息与自动化研究所（INRIA），蒙彼利埃大学）
本文提出GAMMA方法，通过显式空间上下文融合异构生态数据，提升环境预测性能，并展示其在大规模环境制图和生物多样性监测中的潜力。
2026-03-26 cs.CL
Do You Do Yoga? Understanding Twitter Users' Types and Motivations using Social and Textual Information
Purdue University（普渡大学）
利用社交媒体数据来了解人们的生活方式选择是一个令人兴奋的领域，但需要对数据进行多视图制定。在本文中，我们提出了一个联合嵌入模型的基础上融合的神经网络与注意力机制，通过结合用户的社会和文本信息，了解他们的活动和动机。我们使用Twitter上与健康相关的推文，重点关注“瑜伽”。我们在两个下游任务上展示了我们的模型：（i）找到用户类型，例如从业者或促销（推广瑜伽工作室/健身房），其他;（ii）找到用户动机，即健康益处，灵性，喜欢推/转推瑜伽但不练习瑜伽。
2021-01-27 cs.AI cs.CL cs.CY
Stylometric Detection of AI-Generated Text in Twitter Timelines
Arizona State University（亚利桑那州立大学）；STR
预训练的语言模型的最新进展使得能够实现用于大规模生成类人文本的方便方法。虽然这些生成功能具有突破性应用的巨大潜力，但它也可能成为对手生成错误信息的工具。特别是，像Twitter这样的社交媒体平台非常容易受到人工智能生成的错误信息的影响。一种潜在的威胁场景是，攻击者劫持了一个可信的用户帐户，并结合了一个自然语言生成器来生成错误信息。这种威胁需要在给定用户的Twitter时间轴中自动检测AI生成的推文。然而，推文本质上是短的，因此使得当前最先进的基于预先训练的语言模型的检测器难以准确地检测AI在给定的Twitter时间轴中的什么点开始生成推文。在本文中，我们提出了一种新的算法，使用风格信号来帮助检测AI生成的推文。我们提出了两个相关任务中量化人类和AI推文风格变化的模型：任务1 -区分人类和AI生成的推文，任务2 -检测AI是否以及何时开始在给定的Twitter时间轴中生成推文。我们广泛的实验表明，样式特征在增强最先进的AI生成的文本检测器方面是有效的。
2023-03-07 cs.CL cs.LG
Does Yoga Make You Happy? Analyzing Twitter User Happiness using Textual and Temporal Information
Purdue University（普渡大学）
尽管瑜伽是一种磨练身心的多成分练习，并被认为可以减少焦虑和抑郁，但在社交媒体上对人们与瑜伽相关的情绪状态的理解仍然存在差距。在这项研究中，我们调查练习瑜伽和快乐之间的因果关系，结合使用者的文本和时间信息，使用格兰杰因果关系。为了从文本中找出因果特征，我们测量了两个变量（i）基于内容分析的瑜伽活动水平和（ii）基于情绪状态的幸福水平。为了理解用户的瑜伽活动，我们提出了一个联合嵌入模型的基础上融合的神经网络与注意力机制，利用用户的社会和文本信息。为了测量瑜伽使用者的情绪状态（目标域），我们提出了一种迁移学习方法，从源域上训练的基于注意力的神经网络模型中转移知识。我们在Twitter数据集上的实验表明，有1447名用户“瑜伽格兰杰带来快乐”。
2020-12-05 cs.AI cs.CL cs.CY
Annotating Norwegian Language Varieties on Twitter for Part-of-Speech
University of Oslo（奥斯陆大学）；National Library of Norway（挪威国家图书馆）；University of Bergen（卑尔根大学）；University of the Basque Country（巴斯克大学）
挪威Twitter数据对自然语言处理（NLP）任务提出了一个有趣的挑战。这些文本对于在两种挪威书面形式（Bokmål和Nynorsk）之一的标准化文本上训练的模型来说是困难的，因为它们包含社交媒体文本的典型变体以及大量的方言变体。在本文中，我们提出了一个新的挪威Twitter数据集与POS标签注释。我们发现，在通用依赖（UD）数据上训练的模型在针对该数据集进行评估时表现较差，而在Bokmål上训练的模型通常比在Nynorsk上训练的模型表现更好。我们还看到，方言推文的性能与某些模型的书面标准相当。最后，我们对模型通常在这些数据上产生的错误进行了详细的分析。
2022-10-12 cs.CL
Architecture of Text Mining Application in Analyzing Public Sentiments of West Java Governor Election using Naive Bayes Classification
Amikom Yogyakarta University（阿米孔日惹大学）；Gunadarma University（古纳达玛大学）
西爪哇省省长的选举是一个吸引公众注意力的事件，社交媒体用户也不例外。公众对未来地区领导人的看法有助于预测选民的可当选性和倾向。意见挖掘过程可以使用的数据可以从Twitter获得。由于数据是非常多样的形式和非常非结构化的，它必须使用数据预处理技术进行管理和不知情的半结构化数据。这种半结构化的信息之后是分类阶段，将意见分类为消极或积极的意见。研究方法论采用文献研究，研究将检查以前对类似主题的研究。本研究的目的是要找出适当的架构，将其发展成twitter意见探勘的应用，以了解西爪哇省省长选举的民意。本文的研究结果表明，Twitter意见挖掘是文本挖掘的一部分，Twitter中的意见要想被分类，首先要经过文本预处理阶段。twitter数据所需的预处理步骤是清理，大小写折叠，POS标记和词干分析。由此产生的文本挖掘架构是一个架构，可用于不同主题的文本挖掘研究。
2018-09-20 cs.CL cs.CY cs.IR
Named Entity Recognition in Twitter using Images and Text
University of Bonn（波恩大学）；Federal University of Rio de Janeiro（里约热内卢联邦大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
命名实体识别（NER）是信息抽取的一个重要子任务，旨在定位和识别命名实体。尽管最近取得了一些成就，但我们仍然面临着正确检测和分类实体的限制，尤其是在简短而嘈杂的文本中，例如Twitter。大多数NER方法的一个重要的负面方面是高度依赖手工制作的功能和特定领域的知识，这是实现最先进的结果所必需的。因此，设计模型来处理这种语言上复杂的上下文仍然具有挑战性。在本文中，我们提出了一种新的多级架构，不依赖于任何特定的语言资源或编码规则。与传统方法不同，我们使用从图像和文本中提取的特征来分类命名实体。针对Ritter数据集上Twitter的最新NER的实验测试呈现出具有竞争力的结果（0.59 F-测量），表明这种方法可能会导致更好的NER模型。
2017-10-30 cs.CL cs.IR
A sentiment analysis of Singapore Presidential Election 2011 using Twitter data with census correction
Singapore Management University（新加坡管理大学）；School of Information System（信息系统学院）
情感分析是文本分析中的一个新领域，它侧重于从文本模式中分析和理解情感。这种新的分析形式已被广泛应用于客户关系管理，特别是在投诉管理方面。随着人们对这项技术的兴趣越来越大，越来越多的公司正在采用它，并利用它来支持他们的营销工作。然而，由于抽样偏差，使用twitter进行情感分析仍然非常困难。在本文中，我们将讨论使用重新加权技术结合在线情感划分来预测单个候选人将获得的投票百分比的应用。将深入讨论使用情感分析来预测结果的各个方面，以及由于互联网的匿名性而导致的估计中的潜在陷阱。
2011-08-29 cs.CL cs.SI stat.AP
Geographic Adaptation of Pretrained Language Models
CAIDAS, University of Würzburg（维尔茨堡大学CAIDAS）；Jožef Stefan Institute（约热夫·斯特凡研究所）；University of Ljubljana（卢布尔雅那大学）；University of Oxford（牛津大学）；LMU Munich（慕尼黑大学）；Allen Institute for AI（艾伦人工智能研究所）
针对预训练语言模型缺乏语言外地理语言学知识的问题，提出结合语言建模与地理位置预测的多任务中间训练方法地理适配，经多任务验证效果优于纯语言建模适配，刷新两项基准最优结果，其有效性源于对模型表示空间的地理化修正。
2024-01-28 cs.CL
Alt-Text with Context: Improving Accessibility for Images on Twitter
Carnegie Mellon University（卡内基梅隆大学）；LatinX in AI（LatinX in AI（拉丁裔人工智能组织））；University of California San Diego（加利福尼亚大学圣迭戈分校）
提出融合推文文本与图像视觉信号的多模态 alt-text 生成模型，并构建 371k Twitter 数据集，证明两类上下文效用叠加且 BLEU@4 较先前方法提升逾 2 倍。
2024-02-29 cs.CL cs.CV cs.LG
Deep Learning Approach for Enhanced Cyber Threat Indicators in Twitter Stream
Amrita School Of Engineering, Amrita Vishwa Vidyapeetham（阿姆里塔大学阿姆里塔工程学院）；Texas State University（德克萨斯州立大学）；Cincinnati Children’s Hospital Medical Centre（辛辛那提儿童医院医学中心）
最近几天，通过社交媒体资源（主要是Twitter）共享的网络安全文本数据量有所增加。对这些数据的准确分析可以帮助开发针对网络威胁的网络威胁态势感知框架。本文提出了一种基于深度学习的推文数据分析方法。为了将推文转换为数字表示，采用了各种文本表示。这些特征被馈送到深度学习架构中，以进行最佳特征提取和分类。各种超参数调整方法用于识别最佳文本表示方法以及深度学习模型的最佳网络参数和网络结构。为了进行对比分析，采用了经典的文本表示方法和经典的机器学习算法。从实验的详细分析中，我们发现采用先进文本表示方法的深度学习架构表现优于经典文本表示和经典机器学习算法。其主要原因是，高级文本表示方法能够学习文本数据中存在的顺序属性，而深度学习架构在减少特征大小的同时学习最佳特征。
2020-03-31 cs.CL cs.CR cs.LG
Sentiment analysis model for Twitter data in Polish language
Politechnika Warszawska（华沙理工大学）；Wydział Elektroniki i Technik Informacyjnych（电子与信息技术学院）；Instytut Informatyki（计算机科学研究所）
对2015年5月10日波兰总统选举期间收集的推文进行文本挖掘分析。该项目包括实现从Twitter检索信息的引擎，构建文档语料库，语料库清理，以及创建术语文档矩阵。来自文本语料库的每条推文都根据其情感得分被分配了一个类别。分数是使用每个文档中积极和/或消极的表情符号和波兰语单词的数量计算的。结果数据集用于训练和测试四个机器学习分类器，以选择提供最准确的自动推文分类结果的分类器。朴素贝叶斯算法和最大熵算法的准确率最高，分别为71.76%和77.32%。所有的实现任务都是使用R程序设计语言完成的。
2019-11-03 cs.CL cs.IR cs.LG
Celebrity Profiling on Short Urdu Text using Twitter Followers' Feed
COMSATS University Islamabad, Lahore Campus（卡拉奇校区的COMSATS大学）
本研究利用关注者推文文本，通过机器学习和深度学习模型对乌尔都语名人进行画像，在性别预测上取得最佳性能（cRank和准确率均为0.65）。
2025-10-10 cs.AI cs.CL cs.SI
Twitter Sentiment Analysis System
Vishwakarma Institute of Technology（维什瓦卡玛理工学院）
社交媒体越来越多地被人们用来以短信的形式表达他们的感受和意见。检测文本中的情感具有广泛的应用，包括识别个人的焦虑或抑郁以及测量社区的幸福感或情绪。情绪可以通过许多方式表达，如面部表情和手势，语音和书面文字。文本文档中的情感分析本质上是一个基于内容的分类问题，涉及来自自然语言处理以及机器学习领域的概念。本文讨论了基于文本数据的情感识别和情感分析中使用的技术。
2018-07-20 cs.CL cs.LG stat.ML
Deteksi Depresi dan Kecemasan Pengguna Twitter Menggunakan Bidirectional LSTM
Universitas Brawijaya（布拉维贾亚大学）；UIN Maulana Malik Ibrahim（毛拉纳马利克易卜拉欣国立伊斯兰大学）；Universitas Gadjah Mada（加查马达大学）；Universitas Widyagama Malang（维迪亚加玛玛琅大学）
一个人在日常生活中经历的最常见的精神障碍是抑郁和焦虑。社会污名使抑郁和焦虑患者被周围的环境所忽视。因此，他们转向Twitter等社交媒体寻求支持。通过文本数据检测潜在的抑郁症和焦虑症用户并不容易，因为他们没有明确地讨论他们的精神状态。它需要一个模型，可以识别出在文本数据上经历抑郁和焦虑的潜在用户，以便更早地获得治疗。文本分类技术可以实现这一点。可以使用的一种方法是LSTM作为处理消失梯度问题的RNN架构开发。标准LSTM无法捕获足够的信息，因为它只能从一个方向读取句子。同时，双向LSTM（BiLSTM）是一种双向LSTM，可以在不忽略句子上下文和含义的情况下捕获信息。提出的BiLSTM模型比所有传统的机器学习模型和标准LSTM都要高。根据测试结果，BiLSTM获得的最高准确率达到94.12%。这项研究成功地开发了一个模型，用于检测Twitter用户的抑郁和焦虑。
2023-01-11 cs.CL
TwHIN-BERT: A Socially-Enriched Pre-trained Language Model for Multilingual Tweet Representations at Twitter
The University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Twitter Cortex（推特Cortex）
针对现有预训练语言模型未适配社交媒体文本、未利用社交互动数据的问题，提出融合文本自监督与TwHIN社交目标的多语言模型TwHIN-BERT，在多类任务上取得显著提升并开源相关资源。
2023-08-27 cs.CL
Using Neural Generative Models to Release Synthetic Twitter Corpora with Reduced Stylometric Identifiability of Users
Pennsylvania State University（宾夕法尼亚州立大学）
我们提出了一种使用神经生成模型生成Twitter数据的合成版本的方法。其目标是保护源数据中的个人免受样式重新识别攻击，同时仍然发布具有研究价值的数据。具体来说，我们生成的推文语料库，保持用户级的单词分布，通过增强神经语言模型与用户特定的组件。我们比较我们的方法，两个标准的文本数据保护方法：编校和迭代翻译。我们评估了三种方法的风险和效用的措施。我们定义风险的重新识别的风格模型，我们定义两个一般的字分布措施和两个常见的文本分析研究任务的基础上的效用。我们发现，神经模型能够显着降低风险，比以前的方法几乎没有成本的效用。我们还证明了神经模型允许数据提供者通过模型调整参数来主动控制风险-效用权衡。这项工作为一种新工具提供了有希望的结果，该工具解决了自由文本的隐私问题，并以尊重隐私和道德责任的方式共享社交媒体数据。
2018-05-30 cs.CL
Effect of Text Processing Steps on Twitter Sentiment Classification using Word Embedding
Tennessee State University（田纳西州立大学）；Old Dominion University（欧道明大学）
原始文本的处理是文本分类和情感分析中至关重要的第一步。然而，文本处理步骤通常使用现成的例程和预构建的单词词典来执行，而不针对域、应用和上下文进行优化。本文研究了七种文本处理方案对特定文本域（Twitter）和应用程序（情感分类）的影响。基于跳过语法的词嵌入被开发为包括Twitter口语词、表情符号和主题标签关键词，这些关键词通常由于在传统文学语料库中不可用而被移除。我们的实验揭示了两个常见的文本处理步骤对情感分类的负面影响：1）停止词去除和2）平均词向量来表示单个推文。新的有效步骤1）包括非ASCII表情符号字符，2）从词嵌入中测量词的重要性，3）将词向量聚合到推文嵌入中，以及4）开发线性可分离的特征空间，以优化情感分类管道。文本处理步骤的最佳组合在对具有三个情感标签的14，640条推文进行分类时产生最高的平均曲线下面积（AUC）88.4（+/-0.4）。从上下文驱动的词嵌入中进行的词选择显示，只有推文中最重要的十个词累积产生超过98%的最大准确率。结果表明，数据驱动的选择的重要的话，而不是使用预先建立的单词词典的推文分类的手段。所提出的推文嵌入对几个文本处理步骤是鲁棒的，并且简化了对几个文本处理步骤的需要。
2020-07-25 cs.CL cs.IR cs.LG
A Case Study of Spanish Text Transformations for Twitter Sentiment Analysis
INFOTEC Centro de Investigación e Innovación en Tecnologías de la Información y Comunicación（INFOTEC 信息与通信技术研究与创新中心）；CentroGEO Centro de Investigación en Ciencias de Información Geoespacial（CentroGEO 地理空间信息科学研究中心）；CONACyT Consejo Nacional de Ciencia y Tecnología（国家科学技术委员会）
情感分析是确定给定文本的极性的文本挖掘任务，即，它的积极性或消极性。最近，它受到了很多关注，因为人们对微博平台上的意见挖掘很感兴趣。这些新形式的文本表达提出了新的挑战，分析文本使用俚语，拼写和语法错误，等等。除了这些挑战，一个实用的情感分类器应该能够有效地处理大的工作负载。这项研究的目的是确定哪些文本转换（词形化，词干提取，实体删除等），标记器（例如，单词$n$ -gram），以及标记加权方案对在两个西班牙语语料库上训练的分类器（支持向量机）的准确性影响最大。所使用的方法是详尽地分析文本转换及其各自参数的所有组合，以找出最佳性能分类器的共同特征。此外，在不同的文本转换研究，我们介绍了一种新的方法的基础上相结合的基于单词的$n$ -gram和字符的$q$ -gram。结果表明，这种新颖的词和字符的组合产生的分类器，优于传统的基于词的组合$11.17\%$和$5.62\%$在INEGI和TASS'15数据集，分别。
2021-06-03 cs.CL
TwiSent: A Multistage System for Analyzing Sentiment in Twitter
在本文中，我们提出了TwiSent，一个情感分析系统的Twitter。根据搜索的主题，TwiSent收集与之相关的推文，并将其分类为积极，消极和客观的不同极性类别。然而，与其他文本类型相比，分析微博帖子有许多固有的挑战。通过TwiSent，我们解决了以下问题：1）Twitter中与情感分析有关的垃圾邮件，2）文本中的结构异常，如拼写错误、不标准的缩写、俚语等，3)主题语境中的实体特异性; 4）语篇中的语用学。该系统的性能进行了评估手动注释的黄金标准数据和自动注释的推文集的基础上的标签。在自动注释的数据集上显示监督系统的有效性是一种常见的做法。然而，我们表明，这样的系统实现较低的分类精度时，测试通用twitter数据集。我们还表明，我们的系统比现有的系统表现得更好。
2012-09-18 cs.CL cs.IR
Named Entity Recognition on Twitter for Turkish using Semi-supervised Learning with Word Embeddings
Intel Corporation（英特尔公司）
最近，由于社交媒体的日益普及，从非正式文本类型（如微博文本）中提取信息的必要性得到了极大的关注。在这项研究中，我们专注于命名实体识别（NER）问题的非正式文本类型的土耳其语。我们利用了一种基于神经网络的半监督学习方法。我们应用了一种快速的无监督方法来学习向量空间中单词的连续表示。我们利用这些获得的词嵌入，与语言无关的功能，设计更好地工作在非正式的文本类型，为微博文本生成土耳其NER系统。我们评估了我们的土耳其NER系统的Twitter消息，并取得了更好的F分数性能比以前提出的NER系统土耳其推文的公布结果。由于我们没有采用任何语言依赖的功能，我们相信我们的方法可以很容易地适应其他形态丰富的语言微博文本。
2018-10-20 cs.CL cs.LG stat.ML
Topical Stance Detection for Twitter: A Two-Phase LSTM Model Using Attention
IBM Research（IBM研究院）；NSIT（Netaji Subhas Institute of Technology）；IIT（印度理工学院）
主题立场检测问题解决了检测文本内容相对于给定主题的立场：给定文本内容的情感是否对给定主题有利（积极），反对（消极）或无（中性）。使用注意力的概念，我们开发了一个两阶段的解决方案。在第一阶段，我们对主观性进行分类--一条给定的推文对于给定的主题是中立的还是主观的。在第二阶段，我们对主观推文的情感进行分类（忽略中性推文）-给定的主观推文是否对主题持赞成或反对的立场。我们为每个阶段提出了一个基于长短期记忆（LSTM）的深度神经网络，并在每个阶段嵌入注意力。在SemEval 2016立场检测Twitter任务数据集上，我们获得了68.84%的最佳情况宏F分数和60.2%的最佳情况准确率，优于现有的基于深度学习的解决方案。我们的框架T-PAN是主题立场检测文献中的第一个，它在两阶段架构中使用了深度学习。
2018-01-09 cs.CL cs.IR cs.SI
Exploring Personality and Online Social Engagement: An Investigation of MBTI Users on Twitter
通过计算模型进行基于文本的人格预测是一个新兴的领域，具有显著改善基于调查的人格评估的关键弱点的潜力。我们调查了来自Twitter的3848个个人资料，这些个人资料具有自我标记的迈尔斯-布里格斯人格特质（MBTI）-一个与人格五因素模型密切相关的框架-以更好地了解如何使用基于文本的数字痕迹来预测用户的人格特质。我们利用BERT，一种基于深度学习的最先进的NLP架构，来分析对我们的任务具有最大预测能力的各种文本来源。我们发现，传记、状态和喜欢的推文对MBTI系统的所有维度都有显著的预测能力。我们讨论了我们的研究结果及其对MBTI和词汇假设有效性的影响，词汇假设是五因素模型的基础理论，它将语言使用和行为联系起来。我们的研究结果对人格心理学家，计算语言学家和其他社会科学家具有乐观的影响，这些科学家旨在从观察文本数据中预测人格，并探索语言与核心行为特征之间的联系。
2021-09-14 cs.CL cs.LG
On the Ground Validation of Online Diagnosis with Twitter and Medical Records
Pennsylvania State University（宾夕法尼亚州立大学）
社交媒体被认为是追踪疾病的数据来源。然而，大多数分析都是基于模型，这些模型优先考虑与人口水平疾病率的强相关性，而不是确定特定的个人用户是否真的生病。采取不同的方法，我们开发了一种新的系统，用于在个人层面上使用专业诊断的个人样本进行基于社交媒体的疾病检测。具体来说，我们开发了一个系统，根据个人公开的Twitter数据进行准确的流感诊断。我们发现，样本中大约一半（17/35 = 48.57%）的患病用户在Twitter上明确讨论了他们的疾病。通过开发一个结合了文本分析、异常检测和社会网络分析的Meta分类器，即使一个人没有讨论她的健康状况，我们也能够以99%以上的准确率诊断她。
2014-04-11 cs.CL cs.LG cs.SI
Feature Selection on Noisy Twitter Short Text Messages for Language Identification
Department of Computer Engineering, Jamia Millia Islamia（贾米亚·米利亚·伊斯兰亚大学计算机工程系）
书面语言识别的任务通常涉及检测文本样本中存在的语言。此外，文本序列可以不属于单一固有语言，也可以是以多种语言编写的文本的混合。由于其灵活和用户友好的环境，这种文本在社交媒体平台上大量生成。这种文本包含非常大量的特征，这些特征对于统计、概率以及其他种类的语言模型的开发是必不可少的。大量的特征具有丰富的以及不相关和冗余的特征，这些特征对学习模型的性能具有不同的影响。因此，特征选择方法在选择与有效模型最相关的特征方面是重要的。在这篇文章中，我们主要考虑印地语-英语语言识别任务，因为印地语和英语通常是印度最广泛使用的两种语言。我们在各种学习算法中应用不同的特征选择算法，以分析算法的效果以及特征数量对任务性能的影响。该方法的重点是词级语言识别使用一个新的数据集6903从Twitter上提取的推文。不同的n-gram配置文件检查不同的特征选择算法在许多分类器。最后，一个详尽的比较分析，提出了相对于为任务进行的整体实验。
2020-07-11 cs.CL cs.LG
Dialect Diversity in Text Summarization on Twitter
Yale University（耶鲁大学）
Twitter上的讨论涉及来自不同方言的不同社区的参与，通常需要将大量帖子汇总为具有代表性的样本以提供概要。然而，任何这样的代表性样本都应该充分描绘潜在的方言多样性，以呈现代表方言的不同参与社区的声音。提取摘要算法执行构建子集的任务，这些子集简洁地捕获任何给定帖子集合的主题。然而，我们观察到，有方言偏见的摘要产生的共同摘要方法，即，他们通常返回的摘要不足以代表某些方言。绝大多数现有的“公平”摘要方法需要社会显著属性标签（在这种情况下，方言），以确保所生成的摘要相对于社会显著属性是公平的。然而，在许多应用中，这些标签并不存在。此外，由于社交媒体中方言的不断发展，标记或准确推断每个社交媒体帖子的方言是不合理的。为了纠正方言偏见，我们采用了一个框架，将现有的文本摘要算法作为一个黑盒，并使用一小部分方言多样化的句子，返回一个相对更方言多样化的摘要。至关重要的是，这种方法不需要被总结的帖子具有方言标签，确保多样化过程独立于方言分类/识别模型。我们展示了我们的方法在Twitter数据集上的有效性，这些数据集包含由种族或性别定义的不同社会群体使用方言撰写的帖子;在所有情况下，与标准文本摘要方法相比，我们的方法都能提高方言多样性。
2021-04-04 cs.CL cs.CY
Predicting Twitter User Socioeconomic Attributes with Network and Language Information
University of Sheffield（谢菲尔德大学）；Imperial College London（伦敦帝国理工学院）
社会媒体用户的社会经济属性（如职业和收入）的推断是计算社会科学中的一个重要问题。这些特征的自动推理在个性化推荐系统、有针对性的计算广告和在线政治竞选中有应用。虽然以前的工作已经表明，语言特征可以可靠地预测Twitter上的社会经济属性，但尚未针对如此复杂的用户特征探索使用来自用户社交网络的信息。在本文中，我们描述了一种方法，用于预测职业类和收入的Twitter用户给定的信息提取从他们的扩展网络通过学习低维向量表示的用户，即图嵌入。我们使用这种表示来训练职业类别和收入的预测模型。两个公开数据集的结果表明，我们的方法在这两个任务中始终优于最先进的方法。当我们将图嵌入与文本特征相结合时，我们还获得了进一步的显着改进，表明社交网络和语言信息是互补的。
2018-04-11 cs.AI cs.CL cs.SI
A Case Study in Text Mining: Interpreting Twitter Data From World Cup Tweets
University of North Carolina（北卡罗来纳大学）；Brigham Young University – Idaho（杨百翰大学爱达荷分校）；Wofford College（沃福德学院）；NC State University（北卡罗来纳州立大学）
聚类分析是数据分析的一个领域，它提取数据中的潜在模式。聚类分析的一个应用是在文本挖掘中，分析大量文本以找到文档之间的相似性。我们使用了世界杯开始前从Twitter上提取的大约30，000条推文。真实世界文本数据的一个常见问题是存在语言噪声。在我们的例子中，这将是无关的推文，与主导主题无关。为了解决这个问题，我们创建了一个结合DBSCAN算法和共识矩阵的算法。这样，我们就只剩下与这些主导主题相关的推文了。然后，我们使用聚类分析来找到这些推文描述的主题。我们使用k-means（一种常用的聚类算法）和非负矩阵分解（NMF）对推文进行聚类，并比较结果。这两种算法给出了类似的结果，但NMF被证明是更快，并提供更容易解释的结果。我们使用两个可视化工具Gephi和Wordle探索了我们的结果。
2014-08-21 cs.CL cs.IR cs.LG
MaNLP@SMM4H22: BERT for Classification of Twitter Posts
Manipal Institute of Technology（马尼帕尔理工学院）
所报告的工作是我们对由社会媒体挖掘健康应用（SMM 4 H）研讨会组织的推文自我报告年龄的共享任务分类的直接方法。该文献描述了用于构建二元分类系统的方法，该系统将与生日帖子相关的推文分为两类，即精确年龄（正类）和非精确年龄（负类）。我们提交了两份在文本预处理方面存在差异的作品，组织者评估时，它们的F1分数分别为0.80和0.81。
2022-12-12 cs.CL
