Improved Twitter Sentiment Prediction through Cluster-then-Predict Model
NITTTR Bhopal(博帕尔国家技术教师培训与研究学院)
在过去的十年中,人类在使用在线资源方面经历了指数级增长,特别是社交媒体和微博网站,如Facebook,Twitter,YouTube以及移动应用程序,如WhatsApp,Line等。这些知识提供了宝贵的反馈,使他们能够进一步开发下一代产品。在本文中,情感分析的产品是通过提取有关该产品的推文和分类的推文显示它作为积极和消极的情绪。作者提出了一种混合的方法,它结合了无监督学习的K-means聚类的形式来聚类的推文,然后执行监督学习方法,如决策树和支持向量机进行分类。
2015-09-08 cs.CL cs.IR cs.LG
EveTAR: Building a Large-Scale Multi-Task Test Collection over Arabic Tweets
本文介绍了一种新的独立于语言的方法,用于创建一个大规模的高质量的tweets测试集合,该集合支持多个信息检索(IR)任务,而无需运行共享任务活动。所采用的方法(在阿拉伯语推文上演示)围绕重要的(即,流行的)事件,这使得能够开发代表Twitter用户频繁信息需求的主题,其中存在丰富的内容。这本质上有利于支持通常围绕事件的多个任务,即事件检测、ad-hoc搜索、时间轴生成和实时摘要。该方法的主要亮点包括通过交互式搜索和每个主题的多个手动查询来使判断池多样化,通过人群工作者收集高质量的注释以获得相关性和内部注释者的新颖性,过滤掉低协议主题和无法访问的推文,并提供集合的多个子集以提高可用性。将我们的方法应用于阿拉伯语推文导致了EveTAR,这是第一个免费提供的多个IR任务的推文测试集合。EveTAR包括对3.55亿条阿拉伯语推文的抓取,并涵盖了50个重要事件,其中约62 K条推文被判断为具有实质性的平均注释者间一致性(Kappa值为0.71)。我们证明了可用性的EveTAR评估现有的算法在各自的任务。结果表明,新的集合可以支持可靠的排名IR系统,是类似的TREC集合,同时提供强大的基线结果,为未来的研究超过阿拉伯语的推文。
2017-08-21 cs.IR
Towards Successful Social Media Advertising: Predicting the Influence of Commercial Tweets
The Ohio State University(俄亥俄州立大学)
企业出于各种原因使用Twitter进行沟通-提高其品牌的知名度,营销新产品,回应社区评论,并以有针对性的方式与客户和潜在客户联系。对于企业来说,要有效地做到这一点,他们需要了解关于推文的哪些内容和结构元素使其具有影响力,即广泛喜欢,关注和转发。本文提出了一种系统的方法来分析商业推文,并预测其对读者的影响。我们的模型使用装饰和Meta特征的组合,优于基线模型和推文嵌入模型的预测能力。此外,为了展示这项工作的实际用途,我们展示了如何设计一个不成功的推文(例如,改写),以增加其成功的潜力。
2019-10-28 cs.CL cs.IR cs.SI
Filtering Tweets for Social Unrest
Carnegie Mellon University(卡内基梅隆大学);The DarkStar Group(DarkStar集团);University of Maryland(马里兰大学);The College of New Jersey(新泽西学院)
自阿拉伯之春事件以来,人们越来越有兴趣利用社交媒体预测社会动荡。虽然已经在努力实现自动化的动荡预测,但我们专注于过滤大量的推文,以识别与动荡相关的推文,这些推文可以提供给下游用户进行进一步分析。我们训练一个有监督的分类器,能够将阿拉伯语推文标记为与高可靠性的骚乱相关。我们研究了训练数据大小和性能之间的关系,并研究了在最小化成本的同时优化模型构建过程的方法。我们还探讨了如何设置置信阈值,以实现所需的性能水平。
2017-04-01 cs.CL cs.IR cs.LG
ArSentD-LEV: A Multi-Topic Corpus for Target-based Sentiment Analysis in Arabic Levantine Tweets
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);American University of Beirut(贝鲁特美国大学);Qatar University(卡塔尔大学)
情感分析是一项非常主观和具有挑战性的任务。当应用于阿拉伯语时,其复杂性进一步增加,主要是因为大量的方言是不标准化的,并且在网络中广泛使用,特别是在社交媒体中。虽然已经发布了许多数据集来用阿拉伯语训练情感分类器,但这些数据集中的大多数都包含浅层注释,仅将文本单元的情感标记为单词,句子或文档。在本文中,我们提出了阿拉伯语情绪Twitter数据集的黎凡特方言(ArSenTD-LEV)。根据对黎凡特地区推文的分析结果,我们创建了一个包含4,000条推文的数据集,并附有以下注释:推文的总体情绪、表达情绪的目标、表达情绪的方式以及推文的主题。结果证实了这些注释在提高基线情感分类器性能方面的重要性。他们还证实了在某个领域的培训和在另一个领域的测试之间的差距。
2019-05-25 cs.CL cs.IR cs.LG
SMERC: Social media event response clustering using textual and temporal information
用于事件检测的推文聚类是一种功能强大的现代方法,可以自动实时检测事件。在这项工作中,我们提出了一个新的鸣叫聚类方法,使用概率的方法,将时间信息。通过分析推文之间的时间间隔的分布,我们发现,对相关的推文之间的差距呈指数衰减,而不相关的推文之间的差距是近似均匀的。在此基础上,我们使用概率参数来估计一对推文相关的可能性,并建立一个改进的聚类方法。我们的方法社会媒体事件响应聚类(SMERC)创建集群的推文的基础上,他们的倾向是与一个单一的事件。我们评估我们的方法在三个层面上:通过传统的事件预测推文聚类,通过测量创建的集群质量的提高,并比较聚类精度和召回率与其他方法。通过应用SMERC在一些体育赛事期间收集的推文,我们证明,将时间信息导致国家的最先进的聚类性能。
2018-11-13 cs.IR cs.SI physics.data-an
I-AID: Identifying Actionable Information from Disaster-related Tweets
Paderborn University(帕德博恩大学);Menoufia University(梅努菲亚大学)
社交媒体在灾害管理中发挥着重要作用,提供有关受灾人员、捐款和帮助请求的宝贵数据。最近的研究强调需要将社交媒体上的信息过滤成细粒度的内容标签。然而,在危机期间从大量社交媒体帖子中识别有用信息是一项具有挑战性的任务。在本文中,我们提出了I-AID,一个多模型的方法来自动分类的推文到多标签的信息类型和过滤的关键信息,从大量的社交媒体数据。I-AID包含三个主要组件:i)基于BERT的编码器,用于捕获推文的语义并表示为低维向量; ii)图形注意力网络(GAT),用于理解推文的单词/实体与相应信息类型之间的相关性;以及iii)关系网络,作为可学习的距离度量,用于以监督的方式计算推文与其相应信息类型之间的相似性。我们在两个真实的公开数据集上进行了几次实验。我们的研究结果表明,I-AID在TREC-IS数据集和COVID-19推文的加权平均F1得分方面分别优于最先进的方法+6%和+4%。
2021-05-19 cs.AI cs.CL cs.IR
MiDe22: An Annotated Multi-Event Tweet Dataset for Misinformation Detection
Aselsan(阿塞尔桑公司)
针对社交网络错误信息快速传播的问题,本研究构建了含英、土双语共万余条标注推文的多事件数据集MiDe22,包含用户互动数据,并完成数据分析与检测基准评估。
2024-07-11 cs.CL cs.IR cs.SI
TGSum: Build Tweet Guided Multi-Document Summarization Dataset
The Hong Kong Polytechnic University(香港理工大学);Peking University(北京大学);Microsoft Research(微软研究院)
摘要研究的发展一直受到昂贵的参考摘要获取的严重阻碍。本文提出了一种有效的方法来自动收集大规模的新闻相关的多文档摘要参考社会媒体的反应。我们在推文中使用两种类型的社交标签,即,标签和超链接主题标签用于将文档聚类到不同的主题集中。此外,带有超链接的推文通常会突出显示相应文档的某些关键点。我们合成一个链接的文档簇,形成一个参考摘要,可以涵盖大多数关键点。为此,我们采用了ROUGE度量来衡量覆盖率,并开发了一个线性规划的解决方案来发现达到ROUGE上界的句子集。由于我们允许从文档和高质量的推文中选择摘要句子,因此生成的参考摘要可以是抽象的。所收集的摘要的信息量和可读性均通过人工判断进行验证。此外,我们训练支持向量回归摘要DUC通用多文档摘要基准。将收集到的数据作为额外的训练资源,使摘要器在所有测试集上的性能都有了很大的提高。我们发布此数据集以供进一步研究。
2015-11-26 cs.CL cs.IR
Multi-Task Learning for Extraction of Adverse Drug Reaction Mentions from Tweets
International Institute of Information Technology-Hyderabad(海得拉巴国际信息技术研究所);Microsoft(微软);TCS Research(塔塔咨询服务研究中心)
药物不良反应(ADR)是医疗保健中死亡的主要原因之一。当前的ADR监测系统通常在此类事件正式发布之前存在很长的时间滞后。另一方面,Twitter等在线社交媒体包含有关ADR事件的实时信息,远早于任何官方报告。当前最先进的ADR提及提取使用递归神经网络(RNN),其通常需要大型标记语料库。为此,我们提出了一种基于多任务学习的方法,该方法可以利用类似的辅助任务(药物不良事件检测)来增强主任务的性能,即,ADR提取。此外,在没有辅助任务数据集的情况下,我们提出了一种新的联合多任务学习方法,当有大量未标记的推文时,自动生成辅助任务的弱监督数据集。实验结果表明,在F1得分方面,所提出的方法比最先进的ADR提及提取任务的方法高出7.2%。
2018-02-14 cs.CL cs.IR
Understanding the Role of Affect Dimensions in Detecting Emotions from Tweets: A Multi-task Approach
IIT Kharagpur(印度理工学院卡拉格普尔分校);MAIS Bangalore(班加罗尔MAIS)
我们提出了VADEC,一个多任务框架,利用情感表征的分类和维度模型之间的相关性,以更好地进行主观分析。主要集中在有效地检测情绪的推文,我们共同训练多标签情感分类和多维情感回归,从而利用任务之间的相互关联。联合训练特别有助于提高分类任务的性能,因为我们在AIT数据集上的Jaccard准确性,Macro-F1和Micro-F1得分分别提高了3.4%,11%和3.9%。我们还实现了最先进的结果,在SenWave数据集上的六个不同指标上平均获得了11.3%的增益。对于回归任务,VADEC在使用SenWave进行训练时,在EMOBANK数据集上的Pearson Correlation得分分别比Valence(V)和Dominance(D)影响维度的当前最先进水平提高了7.6%和16.5%。我们以印度人发布的COVID-19推文的案例研究来结束我们的工作,这进一步有助于确定我们提出的解决方案的有效性。
2021-05-09 cs.CL cs.IR
Towards Real-Time, Country-Level Location Classification of Worldwide Tweets
University of Warwick(华威大学);University of St Andrews(圣安德鲁斯大学)
与以前的工作集中在位置分类的推文仅限于一个特定的国家相比,在这里,我们承担的任务在更广泛的背景下,在国家一级的全球推文分类,这是迄今为止尚未探索的实时的【形】场景。我们分析在何种程度上可以确定一个推文的原产国利用八个推文的固有特征进行分类。此外,我们使用两个数据集,收集彼此相隔一年,以分析从历史推文训练的模型仍然可以用于新推文分类的程度。通过对我们数据集中所有217个国家以及前25个国家的分类实验,我们对如何最好地利用推文固有特征进行准确的国家级推文分类提供了一些见解。我们发现,使用一个单一的功能,如单独使用推文内容-在以前的工作中使用最广泛的功能-留下了很多需要改进的地方。选择一个适当的tweet内容和元数据的组合实际上可以带来20%到50%的实质性改进。我们观察到推文内容、用户自我报告的位置和用户的真实姓名,所有这些都是推文中固有的,并且在实时的【形】场景中可用,对于确定来源国特别有用。我们还对在历史推文上训练的模型对新推文进行分类的适用性进行了实验,发现选择其效用不会随着时间的推移而减弱的特定特征组合实际上可以带来相当的性能,从而避免重新训练的需要。然而,对于具有多种共同点的国家,特别是英语和西班牙语国家,实现准确分类的难度略有增加。
2017-04-25 cs.CL cs.IR cs.SI
GeoCoV19: A Dataset of Hundreds of Millions of Multilingual COVID-19 Tweets with Location Information
Qatar Computing Research Institute(卡塔尔计算研究院);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文发布 GeoCoV19,一个涵盖 90 天、超过 5.24 亿条多语言推文并含地理位置推断的大规模 Twitter 数据集,以支持 COVID-19 期间的社会响应分析及假新闻识别、疾病预测等计算研究。
2020-05-22 cs.CL cs.CY cs.IR