Timeline Generation: Tracking individuals on Twitter
在本文中,我们提出了一个无监督的框架来重建一个人的生活史,创建一个按时间顺序排列的列表{ \it个人重要事件}(PIE)的个人的基础上,他们发布的推文。通过分析个人tweet集合,我们发现适合包含在个人时间轴中的应该是谈论个人(而不是公共)和特定时间(而不是一般时间)主题的tweet。为了进一步提取这些类型的主题,我们引入了一个非参数的多层次狄利克雷过程模型来识别四种类型的推文:个人时间特定的(PersonTS),个人时间一般(PersonTG),公共时间特定的(PublicTS)和公共时间一般(PublicTG)的主题,这反过来,用于进一步的个人事件提取和时间轴生成。据我们所知,这是第一个专注于从twitter数据中为个人生成时间轴的工作。为了进行评估,我们基于Twitter和Wikipedia构建了一个新的黄金标准时间表,其中包含来自20个{ \it普通Twitter用户}和20个{ \it名人}的PIE相关事件。真实Twitter数据上的实验定量地证明了我们的方法的有效性。
2014-02-07 cs.IR cs.SI
A large-scale Twitter dataset for drug safety applications mined from publicly existing resources
随着用于自然语言处理(NLP)任务的深度学习模型的普及,在药物警戒领域,更具体地说,用于识别药物不良反应(ADR),存在针对此类任务的大规模社交媒体数据集的内在需求。由于大多数研究人员分配大量时间来抓取Twitter或购买昂贵的预先策划的数据集,然后由人类手动注释,这些方法不能很好地扩展,因为越来越多的数据不断在Twitter中流动。在这项工作中,我们重新利用了一个超过94亿条推文的公开存档数据集,目的是创建一个非常大的药物使用相关推文数据集。使用文献中现有的手动策划数据集,然后使用机器学习方法验证我们过滤的推文的相关性,最终结果是公开的数据集为1,181,993百万条推文供公众使用。我们提供了所有的代码和详细的过程,如何提取这个数据集和选定的鸣叫ID的研究人员使用。
2020-03-31 cs.IR cs.SI
Using machine learning and information visualisation for discovering latent topics in Twitter news
我们提出了一种方法来发现潜在的主题和可视化的大型集合的推文,易于识别和解释的主题,并在2014年至2019年期间,从哥伦比亚大众媒体巨头的推文使用。潜在主题分析以两种方式进行:训练潜在Dirichlet分配模型,并结合FastText无监督模型将推文表示为向量,并实施K-means聚类将推文分组为主题。使用分类任务,我们发现人们根据不同的新闻主题做出不同的反应。分类任务包括以下内容:给定对新闻推文的回复,我们训练一个监督算法来预测新闻推文的主题。此外,我们还展示了哥伦比亚和平条约如何对哥伦比亚社会产生了深远的影响,因为这是大多数人参与表达意见的主题。
2019-10-21 cs.IR cs.SI
ArCOV19-Rumors: Arabic COVID-19 Twitter Dataset for Misinformation Detection
Qatar University(卡塔尔大学)
在本文中,我们介绍了ArCOV 19-Rumors,这是一个用于错误信息检测的阿拉伯语COVID-19 Twitter数据集,由2020年1月27日至4月底包含声明的推文组成。我们收集了138个经过验证的声明,大部分来自流行的事实核查网站,并确定了9.4K与这些声明相关的推文。推特被人工标注了真实性,以支持错误信息检测的研究,这是大流行期间面临的主要问题之一。ArCOV 19-谣言支持两个级别的错误信息检测:验证自由文本声明(称为声明级别验证)和验证推文中表达的声明(称为推文级别验证)。我们的数据集除健康外,还涵盖与受COVID-19影响的其他主题类别相关的索赔,即社会,政治,体育,娱乐和宗教。此外,我们提出了对数据集的推文级验证的基准测试结果。我们试验了SOTA模型的通用方法,利用内容,用户简档功能,时间特征和传播结构的会话线程的鸣叫验证。
2021-03-13 cs.CL cs.IR cs.SI
Graph-based Method for Summarized Storyline Generation in Twitter
Twitter已成为全球实时信息的主要来源,也是探索新兴事件、突发新闻和对广大受众最重要的一般话题的绝佳媒介。另一方面,Twitter中爆炸性的信息传入速度导致用户体验信息过载。然而,很大一部分推文是关于新闻事件的,总结事件的故事情节可以帮助用户轻松访问隐藏在推文中的相关和关键信息,从而得出高层次的结论。讲故事的任务是按时间顺序总结重要的子事件的发展,并勾勒出子事件之间的关系。在本文中,我们提出了一个新的框架,从社会的角度来生成一个概括的新闻事件的故事情节。利用图论中的概念,我们识别子事件,总结子事件的演变,并生成一个连贯的故事情节。我们的方法模型的故事情节作为一个有向树的社会显着的子事件随着时间的推移而演变。为了克服大量的冗余推文,我们在超级推文中保留了提炼的信息。在伊朗总统选举(#IranElection)期间发送的推文的大规模数据集上进行的实验,结果证明了我们的框架的效率和有效性。
2017-04-01 cs.IR cs.SI
A Study of "Churn" in Tweets and Real-Time Search Queries (Extended Version)
Twitter的实时的【形】性意味着推文和搜索查询中的术语分布变化很快:一个小时内最频繁的术语可能与下一个小时看起来非常不同。非正式地,我们称这种现象为“流失”。我们对分析流失的兴趣源于实时的【形】搜索的角度。几乎所有的排名功能,无论是机器学习的还是其他的,都依赖于术语统计数据,例如术语频率,文档频率以及查询频率。在实时的【形】背景下,考虑到潜在的分布变化很快,我们如何计算这些统计数据?在本文中,我们提出了在Twitter上的推文和查询流失的分析,作为回答这个问题的第一步。分析揭示了有趣的见解的时间动态的长期分布在Twitter上的搜索系统的设计和持有的影响。
2012-05-30 cs.IR cs.SI
Automatic Query Optimization for Retrieving Traffic Tweets
与许多社交媒体和数据经纪公司一样,Twitter通过搜索API(应用程序编程接口)提供数据。除了按日期和位置过滤结果外,研究人员还可以使用布尔文本查询来搜索具有特定内容的推文,使用{ \it AND}、{ \it OR}和{ \it NOT}运算符来选择必须或不得出现在匹配推文中的短语组合。这种布尔文本搜索系统并不是Twitter独有的,它在许多不同的环境中都可以找到,包括学术,法律和医疗数据库,但是由于推文的相对数量和简短性,它在Twitter的用例中被扩展到了极限。此外,在20世纪80年代和90年代期间,在信息检索的主题下,对这种系统的半自动化使用进行了很好的研究,然而,从那时起,对这种系统的研究已经大大下降。因此,我们提出了更新的方法,自动选择和完善复杂的布尔搜索查询,可以隔离相关的结果具有更大的特异性和完整性。此外,我们提出了初步的结果,使用优化的查询收集样本的交通事故相关的推文,以及手动分类和分析它们的结果。
2020-06-21 cs.IR cs.SI
Twitter Sentiment Analysis
这个项目解决了twitter中的情感分析问题;也就是根据其中表达的情感对tweet进行分类:积极的,消极的或中性的。Twitter是一个在线微博和社交网络平台,允许用户编写最长140个字符的简短状态更新。这是一个迅速扩大的服务,拥有超过2亿注册用户-其中1亿是活跃用户,其中一半每天登录twitter-每天产生近2.5亿条推文。由于大量的使用,我们希望通过分析推文中表达的情绪来反映公众情绪。分析公众情绪对于许多应用都很重要,例如公司试图找出他们的产品在市场上的反应,预测政治选举和预测股票交易等社会经济现象。该项目的目的是开发一个功能分类器,用于对未知的推文流进行准确和自动的情感分类。
2015-09-14 cs.CL cs.IR cs.SI
Tweets Miner for Stock Market Analysis
Ivan Franko Lviv National University(伊万·弗兰科利沃夫国立大学)
在本文中,我们提出了一个软件包的数据采掘的Twitter微博的目的是使用它们的股票市场分析。该软件包是用R语言编写的,使用适当的R软件包。我们考虑了推文的模型。我们还将股市图表与Twitter微博消息中常见的关键词集进行了比较。
2013-05-30 cs.CL cs.IR cs.SI
Smart Crawling: A New Approach toward Focus Crawling from Twitter
CentraleSupélec(中央高等电力学院);Paris-Saclay University(巴黎萨克雷大学);LRI(巴黎第十一大学计算机科学实验室)
Twitter是一个社交网络,提供了丰富而有趣的信息来源,具有检索和分析的挑战性。Twitter数据可以使用REST API访问。可用的操作允许基于一组关键字检索tweets,但有限制,例如每分钟调用的次数和结果的大小。此外,对检索结果没有控制,查找与特定主题相关的推文是一个大问题。考虑到这些限制,查询关键字必须明确地覆盖感兴趣的主题,以便获得相关答案并减少API调用的数量。在本文中,我们介绍了一种新的爬行算法,称为“SmartTwitter爬行”(STIC)检索一组相关的目标主题的推文。在该算法中,我们采用初始关键字查询,并使用来自不同数据源的一组附加关键字来丰富它。STIC算法依赖于Twittergraph中的DFS搜索,其中每个到达的tweet如果与查询关键字相关,则使用评分来考虑,在整个爬行过程中更新。该评分考虑了推文文本、主题标签以及发布推文、回复推文、在推文中被提及或转发推文的用户。给定这个分数,STIC能够在每次迭代中选择相关的推文,并继续添加相关的有价值的推文。对不同类型的查询进行了实验,结果表明,与简单的BFS搜索相比,该算法的查准率有所提高。
2021-10-08 cs.AI cs.IR cs.LG
Targeting HIV-related Medication Side Effects and Sentiment Using Twitter Data
Pennsylvania State University(宾夕法尼亚州立大学)
我们对Twitter数据进行了描述性分析。我们的研究重点是提取与艾滋病毒治疗相关的主要副作用。我们工作的关键是识别涉及艾滋病毒的个人推文。我们在一个面向公众的信息图中总结了我们的结果。此外,我们提出了一个衡量用户情绪的基础上手评级的推文。
2014-04-11 cs.CL cs.IR cs.SI
Extracting Information from Twitter Screenshots
针对社交媒体上伪造推文截图易传播不实信息的问题,研究提出从推文截图中提取文本、时间戳、账号名的方法,为后续开发基于网络资源判定推文真实性的工具奠定基础。
2023-06-14 cs.IR
Sentiment Analysis of Twitter Data for Predicting Stock Market Movements
Indian Institute of Technology, Bhubaneswar(布巴内斯瓦尔印度理工学院);G.G Vishwavidyalaya, Central University(G.G大学(中央大学))
预测股票市场走势是一个众所周知的有趣问题。如今的社交媒体完美地代表了公众对当前事件的情绪和看法。特别是twitter在研究公众情绪方面吸引了众多研究者的关注。根据公众在twitter上表达的情绪来预测股市一直是一个有趣的研究领域。先前的研究已经得出结论,从Twitter收集的公众情绪很可能与道琼斯工业平均指数(DJIA)相关。这项工作的论文是观察一家公司的股票价格的变化,上涨和下跌,与公众对该公司的推文中表达的意见有多相关。情感分析的目的是从文本中理解作者的观点。本文采用Word 2 vec和N-gram两种不同的文本表示方法来分析推文中的公众情绪。在本文中,我们应用情感分析和监督机器学习原则,从twitter上提取的推文,并分析了一家公司的股票市场走势和推文中的情感之间的相关性。在一个精心设计的方式,积极的新闻和社交媒体上关于一家公司的推文肯定会鼓励人们投资该公司的股票,因此该公司的股价会上涨。文章最后指出,股票价格的涨跌与推文中的公众情绪之间存在很强的相关性。
2016-10-28 cs.CL cs.IR cs.SI
Post or Tweet: Lessons from a Study of Facebook and Twitter Usage
这份研讨会文件报告了正在进行的一项混合方法研究,研究对象是两个可以说是最受欢迎的社交网站,Facebook和Twitter,使用者都是相同的用户。该研究的总体目标是通过将有关参与者动机的调查数据与通过API提取收集的使用数据相结合,揭示社交媒体选择和跨平台使用的细微差别。我们描述了这项研究的设置,并重点讨论了与参与者招募和数据汇集、处理和维度化使用数据以及比较各站点使用数据相关的挑战和见解。
2020-11-27 cs.CY cs.HC cs.IR
Enhanced Twitter Sentiment Classification Using Contextual Information
MIT(麻省理工学院)
随着Twitter的普及和普及,对推文的情感分析已经成为一个重要的研究领域。然而,对推文施加的140个字符的限制使得很难使用标准的语言学方法进行情感分类。另一方面,推特缺乏结构,但它们却用庞大的数量和丰富的元数据来弥补。该元数据包括地理位置、时间和作者信息。我们假设情绪依赖于所有这些背景因素。不同的地点,不同的时代,不同的作者,有着不同的情感价值。在本文中,我们通过利用远程监督收集来自不同地点,时间和作者的数百万条标记推文来探索这一假设。我们使用这些数据来分析不同作者,时间和地点的推文情绪的变化。一旦我们探索并理解了这些变量和情绪之间的关系,我们就使用贝叶斯方法将这些变量与更标准的语言特征(如n-gram)结合起来,创建了一个Twitter情绪分类器。这种组合分类器的性能优于纯语言分类器,表明将Twitter上丰富的上下文信息整合到情感分类中是一个很有前途的研究方向。
2021-01-02 cs.AI cs.CL cs.IR
Efficient Twitter Sentiment Classification using Subjective Distant Supervision
Indian Institute of Technology, Hyderabad(印度海得拉巴理工学院)
随着像Twitter这样的微博服务在当今全球化的世界中变得越来越有影响力,它的情感分析等方面正在被广泛研究。我们不再被自己的观点所束缚。其他人的观点和情感在塑造我们的观点方面发挥着巨大的作用。在本文中,我们建立在以前的作品Twitter的情感分析使用远程监督。现有的方法需要巨大的计算资源来分析大量的推文。在本文中,我们提出的技术,以加快计算过程的情感分析。我们使用tweet主观性来选择正确的训练样本。我们还介绍了EFWS(有效字分数)的概念,从常用词的极性得分,这是一个额外的启发式,可以用来加快与标准的机器学习算法的情感分类推文。我们使用160万条推文进行了实验。实验评估表明,我们提出的技术是更有效的,具有更高的准确性相比,以前提出的方法。我们在10万条推文的训练数据集上实现了约80%的总体准确率(EFWS启发式算法的准确率约为85%),这是基线模型所用数据集大小的一半。我们提出的模型的准确性比基线模型高2-3%,并且该模型的有效训练速度是基线模型的两倍。
2017-01-11 cs.CL cs.IR cs.SI
RAProp: Ranking Tweets by Exploiting the Tweet/User/Web Ecosystem and Inter-Tweet Agreement
Twitter的日益普及使得对推文的可信度和相关性评估的改进对搜索变得更加重要。然而,由于推文大小的限制,很难单独从推文的内容中提取排名措施。我们提出了一种新的排名方法,称为RAProp,它结合了两个正交措施的相关性和可信度的推文。第一个称为特征得分,衡量推文来源的可信度。这是通过从一个三层的twitter生态系统中提取特征来实现的,这个生态系统由用户、tweet和tweet中引用的页面组成。第二项措施称为一致性分析,通过分析内容如何以及是否被其他推文独立证实来评估推文内容的可信度。我们将推文的候选结果集视为图的顶点,边测量每对推文之间的估计一致性。特征分数在该一致图上传播,以计算具有可信来源和独立确证的前k个推文。我们的方法在TREC 2011年微博数据集的1600万条推文上的评估表明,对于前30名的精度,我们比数据集上当前性能最好的方法高出53%,比当前Twitter搜索高出300%以上。我们还提出了一个详细的内部经验评估RAProp相比,我们提出的几种替代方法。
2013-08-11 cs.IR
Sentiment analysis model for Twitter data in Polish language
Politechnika Warszawska(华沙理工大学);Wydział Elektroniki i Technik Informacyjnych(电子与信息技术学院);Instytut Informatyki(计算机科学研究所)
对2015年5月10日波兰总统选举期间收集的推文进行文本挖掘分析。该项目包括实现从Twitter检索信息的引擎,构建文档语料库,语料库清理,以及创建术语文档矩阵。来自文本语料库的每条推文都根据其情感得分被分配了一个类别。分数是使用每个文档中积极和/或消极的表情符号和波兰语单词的数量计算的。结果数据集用于训练和测试四个机器学习分类器,以选择提供最准确的自动推文分类结果的分类器。朴素贝叶斯算法和最大熵算法的准确率最高,分别为71.76%和77.32%。所有的实现任务都是使用R程序设计语言完成的。
2019-11-03 cs.CL cs.IR cs.LG
TweetDIS: A Large Twitter Dataset for Natural Disasters Built using Weak Supervision
Georgia State University(佐治亚州立大学)
社交媒体通常被用作自然灾害期间的通信生命线。传统上,使用自然灾害的名称从Twitter流中过滤自然灾害推文,并将过滤后的推文发送给人工注释。为机器学习模型创建标记集的人工注释过程是费力、耗时的,有时是不准确的,更重要的是在大小和实时使用方面不可扩展。在这项工作中,我们使用弱监督来管理银标准数据集。为了验证其实用性,我们在弱监督数据上训练训练机器学习模型来识别三种不同类型的自然灾害,即地震,飓风和洪水。我们的研究结果表明,在银标准数据集上训练的模型在对手动管理的金标准数据集进行分类时,性能达到90%以上。为了实现可重复的研究和额外的下游效用,我们为科学界发布了银标准数据集。
2022-07-11 cs.CL cs.IR cs.LG
Improved Twitter Sentiment Prediction through Cluster-then-Predict Model
NITTTR Bhopal(博帕尔国家技术教师培训与研究学院)
在过去的十年中,人类在使用在线资源方面经历了指数级增长,特别是社交媒体和微博网站,如Facebook,Twitter,YouTube以及移动应用程序,如WhatsApp,Line等。这些知识提供了宝贵的反馈,使他们能够进一步开发下一代产品。在本文中,情感分析的产品是通过提取有关该产品的推文和分类的推文显示它作为积极和消极的情绪。作者提出了一种混合的方法,它结合了无监督学习的K-means聚类的形式来聚类的推文,然后执行监督学习方法,如决策树和支持向量机进行分类。
2015-09-08 cs.CL cs.IR cs.LG
A Case Study in Text Mining: Interpreting Twitter Data From World Cup Tweets
University of North Carolina(北卡罗来纳大学);Brigham Young University – Idaho(杨百翰大学爱达荷分校);Wofford College(沃福德学院);NC State University(北卡罗来纳州立大学)
聚类分析是数据分析的一个领域,它提取数据中的潜在模式。聚类分析的一个应用是在文本挖掘中,分析大量文本以找到文档之间的相似性。我们使用了世界杯开始前从Twitter上提取的大约30,000条推文。真实世界文本数据的一个常见问题是存在语言噪声。在我们的例子中,这将是无关的推文,与主导主题无关。为了解决这个问题,我们创建了一个结合DBSCAN算法和共识矩阵的算法。这样,我们就只剩下与这些主导主题相关的推文了。然后,我们使用聚类分析来找到这些推文描述的主题。我们使用k-means(一种常用的聚类算法)和非负矩阵分解(NMF)对推文进行聚类,并比较结果。这两种算法给出了类似的结果,但NMF被证明是更快,并提供更容易解释的结果。我们使用两个可视化工具Gephi和Wordle探索了我们的结果。
2014-08-21 cs.CL cs.IR cs.LG
A Web Scraping Methodology for Bypassing Twitter API Restrictions
从社交网络中检索信息是许多数据分析领域(如自然语言处理、情感分析和机器学习)的第一步和基本步骤。重要的数据科学任务依赖于历史数据收集,以获得进一步的预测结果。最近的大部分作品都使用Twitter API,这是一个收集公共信息流的公共平台,允许查询不超过三周的按时间顺序排列的推文。在本文中,我们提出了一种新的方法来收集历史推文在任何日期范围内使用Web抓取技术绕过Twitter API的限制。
2018-03-27 cs.IR
On Identifying Hashtags in Disaster Twitter Data
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Kansas State University(堪萨斯州立大学)
推特标签有可能改善灾难事件期间的信息搜索。然而,有大量与灾害相关的推文没有任何用户提供的主题标签。此外,只有少数包含可操作标签的推文对灾害响应有用。为了促进Twitter数据的灾难标签自动识别(或提取)的进展,我们构建了一个独特的灾难相关推文数据集,这些推文用标签进行注释,用于过滤可操作的信息。使用这个数据集,我们进一步研究长短期记忆为基础的多任务学习框架内的模型。表现最好的模型的F1得分高达92.22%。数据集、代码和其他资源都可以在Github上找到。
2020-01-05 cs.CL cs.IR cs.LG
Discovering Users Topic of Interest from Tweet
如今,社交媒体已经成为人们在网上最大的聚会之一。各行业有很多方法透过广告向公众宣传其产品。广告的种类正在急剧增加。商人是如此依赖于广告,显着它真的带来了成功,在市场上,因此实行的主要行业。因此,公司正在努力通过在线广告吸引社交网络上的客户的注意力。最受欢迎的社交媒体之一是Twitter,它因名为Tweet的短文本共享而流行。这里的人用基本信息创建他们的个人资料。为了确保广告显示给相对的人,Twitter根据语言,性别,兴趣,追随者,设备,行为,定制的受众,关键字和地理定位来定位人们。Twitter根据用户在Twitter上的活动生成兴趣集。我们的框架所做的是从给定的推文列表中确定感兴趣的主题(如果有的话)。这个过程被称为实体相交分类值(EICV)。每个类别主题生成一组与该主题相关的单词或短语。通过关键字生成和使用Twitter API的Twitters数据处理推文来创建实体集。实体的值与类别集合相匹配。如果它们超过阈值,则其导致与期望的兴趣类别匹配的类别。对于较小的数据量,结果表明,我们的框架具有更高的准确率。
2018-03-10 cs.CY cs.IR
Twitter Opinion Topic Model: Extracting Product Opinions from Tweets by Leveraging Hashtags and Sentiment Lexicon
ANU & NICTA(澳大利亚国立大学与NICTA);Monash University(莫纳什大学)
基于属性的意见挖掘被广泛应用于对数据进行汇总或归纳,目前的最新研究成果是基于潜在狄利克雷分配(LDA)模型。虽然像tweet这样的社交媒体数据充满了意见,但它们的“肮脏”性质(作为自然语言)阻碍了研究人员将基于LDA的意见模型应用于产品评论挖掘。推文通常是非正式的,非结构化的,缺乏分类和评级等标记数据,这使得产品意见挖掘具有挑战性。在本文中,我们提出了一个基于LDA的意见模型命名为Twitter的意见主题模型(TOTM)的意见挖掘和情感分析。TOTM在其发现过程中利用了推文中存在的主题标签、提及、表情符号和强烈情感词。它通过直接对目标-意见交互进行建模来改进意见预测,从而发现目标特定的意见词,这在现有方法中被忽略了。此外,我们提出了一个新的配方,将情感先验信息的主题模型,利用现有的公众情绪词典。这是新颖的,因为它可以学习和更新数据。我们进行了实验,900万电子产品的推文,并证明了改进的性能TOTM在定量评价和定性分析。我们表明,基于方面的意见分析大量的推文提供了有用的意见,产品。
2016-09-21 cs.CL cs.IR cs.LG
Synerise at RecSys 2021: Twitter user engagement prediction with a fast neural model
Synerise(赛纳瑞斯);Warsaw University of Technology(华沙理工大学)
在本文中,我们提出了我们的第二位解决方案,以ACM RecSys 2021挑战由Twitter组织。这项挑战旨在预测一组推文的用户参与度,提供一个非常大的数据集,其中包括从超过四周的真实Twitter交互中采样的10亿个数据点。每个数据点包含多个信息源,例如推文文本以及参与特征、用户特征和推文特征。该挑战通过在模型评估阶段引入严格的延迟约束,使问题接近真实的生产环境:在具有64 GB内存的单个CPU核心上,单个tweet参与预测的平均推理时间限制为6 ms。我们提出的模型依赖于广泛的特征工程执行的方法,如有效流形密度估计(EMDE)-我们以前介绍的算法的基础上局部敏感哈希方法,和新的傅立叶特征编码,等等。总的来说,我们创建了许多描述用户Twitter帐户状态和推文内容的功能。为了遵守严格的延迟约束,底层模型是一个简单的残差前馈神经网络。该系统是我们以前的方法的变体,在2021年KDD杯,2021年WSDM挑战赛和2020年SIGIR eCom挑战赛中取得了成功。我们发布源代码:https://github.com/Synerise/recsys-challenge-2021
2021-09-28 cs.IR cs.LG
SemEval-2015 Task 10: Sentiment Analysis in Twitter
Columbia University(哥伦比亚大学);National Research Council Canada(加拿大国家研究委员会);Qatar Computing Research Institute(卡塔尔计算研究所);The Ohio State University(俄亥俄州立大学);Facebook(脸书)
在本文中,我们描述了Twitter中情感分析的SemEval共享任务的2015年迭代。这是迄今为止最受欢迎的情感分析共享任务,在过去三年中,每年都有40多个团队参与。今年的共享任务竞赛由五个情绪预测子任务组成。其中两个是前几年的重播:(A)在推文背景下由短语表达的情绪,以及(B)推文的整体情绪。我们还包括三个新的子任务,要求预测(C)单个推文中对主题的情感,(D)一组推文中对主题的整体情感,以及(E)短语的优先极性程度。
2019-12-05 cs.CL cs.IR cs.LG
NutCracker at WNUT-2020 Task 2: Robustly Identifying Informative COVID-19 Tweets using Ensembling and Adversarial Training
Indian Institute of Technology (Indian School of Mines)(印度理工学院(印度矿业学院))
我们使用COVID-Twitter-BERT和RoBERTa模型进行实验,以识别信息丰富的COVID-19推文。我们进一步实验对抗训练,使我们的模型鲁棒。COVID-Twitter-BERT和RoBERTa的集合在WNUT-2020任务2的测试数据上获得了0.9096的F1分数(在阳性类别上),并在排行榜上排名第一。使用对抗训练训练的模型的集合也产生类似的结果。
2020-10-09 cs.CL cs.IR cs.LG
Effect of Text Processing Steps on Twitter Sentiment Classification using Word Embedding
Tennessee State University(田纳西州立大学);Old Dominion University(欧道明大学)
原始文本的处理是文本分类和情感分析中至关重要的第一步。然而,文本处理步骤通常使用现成的例程和预构建的单词词典来执行,而不针对域、应用和上下文进行优化。本文研究了七种文本处理方案对特定文本域(Twitter)和应用程序(情感分类)的影响。基于跳过语法的词嵌入被开发为包括Twitter口语词、表情符号和主题标签关键词,这些关键词通常由于在传统文学语料库中不可用而被移除。我们的实验揭示了两个常见的文本处理步骤对情感分类的负面影响:1)停止词去除和2)平均词向量来表示单个推文。新的有效步骤1)包括非ASCII表情符号字符,2)从词嵌入中测量词的重要性,3)将词向量聚合到推文嵌入中,以及4)开发线性可分离的特征空间,以优化情感分类管道。文本处理步骤的最佳组合在对具有三个情感标签的14,640条推文进行分类时产生最高的平均曲线下面积(AUC)88.4(+/-0.4)。从上下文驱动的词嵌入中进行的词选择显示,只有推文中最重要的十个词累积产生超过98%的最大准确率。结果表明,数据驱动的选择的重要的话,而不是使用预先建立的单词词典的推文分类的手段。所提出的推文嵌入对几个文本处理步骤是鲁棒的,并且简化了对几个文本处理步骤的需要。
2020-07-25 cs.CL cs.IR cs.LG
SemEval-2017 Task 4: Sentiment Analysis in Twitter
IBM Research(IBM研究院);Columbia University(哥伦比亚大学);Qatar Computing Research Institute(卡塔尔计算研究所);Hamad bin Khalifa University(哈马德·本·哈利法大学)
本文介绍了第五年的情感分析在Twitter的任务。SemEval-2017任务4继续SemEval-2016任务4的一系列子任务,其中包括识别推文的整体情绪,对一个主题的情绪,以两点和五点顺序量表进行分类,以及量化多个推文中对一个主题的情绪分布:再次以两点和五点顺序量表进行分类。与2016年相比,我们做了两个变化:(i)我们为所有子任务引入了一种新的语言,阿拉伯语,(ii)我们从发布目标推文的Twitter用户的个人资料中提供信息。这项任务仍然非常受欢迎,今年共有48支队伍参加。
2019-12-02 cs.CL cs.IR cs.LG