Rapid Prototyping of a Text Mining Application for Cryptocurrency Market Intelligence
区块链代表了一种技术，用于在相互不信任的参与者网络之间建立一个共享的、不可变的真相版本，因此有可能破坏任何依赖第三方建立信任的金融或其他行业。计算领域的最新趋势包括：自由和开源软件（FOSS）的流行;高性能计算（HPC，即“云”）的便捷访问;以及越来越先进的分析功能，如自然语言处理（NLP）和机器学习（ML），允许快速原型化应用程序，以分析区块链技术出现的趋势。展示了一个可扩展的概念验证管道，为分析社交媒体上发布的多个半结构化数据流奠定了基础。初步分析和性能指标进行了介绍和讨论。描述了未来的工作，将系统扩展到基于云的实时多数据流分析，具有信息抽取（IE）（例如，情感分析）和机器学习能力。
2016-08-28 cs.CY cs.ET
A Conjoint Application of Data Mining Techniques for Analysis of Global Terrorist Attacks -- Prevention and Prediction for Combating Terrorism
National University of Science and Technology-MiSiS（国立科技研究大学-莫斯科钢铁合金学院）；Innopolis University（因诺波利斯大学）
恐怖主义已成为最棘手的问题之一，也是对人类的突出威胁。为了加强反恐，许多研究工作正在开发高效和精确的系统，数据采掘也不例外。大量的数据在我们的生活中漂浮，尽管公共领域中真实的恐怖袭击数据的稀缺性使得打击恐怖主义变得复杂。这份手稿着重于数据采掘分类技术，并讨论了联合国在反恐怖主义方面的作用。它分析了分类器的性能，如懒惰树，多层感知器，多类和朴素贝叶斯分类器，用于观察世界各地的恐怖袭击趋势。该数据库是从1970年至2015年的不同公共和开放获取来源创建的，其中包括156，772起造成重大生命和财产损失的报告攻击。这项工作列举了发生的损失，攻击频率的趋势和更容易发生的地方，考虑攻击的责任作为评估类。
2019-02-21 cs.CR cs.CY cs.LG
How the Taiwanese Do China Studies: Applications of Text Mining
本文应用自动内容分析工具CATAR对台湾期刊《中国大陆研究》（1998-2015）的473篇论文进行文本聚类，识别出七个显著主题及其趋势，为理解台湾学界中国大陆研究提供方法贡献。
2018-04-26 cs.CY cs.DL
Text mining in education
Federal Rural University of Pernambuco（伯南布哥联邦农村大学）；Federal University of Alagoas（阿拉戈斯联邦大学）；University of Cordoba（科尔多瓦大学）
本文系统综述教育文本挖掘领域现状，梳理常用技术、教育资源及应用目标，并总结结论与未来趋势。
2024-02-11 cs.CY cs.IR cs.LG
Data Mining Approach to Analyze Covid19 Dataset of Brazilian Patients
疫情源自冠状病毒（COVID-19），该名称由世界卫生组织于二零二零年首月起。事实上，几乎所有国家都出现了covid 19阳性病例，政府正在选择不同的卫生政策来阻止感染，许多研究小组正在研究患者数据以了解病毒，同时科学家正在寻找一个真空来加强免疫系统以应对covid 19病毒。感染人数最多的国家之一是巴西，截至8月11日，共有3，112，393例。圣保罗州研究基金会（Fapesp）发布了一个数据集，这是与医院（爱因斯坦，Libanes），实验室（Fleury）和圣保罗大学合作的创新，以促进对这一趋势主题的研究。本文提出了一个探索性的分析数据集，使用数据采掘的方法，并发现一些不一致的，即NaN值，空参考值的分析物，离群值的分析物的结果，编码问题。这些结果是经过清理的数据集，用于未来的研究，但由于非数值、空值和超出参考范围的数值，至少有20%的数据被丢弃。
2020-08-26 cs.CY
A Text Mining Analysis of Data Protection Politics: The Case of Plenary Sessions of the European Parliament
近年来，人们对数据保护法律和政策进行了广泛的研究，但对数据保护的议会政治知之甚少。这种模仿甚至适用于在数据保护和隐私监管方面处于全球领先地位的欧盟（EU）。为了填补现有研究中的这一显著空白，本文探讨了欧洲议会议员（MEP）在议会全体会议上提出的数据保护问题以及欧盟委员会对这些问题的回答。从1995年到2023年初，有一千多个这样的问题和答案。鉴于基于文本挖掘的计算分析，结果表明：（a）在过去二十年中，议会一直在积极辩论数据保护问题。没有明显的纵向趋势;辩论相对持续。正如可以预料的那样，（b）欧盟的具体数据保护法律在这些辩论中经常被提及，（c）这些法律似乎与传统的政治维度（如左右轴）不一致。此外，（d）议员们就许多不同的数据保护议题进行了辩论，这表明欧盟的数据保护政策远远超出了最近颁布的条例。
2023-02-20 cs.CY
A Study of Tourist Sequential Activity Patterns through Location Based Social Network (LBSN)
序列模式挖掘是建立模式和挖掘某些活动趋势的重要组成部分。深入了解游客流动和活动模式被认为在许多方面对旅游部门有益，例如为游客设计更好的旅游套餐，最大限度地提高游客活动参与度和满足游客需求。本研究建议采用移动社交媒体数据，有效地捕捉在新加坡的旅游活动信息，并利用先进的数据采掘技术，提取有价值的见解，游客的行为。本研究所提出的方法和研究结果有可能支持旅游管理者和决策者在旅游目的地管理中做出更好的决策。
2018-11-05 cs.CY
Driving with Data in the Motor City: Mining and Modeling Vehicle Fleet Maintenance Data
底特律市拥有超过2500辆汽车的活跃车队，平均每年花费超过500万美元用于购买，超过770万美元用于维护。对这些数据中的模式和趋势进行建模对各种利益相关者来说特别重要，特别是当底特律从第9章破产中脱颖而出时，但这些数据的结构很复杂，而且该市缺乏专门的资源进行深入分析。底特律市运营和基础设施集团和密歇根大学发起了一项合作，旨在通过分析底特律市车队的数据来解决这一未满足的需求。这项工作提出了一个案例研究，并提供了第一个数据驱动的基准，展示了一套方法，以帮助大型车辆维护数据集的数据理解和预测。我们提出的分析，以解决利益相关者提出的三个关键问题，随着时间的推移，发现多元维护模式;预测维护;和预测车辆和车队的成本。我们提出了一种新的算法，PRISM，自动多元序列数据分析，张量分解。这项工作是第一次提出方法和见解，以指导未来的公民数据研究。
2020-09-21 cs.CY
A Comprehensive Survey on Deep Learning Techniques in Educational Data Mining
Jimei University（集美大学）；Xiamen University（厦门大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文系统综述了深度学习在知识追踪、行为检测、性能预测和个性化推荐等教育数据挖掘场景中的应用，梳理了公共数据集与工具，分析了实际挑战并提出解决方案，同时展望了未来研究方向。
2024-06-11 cs.CY cs.IR cs.LG
Correcting public opinion trends through Bayesian data assimilation
Imperial College London（帝国理工学院）
衡量民意是民主选举期间的一个关键重点，使候选人能够衡量自己的受欢迎程度，并相应地改变其竞选策略。传统的调查仍然是最流行的估计技术，尽管它的成本和时间强度，测量误差，缺乏实时能力和滞后的民意代表。近年来，Twitter的意见挖掘试图解决这些问题。尽管取得了可喜的成果，它经历了自己的一套缺点，如不具有代表性的样本人口和缺乏长期的稳定性。本文旨在使用贝叶斯数据同化合并来自这两种技术的数据，以更准确地估计英国脱欧公投的真实民意。本文证明了所提出的方法的有效性，使用Twitter的意见数据和调查数据，从可信的民意调查。首先，确定了两个数据集之间可能存在16天的时间差。这一差距随后被纳入拟议的同化架构。研究发现，这种方法充分整合了来自两个来源的信息，并衡量了导致英国脱欧公投的脱欧支持率的强劲上升趋势。所提出的技术提供了有用的估计真实的意见，这是必不可少的未来的意见测量和预测研究。
2021-05-29 cs.AI cs.CL cs.CY
An Interactive Data Visualization and Analytics Tool to Evaluate Mobility and Sociability Trends During COVID-19
New York University（纽约大学）；University of Washington（华盛顿大学）；Old Dominion University（老道明大学）
COVID-19疫情极大地改变了受影响城市的旅行行为。C2 SMART研究团队一直在调查COVID-19对流动性和社交能力的影响。纽约市（NYC）和西雅图是美国受COVID-19影响最严重的两个城市，我们的初步研究包括这两个城市。开发了具有数据采掘和云计算功能的一体化仪表板，用于交互式数据分析和可视化，以便于了解疫情的影响以及相应的政策，例如社交距离对交通系统的影响。该平台定期更新，并随着新数据、影响指标和可视化的增加而不断发展，以帮助公众和决策者做出明智的决策。本文介绍了与COVID相关的移动数据仪表板的架构以及纽约市和西雅图的初步移动性和社交性指标。
2020-06-26 cs.CV cs.CY cs.HC
A review on data fusion in multimodal learning analytics and educational data mining
Pontifical Catholic University of Ecuador（厄瓜多尔天主教大学）；Madrid Open University（马德里开放大学）；DaSCI Institute, University of Cordoba（科尔多瓦大学 DaSCI 研究所）
本文综述了多模态学习分析与教育数据挖掘中数据融合的应用、方法及挑战。
2025-11-25 cs.CY cs.LG
Patterns of Routes of Administration and Drug Tampering for Nonmedical Opioid Consumption: Data Mining and Content Analysis of Reddit Discussions
在过去的20年里，美国阿片类药物流行病的复杂发展一直是大量医学和药理学研究的主题，并引发了关于如何实施干预措施和政策以有效控制其对公共卫生影响的多学科讨论。这项研究利用Reddit作为主要数据来源来调查阿片类药物危机。我们的目标是找到一大批对讨论阿片类药物使用感兴趣的Reddit用户，追踪他们兴趣的时间演变，并广泛描述阿片类药物的非医疗消费模式，重点关注给药途径和药物篡改。我们使用半自动信息检索算法来识别讨论非医疗阿片类药物消费的子版块，发现超过86，000名Reddit用户可能参与了第一手阿片类药物使用。我们开发了一种基于词嵌入的方法，以选择替代的口语和非医学术语，涉及阿片类物质，给药途径和药物篡改方法。我们模拟了药物和给药途径的采用偏好，估计其流行率和时间演变，观察相关趋势，如芬太尼等合成阿片类药物的激增以及对直肠给药的兴趣日益增加。最终，通过基于共同提及的比值比评估，我们测量了阿片类物质，给药途径和药物篡改之间的关联强度，发现了未充分研究的滥用行为的证据，如咀嚼芬太尼贴剂和舌下溶解丁丙诺啡。我们相信，我们的方法可以为更全面地了解阿片类药物的非医疗滥用提供一个新的视角，并为预防，治疗和控制公共卫生影响提供信息。
2021-02-22 cs.CY
Measuring Economic Activities of China with Mobile Big Data
智能手机、在线地图、社交媒体以及由此产生的地理定位数据的新兴趋势，提供了以更细粒度和更直接的方式收集人们社会经济活动痕迹的机会，引发了实证研究的革命。这些庞大的移动数据为衡量经济动态提供了新的视角和方法，并正在扩大社会科学和经济学的研究领域。在本文中，我们探讨了使用移动大数据来衡量中国经济活动的潜力。首先，我们基于数十亿的地理定位数据建立衡量就业和消费趋势的指数。其次，我们通过百度地图的位置搜索数据来估计商店的线下客流量，然后将其应用于预测苹果在中国的收入并准确检测票房欺诈。第三，我们构建了消费指标来跟踪服务业各行业的趋势，并通过几个现有的指标进行了验证。据我们所知，我们是第一个通过挖掘这种前所未有的大规模和细粒度时空数据来衡量第二大经济体的人。我们的研究为衡量经济活动提供了新的方法和见解。
2016-08-02 cs.CY cs.SI
