A Review of Financial Accounting Fraud Detection based on Data Mining Techniques
随着当前经济形势下财务会计舞弊的激增,财务会计舞弊检测(FAFD)已成为学术界、研究界和产业界关注的一个新兴课题。组织的内部审计系统在识别会计欺诈方面的失败导致使用专门程序来发现财务会计欺诈,统称为法务会计。数据采掘技术为财务会计欺诈检测提供了很大的帮助,因为处理大量复杂的财务数据是法务会计面临的巨大挑战。本文对应用数据采掘技术检测财务会计舞弊的文献进行了全面的回顾,并提出了一个基于数据采掘技术的财务会计舞弊检测框架。本文对数据采掘技术在财务会计舞弊检测中的应用进行了系统、全面的文献综述,为今后该领域的研究奠定了基础。本文的研究结果表明,数据采掘技术,如逻辑模型,神经网络,贝叶斯信念网络和决策树已被广泛应用于提供主要的解决方案固有的问题,在检测和分类的欺诈性数据。
2013-09-16 cs.CY
Predicting Student's Performance Through Data Mining
University of Northampton(北安普顿大学)
尽早并尽可能准确地预测学生的表现是教育机构面临的最大挑战之一。早期分析学生的表现有助于发现学生的长处和短处,帮助他们在考试中取得更好的成绩。使用机器学习,可以在学习管理系统(LMS)收集的学生数据的帮助下预测学生的表现。从LMS收集的数据可以提供有关学生行为的见解,这些行为将导致考试中的好或坏表现,然后可以研究并用于帮助在考试中表现不佳的学生表现得更好。
2021-11-20 cs.CY cs.LG
Universal Knowledge Discovery from Big Data: Towards a Paradigm Shift from 'Knowledge Discovery' to 'Wisdom Discovery'
许多人认为,大数据将提供大见解,并在未来产生重大影响,大数据辅助科学发现被视为一种新兴的和有前途的科学范式。然而,如何将大数据转化为具有巨大价值的深刻见解仍然是一个谜。为了应对这一挑战,提出了大数据泛知识发现(UKD)。新概念侧重于发现普遍知识,这些知识存在于大数据的统计分析中,并为大数据提供了有价值的见解。普遍知识有不同的形式,例如,普遍模式、规则、相关性、模型和机制。为加速大数据辅助普适知识发现,应在相关研究领域,特别是大数据采掘和复杂系统科学的技术和范式基础上,构建统一的研究范式。因此,我提出了iBEST@SEE方法。该研究为泛知识发现的未来发展奠定了坚实的基础,为发现隐藏在大数据中的“宝藏”提供了一条途径。
2014-10-28 cs.CY
The potential and challenges of Big data - Recommendation systems next level application
产生的数据的不断增加为公共和私营公司提供了巨大的可能性。对这些海量数据或大数据的管理将在未来的社会中发挥至关重要的作用,因为它在不同的领域中得到应用。在庞大的数据量中隐藏着如此多的潜力和极其有用的见解。需要可用的高级分析技术,包括预测分析,文本挖掘,语义分析,以使组织能够通过以不同级别的复杂性,速度和准确性分析数据来创造竞争优势。因此,通过侵入我们生活的连接设备,每天伴随使用的无处不在的数字海洋是否仍然有可能达到这种复杂程度?然而,大数据的发展需要对与之相关的问题有一个很好的理解。这就是本文的目的,重点是对大数据分析、机遇和挑战进行特写。
2015-01-14 cs.CY
Big Data Privacy Context: Literature Effects On Secure Informational Assets
本文的目的是识别当前大数据隐私领域的研究机会,评估文献对安全信息资产的影响。迄今为止,还没有研究分析过这种关系。其成果可以促进科学、技术和商业。为了实现这些目标,对Scopus数据库中的主要科学同行评审期刊进行了大数据隐私系统性文献综述(SLR)。文献计量学和文本挖掘分析补充了SLR。这项研究为大数据隐私研究人员提供了以下方面的支持:最多和最少研究的主题,研究新颖性,最常被引用的作品和作者,主题随时间的演变等。此外,TOPSIS法和VIKOR秩被开发来评估文献效应与信息资产指标。安全互联网服务器(SIS)被选为决策标准。结果表明,大数据隐私文献强烈关注计算方面。然而,个人、社会、组织和政府面临着刚刚开始调查的技术变革,对法律和法规方面的关注日益增加。TOPSIS和VIKOR秩在几个位置上不同,文献和SIS采用之间唯一一致的国家是美国。排名最低的国家代表着未来的研究机会。
2018-08-26 cs.CY
A review on application of data mining techniques to combat natural disasters
Institute of Engineering and Management(工程与管理学院);A.K.Choudhury School of Information Technology(A.K.楚杜里信息技术学院);Iwate Prefectural University(岩手县立大学)
除了对财产、动物生命等造成重大损害外,全球每年有数千人丧生,由于自然灾害(例如,地震、洪水、海啸、飓风和其他风暴、山体滑坡、暴雨、热浪、森林火灾)。在本文中,我们专注于审查应用数据采掘和分析技术设计到目前为止(一)预测,(二)检测,(三)发展适当的灾害管理战略的基础上收集的数据从灾害。详细描述了来自地质观测站(地震,水文),卫星,遥感和更新的来源,如社交网站twitter的数据的可用性。对当前灾害预测、检测和管理技术进行了广泛而深入的文献研究,并根据各种类型的灾害对结果进行了总结。最后,提出了一个分阶段在Hadoop等开源大数据平台上为印度建立灾害管理数据库的框架。该研究特别关注印度,印度在人类生命损失的绝对数量方面排名前五。
2016-10-31 cs.CY
Big Data Generated by Connected and Automated Vehicles for Safety Monitoring, Assessment and Improvement, Final Report (Year 3)
本报告重点关注互联和自动驾驶汽车(CAV)的安全问题。需要回答的根本问题是CAV如何提高道路使用者的安全?使用先进的数据采掘和主题文本分析工具,目标是系统地综合与大数据相关的研究,以进行安全监测和改进。在这一领域,该报告系统地比较了与国内和国际交通计划相关的大数据计划,并提供了有关CAV和新挑战相关的大数据科学应用的发展的见解。所涉及的目标是:1.通过获取报告、白皮书和期刊出版物来创建大数据工作的数据库; 2.应用文本分析工具来提取关键概念,并发现大数据计划中的模式和趋势; 3-通过量化CAV大数据研究计划中内容之间的粒度分类和建模实体关系,了解CAV大数据在安全背景下的演变,和4-为探索跟踪和分析CAV大数据的新方法和相关创新奠定基础。该研究通过大数据倡议,从各种研究实体开展的创新研究活动中综合并获得高质量的信息。研究结果可以为开发新方法提供概念基础,以指导和跟踪大数据和相关创新的安全影响。
2021-01-09 cs.CY
Understanding Communication Patterns in MOOCs: Combining Data Mining and qualitative methods
大规模开放式在线课程(MOOC)提供了前所未有的大规模学习机会。在几年内,基于人群的学习现象已经获得了巨大的普及,全球数百万学习者参加了从流行音乐到天体物理学的课程。他们抓住了许多人的想象力,吸引了大量媒体的关注--《纽约时报》将2012年命名为“MOOC年”。“对于那些从事学习分析和教育数据采掘的人来说,MOOC提供了一个令人兴奋的机会,可以开发利用教育大数据的创新方法。
2016-07-25 cs.CY cs.SI physics.data-an
Big Data Analytics and Its Applications
大数据一词是指无法通过传统数据处理方法或技术管理的大量数据。大数据领域在农业、银行、数据采掘、教育、化学、金融、云计算、市场营销、医疗保健等各个领域都发挥着不可或缺的作用。大数据分析是一种查看大数据的方法,可以揭示隐藏的模式,不可理解的关系和其他重要数据,这些数据可以用来解决增强的决策。由于大数据的快速发展以及它涵盖了不同的应用领域,因此对大数据的兴趣一直在不断扩大。Apache Hadoop开源技术在Java中创建并保持在Linux上运行的工作框架被使用。本文的主要目的是为分布式环境下的大数据应用提供一个有效的、免费的解决方案,并展示其优势和易用性。后来,出现了需要对大数据技术的新发展进行分析审查。医疗保健是世界上最关心的问题之一。医疗保健中的大数据意味着与患者医疗保健和繁荣相关的电子健康数据集。医疗保健领域的数据正在超越医疗保健协会的管理限制,并在未来几年内从根本上增加。
2017-10-09 cs.CY
Python vs. R: A Text Mining Approach for analyzing the Research Trends in Scopus Database
在当今世界,随着先进技术的孵化和研究工作的大量爆发,分析大数据以纳入研究策略变得更加有用,使用当前研究场景中提供的工具和技术。本文确实试图通过利用文本挖掘方法来分析在生产管理领域发布的研究数据作为案例来解决与大数据分析相关的最突出的挑战。该研究通过考虑Scopus索引的1961-2017年国际生产研究杂志(IJPR)的研究数据进行,将分析分为1961-1990年,1991-2010年和2011-2017年3个片段作为案例,以突出期刊的重点。这确实提供了多方面的好处,例如通过R和Python编程之间的良好比较来提高所获取数据的有效性,以及提供关于孵化的研究工作的详细研究趋势。研究结果突出了现有IJPR文献中一些最突出的主题,如系统优化,供应商选择,工艺设计等,为正在进行的研究工作提供了完善的细节。该研究还比较了两种语言,以适应特定的研究领域,以更好地理解和广泛的研究课题。目前的研究工作是注册号为SW-10310/2018的版权作品的一部分,标题为“分析研究数据集关键趋势的计划”。它是用Python设计的,用于基于围兜格式的可用研究数据库进行详细的内容分析,因为在目前的情况下,它已被应用于IJPR期刊,并且可以在使用关键字搜索找到的任何领域的文章上复制。
2019-11-10 cs.CY
Urban Vehicle Mobility Characteristic Mining and Trip Generation Based on Knowledge Graph
城市交通的运行产生了海量的交通数据,这些数据包含着丰富的信息,对于智能交通系统的研究具有重要意义。特别地,随着感知技术的改进,已经可以获得车辆的个体级别的行程数据。它具有更细的粒度和更大的研究潜力,但同时在数据组织和分析方面要求更高。更重要的是,由于隐私问题,它不能公开。为了更好地处理城市车辆出行大数据,引入知识图谱进行研究。针对个体级出行数据的组织,设计并构建了个体级出行知识图谱,大大提高了数据获取的效率。以出行知识图谱为数据引擎,结合交通领域知识,设计逻辑规则挖掘车辆出行特征。最后,针对个体层次交通数据的隐私问题,提出了一种基于知识图谱生成的个体层次出行综合方法.实验结果表明,最终生成的出行数据在移动模式和车辆关联方面与历史数据相似,具有较高的空间连续性。
2022-02-19 cs.CY
Big Data For Development: Applications and Techniques
随着社交媒体网站的爆炸式增长以及数字计算设备和互联网接入的激增,每天都在生成大量的公共数据。分析这些海量数据的有效技术/算法可以提供有关新兴趋势的近实时信息,并在即将发生紧急情况(如病毒性疾病爆发)时提供早期预警。此外,仔细挖掘这些数据可以揭示社会经济和政治事件的许多有用指标,这有助于制定有效的公共政策。本研究的重点是审查大数据分析在人类发展中的应用。利用大数据技术促进发展(BD 4D)的新兴能力有望彻底改变医疗保健、教育和农业;促进扶贫;并帮助应对人道主义危机和暴力冲突。除了所有的好处,BD 4D的大规模部署还面临着一些挑战,这是由于大数据的巨大规模,快速变化和多样性。最紧迫的问题涉及有效的数据采集和共享,背景的建立(例如,地理位置和时间)和数据集的准确性,并确保适当的隐私。在这项研究中,我们回顾了现有的BD 4D工作,以研究大数据对社会发展的影响。除了审查重要的工作,我们还强调了重要的挑战和开放的问题。
2016-02-25 cs.CY
Multi Model Data mining approach for Heart failure prediction
RVCE(RV工程学院)
开发用于风险估计的预测建模解决方案在医疗保健信息学中极具挑战性。风险估计涉及整合具有来自不同医疗保健提供者的不同代表性的异质临床来源,使得任务日益复杂。这些来源通常是大量的,多样的,并随着时间的推移显着变化。因此,需要分布式和并行计算工具,统称为大数据工具,可以综合并帮助医生做出正确的临床决策。在这项工作中,我们提出了多模型预测架构,一种新的方法,结合多个模型的预测能力,以提高预测精度。我们证明了所提出的工作的有效性和效率从心脏研究的数据。结果表明,所提出的多模型预测架构是能够提供更好的准确性比最佳模型的方法。通过对预测模型的误差进行建模,我们能够选择产生准确结果的模型子集。通过多层次挖掘将更多的信息建模到系统中,从而提高了预测精度。
2016-09-29 cs.CY cs.LG
Data mining the MNC like internal co-opetition duality in a university context
本文的目标是量化组织中同时发生的竞争与合作。由于这些概念最初似乎是二分的对立概念,因此提出了内部竞合二重性这一术语。比较了大型跨国公司与大学的竞合过程,并分析了两者的结构性解决方案。数据采掘是用来同时看如何在大学内的专业竞争更好的学生。我们通过应用图论和模块化算法进行社区发现,查看学生的个人资料,并找到专业之间的自然划分。专业化的竞争地位是显而易见的,在检测到的社区的平均等级。社区间的关系,以内部关系(电导)的比例量化的合作的立场,虽然,作为学生具有类似的配置文件表达联系的课程,并进行职业发展的选择变得明显。讨论的管理影响包括积极管理和经济奖励的合作竞争的二元性的结果的必要性。
2012-08-27 cs.CY cs.SI
Twitter Big Data as a Resource for Exoskeleton Research: A Large-Scale Dataset of about 140,000 Tweets and 100 Research Questions
由于其在辅助生活,军事,医疗保健,消防和工业4.0中的众多应用和多种用例,外骨骼技术在最近的过去一直在快速发展。外骨骼市场预计将在未来两年内以目前价值的数倍增长。因此,研究用户对外骨骼的兴趣,观点,意见,观点,态度,接受度,反馈,参与度,购买行为和满意度的程度和趋势至关重要,为此,关于外骨骼的对话的大数据的可用性是必要的。当今生活的万物互联风格,其特征是人们在互联网上花费的时间比以往任何时候都多,特别关注社交媒体平台,通过挖掘相关的社交媒体对话,具有开发此类数据集的潜力。Twitter,一个这样的社交媒体平台,在所有年龄组中非常受欢迎,其中在对话范例中发现的主题包括新兴技术,例如外骨骼。为了应对这一研究挑战,这项工作对这一领域做出了两项科学贡献。首先,它提供了一个开放获取的数据集,其中包含约140,000条关于外骨骼的推文,这些推文在2017年5月21日至2022年5月21日的5年期间发布。第二,基于对大数据、自然语言处理、信息检索、数据采掘、模式识别和人工智能领域的最新工作的全面回顾,这些工作可能应用于相关的Twitter数据,以推进外骨骼研究领域的研究、创新和发现,总共提出了100个研究问题,供研究人员研究、分析、评估,根据这个数据集进行构思和调查。
2022-07-20 cs.CY cs.IR cs.IT
Human Behavior in the Time of COVID-19: Learning from Big Data
University of Rochester(罗切斯特大学)
自世界卫生组织(世卫组织)于二零二零年三月将COVID-19定性为大流行以来,截至二零二二年十月,已有超过6亿例COVID-19确诊病例及超过600万例死亡病例。COVID-19大流行与人类行为之间的关系错综复杂。一方面,人们发现人类行为会影响疾病的传播。另一方面,疫情几乎在各个方面影响甚至改变了人类行为。为了全面了解人类行为与COVID-19大流行之间的复杂相互作用,研究人员一直在使用大数据技术,如自然语言处理、计算机视觉、音频信号处理、频繁模式挖掘和机器学习。在这项研究中,我们概述了在COVID-19大流行期间使用大数据技术研究人类行为的现有研究。特别是,我们将这些研究分为三组-分别使用大数据来测量,建模和利用人类行为。相应地总结了相关的任务、数据和方法。为提供更多有关如何对抗COVID-19大流行及未来全球灾难的见解,我们进一步讨论挑战及潜在机遇。
2023-03-23 cs.CY cs.LG
When Machine Learning Meets Big Data: A Wireless Communication Perspective
我们见证了商业数据服务的指数级增长,这导致了“大数据时代”。机器学习作为分析海量数据的最有前途的人工智能工具之一,已经在学术界和工业界的许多研究领域得到了广泛的应用。本文的目的是双重的。首先,我们简要回顾了大数据分析和机器学习,以及它们在下一代无线网络中的潜在应用。第二个目标是调用大数据分析来预测移动用户的需求,并利用它来提高“社交网络感知无线”的性能。提出了一个统一的大数据辅助机器学习框架,包括特征提取、数据建模和预测/在线精化。所提出的框架的主要好处是,依靠大数据,反映了频谱和其他具有挑战性的要求的用户,我们可以完善的动机,问题的配方和强大的机器学习算法的方法在无线网络的背景下。为了表征所提出的框架的效率,一对智能的实际应用作为案例研究提供:1)预测的定位的无人机安装的区域基站(BS)根据特定的远程交通的要求,通过收集有价值的数据从社交网络。2)通过对社交网络数据的挖掘,根据用户的偏好预测基站的内容缓存需求。最后,确定开放的研究机会,以激励未来的调查。
2019-11-12 cs.CY cs.NI
Measuring Economic Activities of China with Mobile Big Data
智能手机、在线地图、社交媒体以及由此产生的地理定位数据的新兴趋势,提供了以更细粒度和更直接的方式收集人们社会经济活动痕迹的机会,引发了实证研究的革命。这些庞大的移动数据为衡量经济动态提供了新的视角和方法,并正在扩大社会科学和经济学的研究领域。在本文中,我们探讨了使用移动大数据来衡量中国经济活动的潜力。首先,我们基于数十亿的地理定位数据建立衡量就业和消费趋势的指数。其次,我们通过百度地图的位置搜索数据来估计商店的线下客流量,然后将其应用于预测苹果在中国的收入并准确检测票房欺诈。第三,我们构建了消费指标来跟踪服务业各行业的趋势,并通过几个现有的指标进行了验证。据我们所知,我们是第一个通过挖掘这种前所未有的大规模和细粒度时空数据来衡量第二大经济体的人。我们的研究为衡量经济活动提供了新的方法和见解。
2016-08-02 cs.CY cs.SI
Modern Data Formats for Big Bioinformatics Data Analytics
下一代测序(NGS)技术产生了大量的蛋白质组学和基因组学数据。这些数据如果没有得到适当的分析是没有用的。ETL(Extraction,Transformation,Loading)是设计数据分析应用程序的重要步骤。ETL需要正确理解数据的特性。数据格式在理解数据、表示数据、存储数据所需的空间、数据处理期间的数据I/O、处理的中间结果、数据的内存分析和处理数据所需的总时间方面起着关键作用。不同的数据采掘和机器学习算法需要特定类型和格式的输入数据。本文探讨了不同工具和算法使用的数据格式,并介绍了大数据平台上使用的现代数据格式。它将帮助研究人员和开发人员为特定的工具或算法选择适当的数据格式。
2017-05-05 cs.CY cs.DB cs.DC
From Social Data Mining to Forecasting Socio-Economic Crisis
社会经济数据采掘在更好地理解我们的经济和社会所面临的问题方面具有巨大的潜力,例如金融不稳定,资源短缺或冲突。如果没有大规模的数据采掘,这些领域的进展似乎很难或不可能。因此,应该在欧洲建立合适的分布式数据采掘基础设施和研究中心。建立一个危机观察站网络似乎也是适当的。可以把它们想象成专门收集和处理关于地球及其生态系统等自然系统以及人类技术-社会-经济系统的大量数据的实验室,以便获得即将发生的事件的早期预警。现实挖掘提供了更快、更准确地适应不断变化的情况的机会。个性化定制服务带来了更多的机会,但这些服务应以尊重隐私的方式提供。这就需要开发新的信息和通信技术(如自组织网络),但很可能还需要新的法律法规和适当的机构。只要在世界范围内缺乏这样的法规,科学家们就应该探索如何利用现有的大量数据。大数据确实有可能改变甚至威胁民主社会。这同样适用于信通技术系统的突然和大规模故障。因此,处理数据必须以高度的责任感和谨慎态度进行。在公共利益受到影响的情况下,个人、公司或机构的自身利益是有限度的,公共利益不足以成为侵犯个人人权的理由。隐私和保密一样,都是一种高价值的商品,破坏它会对社会产生严重的副作用。
2011-07-26 cs.CY cs.DB cs.DC
The Data Science Fire Next Time: Innovative strategies for mentoring in data science
Howard University(霍华德大学);Nova Southeastern University(诺瓦东南大学)
随着数据挖掘的研究和应用不断扩展到医学、金融、安全等各个领域,显然需要有才能和多样化的个人。尤其是大数据计划已经在联邦,私营和学术部门起飞,在国内和国际上提供了丰富的机会。扩大数据挖掘(BPDM)研讨会创建于7年多前,旨在为数据科学和机器学习社区中的少数群体和代表性不足的群体培养导师,指导和联系,同时也丰富了一群有才华的学生的技术能力和曝光率。迄今为止,它已经影响了330多名数据科学领域代表性不足的学员的生活。我们提供了一个场所,连接有才华的学生与创新的研究人员在工业,学术界,专业协会和政府。我们的使命是促进BPDM参与者之间有意义的持久关系,最终增加数据挖掘的多样性。最近的一次研讨会于2019年2月在华盛顿特区的霍华德大学举行。在这里,我们报告了我们在2019年BPDM中采取的指导策略以及如何收到这些策略。
2020-03-01 cs.CY cs.LG physics.ed-ph