Big Data in IoT Systems
物联网中的大数据是一个庞大而快速发展的领域,许多不同的方法和技术都可以发挥作用。由于机器学习的快速发展和新硬件的开发,可以观察到方法和技术的动态转变。因此,本概述试图做到广泛和高水平,而不声称是全面的。它对大数据和物联网的方法是基于数字经济与罗宾·米尔纳所描述的无处不在的计算系统的特征之间的区别。
2019-04-18 cs.CY
Cross-Media Usage of Social Big Data for Emergency Services and Volunteer Communities: Approaches, Development and Challenges of Multi-Platform Social Media Services
社交媒体的使用无处不在,如今在我们的日常生活中已经根深蒂固,但在紧急情况发生之前、期间或之后也越来越多。生成的数据分布在几种类型的社交媒体上,可供不同的行为体使用,如紧急服务或志愿者社区。已经有一些系统支持通过社交媒体收集、分析和传播信息的过程。然而,取决于分析的目标,分析方法和可用系统基于技术或面向业务的限制而受限。本文介绍了一个跨平台的社交媒体API,这是集成和评估在多个紧急情况下的设计。基于经验教训,我们从实践开发和理论发现中概述了核心挑战,重点是(1)跨平台收集和数据管理,(2)可信性和信息质量,(3)可定制性和可调整的数据操作,以及(4)查询,性能和技术开发。
2019-07-17 cs.CY cs.SI
How to use Big Data technologies to optimize operations in Upstream Petroleum Industry
“大数据是新经济的石油”是过去三年中最著名的引文。2011年,世界经济论坛也通过了这一标准。事实上,大数据就像原油!它很有价值,但如果未经提炼就不能使用。它必须被分解,分析它才有价值。但是,石油行业产生的大数据,特别是其上游部分,又如何呢?上游对大数据并不陌生。了解和利用上游领域的数据使公司能够在整个规划,勘探,划界和油田开发过程中保持竞争力。石油和天然气公司进行先进的地球物理建模和模拟,以支持在勘探阶段2D,3D和4D地震生成重要数据的操作。他们密切监察其营运资产的表现。为此,他们在地下井和地面设施中使用数千个传感器,以提供对资产和环境条件的连续实时监控。不幸的是,这些信息以各种各样且越来越复杂的形式出现,这使得收集、解释和利用这些不同的数据成为一项挑战。大数据技术集成了常见和不同的数据集,以便在适当的时间向正确的决策者提供正确的信息。这些功能帮助企业对大量数据采取行动,将决策从被动转变为主动,并优化勘探,开发和生产的所有阶段。此外,大数据提供了多种机会,以确保更安全,更负责任的运营。另一个宝贵的影响是分享学习。本文的目的是解释如何使用大数据技术来优化运营。大数据如何帮助专家进行决策,从而获得预期的结果?
2014-12-01 cs.CY
Enhancing Big Data in the Social Sciences with Crowdsourcing: Data Augmentation Practices, Techniques, and Opportunities
大数据的重要性是社会科学家之间有争议的话题。支持者声称它将推动一场研究革命,但怀疑论者质疑它是不可靠的测量和脱离背景的,对准确回答社会科学研究问题的效用有限。我们认为,社会科学家需要有效的工具来量化大数据的测量误差,并扩大与之相关的上下文信息。许多领域的标准研究工作已经通过数据增强来实现这些目标,即对已知数量的测量进行系统评估,并通过添加新信息来扩展现有数据。传统上,这些任务是使用训练有素的研究助理或专门的算法完成的。然而,这种方法可能无法扩展到大数据或安抚其怀疑论者。我们考虑第三种可能增加大数据的有效性和价值的替代方案:在线众包的数据增强。我们提出了三个实证案例,以说明众包的优势和局限性的学术研究,特别是着眼于如何将它们应用于数据增强任务,将加快社会科学家接受大数据。这些案例使用Amazon Mechanical Turk来1.验证学位论文委员会成员的学科自动编码,2.将在线产品页面链接到图书数据库,以及3.收集大学心理健康资源的数据。根据这些案例,我们考虑了通过众包市场增强大数据的成本和收益,并提供了最佳实践指南。我们还提供了一个标准化的报告模板,这将提高可重复性。
2017-05-29 cs.CY
How Small is Big Enough? Open Labeled Datasets and the Development of Deep Learning
Polytechnic University of Milan(米兰理工大学);University of Turin(都灵大学);Canadian Institute for Advance Research (CIFAR)(加拿大高等研究院);OECD(经济合作与发展组织)
本研究通过定性与定量分析,揭示开放标注数据集CIFAR-10虽小但足够大,在推动深度学习技术发展及早期科学文献中发挥了关键且持久的作用。
2024-08-19 cs.CY econ.GN q-fin.EC
Big Data and Learning Analytics in Higher Education: Demystifying Variety, Acquisition, Storage, NLP and Analytics
不同行业都在寻求利用投资大数据分析和自然语言处理的机会,以提高其生产力和竞争力。高等教育部门目前面临的挑战包括快速变化和不断发展的环境,这需要发展新的思维方式。因此,人们对分析作为高等教育中许多问题解决方案的一部分的兴趣有所增加,包括学生流失率和学习者支持。这项研究对大数据、学习分析和NLP在高等教育中的使用进行了全面的讨论。此外,它还引入了一个集成的学习分析解决方案,该解决方案利用分布式技术系统,能够支持教育机构的学术机构和顾问做出有关学生个人的决策。
2018-01-03 cs.CY
"Big Data" and its Origins
在数据量、速度和种类爆炸性增长的背景下,我研究了“大数据”一词的起源。它的起源有点模糊,因此很有趣,涉及学术界和工业界,统计学和计算机科学,最终回到了硅谷图形公司的午餐桌上。(SGI)在90年代中期。大数据现象有增无减,统计机器学习工具的持续发展继续帮助我们应对它。
2021-01-04 cs.CY econ.EM
Universal Knowledge Discovery from Big Data: Towards a Paradigm Shift from 'Knowledge Discovery' to 'Wisdom Discovery'
许多人认为,大数据将提供大见解,并在未来产生重大影响,大数据辅助科学发现被视为一种新兴的和有前途的科学范式。然而,如何将大数据转化为具有巨大价值的深刻见解仍然是一个谜。为了应对这一挑战,提出了大数据泛知识发现(UKD)。新概念侧重于发现普遍知识,这些知识存在于大数据的统计分析中,并为大数据提供了有价值的见解。普遍知识有不同的形式,例如,普遍模式、规则、相关性、模型和机制。为加速大数据辅助普适知识发现,应在相关研究领域,特别是大数据采掘和复杂系统科学的技术和范式基础上,构建统一的研究范式。因此,我提出了iBEST@SEE方法。该研究为泛知识发现的未来发展奠定了坚实的基础,为发现隐藏在大数据中的“宝藏”提供了一条途径。
2014-10-28 cs.CY
A Perspective on the Challenges and Opportunities for Privacy-Aware Big Transportation Data
近年来,特别是智能手机的发展,与交通相关的大量数据变得可用。这些数据具有重新定义交通系统(即设计,规划和运营)的潜力。虽然学术界和工业界的研究人员在将这些数据用于交通系统方面取得了进展(例如,从收集的数据中进行信息推断),但很少有人关注四个更大规模的挑战,如果要将大交通数据的潜力用于交通决策目的,则需要克服这些挑战。本文旨在提供对这些大规模挑战的认识,并深入了解我们认为这些挑战可能会如何应对。
2018-11-23 cs.CY
Big data, bigger dilemmas: A critical review
最近对大数据的兴趣产生了广泛的新的学术,企业和政策实践,以及支持者,批评者和怀疑者之间不断演变的辩论。虽然这些实践利用了一套通用的工具、技巧和技术,但对辩论的大多数贡献要么来自特定学科的角度,要么着眼于特定领域的问题。对这些贡献的仔细研究揭示了一系列在不同地方以不同形式出现的共同问题。它还表明,有必要对围绕大数据的概念和实际困境进行批判性的综合。本文的目的是通过借鉴科学、人文、政策和贸易文献中的相关著作来提供这样一种综合。在将这些不同的文献汇集在一起时,我们的目标是阐明关注和影响所有这些领域的共同基本问题。通过将大数据现象置于更大的社会经济发展背景下,我们还寻求更广泛地了解其驱动因素,障碍和挑战。这种方法使我们能够识别需要更多关注的大数据属性-自主性,不透明性,生成性,差异性和未来性-从而产生超越困境的问题和想法。
2015-09-03 cs.CY
The potential and challenges of Big data - Recommendation systems next level application
产生的数据的不断增加为公共和私营公司提供了巨大的可能性。对这些海量数据或大数据的管理将在未来的社会中发挥至关重要的作用,因为它在不同的领域中得到应用。在庞大的数据量中隐藏着如此多的潜力和极其有用的见解。需要可用的高级分析技术,包括预测分析,文本挖掘,语义分析,以使组织能够通过以不同级别的复杂性,速度和准确性分析数据来创造竞争优势。因此,通过侵入我们生活的连接设备,每天伴随使用的无处不在的数字海洋是否仍然有可能达到这种复杂程度?然而,大数据的发展需要对与之相关的问题有一个很好的理解。这就是本文的目的,重点是对大数据分析、机遇和挑战进行特写。
2015-01-14 cs.CY
PABED A Tool for Big Education Data Analysis
云计算和大数据已经成为现代世界最流行的技术。很明显,它们之所以如此受欢迎,是因为它们在感兴趣的领域具有广泛的适用性。教育和研究仍然是最明显和最合适的应用领域之一。本文介绍了一个大数据分析工具,PAPED项目分析大教育数据,为教育部门利用基于云的技术。该工具使用Google BigQuery和R程序设计语言实现,可以比较不同学年的本科入学数据。虽然大数据在教育中的应用有很多,但缺乏可以将概念付诸实践的工具。PABED是朝着这个方向努力的。本文描述了该项目的实现和测试细节。该工具验证了云计算和大数据技术在教育中的使用,并将率先开发更复杂的教育智能工具。
2018-07-31 cs.CY cs.DC
An analytical framework to nowcast well-being using mobile phone data
一个有趣的开放性问题是,对记录人类活动的大数据进行测量是否可以为我们提供社会经济发展和福祉的高保真代理。我们是否可以通过大数据的镜头观察其居民的行为来监测和预测一个地区的社会经济发展?在本文中,我们设计了一个数据驱动的分析框架,该框架使用从移动电话数据中提取的移动性指标和社会指标来估计社会经济发展和福祉指标。我们发现,流动性的多样性,定义在熵的个人用户的轨迹,表现出(i)显着的相关性与两个不同的社会经济指标和(ii)最高的重要性,在预测模型建立预测的社会经济指标。我们的分析框架打开了一个有趣的视角,通过大数据的镜头,通过新的统计指标,量化和可能的“nowcast”一个地区的福祉和社会经济发展来研究人类行为。
2016-03-16 cs.CY cs.SI physics.soc-ph
Challenges and Solutions for Utilizing Earth Observations in the "Big Data" era
Space Research and Technology Institute, Bulgarian Academy of Sciences(保加利亚科学院空间研究与技术研究所);National Institute of Geophysics, Geodesy and Geography, the Bulgarian Academy of Sciences(保加利亚科学院国家地球物理、大地测量与地理研究所);Institute of Information and Communication Technologies, the Bulgarian Academy of Sciences(保加利亚科学院信息与通信技术研究所);National Aeronautics and Space Administration(美国国家航空航天局)
在过去的十年中,对数据保存及其系统分析的需求不断增长,促进了社会的可持续发展,许多大数据项目和倡议都集中在地球观测(EO)上。由于空间和信息技术科学的革命性技术进步,大数据EO应用的数量在世界范围内几乎与人类知识的其他科学和技术领域同时增长。对这一发展的重大贡献是著名航天机构的空间方案,如美国航天局,欧空局,俄罗斯航天局,日本宇宙航空研究开发机构,德国航天中心,国家空间研究所,印度空间研究组织,法国国家空间研究中心等。地球科学大数据汇集的这一简短概述侧重于EO,将强调EO的多个V,以提供EO数据保存和操作的当前最新技术水平的快照。概述了在地理信息科学中用于大数据分析、解释和可视化的压缩、聚类和建模EO的主要现代方法。特别注意当代EO数据建模和可视化系统。
2021-08-19 cs.CV cs.CY eess.IV
Big Data Meets Metaverse: A Survey
我们生活在大数据时代。Metaverse是未来的新兴技术,它结合了大数据,AI(人工智能),VR(虚拟现实),AR(增强现实),MR(混合现实)和其他技术,将减少在线和现实生活交互之间的差异。它的目标是成为一个我们可以工作、购物、玩耍和社交的平台。进入Metaverse的每个用户都以数据的方式与虚拟世界进行交互。随着Metaverse的发展和应用,数据将不断增长,从而形成一个大的数据网,这将给数字世界带来巨大的数据处理压力。因此,大数据处理技术是实现Metaverse的关键技术之一。在本调查中,我们全面回顾了Metaverse如何改变大数据。此外,我们详细讨论了Metaverse大数据的关键安全和隐私。最后,我们总结了Metaverse面临的问题和机遇,以及Metaverse在大数据下的未来。我们希望通过本次调查能够为研究者提供大数据在Metaverse中应用的研究方向和前景。
2022-10-28 cs.CY cs.DB
Leveraging cloud based big data analytics in knowledge management for enhanced decision making in organizations
近年来,大数据机会已经获得了很大的动力,以加强组织的知识管理。然而,大数据由于其各种属性,如高容量,多样性和速度,不再能有效地存储和分析与传统的数据管理技术,以产生价值的知识开发。因此,需要新的技术和架构来通过高级数据分析来存储和分析这些大数据,从而为组织的有效决策生成重要的实时知识。更具体地说,有必要拥有一个单一的基础设施,提供知识管理的通用功能,并具有足够的灵活性,以处理不同类型的大数据和大数据分析任务。能够存储和处理大量数据的云计算基础设施可以用于高效的大数据处理,因为它最小化了大数据分析所需的大规模计算基础设施的初始成本。本文旨在探讨大数据分析对知识管理的影响,并提出一个基于云的概念框架,可以实时的分析大数据,以促进旨在获得竞争优势的增强决策。因此,该框架将为组织探索大数据分析和知识管理之间的关系铺平道路,这两种关系通常被视为两个不同的实体。
2017-02-15 cs.CY cs.DC
Studying the characteristics of scientific communities using individual-level bibliometrics: the case of Big Data research
与大多数专注于出版物的文献计量学研究不同,以大数据研究为案例研究,我们引入了一种新颖的文献计量学方法,从个人层面的角度来展现特定科学界的现状。我们研究活跃在大数据研究领域的作者的学术年龄,生产和研究重点。选择人工智能(AI)作为比较的参考领域。结果表明,“大数据”的学术领域是一个不断增长的主题,作者社区不断扩大,特别是每年都有新的作者。与AI相比,大数据吸引的作者具有更长的学术年龄,他们可以被视为在进入社区之前积累了一些出版经验。尽管两个社区的研究人员之间的生产力分布高度倾斜,但大数据作者的研究重点和生产价值都高于人工智能作者。考虑到社区规模,整体学术年龄和持续发表的主题,我们的研究结果支持大数据作为一个研究主题的想法与研究人员的吸引力。我们认为,本研究中提出的以社区为中心的指标可以推广到其他研究领域和主题的发展和动态。
2021-06-10 cs.CY cs.DL
Gender-Based Violence in 140 Characters or Fewer: A #BigData Case Study of Twitter
公共机构越来越依赖社交媒体网站的数据来衡量公众态度,并提供及时的公众参与。这种依赖包括探讨公众对基于性别的暴力等重要社会问题的看法。在这项研究中,我们研究了在十个月内从Twitter收集的近1400万条推文组成的大(社交)数据,以分析关于GBV的公众舆论,突出了地理位置和性别的推文实践的性质。我们展示了计算社会科学的效用,从语料库中挖掘洞察力,同时考虑到瞬态事件和社会文化因素的影响。我们揭示了公众对GBV容忍度的认识,并提出了干预机会和干预有效性的测量,帮助政府和非政府组织制定政策。
2015-06-29 cs.CY cs.SI
A Big Data-empowered System for Real-time Detection of Regional Discriminatory Comments on Vietnamese Social Media
University of Information Technology(信息科技大学);Vietnam National University Ho Chi Minh City(胡志明市越南国家大学)
针对越南社交媒体上的区域歧视问题,构建ViRDC数据集,基于Apache Spark框架集成流式处理与机器学习模型,实现实时检测系统。
2024-10-29 cs.CL cs.CY
Geospatial Big Data Handling Theory and Methods: A Review and Research Challenges
大数据现已成为全球关注的焦点,越来越多地吸引学术界、工业界、政府和其他组织的关注。大数据可以定位于传统地理空间数据处理理论和方法的学科领域。收集的地理空间大数据的数量不断增加,格式各异,这给存储、管理、处理、分析、可视化和验证数据质量带来了挑战。这对使用大数据做出的决策的质量产生了影响。因此,国际摄影测量与遥感学会(ISPRS)第二技术委员会(TC II)的这份立场文件重新审视了现有的地理空间数据处理方法和理论,以确定它们是否仍然能够处理新兴的地理空间大数据。此外,该文件综合了目前发展的问题,主要问题和挑战,并建议在不久的将来需要进一步发展。关键词:大数据,地理空间,数据处理,分析,空间建模,回顾
2015-11-10 cs.CY physics.data-an physics.soc-ph
Event Prediction in the Big Data Era: A Systematic Survey
Emory University(埃默里大学)
事件是发生在特定的地点,时间和语义,对我们的社会或自然产生重大影响,如内乱,系统故障和流行病。人们非常希望能够提前预测这类事件的发生,以减少潜在的社会动荡和造成的损害。事件预测在传统上一直是极具挑战性的,现在正在成为大数据时代的可行选择,因此正在经历快速增长。有大量的现有工作集中在解决所涉及的挑战,包括异构多方面的输出,复杂的依赖关系和流数据馈送。大多数现有的事件预测方法最初被设计用于处理特定的应用领域,尽管所使用的技术和评估程序通常可以在不同的领域中推广。然而,由于缺乏对事件预测的全面文献调查,因此很难交叉引用不同领域的技术。本文旨在对大数据时代的事件预测技术、应用和评价进行系统和全面的综述。首先,对现有技术进行了系统的分类和总结,便于领域专家寻找合适的技术,帮助模型开发人员巩固前沿研究成果。然后,对主要应用领域进行了全面的分类和总结。评估指标和过程被总结和标准化,以统一不同应用领域的涉众、模型开发人员和领域专家对模型性能的理解。最后,开放的问题和未来的发展方向,这个有前途的和重要的领域进行了阐述和讨论。
2020-08-04 cs.AI cs.CY
The Role of Big Data Analytics in Industrial Internet of Things
由于传感器和物联网(IoT)设备的大规模部署,工业物联网(IIoT)中的大数据生产显而易见。然而,由于物联网设备端的计算、网络和存储资源有限,大数据处理具有挑战性。大数据分析(BDA)有望在IIoT系统中提供运营和客户级智能。尽管有许多关于IIoT和BDA的研究,但只有少数研究探讨了这两种范式的融合。在这项研究中,我们调查了最近的BDA技术,算法和技术,可以导致智能IIoT系统的发展。我们设计了一个分类法,根据重要参数(例如数据源,分析工具,分析技术,要求,工业分析应用和分析类型)对文献进行分类和归类。我们提出了从BDA中受益的各种企业的框架和案例研究。我们还列举了BDA在IIoT中引入的大量机会。我们还确定并讨论了作为未来研究方向仍需解决的不可或缺的挑战。
2019-04-11 cs.CY cs.NI
Building the National Radio Recordings Database: A Big Data Approach to Documenting Audio Heritage
本文追溯了美国国会图书馆国家录音保存委员会的无线电保存工作队所使用的策略,以开发一个可公开检索的数据库,记录全国各地收集机构所持有的现存无线电材料。迄今为止,该项目已汇总了2 500个独特收藏品的元数据,但遇到了一系列后勤挑战,这些挑战不仅是技术性的,而且是体制性和社会性的,提出了涉及组织结构、政治代表性和数据访问道德的关键问题。随着项目的不断扩展和发展,其早期开发的经验教训为成功的大数据工作所需的人类判断,隐藏劳动和人际关系提供了宝贵的提醒。
2019-11-12 cs.CY cs.DL
Leveraging Machine Learning and Big Data for Smart Buildings: A Comprehensive Survey
Western Michigan University(西密歇根大学);Information Technology University(信息技术大学)
未来的建筑将为居民提供新的便利、舒适和效率。随着技术的深入,信息处理充分融入人们的日常生活活动和对象,人们的生活方式将发生变化。智能建筑的未来期望包括使居民的体验尽可能简单和舒适。智能建筑设备和设备生成和捕获的大量流数据包含有价值的信息,需要挖掘这些信息以促进及时采取行动和更好地决策。机器学习和大数据分析无疑将在实现此类智能服务的交付方面发挥关键作用。在本文中,我们调查了智能建筑领域,特别关注机器学习和大数据分析技术的作用。该调查还回顾了智能建筑服务发展的当前趋势和面临的挑战。
2019-05-19 cs.CY cs.LG stat.ML
Big Data = Big Insights? Operationalising Brooks' Law in a Massive GitHub Data Set
来自软件存储库和协作工具的大量数据被广泛用于研究软件开发中的社会方面。最近的几篇文章提出的一个问题是,软件项目的规模和结构如何影响团队的生产力,这是布鲁克斯定律中著名的问题。最近使用大量存储库数据的研究表明,大型团队中的开发人员往往比小型团队的生产力低。尽管使用类似的方法和数据,其他研究认为团队规模和生产力之间存在正线性甚至超线性关系,从而质疑软件经济学认为软件项目是规模不经济的观点。在我们的工作中,我们研究的挑战,可以解释最近的研究开发人员的生产力在大量的存储库数据之间的分歧。据我们所知,我们还提供了最大的、精心策划的GitHub项目语料库,旨在调查团队规模和协作模式对个人和集体生产力的影响。我们的工作有助于正在进行的讨论,在操作的假设成功的软件项目的决定因素的生产力指标的选择。它进一步强调了大数据分析中的一般陷阱,并表明使用更大的数据集并不会自动带来更可靠的见解。
2022-01-12 cs.CY cs.SE cs.SI
Wrong side of the tracks: Big Data and Protected Categories
当我们将机器学习用于公共政策时,我们发现许多有用的变量都与其他变量相关联,而这些变量作为决策的基础在伦理上是有问题的。这个问题在大数据时代变得尤为严重,因为预测往往是在缺乏强有力的因果机制理论的情况下做出的。我们描述了民主决策的危险时,高性能的算法无法提供一个明确的因果关系。然后,我们演示了如何信息论允许我们降低预测,使他们从受保护的变量去相关的准确性损失最小。然而,强制执行完全去相关充其量只是一个短期解决方案。因果论证在伦理辩论中的作用促使人们开发新的、可解释的机器学习算法,这些算法参考了因果机制。
2016-06-24 cs.CY cs.IT math.IT