Integration of Machine Learning Techniques to Evaluate Dynamic Customer Segmentation Analysis for Mobile Customers
School of Computing, National College of Ireland(爱尔兰国家学院计算机学院)
电信行业竞争激烈,这意味着移动提供商需要一个商业智能模型,可用于实现最佳的流失率,以及最低的营销活动成本。机器学习应用程序可用于为营销策略提供指导。此外,数据采掘技术可以用于客户细分的过程中。本文的目的是提供一个详细的分析C.5算法,在朴素贝叶斯建模的任务,细分电信客户的行为分析,根据他们的计费和社会人口方面。实验结果已经实施。
2017-01-31 cs.CY cs.LG stat.ML
Big Machinery Data Preprocessing Methodology for Data-Driven Models in Prognostics and Health Management
Center for Risk and Reliability, University of Maryland, College Park(马里兰大学帕克分校风险与可靠性中心);Civil and Environmental Engineering Department & Garrick Institute for the Risk Sciences, University of California, Los Angeles(加州大学洛杉矶分校土木与环境工程系及加里克风险科学研究所)
传感器监控网络和大数据分析的进步已经将可靠性工程领域引导到了大机械数据的新时代。低成本传感器以及物联网和工业4.0的发展产生了丰富的数据库,可以通过预测和健康管理(PHM)框架进行分析。数据驱动模型(DDM)已被提出并应用于复杂系统的诊断和故障诊断。然而,这些模型中的许多是使用模拟或实验数据集开发的,并且对于实际操作系统中的应用仍然存在知识差距。此外,很少有人注意到所需的数据预处理步骤相比,这些DDM的训练过程。到目前为止,研究工作没有遵循一个正式的和一致的数据预处理准则的PHM应用程序。本文提出了一个全面的,一步一步的管道预处理的监测数据从复杂的系统,目的是DDM。专家知识的重要性进行了讨论的背景下,数据选择和标签生成。两个案例研究进行验证,最终目标是创建干净的数据集,健康和不健康的标签,然后用于训练机械健康状态分类。
2021-10-08 cs.LG stat.ML
From Adaptive Query Release to Machine Unlearning
The Johns Hopkins University(约翰斯·霍普金斯大学)
该研究将机器遗忘问题形式化为自适应查询类学习算法的对应遗忘算法设计,给出线性和前缀和查询类的高效遗忘算法,将其应用于随机凸优化等问题并得到更优的风险与复杂度保证,还推广到动态流场景。
2023-07-20 cs.LG stat.ML
Program Targeting with Machine Learning and Mobile Phone Data: Evidence from an Anti-Poverty Intervention in Afghanistan
University of California, Berkeley(加州大学伯克利分校);World Bank(世界银行)
移动电话数据可以提高计划的目标?通过将来自阿富汗“大推动”扶贫计划的丰富调查数据与计划受益人的详细手机日志相结合,我们研究了机器学习方法可以在多大程度上准确区分有资格获得计划福利的极端贫困家庭和不符合条件的家庭。我们发现,利用手机数据的机器学习方法可以像基于调查的消费和财富指标一样准确地识别极端贫困家庭;将基于调查的指标与手机数据相结合,可以产生比基于单一数据源的分类更准确的分类。
2022-06-22 cs.LG econ.GN q-fin.EC
Leveraging Machine Learning and Big Data for Smart Buildings: A Comprehensive Survey
Western Michigan University(西密歇根大学);Information Technology University(信息技术大学)
未来的建筑将为居民提供新的便利、舒适和效率。随着技术的深入,信息处理充分融入人们的日常生活活动和对象,人们的生活方式将发生变化。智能建筑的未来期望包括使居民的体验尽可能简单和舒适。智能建筑设备和设备生成和捕获的大量流数据包含有价值的信息,需要挖掘这些信息以促进及时采取行动和更好地决策。机器学习和大数据分析无疑将在实现此类智能服务的交付方面发挥关键作用。在本文中,我们调查了智能建筑领域,特别关注机器学习和大数据分析技术的作用。该调查还回顾了智能建筑服务发展的当前趋势和面临的挑战。
2019-05-19 cs.CY cs.LG stat.ML
Enriching the Machine Learning Workloads in BigBench
Goethe University Frankfurt(法兰克福大学);Frankfurt Big Data Lab(法兰克福大数据实验室)
本文基于标准化 BigBench(TPCx-BB)扩展 BigBench V2,新增三个机器学习工作负载,并跨 MLlib、SystemML、Scikit-learn 与 Pandas 比较同算法实现。
2024-06-16 cs.LG
Call Detail Records Driven Anomaly Detection and Traffic Prediction in Mobile Cellular Networks
University of Science and Technology Beijing(北京科技大学);COMSATS University Islamabad(COMSATS伊斯兰堡大学)
移动网络拥有关于用户以及网络的信息。这些信息对于使网络端到端可见和智能化非常有用。大数据分析可以有效地分析用户和网络信息,在机器学习工具的帮助下挖掘有意义的见解。利用大数据分析和机器学习,这项工作在三个方面做出了贡献。首先,我们利用呼叫详细记录(CDR)数据来检测网络中的异常。对于异常的认证和验证,我们使用k-means聚类,一种无监督的机器学习算法。通过对异常的有效检测,我们可以进行适当的资源分配设计以及故障检测和避免。其次,我们通过去除异常活动来准备无异常数据,并训练神经网络模型。通过将异常数据和无异常数据通过该模型,我们观察了异常活动对模型训练的影响,并观察了异常数据和无异常数据的均方误差。最后,我们使用自回归综合移动平均(ARIMA)模型来预测未来的流量为用户。通过简单的可视化,我们表明,无异常数据更好地概括了学习模型,并在预测任务上表现得更好。
2018-07-30 cs.AI cs.LG stat.ML
Mobile Machine Learning Hardware at ARM: A Systems-on-Chip (SoC) Perspective
University of Rochester(罗切斯特大学);ARM Research(ARM研究院)
机器学习在AR/VR、ADAS等新兴移动应用领域中发挥着越来越重要的作用。因此,硬件架构师已经为机器学习算法(特别是神经网络)设计了定制硬件,以提高计算效率。然而,机器学习通常只是复杂端到端应用中的一个处理阶段,涉及移动片上系统(SoC)中的多个组件。只关注机器学习加速器会在系统(SoC)层面失去更大的优化机会。本文认为,硬件架构师应该扩大优化范围到整个SoC。我们展示了一个特定的案例研究在连续计算机视觉领域的摄像头传感器,图像信号处理器(ISP),存储器和NN加速器协同协同设计,以实现最佳的系统级效率。
2018-02-01 cs.AR cs.LG cs.NE
A Machine Learning based Robust Prediction Model for Real-life Mobile Phone Data
Chittagong University of Engineering and Technology(吉大港工程技术大学);Swinburne University of Technology(斯威本科技大学)
现实生活中的移动电话数据可能包含噪声实例,这是构建具有许多潜在负面后果的预测模型的基本问题。推断模型的复杂性可能增加,可能出现过拟合问题,从而模型的整体预测精度可能降低。本文针对这些问题,提出了一种针对个人用户真实手机数据的鲁棒预测模型,以提高模型的预测精度。在我们的鲁棒模型中,我们首先通过使用朴素贝叶斯分类器和拉普拉斯估计器确定动态噪声阈值来有效地识别和消除训练数据集中的噪声实例,根据用户独特的行为模式,动态噪声阈值可能因用户而异。之后,我们采用最流行的基于规则的机器学习分类技术,即,决策树,对无噪声质量数据集建立预测模型。在现实生活中的移动电话数据集上的实验结果(例如,电话通话记录)的个人移动电话用户,显示我们的鲁棒模型的精度,召回率和f-措施的有效性。
2019-02-11 cs.CY cs.LG cs.SI
Using Machine Learning to Evaluate Real Estate Prices Using Location Big Data
University of Virginia(弗吉尼亚大学)
如今,每个人都试图进入房地产市场,了解住宅和商业物业的适当估值已变得至关重要。过去的研究人员已经知道利用静态房地产数据(例如床,浴室,平方英尺的数量),甚至房地产和人口统计信息的组合来预测房地产价格。在这项研究中,我们试图改进过去的研究。因此,我们决定探索一种独特的方法:我们想确定移动位置数据是否可以用来提高流行的回归和基于树的模型的预测能力。为了为我们的模型准备数据,我们通过将移动数据附加到房地产数据中的各个属性来处理移动数据,这些数据在一周的每一天都聚集了距离该属性500米以内的用户。我们删除了居住在每个房产500米范围内的人,因此每个房产的聚合移动数据仅包含非居民人口普查特征。除了这些动态人口普查特征之外,我们还包括静态人口普查特征,包括该地区的人口数量,通勤人口的平均比例以及该地区的居民数量。最后,我们测试了多个模型来预测房地产价格。我们提出的模型是两个堆叠的随机森林模块,使用岭回归,使用随机森林输出作为预测。第一个随机森林模型仅使用静态特征,第二个随机森林模型仅使用动态特征。比较我们的模型与不动态移动定位功能的结论是,与动态移动定位功能的模型实现了3/%,比相同的模型,但没有动态移动定位功能的均方误差低。
2022-05-02 cs.LG
Machine Learning Based Mobile Network Throughput Classification
Tampere University(坦佩雷大学);Nokia Software(诺基亚软件)
当网络的复杂性增加时,识别4G小区中的移动网络问题更具挑战性,并且隐私问题限制了数据的信息内容。本文提出了一种数据驱动模型,用于识别具有基本网络吞吐量问题的4G小区。该模型利用了聚类和深度神经网络(DNN)。模型参数是使用少量专家标记的数据学习的。为了实现特定情况下的分类,我们提出了一个模型,其中包含一个多个聚类模型块,用于捕获常见的问题细胞的功能。然后将该块的捕获特征用作DNN的输入。实验表明,该模型在识别网络吞吐量问题的细胞优于一个简单的分类器。据作者所知,还没有相关的研究,其中网络吞吐量分类是在小区级别上进行的,信息只从服务提供商侧收集。
2020-04-27 cs.LG eess.SP stat.ML
On Machine Learning and Structure for Mobile Robots
University of Oxford(牛津大学)
由于最近的进步-计算,数据,模型-学习在自治系统中的作用已经显着扩大,首次使新的应用成为可能。虽然在软件栈的感知模块中获得了一些最重要的好处,但其他方面仍然依赖于基于几何,动力学,运动学等先验知识的已知手动程序。尽管如此,当数据收集和管理变得比手动规则设计更容易时,学习在这些模块中获得相关性。基于对当前研究的粗略和广泛的调查,最后几节旨在深入了解未来的潜力和挑战,以及结构在当前实际应用中的必要性。
2018-06-15 cs.AI cs.LG cs.RO
Machine Learning for Indoor Localization Using Mobile Phone-Based Sensors
Drake University(德雷克大学)
在本文中,我们研究了利用机器学习方法基于嵌入式传感器的读数来定位移动终端的问题。我们考虑一个真实的环境,收集了3110个数据点的大型数据集,并检查了大量的机器学习算法在本地化移动终端的性能。我们已经找到了算法,给出了一个准确的平均误差为0.76米,优于文献中报道的其他室内定位系统。我们还提出了一种基于实例的混合方法,该方法可以使速度提高十倍,而不会损失标准的基于实例的方法在现场部署中的准确性,从而实现快速准确的定位。此外,我们确定了以较低密度收集的较小数据集如何影响定位的准确性,这对于在现实环境中使用很重要。最后,我们证明了这些方法是适合现实世界的部署,通过评估其性能在一个在线的,在运动实验。
2015-05-22 cs.LG cs.NI
Strategies and Principles of Distributed Machine Learning on Big Data
Carnegie Mellon University(卡内基梅隆大学)
大数据的兴起导致了对机器学习(ML)系统的新需求,以学习具有数百万到数十亿参数的复杂模型,这些模型承诺有足够的能力来消化海量数据集并提供强大的预测分析。为了在具有数十到数千台机器的分布式集群上以如此规模运行ML算法,通常需要大量的工程工作--人们可能会问这样的工程是否真正属于ML研究的范围。考虑到大型ML系统可以从基于ML的统计和算法见解中受益匪浅,因此ML研究人员不应该回避这样的系统设计,我们讨论了从我们最近在工业规模ML解决方案上的努力中提炼出来的一系列原则和策略。这些原则和策略涵盖了从应用到工程,再到大机器学习系统和架构的理论研究和开发的连续统一体,目的是了解如何使它们高效,普遍适用,并得到收敛和扩展保证的支持。它们涉及传统上在ML研究中很少受到关注的四个关键问题:如何在集群上分发ML程序?如何将ML计算与机器间通信联系起来?如何进行这样的沟通?机器之间应该进行哪些通信?通过揭示机器学习程序特有的、但在传统计算机程序中通常看不到的基本统计和算法特征,并通过剖析成功案例来揭示我们如何利用这些原则来设计和开发高性能分布式机器学习软件以及通用机器学习框架,我们为ML研究人员和实践者提供了进一步塑造和发展ML和系统之间区域的机会。
2015-12-31 cs.DC cs.LG stat.ML
VDMS: Efficient Big-Visual-Data Access for Machine Learning Workloads
Intel Labs(英特尔实验室)
我们引入了可视化数据管理系统(VDMS),它可以更快地访问大可视化数据并增加对可视化分析的支持。这是通过通过存储为图形的元数据搜索相关的视觉数据来实现的,并通过新的机器友好的存储格式实现对视觉数据的更快访问。VDMS与现有的大规模照片服务、视频流和文本大数据管理系统不同,因为其主要关注于支持使用视觉数据(图像、视频和特征向量)的机器学习和数据分析管道,将这些视为第一类实体。我们描述了如何通过其用户友好的界面使用VDMS,以及它如何通过机器学习管道处理医学图像来实现丰富而高效的视觉分析。我们展示了在可比设置的复杂查询中2倍的改进性能。
2018-12-11 cs.DB cs.LG
Quantum support vector machine for big data classification
Massachusetts Institute of Technology(麻省理工学院);Google Research(谷歌研究院)
监督机器学习是基于已经分类的训练示例对新数据进行分类。在这项工作中,我们证明了支持向量机,一种优化的二元分类器,可以在量子计算机上实现,其复杂度在向量大小和训练示例数量上是对数的。在经典采样算法需要多项式时间的情况下,可以获得指数加速。这种量子大数据算法的核心是一种非稀疏矩阵求幂技术,用于有效地执行训练数据内积(内核)矩阵的矩阵求逆。
2014-07-10 cs.LG quant-ph
From Server-Based to Client-Based Machine Learning: A Comprehensive Survey
Shanghai Jiao Tong University(上海交通大学);Alibaba(阿里巴巴)
近年来,移动设备以更强的计算能力和更大的存储空间获得了日益增长的发展。一些计算密集型的机器学习任务现在可以在移动设备上运行。为了利用移动设备上可用的资源并保护个人隐私,已经提出了基于客户端的机器学习的概念。它利用用户的本地硬件和本地数据在移动设备上解决机器学习子问题,只上传计算结果而不是原始数据,用于全局模型的优化。这样的架构不仅可以减轻服务器的计算和存储负担,还可以保护用户的敏感信息。另一个好处是带宽减少,因为各种本地数据可以参与训练过程而无需上传。在这篇文章中,我们提供了一个文献综述的逐步发展的机器学习从基于服务器到基于客户端。我们回顾了一些广泛使用的基于服务器和基于客户端的机器学习方法和应用程序。我们还广泛讨论了这一领域的挑战和未来方向。我们相信,这项调查将对基于客户端的机器学习进行清晰的概述,并为将基于客户端的机器学习应用于实践提供指导。
2021-09-28 cs.DC cs.LG stat.ML
AI and Machine Learning Driven Indoor Localization and Navigation with Mobile Embedded Systems
Colorado State University(科罗拉多州立大学)
该文综述室内导航因GPS失效而依赖WiFi与传感器的现状,分析前沿方案挑战,并说明移动嵌入式系统上的AI算法如何实现定位与导航。
2024-08-09 cs.AI cs.LG cs.RO
A survey on Big Data and Machine Learning for Chemistry
University of São Paulo(圣保罗大学);Dublin City University(都柏林城市大学)
在这里,我们回顾了利用大数据和机器学习(ML)的化学前沿研究和创新方面,这两个计算机科学领域结合起来产生机器智能。ML可以加速复杂化学问题的解决,甚至可以解决原本不容易解决的问题。但机器学习的潜在好处是以大数据生产为代价的;也就是说,为了学习,算法需要大量不同性质和不同来源的数据,从材料属性到传感器数据。在调查中,我们提出了未来发展的路线图,重点是材料发现和化学传感,以及物联网(IoT)的背景下,这两个领域都是大数据背景下ML的突出研究领域。除了概述最新进展外,我们还详细阐述了大数据和ML应用于化学的概念和实际局限性,概述了过程,讨论了陷阱,并回顾了成功和失败的案例。
2019-04-23 cs.LG physics.chem-ph
Big Data Analytics in Bioinformatics: A Machine Learning Perspective
Tezpur University(提斯普尔大学)
生物信息学研究的特点是大量和增量的数据集和复杂的数据分析方法。生物信息学中使用的机器学习方法是迭代和并行的。这些方法可以扩展到使用分布式和并行计算技术来处理大数据。通常,大数据工具以批处理模式执行计算,并且没有针对迭代处理和操作之间的高数据依赖性进行优化。近年来,并行、增量和多视角的机器学习算法被提出。类似地,基于图的架构和内存中的大数据工具已经被开发出来,以最大限度地减少I/O成本并优化迭代处理。然而,对于许多重要的生物信息学问题,缺乏标准的大数据架构和工具,例如快速构建共表达和调控网络以及显著模块识别,检测不断增长的蛋白质-蛋白质相互作用数据中的复合物,快速分析大量DNA,RNA和蛋白质序列数据,以及快速查询增量和异构疾病网络。本文讨论了生物信息学中的几个大数据问题所带来的问题和挑战,并概述了最新的技术水平和未来的研究机会。
2015-06-15 cs.CE cs.LG
Dynamic detection of mobile malware using smartphone data and machine learning
University of Twente(特温特大学)
移动恶意软件是针对移动设备的恶意程序。它们是一个日益严重的问题,正如每年检测到的移动恶意软件样本的增加所示。活跃的智能手机用户数量预计将增长,强调了对移动恶意软件检测研究的重要性。移动恶意软件的检测方法存在,但仍然有限。在本文中,我们概述了机器学习(ML)技术在Android上检测恶意软件的性能,而不使用特权访问。ML分类器使用设备信息(如CPU使用率、电池使用率和内存使用率)来检测Android操作系统(OS)上的10种移动木马子类型。我们使用了一个真实的数据集,其中包含47名用户一年(2016年)的设备和恶意软件数据。我们检查哪些功能,即方面,一个设备,是最重要的监测检测(亚型)移动木马。本文的重点是动态的硬件功能。使用这些动态特征,我们应用了最先进的机器学习分类器:随机森林、K最近邻和AdaBoost。我们显示了不同功能集的分类结果,区分了全局设备功能和特定应用功能。测量的特征集都不需要特权访问。我们的研究结果表明,随机森林分类器作为一个通用的恶意软件分类器表现最好:在10个子类型的移动木马,它达到了F1得分为0.73,误报率(FPR)为0.009和误报率(FNR)为0.380。当分别训练以检测移动木马的每种亚型时,随机森林、K最近邻和AdaBoost分类器的F1分数高于0.72,FPR低于0.02,FNR低于0.33。
2021-07-23 cs.CR cs.LG
Integrating mobile and fixed monitoring data for high-resolution PM2.5 mapping using machine learning
School of Intelligent Systems Engineering, Sun Yat-sen University(中山大学智能工程学院);Sun Yat-sen University(中山大学)
本文融合320个出租车移动传感器与52个固定站点 PM2.5 数据,利用机器学习建立浓度映射,生成500米、5分钟分辨率的稳定污染地图。
2025-03-16 cs.LG physics.ao-ph
Learning Multi-agent Multi-machine Tending by Mobile Robots
ETS Montreal(蒙特利尔工程学院);Mila - Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);University of Calgary(卡尔加里大学)
本文提出基于多智能体强化学习的移动机器人多机器看护框架,集成注意力编码机制(AB-MAPPO),在任务成功率、安全性和资源利用率上优于MAPPO。
2025-02-28 cs.LG cs.RO
A Metaheuristic-based Machine Learning Approach for Energy Prediction in Mobile App Development
Universidade da Beira Interior(贝拉内政大学);NOVA LINCS(新林肯实验室)
针对移动应用开发中缺乏基于机器学习的能耗预测算法的问题,提出经元启发式方法优化的HGBC模型,通过特征选择与超参数调优提升预测性能,实验验证L-SHADE为最优搜索算法,效果显著。
2023-06-16 cs.LG cs.NE
Reinforcement Learning with Reward Machines for Sleep Control in Mobile Networks
Ericsson Research(爱立信研究院)
本文提出利用奖励机强化学习优化移动网络睡眠控制,在保障服务质量的前提下平衡即时节能与长期影响。
2026-04-08 cs.AI cs.LG
AI Back-End as a Service for Learning Switching of Mobile Apps between the Fog and the Cloud
Queen’s University of Belfast(贝尔法斯特女王大学)
由于云服务器通常位于移动应用程序设备的远程位置,因此应用程序的最终用户可能会面临延迟。引入Fog是为了通过位于靠近最终用户的网络边缘的机器来增强应用程序。然而,边缘机器通常是资源受限的。因此,如果数据分析算法的时间复杂度高,则在边缘机器上执行在线数据分析可能是不可行的。为了克服这个问题,应该在边缘和远程机器上部署多个后端实例。在这种情况下,研究的问题是如何根据服务实例的响应时间动态决定应用程序在后端实例之间的切换。为了回答这个问题,我们贡献了一种AI方法,该方法训练服务实例的响应时间的机器学习模型。我们的方法将后端即服务扩展为AI自后端即服务,该服务在运行时自行决定实现最低响应时间的正确边缘/远程实例。我们通过在现有的拍卖应用程序上使用真实的机器学习数据集来评估我们方法的准确性和效率。
2021-10-02 cs.LG
Personality Trait Inference Via Mobile Phone Sensors: A Machine Learning Approach
Barcelona School of Economics(巴塞罗那经济学院);Koa Health
本研究利用手机传感器活动数据与机器学习方法预测人格,在二分类问题上F1分数最高达0.78,并揭示了对大五人格特质具有差异化预测能力的行为模式,为大规模免问卷人格评估提供了新途径。
2024-01-22 cs.LG eess.SP
MHfit: Mobile Health Data for Predicting Athletics Fitness Using Machine Learning
University of South Dakota(南达科他大学);Central Michigan University(中密歇根大学)
本文提出 MHfit,基于 mhealth 传感器数据集比较五种机器学习算法以评估运动员是否适合参赛,其中 XGBoost 表现最优,准确率达 95.2%。
2023-04-26 cs.CY cs.LG
Impact of Biases in Big Data
University of Luxembourg(卢森堡大学);University of Quebec in Montreal(蒙特利尔魁北克大学)
大数据驱动的机器学习的基本范式反映了从简单分析更多数据中得出更好结论的愿望,而无需查看理论和模型。拥有更多的数据总是有帮助的吗?1936年,《文学文摘》(The Literary Digest)收集了230万份问卷,以预测当年美国总统大选的结果。这个大数据预测的结果被证明是完全错误的,而乔治·盖洛普只需要3000个精心挑选的人就可以做出准确的预测。在机器学习中,当训练集和测试集的分布不同时,往往会产生偏差。在这项工作中,我们对机器学习中(大)数据集的不同类型的偏见进行了回顾。我们提供了机器学习中最常见的偏差的定义和讨论:类不平衡和协变量偏移。我们还展示了如何量化和纠正这些偏见。这项工作是一个介绍性的文本,研究人员和从业者变得更加意识到这个主题,从而获得更可靠的模型,为他们的学习问题。
2018-03-02 cs.LG
Combining Cloud and Mobile Computing for Machine Learning
University of Chicago(芝加哥大学)
本文提出通过模型分割在移动设备与云端之间灵活分配机器学习推理任务,并设计调度器综合网络、设备与作业信息,在降低用户等待时间的同时优化云端负载。
2024-02-23 cs.AI cs.DC cs.LG
Design and Optimization of Big Data and Machine Learning-Based Risk Monitoring System in Financial Markets
Washington University in St. Louis(圣路易斯华盛顿大学);Columbia University(哥伦比亚大学);Northeastern University(东北大学)
本文设计并优化了一个基于大数据和机器学习的四层架构风险监控系统,采用LSTM、随机森林、梯度提升树和Apache Flink等技术,显著提升了金融机构风险管理的效率与准确性,尤其在市场崩盘风险预警方面表现卓越。
2024-07-28 cs.LG q-fin.RM
Big Earth Data and Machine Learning for Sustainable and Resilient Agriculture
National Technical University of Athens(雅典国立技术大学);NOA(国家天文台(注:此处NOA常见全称National Observatory of Athens,即雅典国家天文台));CERTH(希腊信息技术研究与技术中心(注:CERTH常见全称Center for Research and Technology Hellas,即希腊研究与技术中心));Wageningen University and Research(瓦赫宁根大学及研究中心)
来自卫星或其他平台的大量地球图像(例如,无人机和移动电话)越来越多地以低成本或无成本获得,并且具有增强的空间和时间分辨率。本论文认识到我们这个时代的高质量和开放获取的地球观测数据所提供的前所未有的机会,并介绍了新的机器学习和大数据方法,以适当地利用它们来开发可持续和有弹性的农业应用。本论文涉及三个不同的主题领域,即,共同农业政策(CAP)的监测,粮食安全的监测以及智能和弹性农业的应用。与这三个专题领域有关的发展的方法创新解决了以下问题:一)地球观测大数据的处理,二)用于机器学习模型培训的注释数据的稀缺性,以及三)机器学习产出与可采取行动的建议之间的差距。本文展示了如何使用大数据技术,如数据立方体,分布式学习,链接开放数据和语义丰富,以利用数据洪水和提取知识,以满足真正的用户需求。此外,本论文认为,半监督和无监督的机器学习模型,规避稀缺的注释,从而允许在空间和时间的模型泛化的挑战的重要性。具体而言,它显示了如何只需要很少的地面实况数据生成高质量的作物类型图和作物物候估计。最后,本文认为在现实世界的场景中,模型推理和决策之间存在相当大的价值差距,从而展示了因果和可解释的机器学习在弥合这一差距方面的力量。
2022-11-22 cs.AI cs.LG
Correct classification for big/smart/fast data machine learning
表(数据库)/关系数据库大/智能/快速数据的分类机器学习是预测分析和从数据中提取有价值信息的最重要任务之一。它是现在在数据科学和/或人工智能下理解的核心应用技术。广泛使用的决策树(随机森林)和很少使用的基于规则的PRISM、VFST等分类器是理论上正确的布尔函数最小化的经验替代。布尔函数最小化算法的研究始于Edward Veitch的1952年。自那以后,广泛的科学/工业界做了很大的努力来寻找布尔函数最小化的可行解决方案。在本文中,我们建议考虑表数据分类从数学的角度来看,作为布尔函数的最小化。它表明,数据表示可以转换为布尔函数的形式,以及如何使用已知的算法。为简单起见,开发中使用了二进制输出函数,这为多值输出开发打开了大门。
2016-09-27 cs.IT cs.LG math.IT
Big Learning with Bayesian Methods
Tsinghua University(清华大学)
数据的爆炸式增长和廉价计算资源的可用性引发了人们对大学习的兴趣,大学习是一个新兴的子领域,研究可扩展的机器学习算法,系统和大数据应用。贝叶斯方法代表了机器学习的一类重要的统计方法,在自适应、灵活和可扩展的贝叶斯学习方面有了很大的发展。本文综述了大规模贝叶斯学习的最新进展,包括用于自适应推断模型复杂性的非参数贝叶斯方法、通过后验正则化提高灵活性的正则化贝叶斯推理,以及用于处理大规模应用的基于随机子采样和分布式计算的可扩展算法和系统。
2017-03-01 cs.LG stat.AP stat.CO
Deep Neural Mobile Networking
下一代移动网络将变得越来越复杂,因为这些网络难以满足越来越多的连接设备产生的巨大数据流量需求,这些设备在吞吐量,延迟和可靠性方面具有不同的性能要求。这使得现有工具难以监控和管理大量网络元件,并且对于依赖于手工特征工程的传统机器学习算法来说是不切实际的。在这种情况下,将机器智能嵌入到移动网络中变得非常必要,因为这可以从移动大数据中系统地挖掘有价值的信息,并自动发现人类专家难以提取的相关性。特别是,基于深度学习的解决方案可以自动从原始数据中提取特征,而无需人类专业知识。人工智能(AI)在其他领域的表现吸引了学术界和工业界对采用深度学习方法来解决移动网络中的技术挑战的前所未有的兴趣。本论文通过利用深度神经网络的最新进展,从各个角度攻击移动网络领域的重要问题。
2020-10-23 cs.LG cs.NI
A Survey of Big Data Machine Learning Applications Optimization in Cloud Data Centers and Networks
这篇调查文章回顾了与在云数据中心和网络中部署和优化大数据应用程序以及机器学习算法相关的挑战。MapReduce编程模型及其广泛使用的开源平台Hadoop正在开发大量基于云的服务和大数据应用程序。因此,MapReduce和Hadoop引入了创新、高效和加速的密集型计算和分析。这些服务通常利用地理分布的数据中心内的商品集群,并提供具有成本效益和弹性的解决方案。然而,迁移、存储和处理大数据的数据中心之间和内部的流量不断增加,这正在成为一个瓶颈,需要能够减少拥塞和功耗的增强型基础设施。此外,具有请求各种大数据服务的多个租户的企业面临的挑战是,需要以降低的运行成本和功耗来优化其资源的租赁,同时避免利用不足或过度利用。在本调查中,我们总结了各种大数据编程模型和应用程序的特点,并对云计算基础设施以及虚拟化和软件定义网络等相关技术进行了审查,这些技术越来越多地支持大数据系统。此外,我们还简要回顾了数据中心的拓扑结构、路由协议和流量特征,并强调了大数据对云数据中心及其支持网络的影响。在各种应用程序性能指标和/或基础设施能效方面,我们致力于优化处理大数据的系统。最后,提出了一些启示和未来的研究方向。
2019-10-01 cs.DC cs.LG cs.NI
Mobile Data Science: Towards Understanding Data-Driven Intelligent Mobile Applications
Swinburne University of Technology(斯威本科技大学)
由于智能手机和上下文感知技术的普及,与用户使用手机的各种活动相关的各种上下文数据在我们周围可用。这使得研究移动电话数据和上下文感知计算,建立数据驱动的智能移动应用程序的目的,不仅在一个单一的设备上,而且在一个分布式环境中的最终用户的利益。基于手机数据的可用性,以及数据驱动应用的实用性,本文讨论了移动数据科学,涉及从各种来源收集手机数据,并使用机器学习技术构建数据驱动模型,以便在用户的各种日常情况下智能地做出动态决策。为此,我们首先讨论了移动数据科学的基本概念和潜力,以构建智能应用程序。我们还强调了关键要素,并解释了移动数据科学过程中涉及的各种关键模块。本文是该领域第一篇对移动数据科学进行宏观描述和思考的文章,它在开发各种数据驱动的智能移动应用中的潜力。我们相信这项研究将有助于研究人员和应用程序开发人员构建智能数据驱动的移动应用程序,以帮助终端手机用户的日常活动。
2018-10-15 cs.CY cs.LG
Deep Learning and Machine Learning: Advancing Big Data Analytics and Management with Design Patterns
Georgia Institute of Technology(佐治亚理工学院);Indiana University(印第安纳大学);Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学);University of Hawaii(夏威夷大学);National Taiwan Normal University(台湾师范大学);Kyoto University(京都大学);Rutgers University(罗格斯大学);AppCubic;University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Purdue University(普渡大学);Emory University(埃默里大学)
本书通过设计模式优化大数据分析系统开发与维护,提供高效、可重用的系统构建方法。
2025-12-22 cs.LG cs.SE
Machine Learning and Big Scientific Data
本文回顾了在英国国家实验室的卢瑟福阿普尔顿实验室在牛津附近的哈维尔网站的新一代大规模实验所产生的实验数据的巨大增长所带来的一些挑战。这样的“大科学数据”来自钻石光源和电子显微镜设施、ISIS中子和μ子设施以及英国中央激光设施。越来越多的科学家现在需要使用先进的机器学习和其他人工智能技术来自动化部分数据管道,并帮助在数据分析中发现新的科学发现。对于商业上重要的应用,如对象识别、自然语言处理和自动翻译,深度学习已经取得了巨大的突破。谷歌的DeepMind现在也利用深度学习技术开发了他们的AlphaFold工具,对蛋白质折叠进行预测。值得注意的是,他们已经能够在这个特定的科学问题上取得一些惊人的成果。深度学习对其他科学问题也能产生类似的变革吗?在简要回顾了卢瑟福阿普尔顿实验室机器学习的一些初步应用之后,我们重点讨论了人工智能在推进材料科学方面的挑战和机遇。最后,我们讨论了使用来自许多不同科学领域的大科学数据开发一些现实的机器学习基准的重要性。最后,我们的“SciML”基准测试套件和研究挑战,这些基准测试将使一些初步的例子。
2019-10-12 cs.LG physics.comp-ph
Machine Learning Practices Outside Big Tech: How Resource Constraints Challenge Responsible Development
Massachusetts Institute of Technology(麻省理工学院)
来自不同职业和背景的从业者越来越多地使用机器学习(ML)方法。尽管如此,对ML从业者的研究通常吸引来自大型科技和学术界的人群,因为研究人员更容易进入这些社区。通过这种选择偏见,过去的研究往往排除了更广泛、资源较少的ML社区-例如,在初创公司、非科技公司和公共部门工作的从业者。这些从业者与他们的大科技同行有许多相同的ML开发困难和道德难题;然而,他们的经验受到额外的研究不足的挑战,这些挑战来自于在有限的资源下部署ML,存在风险增加,以及无法访问内部研究团队。我们贡献了一个定性分析的17个访谈与利益相关者的组织,在以前的研究中较少代表。我们发现了一些紧张局势,这些组织的资源限制-隐私和无处不在,资源管理和性能优化,访问和垄断之间的紧张关系。学术界对这些从业者的关注可以促进对ML局限性的更全面的理解,因此有助于制定研究议程,以促进所有人的负责任ML开发。
2021-10-06 cs.CY cs.LG
Fraud Analytics Using Machine-learning & Engineering on Big Data (FAME) for Telecom
Indian School of Business(印度商学院)
针对电信欺诈损失严重且模式快速变化的问题,提出融合自适应数据挖掘与大数据技术的FAME工业化方案,在超1TB呼叫详细记录上实现国际收入分成欺诈检测且误报率低于5%。
2023-10-31 cs.AI cs.DC cs.LG
Machine Learning Driven Smishing Detection Framework for Mobile Security
CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61);National Institute of Technology, Kurukshetra(库鲁克谢特拉国家理工学院);University of Adelaide(阿德莱德大学);PGIMS, Haryana, India(印度哈里亚纳邦PGIMS)
针对移动环境下传统方法难检测非正式且演变的短信钓鱼问题,提出基于文本归一化的机器学习检测框架,在公开数据集上达96.2%准确率,优于现有方法。
2024-12-09 cs.CR cs.LG
'The Taurus': Cattle Breeds & Diseases Identification Mobile Application using Machine Learning
几千年来,奶牛养殖不仅在斯里兰卡,而且在许多其他国家都在农业中发挥着重要作用。在畜牧业中,牛是不可或缺的动物。根据文献调查,每年有近390万头牛和小牛死于各种疾病。引起疾病的原因主要是细菌、寄生虫、真菌、化学毒物等,传染病是对牲畜健康的最大威胁。牛的死亡率对社会、经济和环境造成了巨大的破坏。为了减少这种负面影响,该提案实现了一个跨平台的移动应用程序,可以轻松地分析和识别牛所患的疾病,并为它们提供解决方案,还可以识别牛的品种。移动应用程序旨在通过分析牛的图像来识别品种,并在分析受影响区域的视频和图像后识别疾病。然后建立一个模型来确定特定奶牛的体重和年龄,并建议针对所确定疾病的最佳药物剂量。这对农民和乳制品行业来说都将是一个巨大的优势。拟议的移动应用程序的名称是“金牛座”,本文解决了选定的机器学习和图像处理模型,以及采取的方法来识别疾病,品种,并提出预防方法和药物的识别疾病。
2023-02-21 cs.CV cs.LG
Research and Design of a Financial Intelligent Risk Control Platform Based on Big Data Analysis and Deep Machine Learning
Northeastern University(东北大学);D'Amore-McKim School of Business(达莫尔-麦金商学院)
针对美国金融领域传统风控模式无法适配复杂业务需求的问题,本文结合大数据挖掘与实时流处理技术,设计实现了可整合内外部数据、精准识别风险的金融智能风控平台。
2024-09-16 cs.LG q-fin.RM
Machine learning methods fail to provide cohesive atheoretical construction of personality traits from semantic embeddings
Monash University(莫纳什大学)
研究通过分析一百万条Reddit评论,比较了基于机器学习的自下而上人格模型与Big Five模型,发现机器学习聚类缺乏心理测量连贯性,未能超越Big Five的描述效用,表明机器学习无法替代既定心理学理论。
2025-10-10 cs.AI cs.CL cs.HC
Reconstructing ERP Signals Using Generative Adversarial Networks for Mobile Brain-Machine Interface
Korea University(高丽大学)
实际的脑机接口已被广泛研究,以准确地检测人类的意图,在现实世界中使用大脑信号。然而,由于诸如行走和头部运动的伪影,脑电(EEG)信号失真,因此脑信号的幅度可能比期望的EEG信号大。由于这些伪影,在移动环境中准确地检测人类意图是具有挑战性的。在本文中,我们提出了基于生成对抗网络的重建框架,使用行走过程中的事件相关电位(ERP)。我们使用一个预先训练好的卷积编码器来表示潜在变量,并通过与编码器相反形状相似的生成模型来重建ERP。最后,使用判别模型对ERP进行分类,验证了该框架的有效性。结果表明,重建的信号具有与站立时ERP相似的重要成分,如N200和P300。重建的脑电信号的准确性与行走过程中的原始噪声脑电信号相似。重建脑电信号的信噪比显著提高,为1.3。生成式模型的损失率为0.6301,相对较低,说明训练生成式模型具有较高的性能。重建的ERP结果表明,通过降噪的效果,分类性能在步行过程中得到了改善。所提出的框架可以帮助识别人的意图,即使在移动环境中的脑机接口的基础上。
2020-05-18 cs.HC cs.LG eess.SP
Rat big, cat eaten! Ideas for a useful deep-agent protolanguage
Facebook AI Research(Facebook人工智能研究);Catalan Institution for Research and Advanced Studies(加泰罗尼亚研究与高等研究学院 (ICREA) (注:此处严格按机构名直译,实际ICREA通常译为加泰罗尼亚研究与高等教育机构))
深度代理社区开发自己的类语言通信协议是AI中的一个热门(或至少是温暖)话题。这样的代理在机器-机器和人机交互场景中非常有用,早在它们进化出像人类语言一样复杂的协议之前。在这里,我提出了一小部分我们应该关注的优先事项,如果我们想尽快到达一个阶段,深度代理会说一种有用的原始语言。
2020-03-17 cs.AI cs.CL cs.LG
The Bearable Lightness of Big Data: Towards Massive Public Datasets in Scientific Machine Learning
Stanford University(斯坦福大学);Sandia National Laboratories(桑迪亚国家实验室);SLAC National Accelerator Laboratory(SLAC国家加速器实验室)
一般来说,大型数据集使深度学习模型能够以良好的准确性和可推广性执行。然而,由于维度和存储限制,大量高保真模拟数据集(来自分子化学,天体物理学,计算流体动力学(CFD)等)可能具有挑战性。有损压缩算法可以帮助减轻存储限制,只要保持整体数据保真度。为了说明这一点,我们证明了在千万亿次CFD模拟数据上训练和测试的深度学习模型对语义分割问题中有损压缩期间引入的错误具有鲁棒性。我们的研究结果表明,有损压缩算法提供了一个现实的途径,为暴露高保真的科学数据开放的源数据库建设社区数据集。在本文中,我们概述,构建和评估建立大数据框架的要求,在https://blastnet.github.io/中演示,用于科学机器学习。
2022-07-25 cs.LG physics.flu-dyn
Real World Applications of Machine Learning Techniques over Large Mobile Subscriber Datasets
Flytxt;Indian Institute of Technology, Delhi(德里印度理工学院)
通信服务提供商(CSP)处于独特的位置,以利用从订户与网络元件以及与其他订户的交互生成的其大量事务数据资产。CSP可以将其数据资产用于各种应用,如服务个性化、预测性报价管理、忠诚度管理、收入预测、网络容量规划、产品捆绑优化和客户流失管理,以获得显著的竞争优势。然而,由于移动用户数据集的数据量、多样性、速度和准确性,需要复杂的数据分析技术和框架来在可用的时间范围内获得可操作的见解。在本文中,我们描述了我们从基于关系数据库管理系统(RDBMS)的活动管理解决方案的历程,该解决方案允许数据科学家和营销人员使用手写规则进行服务个性化和有针对性的促销活动,到分布式大数据分析平台,能够执行大规模机器学习和数据采掘,以提供实时的服务个性化,预测建模和产品优化。我们的工作涉及技术,流程和最佳实践的精心融合,促进人机协作和持续实验,从数据中获得可衡量的经济价值。我们的平台在全球拥有超过5亿的移动用户,每年提供超过10亿条个性化推荐,处理64 PB的总数据量,对应8.5万亿个事件。
2015-02-08 cs.CY cs.LG cs.SE
A Survey of Machine Learning for Big Code and Naturalness
Microsoft Research(微软研究院);University College London(伦敦大学学院);University of California, Davis(加州大学戴维斯分校);University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所)
在机器学习、程序设计语言和软件工程的交叉点上的研究最近在提出利用代码丰富模式的源代码的可学习概率模型方面迈出了重要的一步。在这篇文章中,我们调查这项工作。我们对比程序设计语言和自然语言,并讨论这些相似性和差异如何驱动概率模型的设计。我们提出了一个分类的基础上,每个模型的基本设计原则,并使用它来浏览文献。然后,我们回顾了研究人员如何将这些模型应用于应用领域,并讨论了跨领域和特定应用的挑战和机遇。
2018-05-05 cs.LG cs.PL cs.SE
Scaling Datalog for Machine Learning on Big Data
University of California, Irvine(加州大学欧文分校);University of California, Santa Cruz(加州大学圣克鲁兹分校);Yahoo! Research(雅虎研究院)
在本文中,我们提出了一个声明性的基础数据密集型机器学习系统的情况。我们主张使用递归查询来编程各种机器学习系统,而不是为每个特定风格的机器学习任务创建一个新系统,或硬编码新的优化。通过采用这种方法,可以利用数据库查询优化技术来识别有效的执行计划,并且所得到的运行时计划可以在单个统一的数据并行查询处理引擎上执行。作为概念的证明,我们考虑两个编程模型-Pregel和迭代Map-Reduce-Update--来自机器学习领域,并展示如何在Datasheet中捕获它们,针对特定任务进行调整,然后编译成优化的物理计划。在一个大型计算集群上进行的实验表明,这种声明式方法可以提供非常好的性能,同时提供更高的通用性和编程方便性。
2012-03-02 cs.DB cs.LG cs.PF
Modeling Large-Scale Walking and Cycling Networks: A Machine Learning Approach Using Mobile Phone and Crowdsourced Data
University of New South Wales(新南威尔士大学)
本研究采用机器学习方法,利用移动电话和众包数据对澳大利亚新南威尔士州大规模步行和骑行网络进行建模,以提高主动交通规划的准确性。
2024-04-03 cs.LG cs.NA math.NA
Text Classification Using Hybrid Machine Learning Algorithms on Big Data
Nnamdi Azikiwe University(纳姆迪·阿齐基韦大学);Federal Polytechnic Idah(伊达联邦理工学院)
最近,来自不同在线平台的数据出现了前所未有的增长,这些平台在数量、速度、种类和准确性(4V)方面对大数据做出了贡献。鉴于大数据的这种非结构化性质,执行分析以提取有意义的信息目前是大数据分析的一个巨大挑战。收集和分析非结构化文本数据使决策者能够研究我们社交媒体平台上评论/帖子的升级。因此,需要自动大数据分析来克服来自数字媒体平台的这些非结构化数据集的噪声和不可靠性。然而,当前使用的机器学习算法是性能驱动的,其关注于基于从训练样本学习的已知属性的分类/预测准确性。对于大型数据集中的学习任务,已知大多数机器学习模型需要高计算成本,这最终导致计算复杂性。在这项工作中,两个监督机器学习算法结合文本挖掘技术,产生一个混合模型,其中包括朴素贝叶斯和支持向量机(SVM)。这是为了提高所获得的结果的效率和准确性,并且还为了降低计算成本和复杂性。该系统还提供了一个开放的平台,一群有共同兴趣的人可以分享他们的评论/消息,这些评论自动分类为合法或非法。这提高了用户之间的对话质量。混合模型是使用WEKA工具和Java程序设计语言开发的。结果表明,混合模型的准确率为96.76%,而朴素贝叶斯模型和支持向量机模型的准确率分别为61.45%和69.21%。
2021-03-30 cs.AI cs.CL cs.IR
Support Vector Machine and YOLO for a Mobile Food Grading System
University of Guelph(圭尔夫大学)
食品质量安全是社会关注的焦点,它不仅是人类健康的重要保证,也是社会发展和稳定的重要保障。确保食品质量和安全是一个复杂的过程。应考虑所有食品加工阶段,从种植,收获和储存到准备和消费。分级是控制食品质量的重要环节之一。提出了一种基于移动视觉的食品分级评价系统。具体而言,所提出的系统获取图像的香蕉时,他们在移动的输送机。采用基于机器学习的两层图像处理系统对香蕉进行分级,这两层分别部署在边缘设备和云端服务器上。支持向量机(Support Vector Machine,SVM)是基于提取的由颜色和纹理特征组成的特征向量对香蕉进行分类的第一层。然后,You Only Look Once(YOLO)v3模型进一步定位果皮的缺陷区域,并确定输入是否属于中熟类或熟度类。根据实验结果,第一层的性能达到了98.5%的准确率,而第二层的准确率为85.7%,整体准确率为96.4%。
2021-01-05 cs.AI cs.CV cs.LG