"Forgetting" in Machine Learning and Beyond: A Survey
Australian National University(澳大利亚国立大学)
本综述借鉴神经科学研究,将机器学习中的遗忘视为适应性功能,探讨其在提升模型性能与数据隐私方面的应用,并讨论了整合遗忘机制的挑战、未来方向与伦理考量。
2024-05-31 cs.LG
pCAMP: Performance Comparison of Machine Learning Packages on the Edges
Wayne State University(韦恩州立大学);Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
机器学习改变了计算范式。今天的产品都是以机器智能为核心属性的,消费者开始期待与他们使用的设备进行接近人类的互动。然而,大部分的深度学习革命都局限于云计算。最近,已经宣布了几个基于边缘设备的机器学习包,其目的是将计算卸载到边缘。然而,很少有研究已经完成,以评估这些软件包的边缘,使最终用户难以选择一个适当的软件和硬件对。在本文中,我们对边缘上的几种最先进的机器学习包进行了性能比较,包括TensorFlow,Caffe2,MXNet,PyTorch和TensorFlow Lite。我们专注于在不同的边缘设备上使用两种流行的神经网络来评估这些工具的延迟、内存占用和能量。该评估不仅为最终用户选择合适的硬件和软件包组合提供了参考,而且为开发人员优化软件包指出了未来可能的方向。
2019-06-06 cs.DC cs.LG cs.PF
A Survey on Machine Learning Applied to Dynamic Physical Systems
本调查是关于物理建模和机器学习交叉领域的最新进展。我们专注于非线性系统的建模,更接近电动机。综述了电动机运行中的控制和故障检测技术。
2020-09-28 cs.LG cs.NE
Graph Machine: Exploring Edge Mechanisms as an Inductive Bias
该研究提出Graph Machine架构,含边增强注意力与以边为中心的引用两种边机制,在数独任务上优于Transformer基线,证明显式边机制是有前景的架构设计。
2026-08-21 cs.LG
Addressing modern and practical challenges in machine learning: A survey of online federated and transfer learning
University of Essex(埃塞克斯大学)
在线联邦学习(OFL)和在线迁移学习(OTL)是克服现代机器学习挑战(如数据孤岛、流数据和数据安全)的两种协作范例。这项调查探讨了OFL和OTL的主要演变路线,以加强对在线联邦和迁移学习的理解。此外,在这项工作中,流行的数据集和在线联邦和迁移学习的前沿应用程序的实际方面突出。此外,这项调查提供了对未来潜在研究领域的深入了解,旨在为开发在线联合和迁移学习框架的专业人员提供资源。
2022-02-07 cs.LG
Cost-effective Machine Learning Inference Offload for Edge Computing
边缘计算越来越重要,因为会产生大量数据。这给将所有数据传输到远程数据中心和云带来了挑战,在那里可以处理和分析这些数据。另一方面,如果能够缓解设备功能、连接性和异构性等挑战,则利用边缘数据对于提供数据驱动和基于机器学习的应用程序至关重要。机器学习应用是非常计算密集型的,并且需要处理大量数据。然而,边缘设备通常在计算资源、电力、存储和网络连接方面受到资源约束。因此,限制了它们有效和准确地运行最先进的深度神经网络(DNN)模型的潜力,这些模型变得越来越大,越来越复杂。本文提出了一种新的卸载机制,利用安装基地的本地(边缘)计算资源。所提出的机制允许边缘设备将繁重的计算密集型工作负载卸载到边缘节点,而不是使用远程云。我们的卸载机制已经过原型设计,并使用最先进的人和目标检测DNN模型进行了测试,用于移动机器人和视频监控应用。在准确性和延迟方面,与基于云的卸载策略相比,性能显示出显着的增益。
2020-12-07 cs.DC cs.LG cs.RO
Federated Continual Learning for Edge-AI: A Comprehensive Survey
University of Exeter(埃克塞特大学)
本文首次系统综述了面向边缘人工智能的联邦持续学习,按类别、域和任务持续学习三类方法梳理代表性工作,并展望算法-硬件协同设计及与基础模型结合等未来方向。
2024-11-20 cs.AI cs.DC cs.LG
Challenges in Deploying Machine Learning: a Survey of Case Studies
University of Cambridge(剑桥大学);Cambridge Spark(剑桥星火)
近年来,机器学习已经从学术研究领域转变为能够解决现实世界商业问题的领域。然而,在生产系统中部署机器学习模型可能会带来许多问题和担忧。本调查回顾了在各种用例、行业和应用程序中部署机器学习解决方案的已发布报告,并提取了与机器学习部署工作流程阶段相对应的实际注意事项。通过将发现的挑战映射到机器学习部署工作流程的步骤,我们表明从业者在部署过程的每个阶段都面临问题。本文的目标是制定一个研究议程,探讨解决这些挑战的方法。
2022-05-19 cs.LG
When Physics Meets Machine Learning: A Survey of Physics-Informed Machine Learning
University of Southern California(南加州大学)
物理信息机器学习(Physics-informed machine learning,PIML)是指将物理学的先验知识与数据驱动的机器学习模型相结合,以缓解训练数据不足的问题,提高模型的泛化能力,并确保结果的物理可解释性。本文综述了PIML的研究现状,并从三个方面进行了总结:(1)PIML的动机;(2)PIML中的物理知识;(3)PIML中物理知识的整合方法。我们还讨论了当前的挑战和相应的研究机会,在PIML。
2022-03-31 cs.LG stat.ML
Automated Machine Learning on Graphs: A Survey
Tsinghua University(清华大学)
图上的机器学习在学术界和工业界都得到了广泛的研究。然而,随着关于图学习的文献随着大量新兴方法和技术而繁荣,手动设计用于不同图相关任务的最佳机器学习算法变得越来越困难。为了解决这一关键挑战,图上的自动机器学习(AutoML)将图机器学习和AutoML的优势结合在一起,正受到研究界的关注。因此,本文全面综述了图上的AutoML,主要关注用于图机器学习的超参数优化(HPO)和神经架构搜索(NAS)。我们进一步概述了与自动化图机器学习相关的库,并深入讨论了AutoGL,这是第一个用于图上AutoML的专用开源库。最后,我们分享了我们对自动图机器学习未来研究方向的见解。本文是第一个系统和全面的审查自动机器学习的图,以我们所知。
2021-12-20 cs.LG
A Survey of Distributed Learning in Cloud, Mobile, and Edge Settings
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本综述系统梳理云、移动与边缘环境下的分布式学习,重点分析数据与模型并行策略及各类网络层的划分方案,并权衡计算效率、通信开销与内存限制,为该领域未来研究提供指导。
2024-05-23 cs.LG
Optimization Problems for Machine Learning: A Survey
IBM Research Ireland(IBM爱尔兰研究院);Ivey Business School(毅伟商学院);University of Western Ontario(西安大略大学)
本文综述了机器学习文献,并在优化框架中介绍了几种常用的机器学习方法。特别地,数学最优化模型被提出用于回归、分类、聚类、深度学习和对抗学习,以及机器教学、经验模型学习和贝叶斯网络结构学习中的新兴应用。这些模型可以受益于数值优化技术的进步,这些技术已经在几种机器学习环境中发挥了独特的作用。这些模型的优点和缺点进行了讨论,并突出了潜在的研究方向和开放的问题。
2021-01-11 cs.LG math.OC
Gradient Boosting Machine: A Survey
Point Zero One Technology(Point Zero One科技公司);Fordham University(福特汉姆大学);Imperial College London(帝国理工学院);Massachusetts Institute of Technology(麻省理工学院)
在本综述中,我们讨论了几种不同类型的梯度提升算法,并详细说明了它们的数学框架:1。梯度提升的引入导致2.目标函数优化,3.损失函数估计,以及4.模型构建5.在排名中应用boosting。
2019-08-19 cs.LG stat.ML
A survey and taxonomy of loss functions in machine learning
本综述全面概述了机器学习中最广泛使用的43种损失函数,涵盖回归、分类、生成建模、排序和基于能量的建模等关键应用,并构建了直观的分类体系以阐明其理论基础、性质和最佳应用场景,旨在为各阶段学生和研究人员提供系统资源。
2024-11-18 cs.LG
Category-Theoretical and Topos-Theoretical Frameworks in Machine Learning: A Survey
Japan Women's University(日本女子大学);XiChang University(西昌学院);Sichuan University(四川大学);Pittsburgh Institute(匹兹堡研究所);Macao Polytechnic University(澳门理工大学)
本文从梯度、概率、不变性与等价性及拓扑斯四个视角综述范畴论在机器学习中的应用,更新了过去五年研究并首次系统探讨拓扑斯理论,凸显其在表达网络全局与局部结构及几何逻辑中的深刻作用。
2025-02-03 cs.LG
A Real-time Edge-AI System for Reef Surveys
CSIRO’s Data61(联邦科学与工业研究组织Data61);CSIRO Oceans & Atmosphere(联邦科学与工业研究组织海洋与大气研究所);Queensland University of Technology(昆士兰科技大学);Google(谷歌)
棘冠海星(COTS)的爆发是大堡礁(GBR)珊瑚损失的主要原因,目前正在进行大量的监测和控制计划,以将COTS种群管理到生态可持续的水平。在本文中,我们提出了一个全面的实时机器学习为基础的水下数据收集和管理系统的边缘设备COTS监测。特别地,我们利用基于深度学习的目标检测技术的能力,并提出了一种资源高效的COTS检测器,该检测器在边缘设备上执行检测推断,以在数据汇集阶段帮助海洋专家进行COTS识别。初步结果表明,提高计算效率的几种策略(例如,分批处理、跳帧、模型输入大小)可以被组合以在边缘硬件上以低资源消耗和低信息损失运行所提出的检测模型。
2022-08-01 cs.LG
Survey of Machine Learning Techniques To Predict Heartbeat Arrhythmias
Institute for Biomedical Informatics(生物医学信息学研究所);University of Kentucky Healthcare(肯塔基大学医疗中心)
生物医学计算机科学研究中的许多工作使用机器学习技术来给出准确的结果。然而,这些技术对于从现场医院馈送中提取的数据的实时分析可能不可行。在这个项目中,不同的机器学习技术从不同的来源进行比较,以找到一个不仅提供高准确性,而且低延迟和内存开销用于现实世界的医疗保健系统。
2022-08-22 cs.LG eess.SP
Is the Rush to Machine Learning Jeopardizing Safety? Results of a Survey
McMaster University(麦克马斯特大学)
机器学习(ML)正在进入安全关键系统(SCS)。目前的安全标准和实践不是为了应对ML技术而设计的,很难相信包含ML组件的SCS是安全的。我们的假设是,人们急于部署ML技术,而没有彻底检查ML技术的使用是否会引入我们还不能充分检测和缓解的安全问题。因此,我们进行了有针对性的文献调查,以确定将ML应用于SCS的研究工作与评估部署ML组件的SCS安全性的研究工作进行比较。本文介绍了调查的(令人惊讶的)结果。
2021-11-29 cs.LG
Machine Learning Systems for Intelligent Services in the IoT: A Survey
机器学习(ML)技术正在物联网(IoT)中出现以提供智能服务。这项调查超越了现有的机器学习算法和云驱动的设计,调查了整合机器学习和物联网的较少探索的系统,扩展和社会技术方面。它涵盖了在云、边缘和物联网设备上扩展和分发ML的最新发展(截至2020年)。通过对系统设计选择进行分类和说明的多层框架,这项调查揭示了在功能、利益相关者一致性和可信度方面,在不断上升的云-边缘-设备连续体中开发和部署ML系统的基本问题。
2020-12-01 cs.CY cs.LG
On-device edge learning for IoT data streams: a survey
GECAD;ISEP(波尔图理工学院工程学院);Polytechnic of Porto(波尔图理工学院);INESC TEC;FEP(波尔图大学经济学院);University of Porto(波尔图大学)
该综述探讨了物联网数据流在设备端训练的持续学习方法,分析了神经网络与决策树的约束、挑战及多标准评估,强调构建自主在线系统的关键难点。
2025-02-25 cs.LG
Machine Learning for Cataract Classification and Grading on Ophthalmic Imaging Modalities: A Survey
Research Institute of Trustworthy Autonomous Systems(可信自主系统研究院);Southern University of Science and Technology(南方科技大学)
白内障是全球视力损害和失明的主要原因。多年来,研究人员在开发用于白内障自动分类和分级的最先进的机器学习技术方面取得了重大进展,旨在早期预防白内障并提高临床医生的诊断效率。该调查提供了基于眼科图像的白内障分类/分级机器学习技术的最新进展的全面调查。本文从传统机器学习方法和深度学习方法两个研究方向对现有文献进行了总结。这项调查还提供了对现有作品的优点和局限性的见解。此外,我们还讨论了基于机器学习技术的白内障自动分类/分级的几个挑战,并为未来的研究提出了可能的解决方案。
2022-04-02 cs.CV cs.LG eess.IV
Curriculum Graph Machine Learning: A Survey
Tsinghua University(清华大学)
本文首次全面综述课程图机器学习(Graph CL),针对现有图模型随机训练导致的次优问题,按节点级、链接级和图级任务分类总结方法,并展望未来方向。
2024-03-12 cs.LG
Machine Learning Systems in the IoT: Trustworthiness Trade-offs for Edge Intelligence
Delft University of Technology(代尔夫特理工大学)
机器学习系统(MLSys)正在物联网(IoT)中出现,以提供边缘智能,这为我们实现泛在智能的愿景铺平了道路。然而,尽管机器学习系统和物联网已经成熟,但在实际环境中集成MLSys和物联网时,我们仍面临着严峻的挑战。例如,许多机器学习系统已经被开发用于大规模生产(例如,云环境),但物联网由于异构和资源受限的设备以及分散的操作环境而引入了额外的需求。为了阐明MLSys和物联网的这种融合,本文通过涵盖在云、边缘和物联网设备上扩展和分布ML的最新发展(截至2020年)来分析权衡。我们将机器学习系统定位为物联网的组成部分,将边缘智能定位为社会技术系统。在设计值得信赖的边缘智能的挑战方面,我们倡导一种整体设计方法,将多利益相关者的关注点,设计要求和权衡考虑在内,并强调边缘智能未来的研究机会。
2020-12-01 cs.CY cs.LG
Geomagnetic Survey Interpolation with the Machine Learning Approach
Schmidt Institute of Physics of the Earth of the Russian Academy of Sciences(俄罗斯科学院施密特地球物理研究所);Geophysical Center of the Russian Academy of Sciences(俄罗斯科学院地球物理中心)
介绍了无人机磁力测量数据内插的方法。该方法适应了这类数据具有样本沿一系列直线(类似于海上航迹)的空间发布的事实,这是许多无人机测量的突出特点。插值依赖于非常基本的最近邻算法,尽管使用了机器学习方法。这种方法通过智能地调整最近邻算法参数使误差小于5%。利用Borok地磁台无人机航磁测量数据对该方法进行了初步测试。
2022-10-07 cs.LG physics.geo-ph
Edge-Cloud Polarization and Collaboration: A Comprehensive Survey for AI
DAMA Academy, Alibaba Group(阿里巴巴集团达摩院);Zhejiang University(浙江大学);Institute of Artificial Intelligence, Zhejiang University(浙江大学人工智能研究所);Shanghai Institute for Advanced Study, Zhejiang University(浙江大学上海高等研究院)
受云计算深度学习的巨大成功和边缘芯片的快速发展的影响,人工智能(AI)的研究已经转向两种计算范式,即,云计算和边缘计算。近年来,我们见证了在云服务器上开发更先进的AI模型的重大进展,由于模型创新,这些模型超过了传统的深度学习模型(例如,Transformers、Pretrained families)、训练数据的爆炸式增长和飙升的计算能力。然而,边缘计算,特别是边缘和云协作计算,仍然处于起步阶段,因为资源受限的物联网场景部署了非常有限的算法。在这项调查中,我们对云和边缘AI进行了系统的评估。具体来说,我们是第一个为云和边缘建模建立协作学习机制的公司,并对实现这种机制的架构进行了全面的审查。我们还讨论了一些正在进行的先进边缘AI主题的潜力和实践经验,包括预训练模型,图神经网络和强化学习。最后,我们讨论了这一领域的前景和挑战。
2022-05-23 cs.AI cs.LG
Survey-aware Machine Learning: A Guideline for Valid Population Health Inference based on Scoping Review
Medical & Imaging Informatics (MII) UCLA(医学与影像信息学(MII) UCLA)
本文提出Survey-aware Machine Learning (SaML)指南,通过整合调查设计元数据,解决健康调查数据中忽略采样单元、分层变量和采样权重的问题,提升流行健康推断的准确性。
2026-11-20 cs.LG stat.ML
Verification for Machine Learning, Autonomy, and Neural Networks Survey
本调查概述了自主系统的验证技术,重点是安全关键的自主网络物理系统(CPS)及其子组件。CPS中的自主性是通过人工智能(AI)和机器学习(ML)的最新进展来实现的,这些进步通过诸如深度神经网络(DNN)之类的方法来实现,这些方法嵌入在所谓的学习使能组件(LEC)中,完成从分类到控制的任务。最近,形式化方法和形式化验证社区已经开发出方法来表征这些LEC中的行为,最终目标是形式化验证LEC的规范,本文对这些方法进行了综述。
2018-10-03 cs.AI cs.LG
A Survey on Neural Machine Reading Comprehension
University of Chinese Academy of Sciences(中国科学院大学)
使机器能够阅读和理解自然语言文档,以便它可以回答一些问题仍然是一个难以捉摸的挑战。近年来,深度学习的普及和大规模数据集的建立,都促进了机器阅读理解的繁荣。本文介绍了如何利用神经网络来构建一个阅读器,并介绍了一些经典的模型,分析了它们的改进之处。进一步指出了现有模型的不足和未来的研究方向
2019-06-10 cs.CL cs.LG
Modern Machine Learning Tools for Monitoring and Control of Industrial Processes: A Survey
University of British Columbia(不列颠哥伦比亚大学);University of Alberta(阿尔伯塔大学);Imperial College(帝国理工学院);Seoul National University(首尔国立大学)
在过去的十年中,我们看到工业数据的显著增加,计算能力的巨大提高以及机器学习的重大理论进展。这为在大规模非线性监测和控制问题上使用现代机器学习工具提供了机会。本文提供了一个调查的最新结果与应用过程工业。
2022-09-22 cs.LG cs.SY eess.SY
Convergence of Edge Computing and Deep Learning: A Comprehensive Survey
Tianjin University(天津大学);Shenzhen University(深圳大学);University of British Columbia(不列颠哥伦比亚大学);Nanyang Technological University(南洋理工大学);Huawei Technologies(华为技术有限公司);Sun Yat-sen University(中山大学)
来自工厂和社区的无处不在的传感器和智能设备正在产生海量数据,不断增长的计算能力正在推动计算和服务的核心从云端向网络边缘转移。从人脸识别到雄心勃勃的智能工厂和城市,作为广泛改变人们生活的重要推动力,基于人工智能(特别是深度学习,DL)的应用和服务的发展正在蓬勃发展。然而,由于效率和延迟问题,当前的云计算服务架构阻碍了“在任何地方为每个人和每个组织提供人工智能”的愿景。因此,使用数据源附近的网络边缘处的资源来释放DL服务已经成为期望的解决方案。因此,旨在通过边缘计算促进DL服务部署的边缘智能受到了极大的关注。此外,深度学习作为人工智能的代表技术,可以融入边缘计算框架,构建智能边缘,实现动态、自适应的边缘维护和管理。关于互利的边缘智能和智能边缘,本文介绍和讨论:1)两者的应用场景; 2)实际实现方法和使能技术,即定制边缘计算框架中的DL训练和推理; 3)更普遍和细粒度智能的挑战和未来趋势。我们相信,通过整合分散在通信,网络和DL领域的信息,这项调查可以帮助读者了解使能技术之间的联系,同时促进对边缘智能和智能边缘融合的进一步讨论,即,边缘DL。
2020-01-28 cs.LG cs.NI
Machine Learning Testing: Survey, Landscapes and Horizons
University College London(伦敦大学学院);Facebook London(Facebook伦敦);Kyushu University(九州大学);Nanyang Technological University(南洋理工大学)
本文对机器学习测试(ML测试)的研究进行了全面的综述。它涵盖了144篇关于测试性能的论文(例如,正确性、鲁棒性和公平性),测试组件(例如,数据、学习程序和框架),测试工作流(例如,测试生成和测试评估),以及应用场景(例如,自动驾驶、机器翻译)。本文还分析了有关数据集的趋势,研究趋势和研究重点,最后总结了ML测试的研究挑战和有前途的研究方向。
2019-12-21 cs.AI cs.LG cs.SE
Tackling Face Verification Edge Cases: In-Depth Analysis and Human-Machine Fusion Approach
Technical University of Munich(慕尼黑工业大学)
针对人脸验证系统存在的边缘分类错误问题,本文分析了SOTA模型的挑战性场景,结合60人实验验证了人机决策融合可进一步提升多基准数据集上的人脸验证性能。
2023-08-24 cs.CV cs.LG
How Developers Iterate on Machine Learning Workflows -- A Survey of the Applied Machine Learning Literature
University of Illinois, Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校)
机器学习工作流开发被认为是一个迭代的试错过程。然而,我们并不知道有定量证据证实这一普遍看法。迭代的定量表征可以作为实践中机器学习工作流开发的基准,并且可以帮助开发人在回路机器学习系统。为此,我们从五个不同的应用领域应用机器学习文献进行了小规模的调查。我们收集和提取关于迭代在机器学习工作流开发中的作用的统计数据,并报告我们调查的初步趋势和见解,作为这个基准的起点。基于我们的研究结果,我们最后描述了有效和通用的人在回路机器学习系统,可以满足不同领域的用户的需求。
2018-05-17 cs.DB cs.HC cs.LG
Survey: Machine Learning in Production Rendering
University of California San Diego(加州大学圣地亚哥分校)
在过去的几年里,基于机器学习的方法在渲染动画长片方面取得了一些巨大的成功。本调查总结了使用深度神经网络相对于传统渲染方法的几个最显著的改进,例如更好的图像质量和更低的计算开销。更具体地说,本调查涵盖了机器学习的基本原理及其应用,例如去噪,路径引导,渲染参与媒体以及其他众所周知的困难光传输情况。其中一些技术已经在最新发布的动画中使用,而其他技术仍在学术界和电影制片厂的研究人员的持续开发中。虽然基于学习的渲染方法仍然存在一些问题,但它们已经在渲染管道的多个部分表现出了良好的性能,人们正在不断进行新的尝试。
2020-05-26 cs.GR cs.LG
A Survey on Resilient Machine Learning
IBM Research(IBM研究院)
基于机器学习的系统越来越多地用于敏感任务,例如安全监控、引导自动驾驶车辆、做出投资决策、检测和阻止网络入侵和恶意软件等。然而,最近的研究表明,机器学习模型在机器学习的所有阶段(例如,训练数据收集、训练、操作)都容易受到对手的攻击。机器学习系统的所有模型类都可以通过提供精心制作的输入而被误导,从而使它们错误地对输入进行分类。恶意创建的输入样本可能会影响ML系统的学习过程,要么减慢学习过程,要么影响学习模式的性能,要么导致系统仅在攻击者计划的情况下出错。由于这些发展,理解机器学习算法和系统的安全性正在成为计算机安全和机器学习研究人员和实践者的重要研究领域。我们提出了一个调查这一新兴领域的机器学习。
2017-07-11 cs.AI cs.CR cs.LG
Machine learning for Earth System Science (ESS): A survey, status and future directions for South Asia
Indian Institute of Tropical Meteorology(印度热带气象研究所);Jackson School of Geosciences, The University of Texas at Austin(德克萨斯大学奥斯汀分校杰克逊地球科学学院);Indian Institute of Technology Bombay(印度理工学院孟买分校);Indian Institute of Science(印度科学理工学院);Borehole Geophysics Research Laboratory(钻孔地球物理研究实验室)
本次调查的重点是当前地球系统科学中的问题,机器学习算法可以应用。它概述了以前的工作,印度政府地球科学部正在进行的工作,以及ML算法在一些重大地球科学问题中的未来应用。我们提供了以前的工作与本调查的比较,与机器学习相关的多维领域的思维导图和Gartner的地球系统科学(ESS)中机器学习的炒作周期。我们主要关注地球科学中的关键组成部分,包括大气,海洋,地震和生物圈,并涵盖AI/ML应用于统计降尺度和预测问题。
2021-12-24 cs.LG physics.ao-ph
Machine Learning for Network Slicing Resource Management: A Comprehensive Survey
University of Kaiserslautern(凯泽斯劳滕大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
新兴的多租户网络切片技术被认为是5G蜂窝网络的基本特征。它提供网络切片作为一种新型的公共云服务,从而增加了服务的灵活性,提高了网络资源的效率。同时,也对网络资源管理提出了新的挑战。近年来已经提出了许多各种方法,其中广泛地部署了机器学习和人工智能技术。在这篇文章中,我们提供了一个调查现有的网络切片资源管理的方法,突出了机器学习在其中所扮演的角色。
2020-01-22 cs.LG cs.NI
Intelligence at the Extreme Edge: A Survey on Reformable TinyML
University of Westminster(威斯敏斯特大学);University of New South Wales(新南威尔士大学)
Tiny机器学习(TinyML)是一个新兴的研究领域,旨在将机器学习和深度学习在高能效的节俭微控制器单元上的使用民主化。考虑到TinyML只能运行推理的一般假设,对该领域的兴趣日益增长,导致了使它们可改造的工作,即,允许模型在部署后进行改进的解决方案。这项工作提出了一个新的分类法的建议,可改造TinyML解决方案的调查。在这里,每个层次层的可改造性的适用性进行了讨论。此外,我们探讨了TinyML的工作流程,并分析了确定的部署方案,可用的工具和几乎没有可用的基准测试工具。最后,我们讨论了可改造的TinyML如何影响一些选定的工业领域,并讨论了挑战和未来的方向。
2023-01-09 cs.LG eess.SP
Machine Learning Techniques for Stackelberg Security Games: a Survey
Politecnico di Milano(米兰理工大学)
本调查旨在介绍当前安全游戏领域采用的机器学习技术。具体而言,我们重点关注了南加州大学Teamcore开发的论文和作品,这些论文和作品深化了该领域的不同方向。Stackelberg安全游戏(SSG)和偷猎设置的简要介绍后,其余的工作提出了如何建模一个有限理性的攻击者考虑到她的人类行为,然后描述了如何面对的问题,有攻击者的收益没有定义,以及如何估计他们,最后,介绍了如何在线学习技术已被利用来学习攻击者的模型。
2016-09-29 cs.GT cs.LG
A Survey on Poisoning Attacks Against Supervised Machine Learning
University of Toronto(多伦多大学);Electrical and Computer Engineering(电子与计算机工程(此处为院系,按要求不提取,但原文中该部分是否为机构?根据规则,机构粒度提取到大学/学院/公司/研究院级别即可,不要细拆到系等,因此仅保留“University of Toronto”))
随着人工智能和机器学习在现代计算中的兴起,关于这些技术的主要关注点之一是提供针对对手的隐私和安全性。我们提出这篇调查论文,以涵盖针对监督机器学习模型的中毒攻击中最具代表性的论文。我们首先提供了一个分类法,对现有的研究进行分类,然后对选定的论文进行详细的总结。我们总结和比较现有文献的方法和局限性。我们总结了本文的潜在改进和未来的方向,以进一步利用和防止对监督模型的中毒攻击。我们提出了几个未回答的研究问题,以鼓励和启发研究人员未来的工作。
2022-02-08 cs.CR cs.LG
Applying Machine Learning Techniques for Caching in Edge Networks: A Comprehensive Survey
COMSATS University Islamabad(COMSATS大学伊斯兰堡校区);Umm Al-Qura University(乌姆·阿尔-库拉大学);College of Computer and Information Systems, Umm Al-Qura University(乌姆·阿尔-库拉大学计算机与信息系统学院)
边缘网络是一种复杂而动态的计算模式,旨在将云资源推到更接近最终用户的位置,从而提高响应能力并减少回程流量。用户移动性、偏好和内容流行度是边缘网络的主要动态特征。利用内容的时间和社交特征,例如观看和喜欢的数量,从全局角度估计内容的受欢迎程度。然而,这种估计不应该被映射到具有特定社会和地理特征的边缘网络。在下一代边缘网络中,即,在5G和5G之后,机器学习技术可以应用于基于用户偏好预测内容流行度,基于相似内容兴趣对用户进行聚类,并优化缓存放置和替换策略,提供一组关于网络状态的约束和预测。机器学习的这些应用可以帮助识别边缘网络的相关内容。本文研究了机器学习技术在边缘网络中的网内缓存中的应用。我们调查了最新的最先进的文献,并制定了一个全面的分类法的基础上(a)机器学习技术(方法,目标和功能),(b)缓存策略(政策,位置和替换),(c)边缘网络(类型和交付策略)。一个比较分析的国家的最先进的文献中确定的分类参数。此外,我们讨论了最佳缓存决策的研究挑战和未来方向,以及边缘网络中机器学习的应用。
2020-11-03 cs.LG cs.NI
Machine learning and domain decomposition methods -- a survey
University of Cologne(科隆大学)
本综述系统梳理机器学习与区域分解方法相结合的研究方向,涵盖用于机器学习的区域分解及机器学习增强的区域分解,总结关键进展并展望未来挑战。
2023-12-21 cs.LG cs.NA math.NA
Creativity and Machine Learning: A Survey
Alma Mater Studiorum Università di Bologna(博洛尼亚大学);University College London(伦敦大学学院)
本文综述机器学习与创造力领域,涵盖计算创造力理论、生成式深度学习等关键技术及自动评估方法,讨论核心贡献并指出当前挑战与新兴机遇。
2025-02-13 cs.AI cs.CY cs.LG
Rethinking Machine Learning Development and Deployment for Edge Devices
Arm Inc.(Arm公司)
机器学习(ML),特别是深度学习,是通过大数据的可用性、巨大的计算能力以及经常被忽视的开发工具或框架而实现的。随着算法变得成熟和高效,越来越多的ML推理正在从数据中心/云中移出,并部署在边缘设备上。由于部署环境和需求可能与模型开发期间的部署环境和需求有很大不同,因此此模型部署过程可能具有挑战性。在本文中,我们提出了一种新的ML开发和部署方法,该方法专为边缘设备上的仅推理部署而设计和优化。我们建立了一个原型,并证明这种方法可以解决所有的部署挑战,并导致更有效和高质量的解决方案。
2018-06-20 cs.LG stat.ML
A Survey on Low-Resource Neural Machine Translation
Microsoft Research Asia(微软亚洲研究院)
神经方法已经在机器翻译上实现了最先进的准确性,但是遭受收集大规模并行数据的高成本。因此,已经对具有非常有限的并行数据的神经机器翻译(NMT)进行了大量研究,即,低资源配置。本文综述了低资源的NMT,并根据其使用的辅助数据将相关工作分为三类:(1)利用源语言和/或目标语言的单语数据,(2)利用辅助语言的数据,(3)利用多模态数据。我们希望我们的调查能够帮助研究人员更好地了解该领域并激励他们设计更好的算法,并帮助行业从业者为他们的应用选择合适的算法。
2021-07-09 cs.CL cs.LG
Confidential Machine Learning on Untrusted Platforms: A Survey
HP Inc.(惠普公司);Marquette University(马凯特大学)
随着数据的不断增长以及开发强大的机器学习模型的需求,数据所有者越来越依赖于各种不受信任的平台(例如,公共云、边缘和机器学习服务提供商),用于可扩展处理或协作学习。因此,敏感数据和模型面临未经授权访问、滥用和隐私泄露的危险。一个相对较新的研究机构在受保护的数据上秘密地训练机器学习模型来解决这些问题。在这项调查中,我们总结了这一新兴研究领域的显着研究。通过统一的框架,我们强调了外包机器学习的关键挑战和创新。我们专注于机密机器学习(CML)的加密方法,主要是模型训练,同时也涵盖了其他方向,如基于扰动的方法和CML在硬件辅助计算环境。讨论将采取整体的方式来考虑相关威胁模型、安全假设、设计原则以及数据效用、成本和机密性之间的相关权衡的丰富背景。
2021-06-12 cs.CR cs.LG
A survey on bias in machine learning research
Gdańsk University of Technology(格但斯克理工大学)
该综述聚焦机器学习研究中偏差根源被忽视的问题,梳理了ML流水线中四十余种潜在偏差来源并给出示例,构建偏差来源分类体系,为偏差检测与缓解及构建更优ML模型提供支撑。
2023-08-22 cs.AI cs.LG
Mobile Edge Intelligence for Large Language Models: A Contemporary Survey
University of Hong Kong(香港大学);HKU Musketeers Foundation Institute of Data Science(香港大学 Musketeers 基金会数据科学研究所)
本文是面向大语言模型的移动边缘智能最新综述,梳理MEI4LLM的架构与核心研究方向,提出未来研究机遇,旨在推动边缘侧LLM部署,释放其在隐私与延迟敏感场景的潜力。
2025-03-20 cs.AI cs.LG cs.NI
A Survey of Domain Adaptation for Neural Machine Translation
Institute for Datability Science(数据智能科学研究所);Osaka University(大阪大学)
神经机器翻译(NMT)是一种基于深度学习的机器翻译方法,在大规模并行语料库可用的情况下,其产生最先进的翻译性能。虽然高质量和特定领域的翻译在现实世界中是至关重要的,特定领域的语料库通常是稀缺的或根本不存在,因此香草NMT在这种情况下表现不佳。领域自适应是一种利用领域外平行语料库和单语语料库进行领域内翻译的方法,对于特定领域的翻译非常重要。在本文中,我们给出了一个全面的调查,最先进的领域自适应技术的NMT。
2018-06-01 cs.AI cs.CL cs.LG
Super-Resolution Analysis via Machine Learning: A Survey for Fluid Flows
University of California, Los Angeles(加州大学洛杉矶分校);Keio University(庆应义塾大学)
本文综述了基于机器学习的涡旋流动超分辨率重建方法,通过二维衰减各向同性湍流案例证明受物理启发的模型能从空间受限测量中成功重建流场,并讨论了该技术在流体应用中的挑战与前景。
2023-06-07 cs.LG physics.comp-ph physics.flu-dyn
End-to-End Constrained Optimization Learning: A Survey
Syracuse University(雪城大学);Georgia Institute of Technology(佐治亚理工学院);Harvard University(哈佛大学)
本文综述了利用机器学习解决约束优化问题的最新尝试。它的重点是调查的工作集成组合求解器和优化方法与机器学习架构。这些方法有望开发新的混合机器学习和优化方法,以预测组合问题的快速、近似解决方案,并实现结构逻辑推理。本文提出了一个概念性的审查,在这一新兴领域的最新进展。
2021-03-30 cs.AI cs.LG
Machine Learning with a Reject Option: A survey
Siemens Digital Industries Software(西门子数字工业软件);KU Leuven(鲁汶大学);OSG bv(OSG bv公司);Natus Medical(纳图斯医疗);University of Antwerp(安特卫普大学)
本文综述带拒识的机器学习,形式化歧义与新奇两类拒识,梳理评估策略、模型架构与学习方法,并介绍应用领域及其与其他方向的关系。
2024-02-21 cs.AI cs.LG
When Machine Learning Meets Privacy: A Survey and Outlook
University of Technology Sydney(悉尼科技大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织 Data61);The University of Sydney(悉尼大学);La Trobe University(乐卓博大学);The University of Melbourne(墨尔本大学)
新出现的机器学习(例如深度学习)方法已成为智能医疗、金融技术和监控系统等广泛行业革命的强大驱动力。与此同时,在这个基于机器学习的人工智能时代,隐私已经成为一个大问题。值得注意的是,机器学习背景下的隐私保护问题与传统数据隐私保护中的问题有很大不同,因为机器学习既可以是朋友,也可以是敌人。目前,关于隐私保护和机器学习(ML)的工作仍处于起步阶段,因为大多数现有解决方案仅关注机器学习过程中的隐私问题。因此,需要对隐私保护问题和机器学习进行全面的研究。本文综述了机器学习的隐私问题和解决方案的最新技术水平。该调查涵盖隐私与机器学习之间的三大类交互:(i)私有机器学习,(ii)机器学习辅助隐私保护,以及(iii)基于机器学习的隐私攻击和相应的保护方案。目前的研究进展,在每个类别的审查和确定的关键挑战。最后,在对隐私和机器学习领域进行深入分析的基础上,指出了该领域未来的研究方向。
2020-11-24 cs.AI cs.CR cs.LG
Survey of Attacks and Defenses on Edge-Deployed Neural Networks
Adaptive and Secure Computing Systems (ASCS) Laboratory(自适应与安全计算系统(ASCS)实验室);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
深度神经网络(DNN)的工作负载正在从数据中心快速转移到边缘设备上,这是出于延迟、隐私或能源方面的原因。虽然数据中心网络可以使用传统的网络安全措施进行保护,但边缘神经网络带来了许多新的安全挑战。与经典的物联网应用不同,边缘神经网络通常是计算和内存密集型的,其执行与数据无关,并且对噪声和故障具有鲁棒性。神经网络模型的开发可能非常昂贵,并且可能会泄露有关它们所训练的私有数据的信息,需要在分发时特别小心。网络的隐藏状态和输出也可以用于重构用户输入,这可能会侵犯用户的隐私。此外,神经网络容易受到对抗攻击的攻击,这可能导致错误分类并破坏输出的完整性。这些属性在保护边缘部署的DNN时增加了挑战,需要新的考虑因素,威胁模型,优先级和方法来安全和私密地将DNN部署到边缘。在这项工作中,我们涵盖了对部署在边缘设备中的神经网络的攻击和防御,并提供了针对边缘DNN的攻击和防御的分类。
2019-11-27 cs.CR cs.LG stat.ML