A survey on Machine Learning-based Performance Improvement of Wireless Networks: PHY, MAC and Network layer
Ghent University（根特大学）；Delft University of Technology（代尔夫特理工大学）
本文提供了一个系统和全面的调查，审查集中在机器学习（ML）的无线网络的性能改善的最新研究成果，同时考虑到所有层的协议栈（物理层，MAC和网络）。首先，讨论了相关的工作和论文贡献，然后为非机器学习专家提供数据驱动方法和机器学习的必要背景，以了解所有讨论的技术。然后，一个全面的审查工作采用ML为基础的方法来优化无线通信参数设置，以实现改善网络的服务质量（QoS）和体验质量（QoE）。我们首先将这些工作分为：无线电分析，MAC分析和网络预测方法，其次是每个子类别。最后，讨论了开放的挑战和更广阔的前景。
2020-01-18 cs.LG cs.NI eess.SP
Survey-aware Machine Learning: A Guideline for Valid Population Health Inference based on Scoping Review
Medical & Imaging Informatics (MII) UCLA（医学与影像信息学（MII） UCLA）
本文提出Survey-aware Machine Learning (SaML)指南，通过整合调查设计元数据，解决健康调查数据中忽略采样单元、分层变量和采样权重的问题，提升流行健康推断的准确性。
2026-05-09 cs.LG stat.ML
Convergence of Edge Computing and Deep Learning: A Comprehensive Survey
Tianjin University（天津大学）；Shenzhen University（深圳大学）；University of British Columbia（不列颠哥伦比亚大学）；Nanyang Technological University（南洋理工大学）；Huawei Technologies（华为技术有限公司）；Sun Yat-sen University（中山大学）
来自工厂和社区的无处不在的传感器和智能设备正在产生海量数据，不断增长的计算能力正在推动计算和服务的核心从云端向网络边缘转移。从人脸识别到雄心勃勃的智能工厂和城市，作为广泛改变人们生活的重要推动力，基于人工智能（特别是深度学习，DL）的应用和服务的发展正在蓬勃发展。然而，由于效率和延迟问题，当前的云计算服务架构阻碍了“在任何地方为每个人和每个组织提供人工智能”的愿景。因此，使用数据源附近的网络边缘处的资源来释放DL服务已经成为期望的解决方案。因此，旨在通过边缘计算促进DL服务部署的边缘智能受到了极大的关注。此外，深度学习作为人工智能的代表技术，可以融入边缘计算框架，构建智能边缘，实现动态、自适应的边缘维护和管理。关于互利的边缘智能和智能边缘，本文介绍和讨论：1）两者的应用场景; 2）实际实现方法和使能技术，即定制边缘计算框架中的DL训练和推理; 3）更普遍和细粒度智能的挑战和未来趋势。我们相信，通过整合分散在通信，网络和DL领域的信息，这项调查可以帮助读者了解使能技术之间的联系，同时促进对边缘智能和智能边缘融合的进一步讨论，即，边缘DL。
2020-01-28 cs.LG cs.NI
A Survey on Machine Learning Applied to Dynamic Physical Systems
本调查是关于物理建模和机器学习交叉领域的最新进展。我们专注于非线性系统的建模，更接近电动机。综述了电动机运行中的控制和故障检测技术。
2020-09-28 cs.LG cs.NE
Tackling Face Verification Edge Cases: In-Depth Analysis and Human-Machine Fusion Approach
Technical University of Munich（慕尼黑工业大学）
针对人脸验证系统存在的边缘分类错误问题，本文分析了SOTA模型的挑战性场景，结合60人实验验证了人机决策融合可进一步提升多基准数据集上的人脸验证性能。
2023-08-24 cs.CV cs.LG
Training Machine Learning models at the Edge: A Survey
School of Information Technology, Deakin University（迪肯大学信息技术学院）；Technology Innovation Institute（技术创新研究院）
本综述探讨了边缘端机器学习模型训练的优化，全面分析了以联邦学习为主的分布式学习方法及相关框架与仿真工具，为边缘计算与机器学习交叉领域的现状与未来方向提供了系统性的理解与比较指南。
2024-10-11 cs.DC cs.LG
Topology-aware Federated Learning in Edge Computing: A Comprehensive Survey
University of Calgary（卡尔加里大学）；Michigan State University（密歇根州立大学）
本文系统综述了边缘计算中拓扑感知的联邦学习方法，分析了星形拓扑的局限及其他边缘网络拓扑的优劣，并总结了该领域面临的挑战与未来研究方向。
2024-06-17 cs.DC cs.LG
Machine Learning for Network Slicing Resource Management: A Comprehensive Survey
University of Kaiserslautern（凯泽斯劳滕大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
新兴的多租户网络切片技术被认为是5G蜂窝网络的基本特征。它提供网络切片作为一种新型的公共云服务，从而增加了服务的灵活性，提高了网络资源的效率。同时，也对网络资源管理提出了新的挑战。近年来已经提出了许多各种方法，其中广泛地部署了机器学习和人工智能技术。在这篇文章中，我们提供了一个调查现有的网络切片资源管理的方法，突出了机器学习在其中所扮演的角色。
2020-01-22 cs.LG cs.NI
"Forgetting" in Machine Learning and Beyond: A Survey
Australian National University（澳大利亚国立大学）
本综述借鉴神经科学研究，将机器学习中的遗忘视为适应性功能，探讨其在提升模型性能与数据隐私方面的应用，并讨论了整合遗忘机制的挑战、未来方向与伦理考量。
2024-05-31 cs.LG
Machine Learning Testing: Survey, Landscapes and Horizons
University College London（伦敦大学学院）；Facebook London（Facebook伦敦）；Kyushu University（九州大学）；Nanyang Technological University（南洋理工大学）
本文对机器学习测试（ML测试）的研究进行了全面的综述。它涵盖了144篇关于测试性能的论文（例如，正确性、鲁棒性和公平性），测试组件（例如，数据、学习程序和框架），测试工作流（例如，测试生成和测试评估），以及应用场景（例如，自动驾驶、机器翻译）。本文还分析了有关数据集的趋势，研究趋势和研究重点，最后总结了ML测试的研究挑战和有前途的研究方向。
2019-12-21 cs.AI cs.LG cs.SE
Applying Machine Learning Techniques for Caching in Edge Networks: A Comprehensive Survey
COMSATS University Islamabad（COMSATS大学伊斯兰堡校区）；Umm Al-Qura University（乌姆·阿尔-库拉大学）；College of Computer and Information Systems, Umm Al-Qura University（乌姆·阿尔-库拉大学计算机与信息系统学院）
边缘网络是一种复杂而动态的计算模式，旨在将云资源推到更接近最终用户的位置，从而提高响应能力并减少回程流量。用户移动性、偏好和内容流行度是边缘网络的主要动态特征。利用内容的时间和社交特征，例如观看和喜欢的数量，从全局角度估计内容的受欢迎程度。然而，这种估计不应该被映射到具有特定社会和地理特征的边缘网络。在下一代边缘网络中，即，在5G和5G之后，机器学习技术可以应用于基于用户偏好预测内容流行度，基于相似内容兴趣对用户进行聚类，并优化缓存放置和替换策略，提供一组关于网络状态的约束和预测。机器学习的这些应用可以帮助识别边缘网络的相关内容。本文研究了机器学习技术在边缘网络中的网内缓存中的应用。我们调查了最新的最先进的文献，并制定了一个全面的分类法的基础上（a）机器学习技术（方法，目标和功能），（b）缓存策略（政策，位置和替换），（c）边缘网络（类型和交付策略）。一个比较分析的国家的最先进的文献中确定的分类参数。此外，我们讨论了最佳缓存决策的研究挑战和未来方向，以及边缘网络中机器学习的应用。
2020-11-03 cs.LG cs.NI
How Developers Iterate on Machine Learning Workflows -- A Survey of the Applied Machine Learning Literature
University of Illinois, Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）
机器学习工作流开发被认为是一个迭代的试错过程。然而，我们并不知道有定量证据证实这一普遍看法。迭代的定量表征可以作为实践中机器学习工作流开发的基准，并且可以帮助开发人在回路机器学习系统。为此，我们从五个不同的应用领域应用机器学习文献进行了小规模的调查。我们收集和提取关于迭代在机器学习工作流开发中的作用的统计数据，并报告我们调查的初步趋势和见解，作为这个基准的起点。基于我们的研究结果，我们最后描述了有效和通用的人在回路机器学习系统，可以满足不同领域的用户的需求。
2018-05-17 cs.DB cs.HC cs.LG
Rethinking Machine Learning Development and Deployment for Edge Devices
Arm Inc.（Arm公司）
机器学习（ML），特别是深度学习，是通过大数据的可用性、巨大的计算能力以及经常被忽视的开发工具或框架而实现的。随着算法变得成熟和高效，越来越多的ML推理正在从数据中心/云中移出，并部署在边缘设备上。由于部署环境和需求可能与模型开发期间的部署环境和需求有很大不同，因此此模型部署过程可能具有挑战性。在本文中，我们提出了一种新的ML开发和部署方法，该方法专为边缘设备上的仅推理部署而设计和优化。我们建立了一个原型，并证明这种方法可以解决所有的部署挑战，并导致更有效和高质量的解决方案。
2018-06-20 cs.LG stat.ML
Mobile Edge Intelligence for Large Language Models: A Contemporary Survey
University of Hong Kong（香港大学）；HKU Musketeers Foundation Institute of Data Science（香港大学 Musketeers 基金会数据科学研究所）
本文是面向大语言模型的移动边缘智能最新综述，梳理MEI4LLM的架构与核心研究方向，提出未来研究机遇，旨在推动边缘侧LLM部署，释放其在隐私与延迟敏感场景的潜力。
2025-03-20 cs.AI cs.LG cs.NI
Survey of Attacks and Defenses on Edge-Deployed Neural Networks
Adaptive and Secure Computing Systems (ASCS) Laboratory（自适应与安全计算系统（ASCS）实验室）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
深度神经网络（DNN）的工作负载正在从数据中心快速转移到边缘设备上，这是出于延迟、隐私或能源方面的原因。虽然数据中心网络可以使用传统的网络安全措施进行保护，但边缘神经网络带来了许多新的安全挑战。与经典的物联网应用不同，边缘神经网络通常是计算和内存密集型的，其执行与数据无关，并且对噪声和故障具有鲁棒性。神经网络模型的开发可能非常昂贵，并且可能会泄露有关它们所训练的私有数据的信息，需要在分发时特别小心。网络的隐藏状态和输出也可以用于重构用户输入，这可能会侵犯用户的隐私。此外，神经网络容易受到对抗攻击的攻击，这可能导致错误分类并破坏输出的完整性。这些属性在保护边缘部署的DNN时增加了挑战，需要新的考虑因素，威胁模型，优先级和方法来安全和私密地将DNN部署到边缘。在这项工作中，我们涵盖了对部署在边缘设备中的神经网络的攻击和防御，并提供了针对边缘DNN的攻击和防御的分类。
2019-11-27 cs.CR cs.LG stat.ML
Federated Continual Learning for Edge-AI: A Comprehensive Survey
University of Exeter（埃克塞特大学）
本文首次系统综述了面向边缘人工智能的联邦持续学习，按类别、域和任务持续学习三类方法梳理代表性工作，并展望算法-硬件协同设计及与基础模型结合等未来方向。
2024-11-20 cs.AI cs.DC cs.LG
Graph Machine: Exploring Edge Mechanisms as an Inductive Bias
该研究提出Graph Machine架构，含边增强注意力与以边为中心的引用两种边机制，在数独任务上优于Transformer基线，证明显式边机制是有前景的架构设计。
2026-08-21 cs.LG
On the computation of counterfactual explanations -- A survey
Bielefeld University（比勒费尔德大学）
由于机器学习在实践中的使用越来越多，能够解释机器学习模型的预测和行为变得越来越重要。解释的实例是反事实解释，其提供对机器学习模型的直观且有用的解释。在这项调查中，我们回顾了模型特定的方法，有效地计算反事实的解释，许多不同的机器学习模型，并提出了方法的模型还没有被认为在文献中。
2019-11-15 cs.AI cs.LG stat.ML
Empowering Edge Intelligence: A Comprehensive Survey on On-Device AI Models
Hong Kong Baptist University（香港浸会大学）；Beijing Normal University（北京师范大学）
本文综述端侧 AI 模型的概念、场景、挑战与优化部署策略，并分析边缘计算和基础模型的影响，为后续研究与应用提供框架。
2025-03-17 cs.AI cs.LG cs.NI
Benchmark and Survey of Automated Machine Learning Frameworks
USU Software AG（USU软件股份公司）；Institute of Industrial Manufacturing and Management IFF（工业制造与管理研究所（IFF））；University of Stuttgart（斯图加特大学）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所（IPA））
机器学习（ML）已经成为我们日常生活中许多方面的重要组成部分。然而，构建性能良好的机器学习应用程序需要高度专业化的数据科学家和领域专家。自动化机器学习（AutoML）旨在通过使领域专家能够自动构建机器学习应用程序来减少对数据科学家的需求，而无需广泛的统计学和机器学习知识。本文结合了当前AutoML方法的调查和真实数据集上流行的AutoML框架的基准测试。在所选评估框架的驱动下，我们总结并回顾了与构建ML管道的每一步相关的重要AutoML技术和方法。所选AutoML框架在来自已建立的AutoML基准套件的137个数据集上进行了评估。
2021-01-26 cs.AI cs.LG stat.ML
A Short Survey on Importance Weighting for Machine Learning
The University of Melbourne（墨尔本大学）；School of Mathematics and Statistics（数学与统计学院）；The Institute of Statistical Mathematics（统计数学研究所）；RIKEN（理化学研究所）；Center for Advanced Intelligence Project（先进智能项目中心）
该综述介绍了重要性加权这一统计学与机器学习基础方法的原理，举例说明其在分布偏移下有监督学习中的作用，并总结了它在机器学习及相关领域的广泛应用。
2024-05-14 cs.AI cs.LG stat.ML
Optimization Problems for Machine Learning: A Survey
IBM Research Ireland（IBM爱尔兰研究院）；Ivey Business School（毅伟商学院）；University of Western Ontario（西安大略大学）
本文综述了机器学习文献，并在优化框架中介绍了几种常用的机器学习方法。特别地，数学最优化模型被提出用于回归、分类、聚类、深度学习和对抗学习，以及机器教学、经验模型学习和贝叶斯网络结构学习中的新兴应用。这些模型可以受益于数值优化技术的进步，这些技术已经在几种机器学习环境中发挥了独特的作用。这些模型的优点和缺点进行了讨论，并突出了潜在的研究方向和开放的问题。
2021-01-11 cs.LG math.OC
Addressing modern and practical challenges in machine learning: A survey of online federated and transfer learning
University of Essex（埃塞克斯大学）
在线联邦学习（OFL）和在线迁移学习（OTL）是克服现代机器学习挑战（如数据孤岛、流数据和数据安全）的两种协作范例。这项调查探讨了OFL和OTL的主要演变路线，以加强对在线联邦和迁移学习的理解。此外，在这项工作中，流行的数据集和在线联邦和迁移学习的前沿应用程序的实际方面突出。此外，这项调查提供了对未来潜在研究领域的深入了解，旨在为开发在线联合和迁移学习框架的专业人员提供资源。
2022-02-07 cs.LG
A Survey of Machine Learning Techniques for Detecting and Diagnosing COVID-19 from Imaging
Stamford University（斯坦福德大学）；Charles Sturt University（查尔斯斯特大学）；University of Chittagong（吉大港大学）
由于逆转录-聚合酶链反应（RT-PCR）检测的可用性有限且成本高昂，许多研究提出了机器学习技术，用于从医学成像中检测COVID-19。本研究的目的是系统地回顾、评估和综合使用不同机器学习技术从胸部X光和CT扫描图像中检测和诊断COVID-19的研究文章。在相关书目数据库中进行了结构化文献检索，以确保调查仅集中在可重复和高质量的研究上。我们根据入选标准选择论文。在本次调查中，我们回顾了符合纳入标准的$98$文章。我们调查了与COVID-19相关的胸部成像分析技术的完整流程，包括数据汇集、预处理、特征提取、分类和可视化。我们考虑了CT扫描和X光，因为两者都被广泛用于描述检测COVID-19的医学成像的最新发展。这项调查为研究人员提供了关于不同机器学习技术及其在胸部成像检测和诊断COVID-19方面的性能的宝贵见解。最后，讨论了利用机器学习技术检测COVID-19的挑战和局限性以及未来的研究方向。
2021-07-25 cs.CV cs.LG eess.IV
A Survey of Machine Learning Methods and Challenges for Windows Malware Classification
Booz Allen Hamilton（博思艾伦汉密尔顿）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
恶意软件分类是一个难题，机器学习方法已经应用了几十年。然而，进展往往是缓慢的，部分原因是在开发机器学习系统的所有阶段都存在一些独特的困难：数据汇集，标记，特征创建和选择，模型选择和评估。在本调查中，我们将回顾与恶意软件分类相关的一些当前方法和挑战，包括数据汇集、特征提取、模型构建和评估。我们的讨论将包括对该领域中基于机器学习的解决方案必须考虑的约束的思考，以及机器学习也可以提供解决方案的尚未解决的问题。本调查旨在为希望了解更多关于如何将机器学习应用于恶意软件问题的网络安全从业者提供有用的信息，并为数据科学家提供必要的背景知识，以应对这个独特复杂的空间中的挑战。
2020-11-15 cs.CR cs.LG stat.AP
A Survey of Optimization Methods from a Machine Learning Perspective
East China Normal University（华东师范大学）
机器学习发展迅速，取得了许多理论突破，在各个领域得到广泛应用。优化作为机器学习的重要组成部分，受到了研究者的广泛关注。随着数据量的指数级增长和模型复杂度的增加，机器学习中的优化方法面临着越来越多的挑战。在机器学习中，人们相继提出了许多解决优化问题或改进优化方法的工作。从机器学习的角度对优化方法进行系统的回顾和总结，对优化技术的发展和机器学习的研究都具有重要的指导意义。在本文中，我们首先描述了机器学习中的优化问题。然后介绍了常用优化方法的原理和进展。接下来，我们总结了优化方法在一些热门的机器学习领域的应用和发展。最后，我们对机器学习中的优化问题进行了探讨和展望。
2019-10-23 cs.LG math.OC stat.ML
Survey of Machine Learning Techniques To Predict Heartbeat Arrhythmias
Institute for Biomedical Informatics（生物医学信息学研究所）；University of Kentucky Healthcare（肯塔基大学医疗中心）
生物医学计算机科学研究中的许多工作使用机器学习技术来给出准确的结果。然而，这些技术对于从现场医院馈送中提取的数据的实时分析可能不可行。在这个项目中，不同的机器学习技术从不同的来源进行比较，以找到一个不仅提供高准确性，而且低延迟和内存开销用于现实世界的医疗保健系统。
2022-08-22 cs.LG eess.SP
Machine Learning Systems for Intelligent Services in the IoT: A Survey
机器学习（ML）技术正在物联网（IoT）中出现以提供智能服务。这项调查超越了现有的机器学习算法和云驱动的设计，调查了整合机器学习和物联网的较少探索的系统，扩展和社会技术方面。它涵盖了在云、边缘和物联网设备上扩展和分发ML的最新发展（截至2020年）。通过对系统设计选择进行分类和说明的多层框架，这项调查揭示了在功能、利益相关者一致性和可信度方面，在不断上升的云-边缘-设备连续体中开发和部署ML系统的基本问题。
2020-12-01 cs.CY cs.LG
A Survey of Machine Learning Techniques in Adversarial Image Forensics
University of Siena（锡耶纳大学）；University of Guelph（圭尔夫大学）；Kennesaw State University（肯尼索州立大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
图像取证在刑事调查中起着至关重要的作用（例如，传播虚假图像以传播种族仇恨或关于特定族裔群体的虚假叙述）和民事诉讼（例如，诽谤）。机器学习方法也越来越多地用于图像取证。然而，也存在与基于机器学习的方法相关联的许多限制和漏洞，例如如何检测具有真实世界后果的对抗性（图像）示例（例如，不被接受的证据，或错误的定罪）。因此，以图像取证为重点，本文调查的技术，可用于提高鲁棒性的机器学习为基础的二进制操作检测器在各种对抗性的情况下。
2020-10-19 cs.AI cs.CR cs.CV
Leveraging Machine Learning and Big Data for Smart Buildings: A Comprehensive Survey
Western Michigan University（西密歇根大学）；Information Technology University（信息技术大学）
未来的建筑将为居民提供新的便利、舒适和效率。随着技术的深入，信息处理充分融入人们的日常生活活动和对象，人们的生活方式将发生变化。智能建筑的未来期望包括使居民的体验尽可能简单和舒适。智能建筑设备和设备生成和捕获的大量流数据包含有价值的信息，需要挖掘这些信息以促进及时采取行动和更好地决策。机器学习和大数据分析无疑将在实现此类智能服务的交付方面发挥关键作用。在本文中，我们调查了智能建筑领域，特别关注机器学习和大数据分析技术的作用。该调查还回顾了智能建筑服务发展的当前趋势和面临的挑战。
2019-05-19 cs.CY cs.LG stat.ML
Challenges in Deploying Machine Learning: a Survey of Case Studies
University of Cambridge（剑桥大学）；Cambridge Spark（剑桥星火）
近年来，机器学习已经从学术研究领域转变为能够解决现实世界商业问题的领域。然而，在生产系统中部署机器学习模型可能会带来许多问题和担忧。本调查回顾了在各种用例、行业和应用程序中部署机器学习解决方案的已发布报告，并提取了与机器学习部署工作流程阶段相对应的实际注意事项。通过将发现的挑战映射到机器学习部署工作流程的步骤，我们表明从业者在部署过程的每个阶段都面临问题。本文的目标是制定一个研究议程，探讨解决这些挑战的方法。
2022-05-19 cs.LG
From Acoustic Sensing to Physical Actions: A Comprehensive Survey of Security Risks in Edge-Deployed Audio LLM-Based Agents
Northeastern University（东北大学）；Hong Kong Baptist University（香港浸会大学）；Nanjing Tech University（南京工业大学）；University of Toyama（富山大学）
本调研提出声学感知到动作（S2A）系统模型，综合现有研究分析边缘部署的基于音频大语言模型智能体的安全风险，指出安全漏洞的存在并推动端到端安全评估方法的发展。
2026-10-14 cs.CR cs.CV cs.LG
Modern Machine Learning Tools for Monitoring and Control of Industrial Processes: A Survey
University of British Columbia（不列颠哥伦比亚大学）；University of Alberta（阿尔伯塔大学）；Imperial College（帝国理工学院）；Seoul National University（首尔国立大学）
在过去的十年中，我们看到工业数据的显著增加，计算能力的巨大提高以及机器学习的重大理论进展。这为在大规模非线性监测和控制问题上使用现代机器学习工具提供了机会。本文提供了一个调查的最新结果与应用过程工业。
2022-09-22 cs.LG cs.SY eess.SY
Automated Machine Learning on Graphs: A Survey
Tsinghua University（清华大学）
图上的机器学习在学术界和工业界都得到了广泛的研究。然而，随着关于图学习的文献随着大量新兴方法和技术而繁荣，手动设计用于不同图相关任务的最佳机器学习算法变得越来越困难。为了解决这一关键挑战，图上的自动机器学习（AutoML）将图机器学习和AutoML的优势结合在一起，正受到研究界的关注。因此，本文全面综述了图上的AutoML，主要关注用于图机器学习的超参数优化（HPO）和神经架构搜索（NAS）。我们进一步概述了与自动化图机器学习相关的库，并深入讨论了AutoGL，这是第一个用于图上AutoML的专用开源库。最后，我们分享了我们对自动图机器学习未来研究方向的见解。本文是第一个系统和全面的审查自动机器学习的图，以我们所知。
2021-12-20 cs.LG
Machine Learning Systems in the IoT: Trustworthiness Trade-offs for Edge Intelligence
Delft University of Technology（代尔夫特理工大学）
机器学习系统（MLSys）正在物联网（IoT）中出现，以提供边缘智能，这为我们实现泛在智能的愿景铺平了道路。然而，尽管机器学习系统和物联网已经成熟，但在实际环境中集成MLSys和物联网时，我们仍面临着严峻的挑战。例如，许多机器学习系统已经被开发用于大规模生产（例如，云环境），但物联网由于异构和资源受限的设备以及分散的操作环境而引入了额外的需求。为了阐明MLSys和物联网的这种融合，本文通过涵盖在云、边缘和物联网设备上扩展和分布ML的最新发展（截至2020年）来分析权衡。我们将机器学习系统定位为物联网的组成部分，将边缘智能定位为社会技术系统。在设计值得信赖的边缘智能的挑战方面，我们倡导一种整体设计方法，将多利益相关者的关注点，设计要求和权衡考虑在内，并强调边缘智能未来的研究机会。
2020-12-01 cs.CY cs.LG
Geomagnetic Survey Interpolation with the Machine Learning Approach
Schmidt Institute of Physics of the Earth of the Russian Academy of Sciences（俄罗斯科学院施密特地球物理研究所）；Geophysical Center of the Russian Academy of Sciences（俄罗斯科学院地球物理中心）
介绍了无人机磁力测量数据内插的方法。该方法适应了这类数据具有样本沿一系列直线（类似于海上航迹）的空间发布的事实，这是许多无人机测量的突出特点。插值依赖于非常基本的最近邻算法，尽管使用了机器学习方法。这种方法通过智能地调整最近邻算法参数使误差小于5%。利用Borok地磁台无人机航磁测量数据对该方法进行了初步测试。
2022-10-07 cs.LG physics.geo-ph
Edge-Cloud Polarization and Collaboration: A Comprehensive Survey for AI
DAMA Academy, Alibaba Group（阿里巴巴集团达摩院）；Zhejiang University（浙江大学）；Institute of Artificial Intelligence, Zhejiang University（浙江大学人工智能研究所）；Shanghai Institute for Advanced Study, Zhejiang University（浙江大学上海高等研究院）
受云计算深度学习的巨大成功和边缘芯片的快速发展的影响，人工智能（AI）的研究已经转向两种计算范式，即，云计算和边缘计算。近年来，我们见证了在云服务器上开发更先进的AI模型的重大进展，由于模型创新，这些模型超过了传统的深度学习模型（例如，Transformers、Pretrained families）、训练数据的爆炸式增长和飙升的计算能力。然而，边缘计算，特别是边缘和云协作计算，仍然处于起步阶段，因为资源受限的物联网场景部署了非常有限的算法。在这项调查中，我们对云和边缘AI进行了系统的评估。具体来说，我们是第一个为云和边缘建模建立协作学习机制的公司，并对实现这种机制的架构进行了全面的审查。我们还讨论了一些正在进行的先进边缘AI主题的潜力和实践经验，包括预训练模型，图神经网络和强化学习。最后，我们讨论了这一领域的前景和挑战。
2022-05-23 cs.AI cs.LG
A Survey on Resilient Machine Learning
IBM Research（IBM研究院）
基于机器学习的系统越来越多地用于敏感任务，例如安全监控、引导自动驾驶车辆、做出投资决策、检测和阻止网络入侵和恶意软件等。然而，最近的研究表明，机器学习模型在机器学习的所有阶段（例如，训练数据收集、训练、操作）都容易受到对手的攻击。机器学习系统的所有模型类都可以通过提供精心制作的输入而被误导，从而使它们错误地对输入进行分类。恶意创建的输入样本可能会影响ML系统的学习过程，要么减慢学习过程，要么影响学习模式的性能，要么导致系统仅在攻击者计划的情况下出错。由于这些发展，理解机器学习算法和系统的安全性正在成为计算机安全和机器学习研究人员和实践者的重要研究领域。我们提出了一个调查这一新兴领域的机器学习。
2017-07-11 cs.AI cs.CR cs.LG
Verification for Machine Learning, Autonomy, and Neural Networks Survey
本调查概述了自主系统的验证技术，重点是安全关键的自主网络物理系统（CPS）及其子组件。CPS中的自主性是通过人工智能（AI）和机器学习（ML）的最新进展来实现的，这些进步通过诸如深度神经网络（DNN）之类的方法来实现，这些方法嵌入在所谓的学习使能组件（LEC）中，完成从分类到控制的任务。最近，形式化方法和形式化验证社区已经开发出方法来表征这些LEC中的行为，最终目标是形式化验证LEC的规范，本文对这些方法进行了综述。
2018-10-03 cs.AI cs.LG
A Survey of Distributed Learning in Cloud, Mobile, and Edge Settings
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本综述系统梳理云、移动与边缘环境下的分布式学习，重点分析数据与模型并行策略及各类网络层的划分方案，并权衡计算效率、通信开销与内存限制，为该领域未来研究提供指导。
2024-05-23 cs.LG
A Survey on Reinforcement Learning-Aided Caching in Mobile Edge Networks
IRIDA Research Centre for Communication Technologies（IRIDA通信技术研究中心）；University of Cyprus（塞浦路斯大学）；Ionian University（爱奥尼亚大学）；Aalto University（阿尔托大学）；Rutgers University（罗格斯大学）
移动网络正在经历数据量和用户密度的巨大增长。缓解这个问题的一种有效技术是通过利用边缘网络节点（例如固定或移动接入点甚至用户设备）的缓存来使数据更接近用户。与此同时，机器学习和无线网络的融合为网络优化提供了一种可行的方法，而传统的优化方法会导致高复杂度，或者无法提供最佳解决方案。在各种机器学习类别中，强化学习以在线和自主的方式运行，而不依赖于大量的历史数据进行训练。在这项调查中，强化学习辅助移动边缘缓存，旨在突出实现网络增益超过传统的缓存方法。考虑到第六代（6G）网络在各种无线环境中的异构性，如固定，车载和飞行网络，学习辅助边缘缓存，离开传统的架构。此外，提供了根据期望的性能度量（诸如频谱、能量和高速缓存效率、平均延迟以及回程和前传卸载）的分类。最后，几个开放的问题进行了讨论，旨在激发进一步的兴趣，这一重要的研究领域。
2021-05-14 cs.IT cs.LG cs.NI
Restricted Boltzmann Machine and Deep Belief Network: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于Boltzmann Machine（BM）、Restricted Boltzmann Machine（RBM）和Deep Belief Network（DBN）的教程和综述论文。我们从概率图模型，马尔可夫随机场，吉布斯抽样，统计物理，伊辛模型和Hopfield网络的必要背景开始。然后，我们介绍了BM和RBM的结构。解释了可见和隐藏变量的条件分布，RBM中用于生成变量的Gibbs抽样，通过最大似然估计训练BM和RBM，以及对比发散。然后，我们讨论变量的不同可能的离散和连续分布。我们介绍了条件RBM以及它是如何训练的。最后，我们将深度信念网络解释为RBM模型的堆栈。这篇关于玻尔兹曼机的论文在数据科学、统计学、神经计算和统计物理等各个领域都很有用。
2022-08-06 cs.LG cs.NE physics.data-an
A Survey on Neural Machine Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）
使机器能够阅读和理解自然语言文档，以便它可以回答一些问题仍然是一个难以捉摸的挑战。近年来，深度学习的普及和大规模数据集的建立，都促进了机器阅读理解的繁荣。本文介绍了如何利用神经网络来构建一个阅读器，并介绍了一些经典的模型，分析了它们的改进之处。进一步指出了现有模型的不足和未来的研究方向
2019-06-10 cs.CL cs.LG
A survey and taxonomy of loss functions in machine learning
本综述全面概述了机器学习中最广泛使用的43种损失函数，涵盖回归、分类、生成建模、排序和基于能量的建模等关键应用，并构建了直观的分类体系以阐明其理论基础、性质和最佳应用场景，旨在为各阶段学生和研究人员提供系统资源。
2024-11-18 cs.LG
Machine learning and domain decomposition methods -- a survey
University of Cologne（科隆大学）
本综述系统梳理机器学习与区域分解方法相结合的研究方向，涵盖用于机器学习的区域分解及机器学习增强的区域分解，总结关键进展并展望未来挑战。
2023-12-21 cs.LG cs.NA math.NA
Creativity and Machine Learning: A Survey
Alma Mater Studiorum Università di Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
本文综述机器学习与创造力领域，涵盖计算创造力理论、生成式深度学习等关键技术及自动评估方法，讨论核心贡献并指出当前挑战与新兴机遇。
2025-02-13 cs.AI cs.CY cs.LG
Category-Theoretical and Topos-Theoretical Frameworks in Machine Learning: A Survey
Japan Women's University（日本女子大学）；XiChang University（西昌学院）；Sichuan University（四川大学）；Pittsburgh Institute（匹兹堡研究所）；Macao Polytechnic University（澳门理工大学）
本文从梯度、概率、不变性与等价性及拓扑斯四个视角综述范畴论在机器学习中的应用，更新了过去五年研究并首次系统探讨拓扑斯理论，凸显其在表达网络全局与局部结构及几何逻辑中的深刻作用。
2025-02-03 cs.LG
pCAMP: Performance Comparison of Machine Learning Packages on the Edges
Wayne State University（韦恩州立大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
机器学习改变了计算范式。今天的产品都是以机器智能为核心属性的，消费者开始期待与他们使用的设备进行接近人类的互动。然而，大部分的深度学习革命都局限于云计算。最近，已经宣布了几个基于边缘设备的机器学习包，其目的是将计算卸载到边缘。然而，很少有研究已经完成，以评估这些软件包的边缘，使最终用户难以选择一个适当的软件和硬件对。在本文中，我们对边缘上的几种最先进的机器学习包进行了性能比较，包括TensorFlow，Caffe2，MXNet，PyTorch和TensorFlow Lite。我们专注于在不同的边缘设备上使用两种流行的神经网络来评估这些工具的延迟、内存占用和能量。该评估不仅为最终用户选择合适的硬件和软件包组合提供了参考，而且为开发人员优化软件包指出了未来可能的方向。
2019-06-06 cs.DC cs.LG cs.PF
A Real-time Edge-AI System for Reef Surveys
CSIRO’s Data61（联邦科学与工业研究组织Data61）；CSIRO Oceans & Atmosphere（联邦科学与工业研究组织海洋与大气研究所）；Queensland University of Technology（昆士兰科技大学）；Google（谷歌）
棘冠海星（COTS）的爆发是大堡礁（GBR）珊瑚损失的主要原因，目前正在进行大量的监测和控制计划，以将COTS种群管理到生态可持续的水平。在本文中，我们提出了一个全面的实时机器学习为基础的水下数据收集和管理系统的边缘设备COTS监测。特别地，我们利用基于深度学习的目标检测技术的能力，并提出了一种资源高效的COTS检测器，该检测器在边缘设备上执行检测推断，以在数据汇集阶段帮助海洋专家进行COTS识别。初步结果表明，提高计算效率的几种策略（例如，分批处理、跳帧、模型输入大小）可以被组合以在边缘硬件上以低资源消耗和低信息损失运行所提出的检测模型。
2022-08-01 cs.LG
Survey: Machine Learning in Production Rendering
University of California San Diego（加州大学圣地亚哥分校）
在过去的几年里，基于机器学习的方法在渲染动画长片方面取得了一些巨大的成功。本调查总结了使用深度神经网络相对于传统渲染方法的几个最显著的改进，例如更好的图像质量和更低的计算开销。更具体地说，本调查涵盖了机器学习的基本原理及其应用，例如去噪，路径引导，渲染参与媒体以及其他众所周知的困难光传输情况。其中一些技术已经在最新发布的动画中使用，而其他技术仍在学术界和电影制片厂的研究人员的持续开发中。虽然基于学习的渲染方法仍然存在一些问题，但它们已经在渲染管道的多个部分表现出了良好的性能，人们正在不断进行新的尝试。
2020-05-26 cs.GR cs.LG
Machine learning for Earth System Science (ESS): A survey, status and future directions for South Asia
Indian Institute of Tropical Meteorology（印度热带气象研究所）；Jackson School of Geosciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校杰克逊地球科学学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Science（印度科学理工学院）；Borehole Geophysics Research Laboratory（钻孔地球物理研究实验室）
本次调查的重点是当前地球系统科学中的问题，机器学习算法可以应用。它概述了以前的工作，印度政府地球科学部正在进行的工作，以及ML算法在一些重大地球科学问题中的未来应用。我们提供了以前的工作与本调查的比较，与机器学习相关的多维领域的思维导图和Gartner的地球系统科学（ESS）中机器学习的炒作周期。我们主要关注地球科学中的关键组成部分，包括大气，海洋，地震和生物圈，并涵盖AI/ML应用于统计降尺度和预测问题。
2021-12-24 cs.LG physics.ao-ph
Is the Rush to Machine Learning Jeopardizing Safety? Results of a Survey
McMaster University（麦克马斯特大学）
机器学习（ML）正在进入安全关键系统（SCS）。目前的安全标准和实践不是为了应对ML技术而设计的，很难相信包含ML组件的SCS是安全的。我们的假设是，人们急于部署ML技术，而没有彻底检查ML技术的使用是否会引入我们还不能充分检测和缓解的安全问题。因此，我们进行了有针对性的文献调查，以确定将ML应用于SCS的研究工作与评估部署ML组件的SCS安全性的研究工作进行比较。本文介绍了调查的（令人惊讶的）结果。
2021-11-29 cs.LG
A Survey of Domain Adaptation for Neural Machine Translation
Institute for Datability Science（数据智能科学研究所）；Osaka University（大阪大学）
神经机器翻译（NMT）是一种基于深度学习的机器翻译方法，在大规模并行语料库可用的情况下，其产生最先进的翻译性能。虽然高质量和特定领域的翻译在现实世界中是至关重要的，特定领域的语料库通常是稀缺的或根本不存在，因此香草NMT在这种情况下表现不佳。领域自适应是一种利用领域外平行语料库和单语语料库进行领域内翻译的方法，对于特定领域的翻译非常重要。在本文中，我们给出了一个全面的调查，最先进的领域自适应技术的NMT。
2018-06-01 cs.AI cs.CL cs.LG
Intelligence at the Extreme Edge: A Survey on Reformable TinyML
University of Westminster（威斯敏斯特大学）；University of New South Wales（新南威尔士大学）
Tiny机器学习（TinyML）是一个新兴的研究领域，旨在将机器学习和深度学习在高能效的节俭微控制器单元上的使用民主化。考虑到TinyML只能运行推理的一般假设，对该领域的兴趣日益增长，导致了使它们可改造的工作，即，允许模型在部署后进行改进的解决方案。这项工作提出了一个新的分类法的建议，可改造TinyML解决方案的调查。在这里，每个层次层的可改造性的适用性进行了讨论。此外，我们探讨了TinyML的工作流程，并分析了确定的部署方案，可用的工具和几乎没有可用的基准测试工具。最后，我们讨论了可改造的TinyML如何影响一些选定的工业领域，并讨论了挑战和未来的方向。
2023-01-09 cs.LG eess.SP
