"Forgetting" in Machine Learning and Beyond: A Survey
Australian National University（澳大利亚国立大学）
本综述借鉴神经科学研究，将机器学习中的遗忘视为适应性功能，探讨其在提升模型性能与数据隐私方面的应用，并讨论了整合遗忘机制的挑战、未来方向与伦理考量。
2024-05-31 cs.LG
A Survey on Machine Learning Applied to Dynamic Physical Systems
本调查是关于物理建模和机器学习交叉领域的最新进展。我们专注于非线性系统的建模，更接近电动机。综述了电动机运行中的控制和故障检测技术。
2020-09-28 cs.LG cs.NE
Machine Learning Testing: Survey, Landscapes and Horizons
University College London（伦敦大学学院）；Facebook London（Facebook伦敦）；Kyushu University（九州大学）；Nanyang Technological University（南洋理工大学）
本文对机器学习测试（ML测试）的研究进行了全面的综述。它涵盖了144篇关于测试性能的论文（例如，正确性、鲁棒性和公平性），测试组件（例如，数据、学习程序和框架），测试工作流（例如，测试生成和测试评估），以及应用场景（例如，自动驾驶、机器翻译）。本文还分析了有关数据集的趋势，研究趋势和研究重点，最后总结了ML测试的研究挑战和有前途的研究方向。
2019-12-21 cs.AI cs.LG cs.SE
How Developers Iterate on Machine Learning Workflows -- A Survey of the Applied Machine Learning Literature
University of Illinois, Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）
机器学习工作流开发被认为是一个迭代的试错过程。然而，我们并不知道有定量证据证实这一普遍看法。迭代的定量表征可以作为实践中机器学习工作流开发的基准，并且可以帮助开发人在回路机器学习系统。为此，我们从五个不同的应用领域应用机器学习文献进行了小规模的调查。我们收集和提取关于迭代在机器学习工作流开发中的作用的统计数据，并报告我们调查的初步趋势和见解，作为这个基准的起点。基于我们的研究结果，我们最后描述了有效和通用的人在回路机器学习系统，可以满足不同领域的用户的需求。
2018-05-17 cs.DB cs.HC cs.LG
Machine Learning for Spatiotemporal Sequence Forecasting: A Survey
The Hong Kong University of Science and Technology（香港科技大学）
时空系统在现实世界中很常见。基于过去的观测数据对这些时空系统的未来进行多步预测，即时空序列预测（STSF），是一个重要而具有挑战性的问题。虽然现实世界中的许多问题都可以被看作是STSF，许多研究工作也提出了基于机器学习的方法来解决这些问题，但还没有一个研究工作从统一的角度对这些方法进行总结和比较。本调查旨在为STSF提供机器学习的系统综述。在本综述中，我们定义了STSF问题，并将其分为三类：运动点云轨迹预测（TF-MPC），规则网格上的STSF（STSF-RG）和不规则网格上的STSF（STSF-IG）。然后，我们介绍了STSF的两个主要挑战：1）如何学习多步预测模型，2）如何充分建模的空间和时间结构。在此之后，我们回顾了现有的工作来解决这些挑战，包括多步预测的一般学习策略，经典的基于机器学习的方法STSF，和基于深度学习的方法STSF。我们还比较了这些方法，并指出了一些潜在的研究方向。
2018-08-21 cs.LG stat.ML
A Survey on Large-scale Machine Learning
Hefei University of Technology（合肥工业大学）；University of Science and Technology of China（中国科学技术大学）
机器学习可以提供对数据的深入洞察，使机器能够做出高质量的预测，并已广泛应用于现实世界的应用，如文本挖掘，视觉分类和推荐系统。然而，大多数复杂的机器学习方法在对大规模数据进行操作时都会面临巨大的时间成本。这个问题需要{大规模机器学习}（LML），其目的是从大数据中有效地学习具有可比性能的模式。在本文中，我们提供了一个系统的调查现有的LML方法，提供了一个蓝图，为未来的发展，这一领域。我们首先根据提高可扩展性的方式将这些LML方法划分为：1）基于计算复杂性的模型简化，2）基于计算效率的优化近似，3）基于计算能力的计算并行。然后，我们在每一个角度的方法进行分类，根据其目标场景，并介绍了代表性的方法与内在的战略。最后，我们分析了它们的局限性，并讨论了潜在的方向以及有希望在未来解决的开放问题。
2020-08-10 cs.LG stat.ML
Deep Learning and Its Applications to Machine Health Monitoring: A Survey
自2006年以来，深度学习（DL）已成为一个快速发展的研究方向，重新定义了对象识别、图像分割、语音识别和机器翻译等广泛领域的最新性能。在现代制造系统中，由于低成本传感器的广泛部署及其与互联网的连接，数据驱动的机器健康监测越来越受欢迎。同时，深度学习为处理和分析这些大机械数据提供了有用的工具。本文的主要目的是回顾和总结深度学习在机器健康监测方面的新兴研究工作。在简要介绍了深度学习技术的基础上，主要从以下几个方面综述了深度学习在机器健康监测系统中的应用：自动编码器（AE）及其变体、受限玻尔兹曼机及其变体（包括深度信念网络（DBN）和深度玻尔兹曼机（DBM））、卷积神经网络（CNN）和递归神经网络（RNN）。最后，讨论了基于动态联盟的机器健康监测方法的发展趋势。
2016-12-16 cs.LG stat.ML
A Survey of Self-Supervised and Few-Shot Object Detection
Mila（米拉人工智能研究所）；DIRO, Université de Montréal（蒙特利尔大学计算机科学与运筹学系）；ServiceNow（ServiceNow公司）
标记数据通常是昂贵且耗时的，特别是对于诸如目标检测和实例分割之类的任务，这些任务需要对图像进行密集标记。虽然Few-Shot目标检测是关于用很少的数据在新的（看不见的）对象类上训练模型，但它仍然需要在基础（看到的）类的许多标记示例上进行先验训练。另一方面，自监督方法旨在从未标记的数据中学习表示，这些数据可以很好地转移到下游任务，如目标检测。结合Few-Shot和自监督目标检测是一个很有前途的研究方向。在这项调查中，我们回顾和表征最新的方法，Few-Shot和自我监督的目标检测。然后，我们给出了我们的主要结论，并讨论了未来的研究方向。项目页面https://gabrielhuang.github.io/fsod-survey/
2022-08-23 cs.AI cs.CV cs.LG
On the computation of counterfactual explanations -- A survey
Bielefeld University（比勒费尔德大学）
由于机器学习在实践中的使用越来越多，能够解释机器学习模型的预测和行为变得越来越重要。解释的实例是反事实解释，其提供对机器学习模型的直观且有用的解释。在这项调查中，我们回顾了模型特定的方法，有效地计算反事实的解释，许多不同的机器学习模型，并提出了方法的模型还没有被认为在文献中。
2019-11-15 cs.AI cs.LG stat.ML
A Survey on Data Collection for Machine Learning: a Big Data -- AI Integration Perspective
KAIST（韩国科学技术院）
数据汇集是机器学习中的一个主要瓶颈，也是多个社区中的一个活跃研究课题。数据汇集最近成为一个关键问题，主要有两个原因。首先，随着机器学习的使用越来越广泛，我们看到新的应用程序不一定有足够的标记数据。其次，与传统的机器学习不同，深度学习技术自动生成特征，这节省了特征工程成本，但反过来可能需要更大量的标记数据。有趣的是，最近的数据汇集研究不仅来自机器学习、自然语言和计算机视觉社区，而且由于处理大量数据的重要性，也来自数据管理社区。在本调查中，我们从数据管理的角度对数据汇集进行了全面的研究。数据汇集主要包括数据采集、数据标记和现有数据或模型的改进。我们提供了这些操作的研究环境，提供了何时使用哪种技术的指导方针，并确定了有趣的研究挑战。机器学习和数据管理的集成用于数据汇集是大数据和人工智能（AI）集成的更大趋势的一部分，并为新的研究开辟了许多机会。
2019-08-12 cs.LG stat.ML
Benchmark and Survey of Automated Machine Learning Frameworks
USU Software AG（USU软件股份公司）；Institute of Industrial Manufacturing and Management IFF（工业制造与管理研究所（IFF））；University of Stuttgart（斯图加特大学）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所（IPA））
机器学习（ML）已经成为我们日常生活中许多方面的重要组成部分。然而，构建性能良好的机器学习应用程序需要高度专业化的数据科学家和领域专家。自动化机器学习（AutoML）旨在通过使领域专家能够自动构建机器学习应用程序来减少对数据科学家的需求，而无需广泛的统计学和机器学习知识。本文结合了当前AutoML方法的调查和真实数据集上流行的AutoML框架的基准测试。在所选评估框架的驱动下，我们总结并回顾了与构建ML管道的每一步相关的重要AutoML技术和方法。所选AutoML框架在来自已建立的AutoML基准套件的137个数据集上进行了评估。
2021-01-26 cs.AI cs.LG stat.ML
A Short Survey on Importance Weighting for Machine Learning
The University of Melbourne（墨尔本大学）；School of Mathematics and Statistics（数学与统计学院）；The Institute of Statistical Mathematics（统计数学研究所）；RIKEN（理化学研究所）；Center for Advanced Intelligence Project（先进智能项目中心）
该综述介绍了重要性加权这一统计学与机器学习基础方法的原理，举例说明其在分布偏移下有监督学习中的作用，并总结了它在机器学习及相关领域的广泛应用。
2024-05-14 cs.AI cs.LG stat.ML
A Survey of Machine Learning Techniques for Detecting and Diagnosing COVID-19 from Imaging
Stamford University（斯坦福德大学）；Charles Sturt University（查尔斯斯特大学）；University of Chittagong（吉大港大学）
由于逆转录-聚合酶链反应（RT-PCR）检测的可用性有限且成本高昂，许多研究提出了机器学习技术，用于从医学成像中检测COVID-19。本研究的目的是系统地回顾、评估和综合使用不同机器学习技术从胸部X光和CT扫描图像中检测和诊断COVID-19的研究文章。在相关书目数据库中进行了结构化文献检索，以确保调查仅集中在可重复和高质量的研究上。我们根据入选标准选择论文。在本次调查中，我们回顾了符合纳入标准的$98$文章。我们调查了与COVID-19相关的胸部成像分析技术的完整流程，包括数据汇集、预处理、特征提取、分类和可视化。我们考虑了CT扫描和X光，因为两者都被广泛用于描述检测COVID-19的医学成像的最新发展。这项调查为研究人员提供了关于不同机器学习技术及其在胸部成像检测和诊断COVID-19方面的性能的宝贵见解。最后，讨论了利用机器学习技术检测COVID-19的挑战和局限性以及未来的研究方向。
2021-07-25 cs.CV cs.LG eess.IV
A Survey of Optimization Methods from a Machine Learning Perspective
East China Normal University（华东师范大学）
机器学习发展迅速，取得了许多理论突破，在各个领域得到广泛应用。优化作为机器学习的重要组成部分，受到了研究者的广泛关注。随着数据量的指数级增长和模型复杂度的增加，机器学习中的优化方法面临着越来越多的挑战。在机器学习中，人们相继提出了许多解决优化问题或改进优化方法的工作。从机器学习的角度对优化方法进行系统的回顾和总结，对优化技术的发展和机器学习的研究都具有重要的指导意义。在本文中，我们首先描述了机器学习中的优化问题。然后介绍了常用优化方法的原理和进展。接下来，我们总结了优化方法在一些热门的机器学习领域的应用和发展。最后，我们对机器学习中的优化问题进行了探讨和展望。
2019-10-23 cs.LG math.OC stat.ML
Addressing modern and practical challenges in machine learning: A survey of online federated and transfer learning
University of Essex（埃塞克斯大学）
在线联邦学习（OFL）和在线迁移学习（OTL）是克服现代机器学习挑战（如数据孤岛、流数据和数据安全）的两种协作范例。这项调查探讨了OFL和OTL的主要演变路线，以加强对在线联邦和迁移学习的理解。此外，在这项工作中，流行的数据集和在线联邦和迁移学习的前沿应用程序的实际方面突出。此外，这项调查提供了对未来潜在研究领域的深入了解，旨在为开发在线联合和迁移学习框架的专业人员提供资源。
2022-02-07 cs.LG
Hyperbox based machine learning algorithms: A comprehensive survey
University of Technology Sydney（悉尼科技大学）；Khalifa University（哈利法大学）
随着数字信息的快速发展，人类和机器产生的数据量呈指数级增长。伴随着这一趋势，机器学习算法不断形成和发展，从不同的数据源中发现新的信息和知识。使用超盒作为基本表示和构建块的学习算法是机器学习方法的一个分支。这些算法具有巨大的潜力，高的可扩展性和在线适应的预测使用超盒数据表示的动态变化的环境和流数据。本文旨在对基于超盒的机器学习模型的文献进行全面的综述。通常，根据所得到的模型的架构和特性特征，现有的基于超盒的学习算法可以被分为三大类：模糊最小-最大神经网络、基于超盒的混合模型和基于超盒表示的其他算法。在每一组中，本文简要描述了模型的结构，相关的学习算法，并分析了它们的优点和缺点。本文还介绍了这些基于超盒的模型在实际问题中的主要应用。最后，我们讨论了一些开放的问题，并确定在这一领域的潜在的未来研究方向。
2019-03-22 cs.LG stat.ML
A Survey of Machine Learning Methods and Challenges for Windows Malware Classification
Booz Allen Hamilton（博思艾伦汉密尔顿）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
恶意软件分类是一个难题，机器学习方法已经应用了几十年。然而，进展往往是缓慢的，部分原因是在开发机器学习系统的所有阶段都存在一些独特的困难：数据汇集，标记，特征创建和选择，模型选择和评估。在本调查中，我们将回顾与恶意软件分类相关的一些当前方法和挑战，包括数据汇集、特征提取、模型构建和评估。我们的讨论将包括对该领域中基于机器学习的解决方案必须考虑的约束的思考，以及机器学习也可以提供解决方案的尚未解决的问题。本调查旨在为希望了解更多关于如何将机器学习应用于恶意软件问题的网络安全从业者提供有用的信息，并为数据科学家提供必要的背景知识，以应对这个独特复杂的空间中的挑战。
2020-11-15 cs.CR cs.LG stat.AP
Optimization Problems for Machine Learning: A Survey
IBM Research Ireland（IBM爱尔兰研究院）；Ivey Business School（毅伟商学院）；University of Western Ontario（西安大略大学）
本文综述了机器学习文献，并在优化框架中介绍了几种常用的机器学习方法。特别地，数学最优化模型被提出用于回归、分类、聚类、深度学习和对抗学习，以及机器教学、经验模型学习和贝叶斯网络结构学习中的新兴应用。这些模型可以受益于数值优化技术的进步，这些技术已经在几种机器学习环境中发挥了独特的作用。这些模型的优点和缺点进行了讨论，并突出了潜在的研究方向和开放的问题。
2021-01-11 cs.LG math.OC
Leveraging Machine Learning and Big Data for Smart Buildings: A Comprehensive Survey
Western Michigan University（西密歇根大学）；Information Technology University（信息技术大学）
未来的建筑将为居民提供新的便利、舒适和效率。随着技术的深入，信息处理充分融入人们的日常生活活动和对象，人们的生活方式将发生变化。智能建筑的未来期望包括使居民的体验尽可能简单和舒适。智能建筑设备和设备生成和捕获的大量流数据包含有价值的信息，需要挖掘这些信息以促进及时采取行动和更好地决策。机器学习和大数据分析无疑将在实现此类智能服务的交付方面发挥关键作用。在本文中，我们调查了智能建筑领域，特别关注机器学习和大数据分析技术的作用。该调查还回顾了智能建筑服务发展的当前趋势和面临的挑战。
2019-05-19 cs.CY cs.LG stat.ML
Challenges in Deploying Machine Learning: a Survey of Case Studies
University of Cambridge（剑桥大学）；Cambridge Spark（剑桥星火）
近年来，机器学习已经从学术研究领域转变为能够解决现实世界商业问题的领域。然而，在生产系统中部署机器学习模型可能会带来许多问题和担忧。本调查回顾了在各种用例、行业和应用程序中部署机器学习解决方案的已发布报告，并提取了与机器学习部署工作流程阶段相对应的实际注意事项。通过将发现的挑战映射到机器学习部署工作流程的步骤，我们表明从业者在部署过程的每个阶段都面临问题。本文的目标是制定一个研究议程，探讨解决这些挑战的方法。
2022-05-19 cs.LG
Survey of Machine Learning Techniques To Predict Heartbeat Arrhythmias
Institute for Biomedical Informatics（生物医学信息学研究所）；University of Kentucky Healthcare（肯塔基大学医疗中心）
生物医学计算机科学研究中的许多工作使用机器学习技术来给出准确的结果。然而，这些技术对于从现场医院馈送中提取的数据的实时分析可能不可行。在这个项目中，不同的机器学习技术从不同的来源进行比较，以找到一个不仅提供高准确性，而且低延迟和内存开销用于现实世界的医疗保健系统。
2022-08-22 cs.LG eess.SP
A Survey of Machine Learning Techniques in Adversarial Image Forensics
University of Siena（锡耶纳大学）；University of Guelph（圭尔夫大学）；Kennesaw State University（肯尼索州立大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
图像取证在刑事调查中起着至关重要的作用（例如，传播虚假图像以传播种族仇恨或关于特定族裔群体的虚假叙述）和民事诉讼（例如，诽谤）。机器学习方法也越来越多地用于图像取证。然而，也存在与基于机器学习的方法相关联的许多限制和漏洞，例如如何检测具有真实世界后果的对抗性（图像）示例（例如，不被接受的证据，或错误的定罪）。因此，以图像取证为重点，本文调查的技术，可用于提高鲁棒性的机器学习为基础的二进制操作检测器在各种对抗性的情况下。
2020-10-19 cs.AI cs.CR cs.CV
Machine Learning Systems for Intelligent Services in the IoT: A Survey
机器学习（ML）技术正在物联网（IoT）中出现以提供智能服务。这项调查超越了现有的机器学习算法和云驱动的设计，调查了整合机器学习和物联网的较少探索的系统，扩展和社会技术方面。它涵盖了在云、边缘和物联网设备上扩展和分发ML的最新发展（截至2020年）。通过对系统设计选择进行分类和说明的多层框架，这项调查揭示了在功能、利益相关者一致性和可信度方面，在不断上升的云-边缘-设备连续体中开发和部署ML系统的基本问题。
2020-12-01 cs.CY cs.LG
Automated Machine Learning on Graphs: A Survey
Tsinghua University（清华大学）
图上的机器学习在学术界和工业界都得到了广泛的研究。然而，随着关于图学习的文献随着大量新兴方法和技术而繁荣，手动设计用于不同图相关任务的最佳机器学习算法变得越来越困难。为了解决这一关键挑战，图上的自动机器学习（AutoML）将图机器学习和AutoML的优势结合在一起，正受到研究界的关注。因此，本文全面综述了图上的AutoML，主要关注用于图机器学习的超参数优化（HPO）和神经架构搜索（NAS）。我们进一步概述了与自动化图机器学习相关的库，并深入讨论了AutoGL，这是第一个用于图上AutoML的专用开源库。最后，我们分享了我们对自动图机器学习未来研究方向的见解。本文是第一个系统和全面的审查自动机器学习的图，以我们所知。
2021-12-20 cs.LG
A survey on Machine Learning-based Performance Improvement of Wireless Networks: PHY, MAC and Network layer
Ghent University（根特大学）；Delft University of Technology（代尔夫特理工大学）
本文提供了一个系统和全面的调查，审查集中在机器学习（ML）的无线网络的性能改善的最新研究成果，同时考虑到所有层的协议栈（物理层，MAC和网络）。首先，讨论了相关的工作和论文贡献，然后为非机器学习专家提供数据驱动方法和机器学习的必要背景，以了解所有讨论的技术。然后，一个全面的审查工作采用ML为基础的方法来优化无线通信参数设置，以实现改善网络的服务质量（QoS）和体验质量（QoE）。我们首先将这些工作分为：无线电分析，MAC分析和网络预测方法，其次是每个子类别。最后，讨论了开放的挑战和更广阔的前景。
2020-01-18 cs.LG cs.NI eess.SP
Latest Advancements Towards Catastrophic Forgetting under Data Scarcity: A Comprehensive Survey on Few-Shot Class Incremental Learning
University of South Australia（南澳大学）；University of Ljubljana（卢布尔雅那大学）
本文综述少样本类别增量学习（FSCIL）的最新进展，涵盖其目标、原型修正、预训练模型及语言引导新范式、性能分析与实际应用，提出挑战、解决方案与未来方向，助力应对数据稀缺下的持续学习问题。
2025-02-12 cs.AI cs.CV cs.LG
Geomagnetic Survey Interpolation with the Machine Learning Approach
Schmidt Institute of Physics of the Earth of the Russian Academy of Sciences（俄罗斯科学院施密特地球物理研究所）；Geophysical Center of the Russian Academy of Sciences（俄罗斯科学院地球物理中心）
介绍了无人机磁力测量数据内插的方法。该方法适应了这类数据具有样本沿一系列直线（类似于海上航迹）的空间发布的事实，这是许多无人机测量的突出特点。插值依赖于非常基本的最近邻算法，尽管使用了机器学习方法。这种方法通过智能地调整最近邻算法参数使误差小于5%。利用Borok地磁台无人机航磁测量数据对该方法进行了初步测试。
2022-10-07 cs.LG physics.geo-ph
Modern Machine Learning Tools for Monitoring and Control of Industrial Processes: A Survey
University of British Columbia（不列颠哥伦比亚大学）；University of Alberta（阿尔伯塔大学）；Imperial College（帝国理工学院）；Seoul National University（首尔国立大学）
在过去的十年中，我们看到工业数据的显著增加，计算能力的巨大提高以及机器学习的重大理论进展。这为在大规模非线性监测和控制问题上使用现代机器学习工具提供了机会。本文提供了一个调查的最新结果与应用过程工业。
2022-09-22 cs.LG cs.SY eess.SY
Restricted Boltzmann Machine and Deep Belief Network: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于Boltzmann Machine（BM）、Restricted Boltzmann Machine（RBM）和Deep Belief Network（DBN）的教程和综述论文。我们从概率图模型，马尔可夫随机场，吉布斯抽样，统计物理，伊辛模型和Hopfield网络的必要背景开始。然后，我们介绍了BM和RBM的结构。解释了可见和隐藏变量的条件分布，RBM中用于生成变量的Gibbs抽样，通过最大似然估计训练BM和RBM，以及对比发散。然后，我们讨论变量的不同可能的离散和连续分布。我们介绍了条件RBM以及它是如何训练的。最后，我们将深度信念网络解释为RBM模型的堆栈。这篇关于玻尔兹曼机的论文在数据科学、统计学、神经计算和统计物理等各个领域都很有用。
2022-08-06 cs.LG cs.NE physics.data-an
Meta-learning approaches for few-shot learning: A survey of recent advances
University of Technology Sydney（悉尼科技大学）；Western Sydney University（西悉尼大学）；Óbuda University（欧布达大学）
尽管深度学习在学习更深层次的多维数据方面取得了惊人的成功，但它在新的未知任务上的性能下降，主要是因为它专注于相同分布的预测。此外，深度学习因对少量样本的泛化能力差而臭名昭著。元学习是一种很有前途的方法，它通过适应具有Few-Shot数据集的新任务来解决这些问题。本调查首先简要介绍了元学习，然后调查了最先进的元学习方法和最新进展：（I）基于度量，（II）基于记忆，（III）和基于学习的方法。最后，讨论了当前的挑战和未来研究的见解。
2023-03-13 cs.AI cs.LG
Reproducing Kernel Hilbert Space, Mercer's Theorem, Eigenfunctions, Nyström Method, and Use of Kernels in Machine Learning: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于内核、核方法和相关领域的教程和综述论文。我们首先回顾核函数分析和机器学习的历史。然后，Mercer核，Hilbert和Banach空间，再生核Hilbert空间（RKHS），Mercer定理及其证明，常用的核，核构造距离度量，重要的核类别（包括有界，整体正定，泛，平稳，和特征核），核中心化和归一化，和特征函数进行了详细的解释。然后，我们介绍了核在机器学习中的使用类型，包括核方法（如核支持向量机），半定规划核学习，Hilbert-Schmidt独立性准则，最大均值差异，核均值嵌入和核降维。我们还涵盖了核矩阵的秩和因子分解以及使用Nystr{<$}m方法对特征函数和核的近似。这篇论文可以用于各种科学领域，包括机器学习，降维，数学中的泛函分析和量子力学中的数学物理。
2021-06-15 cs.LG math.FA stat.ML
A survey and taxonomy of loss functions in machine learning
本综述全面概述了机器学习中最广泛使用的43种损失函数，涵盖回归、分类、生成建模、排序和基于能量的建模等关键应用，并构建了直观的分类体系以阐明其理论基础、性质和最佳应用场景，旨在为各阶段学生和研究人员提供系统资源。
2024-11-18 cs.LG
Verification for Machine Learning, Autonomy, and Neural Networks Survey
本调查概述了自主系统的验证技术，重点是安全关键的自主网络物理系统（CPS）及其子组件。CPS中的自主性是通过人工智能（AI）和机器学习（ML）的最新进展来实现的，这些进步通过诸如深度神经网络（DNN）之类的方法来实现，这些方法嵌入在所谓的学习使能组件（LEC）中，完成从分类到控制的任务。最近，形式化方法和形式化验证社区已经开发出方法来表征这些LEC中的行为，最终目标是形式化验证LEC的规范，本文对这些方法进行了综述。
2018-10-03 cs.AI cs.LG
Category-Theoretical and Topos-Theoretical Frameworks in Machine Learning: A Survey
Japan Women's University（日本女子大学）；XiChang University（西昌学院）；Sichuan University（四川大学）；Pittsburgh Institute（匹兹堡研究所）；Macao Polytechnic University（澳门理工大学）
本文从梯度、概率、不变性与等价性及拓扑斯四个视角综述范畴论在机器学习中的应用，更新了过去五年研究并首次系统探讨拓扑斯理论，凸显其在表达网络全局与局部结构及几何逻辑中的深刻作用。
2025-02-03 cs.LG
A Survey on the Explainability of Supervised Machine Learning
Fraunhofer Institute for Optronics, System Technologies, and Image Exploitation IOSB（弗劳恩霍夫光电、系统技术与图像利用研究所IOSB）；University of Stuttgart（斯图加特大学）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所IPA）
通过以下方式获得的预测，例如，人工神经网络具有高精度，但是人类通常将模型视为黑盒。对人类来说，关于决策的见解大多是不透明的。特别是了解医疗保健或金融等高度敏感领域的决策至关重要。黑盒子背后的决策过程要求它更加透明、负责和易于理解。这篇调查论文提供了基本的定义，概述了可解释的监督机器学习（SML）的不同原理和方法。我们进行了一个国家的最先进的调查，回顾过去和最近的可解释的SML方法，并根据介绍的定义进行分类。最后，我们通过一个解释性的案例研究来说明原则，并讨论未来的重要方向。
2020-11-16 cs.AI cs.LG stat.ML
A Survey on Resilient Machine Learning
IBM Research（IBM研究院）
基于机器学习的系统越来越多地用于敏感任务，例如安全监控、引导自动驾驶车辆、做出投资决策、检测和阻止网络入侵和恶意软件等。然而，最近的研究表明，机器学习模型在机器学习的所有阶段（例如，训练数据收集、训练、操作）都容易受到对手的攻击。机器学习系统的所有模型类都可以通过提供精心制作的输入而被误导，从而使它们错误地对输入进行分类。恶意创建的输入样本可能会影响ML系统的学习过程，要么减慢学习过程，要么影响学习模式的性能，要么导致系统仅在攻击者计划的情况下出错。由于这些发展，理解机器学习算法和系统的安全性正在成为计算机安全和机器学习研究人员和实践者的重要研究领域。我们提出了一个调查这一新兴领域的机器学习。
2017-07-11 cs.AI cs.CR cs.LG
A Survey on Neural Machine Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）
使机器能够阅读和理解自然语言文档，以便它可以回答一些问题仍然是一个难以捉摸的挑战。近年来，深度学习的普及和大规模数据集的建立，都促进了机器阅读理解的繁荣。本文介绍了如何利用神经网络来构建一个阅读器，并介绍了一些经典的模型，分析了它们的改进之处。进一步指出了现有模型的不足和未来的研究方向
2019-06-10 cs.CL cs.LG
Is the Rush to Machine Learning Jeopardizing Safety? Results of a Survey
McMaster University（麦克马斯特大学）
机器学习（ML）正在进入安全关键系统（SCS）。目前的安全标准和实践不是为了应对ML技术而设计的，很难相信包含ML组件的SCS是安全的。我们的假设是，人们急于部署ML技术，而没有彻底检查ML技术的使用是否会引入我们还不能充分检测和缓解的安全问题。因此，我们进行了有针对性的文献调查，以确定将ML应用于SCS的研究工作与评估部署ML组件的SCS安全性的研究工作进行比较。本文介绍了调查的（令人惊讶的）结果。
2021-11-29 cs.LG
A Survey on Distributed Machine Learning
Delft University of Technology（代尔夫特理工大学）；imec - Ghent University（imec-根特大学）
在过去十年中，对人工智能的需求显著增长，这种增长受到机器学习技术进步和利用硬件加速能力的推动。然而，为了提高预测的质量并使机器学习解决方案对于更复杂的应用可行，需要大量的训练数据。虽然可以用适量的数据来训练小型机器学习模型，但用于训练诸如神经网络之类的较大模型的输入随着参数的数量呈指数增长。由于对处理训练数据的需求已经超过了计算机器的计算能力的增长，因此需要将机器学习工作负载分布在多个机器上，并将集中式系统转变为分布式系统。这些分布式系统提出了新的挑战，首先是训练过程的有效并行化和连贯模型的创建。本文通过概述分布式机器学习相对于传统（集中式）机器学习的挑战和机遇，讨论用于分布式机器学习的技术，并概述可用的系统，对该领域的当前最新技术进行了广泛的概述。
2019-12-20 cs.DC cs.LG stat.ML
Informed Machine Learning -- A Taxonomy and Survey of Integrating Knowledge into Learning Systems
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer IAIS, Institute for Intelligent Analysis and Information Systems（弗劳恩霍夫智能分析与信息系统研究所）；Fraunhofer SCAI, Institute for Algorithms and Scientific Computing（弗劳恩霍夫算法与科学计算研究所）；Fraunhofer ITWM, Institute for Industrial Mathematics（弗劳恩霍夫工业数学研究所）；Fraunhofer IOSB, Institute for Optronics, System Technologies and Image Exploitation（弗劳恩霍夫光电子学、系统技术与图像开发研究所）
尽管机器学习取得了巨大的成功，但在处理不充分的训练数据时，它也有其局限性。一个潜在的解决方案是将先验知识额外整合到训练过程中，这导致了知情机器学习的概念。在本文中，我们提出了一个结构化的概述在这一领域的各种方法。我们提供了一个定义，并提出了一个概念，通知机器学习，说明其构建块，并区分它从传统的机器学习。我们介绍了一个分类法，作为一个分类框架，知情的机器学习方法。它考虑了知识的来源，它的表示，并将其集成到机器学习管道。基于这种分类法，我们调查相关的研究，并描述如何不同的知识表示，如代数方程，逻辑规则，或模拟结果可以用于学习系统。基于我们的分类法对大量论文的评估揭示了知情机器学习领域的关键方法。
2021-05-28 cs.AI cs.LG stat.ML
From Server-Based to Client-Based Machine Learning: A Comprehensive Survey
Shanghai Jiao Tong University（上海交通大学）；Alibaba（阿里巴巴）
近年来，移动设备以更强的计算能力和更大的存储空间获得了日益增长的发展。一些计算密集型的机器学习任务现在可以在移动设备上运行。为了利用移动设备上可用的资源并保护个人隐私，已经提出了基于客户端的机器学习的概念。它利用用户的本地硬件和本地数据在移动设备上解决机器学习子问题，只上传计算结果而不是原始数据，用于全局模型的优化。这样的架构不仅可以减轻服务器的计算和存储负担，还可以保护用户的敏感信息。另一个好处是带宽减少，因为各种本地数据可以参与训练过程而无需上传。在这篇文章中，我们提供了一个文献综述的逐步发展的机器学习从基于服务器到基于客户端。我们回顾了一些广泛使用的基于服务器和基于客户端的机器学习方法和应用程序。我们还广泛讨论了这一领域的挑战和未来方向。我们相信，这项调查将对基于客户端的机器学习进行清晰的概述，并为将基于客户端的机器学习应用于实践提供指导。
2021-09-28 cs.DC cs.LG stat.ML
Machine learning and domain decomposition methods -- a survey
University of Cologne（科隆大学）
本综述系统梳理机器学习与区域分解方法相结合的研究方向，涵盖用于机器学习的区域分解及机器学习增强的区域分解，总结关键进展并展望未来挑战。
2023-12-21 cs.LG cs.NA math.NA
Survey: Machine Learning in Production Rendering
University of California San Diego（加州大学圣地亚哥分校）
在过去的几年里，基于机器学习的方法在渲染动画长片方面取得了一些巨大的成功。本调查总结了使用深度神经网络相对于传统渲染方法的几个最显著的改进，例如更好的图像质量和更低的计算开销。更具体地说，本调查涵盖了机器学习的基本原理及其应用，例如去噪，路径引导，渲染参与媒体以及其他众所周知的困难光传输情况。其中一些技术已经在最新发布的动画中使用，而其他技术仍在学术界和电影制片厂的研究人员的持续开发中。虽然基于学习的渲染方法仍然存在一些问题，但它们已经在渲染管道的多个部分表现出了良好的性能，人们正在不断进行新的尝试。
2020-05-26 cs.GR cs.LG
Creativity and Machine Learning: A Survey
Alma Mater Studiorum Università di Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
本文综述机器学习与创造力领域，涵盖计算创造力理论、生成式深度学习等关键技术及自动评估方法，讨论核心贡献并指出当前挑战与新兴机遇。
2025-02-13 cs.AI cs.CY cs.LG
Machine learning for Earth System Science (ESS): A survey, status and future directions for South Asia
Indian Institute of Tropical Meteorology（印度热带气象研究所）；Jackson School of Geosciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校杰克逊地球科学学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Science（印度科学理工学院）；Borehole Geophysics Research Laboratory（钻孔地球物理研究实验室）
本次调查的重点是当前地球系统科学中的问题，机器学习算法可以应用。它概述了以前的工作，印度政府地球科学部正在进行的工作，以及ML算法在一些重大地球科学问题中的未来应用。我们提供了以前的工作与本调查的比较，与机器学习相关的多维领域的思维导图和Gartner的地球系统科学（ESS）中机器学习的炒作周期。我们主要关注地球科学中的关键组成部分，包括大气，海洋，地震和生物圈，并涵盖AI/ML应用于统计降尺度和预测问题。
2021-12-24 cs.LG physics.ao-ph
Machine Learning for Network Slicing Resource Management: A Comprehensive Survey
University of Kaiserslautern（凯泽斯劳滕大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
新兴的多租户网络切片技术被认为是5G蜂窝网络的基本特征。它提供网络切片作为一种新型的公共云服务，从而增加了服务的灵活性，提高了网络资源的效率。同时，也对网络资源管理提出了新的挑战。近年来已经提出了许多各种方法，其中广泛地部署了机器学习和人工智能技术。在这篇文章中，我们提供了一个调查现有的网络切片资源管理的方法，突出了机器学习在其中所扮演的角色。
2020-01-22 cs.LG cs.NI
Curriculum Graph Machine Learning: A Survey
Tsinghua University（清华大学）
本文首次全面综述课程图机器学习（Graph CL），针对现有图模型随机训练导致的次优问题，按节点级、链接级和图级任务分类总结方法，并展望未来方向。
2024-03-12 cs.LG
A Survey of Game Theoretic Approaches for Adversarial Machine Learning in Cybersecurity Tasks
U.S. Naval Research Laboratory（美国海军研究实验室）
机器学习技术目前被广泛用于自动化各种网络安全任务。这些技术中的大多数利用监督学习算法，该算法依赖于训练算法来使用相关领域中遇到的数据将传入数据分类为不同类别。这些算法的一个关键漏洞是它们容易受到对抗攻击的影响，其中被称为对手的恶意实体故意更改训练数据以误导学习算法产生分类错误。对抗攻击可能会使学习算法不适合使用，并使关键系统容易受到网络安全攻击。我们的论文提供了一个详细的调查，用于使机器学习算法强大的对抗对抗攻击使用博弈论的计算框架的最先进的技术。我们还讨论了开放的问题和挑战以及进一步研究的可能方向，这些研究将使基于深度机器学习的系统在网络安全任务中更加强大和可靠。
2019-12-04 cs.AI cs.CR cs.LG
Machine Learning Techniques for Stackelberg Security Games: a Survey
Politecnico di Milano（米兰理工大学）
本调查旨在介绍当前安全游戏领域采用的机器学习技术。具体而言，我们重点关注了南加州大学Teamcore开发的论文和作品，这些论文和作品深化了该领域的不同方向。Stackelberg安全游戏（SSG）和偷猎设置的简要介绍后，其余的工作提出了如何建模一个有限理性的攻击者考虑到她的人类行为，然后描述了如何面对的问题，有攻击者的收益没有定义，以及如何估计他们，最后，介绍了如何在线学习技术已被利用来学习攻击者的模型。
2016-09-29 cs.GT cs.LG
A Survey on Poisoning Attacks Against Supervised Machine Learning
University of Toronto（多伦多大学）；Electrical and Computer Engineering（电子与计算机工程（此处为院系，按要求不提取，但原文中该部分是否为机构？根据规则，机构粒度提取到大学/学院/公司/研究院级别即可，不要细拆到系等，因此仅保留“University of Toronto”））
随着人工智能和机器学习在现代计算中的兴起，关于这些技术的主要关注点之一是提供针对对手的隐私和安全性。我们提出这篇调查论文，以涵盖针对监督机器学习模型的中毒攻击中最具代表性的论文。我们首先提供了一个分类法，对现有的研究进行分类，然后对选定的论文进行详细的总结。我们总结和比较现有文献的方法和局限性。我们总结了本文的潜在改进和未来的方向，以进一步利用和防止对监督模型的中毒攻击。我们提出了几个未回答的研究问题，以鼓励和启发研究人员未来的工作。
2022-02-08 cs.CR cs.LG
A Survey of Domain Adaptation for Neural Machine Translation
Institute for Datability Science（数据智能科学研究所）；Osaka University（大阪大学）
神经机器翻译（NMT）是一种基于深度学习的机器翻译方法，在大规模并行语料库可用的情况下，其产生最先进的翻译性能。虽然高质量和特定领域的翻译在现实世界中是至关重要的，特定领域的语料库通常是稀缺的或根本不存在，因此香草NMT在这种情况下表现不佳。领域自适应是一种利用领域外平行语料库和单语语料库进行领域内翻译的方法，对于特定领域的翻译非常重要。在本文中，我们给出了一个全面的调查，最先进的领域自适应技术的NMT。
2018-06-01 cs.AI cs.CL cs.LG
Super-Resolution Analysis via Machine Learning: A Survey for Fluid Flows
University of California, Los Angeles（加州大学洛杉矶分校）；Keio University（庆应义塾大学）
本文综述了基于机器学习的涡旋流动超分辨率重建方法，通过二维衰减各向同性湍流案例证明受物理启发的模型能从空间受限测量中成功重建流场，并讨论了该技术在流体应用中的挑战与前景。
2023-06-07 cs.LG physics.comp-ph physics.flu-dyn
When Machine Learning Meets Privacy: A Survey and Outlook
University of Technology Sydney（悉尼科技大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；The University of Sydney（悉尼大学）；La Trobe University（乐卓博大学）；The University of Melbourne（墨尔本大学）
新出现的机器学习（例如深度学习）方法已成为智能医疗、金融技术和监控系统等广泛行业革命的强大驱动力。与此同时，在这个基于机器学习的人工智能时代，隐私已经成为一个大问题。值得注意的是，机器学习背景下的隐私保护问题与传统数据隐私保护中的问题有很大不同，因为机器学习既可以是朋友，也可以是敌人。目前，关于隐私保护和机器学习（ML）的工作仍处于起步阶段，因为大多数现有解决方案仅关注机器学习过程中的隐私问题。因此，需要对隐私保护问题和机器学习进行全面的研究。本文综述了机器学习的隐私问题和解决方案的最新技术水平。该调查涵盖隐私与机器学习之间的三大类交互：（i）私有机器学习，（ii）机器学习辅助隐私保护，以及（iii）基于机器学习的隐私攻击和相应的保护方案。目前的研究进展，在每个类别的审查和确定的关键挑战。最后，在对隐私和机器学习领域进行深入分析的基础上，指出了该领域未来的研究方向。
2020-11-24 cs.AI cs.CR cs.LG
A Survey on Low-Resource Neural Machine Translation
Microsoft Research Asia（微软亚洲研究院）
神经方法已经在机器翻译上实现了最先进的准确性，但是遭受收集大规模并行数据的高成本。因此，已经对具有非常有限的并行数据的神经机器翻译（NMT）进行了大量研究，即，低资源配置。本文综述了低资源的NMT，并根据其使用的辅助数据将相关工作分为三类：（1）利用源语言和/或目标语言的单语数据，（2）利用辅助语言的数据，（3）利用多模态数据。我们希望我们的调查能够帮助研究人员更好地了解该领域并激励他们设计更好的算法，并帮助行业从业者为他们的应用选择合适的算法。
2021-07-09 cs.CL cs.LG
