RobustNeuralNetworks.jl: a Package for Machine Learning and Data-Driven Control with Certified Robustness
University of Sydney, Australian Centre for Robotics（悉尼大学澳大利亚机器人中心）
本文介绍 Julia 软件包 RobustNeuralNetworks.jl，它基于 REN 和 LBDN 构建可满足用户自定义鲁棒性指标的模型，并可与 Flux.jl 集成，用于图像分类、强化学习和非线性状态观测器设计。
2025-09-29 cs.LG cs.SY eess.SY
Kernels, Data & Physics
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Instituto de Matemática Pura e Aplicada (IMPA)（纯数学与应用数学研究所）；Technical University of Munich（慕尼黑工业大学）；New York University（纽约大学）
本文基于Julia Kempe教授的暑期学校讲义，介绍利用神经正切核（NTK）方法理解机器学习难题，并重点展示其在数据蒸馏与对抗鲁棒性中的应用。
2023-07-05 cs.LG stat.ML
Interpretable Machine Learning for Science with PySR and SymbolicRegression.jl
Princeton University（普林斯顿大学）；Flatiron Institute（熨斗研究院）
本研究介绍了开源符号回归库PySR及其Julia后端SymbolicRegression.jl，阐述了其多种群进化算法、分布式高性能架构等特性，并提出EmpiricalBench基准以评估符号回归算法在科学领域的适用性。
2023-05-05 astro-ph.IM cs.LG cs.NE
Some Ethical Issues in the Review Process of Machine Learning Conferences
KTH Royal Institute of Technology（瑞典皇家理工学院）
机器学习社区最近的成功导致提交给会议的论文数量急剧增加。这一增加使影响这些会议目前所使用的审查程序的一些问题更加突出。审查过程中有几个问题可能会破坏科学研究的性质，即完全客观，非政治性，无偏见和无不当行为（如剽窃，作弊，不当影响和其他不当行为）。在这项工作中，我们研究了审稿人的招聘问题，双盲过程的违规行为，欺诈行为，数字评级的偏见，以及附录现象（即，在论文的附录部分公布研究结果的做法越来越普遍）。对于每一个问题，我们提供了一个简短的描述和可能的解决方案。这项工作的目标是提高机器学习社区对这些问题的认识。
2021-06-01 cs.LG stat.ML
Rotation Equivariant Operators for Machine Learning on Scalar and Vector Fields
Carnegie Mellon University（卡内基梅隆大学）；RWTH Aachen University（亚琛工业大学）
我们开发理论和软件的旋转等变算子的标量和矢量场，在仿真，优化和机器学习的各种应用。旋转等方差（协方差）意味着系统中的所有场一起旋转，这意味着保持对称性的空间不变动力学。扩展线性时不变系统的卷积定理，我们理论上，线性等变算子的特征在于张量场卷积使用输入场和径向对称核场之间的适当的产品。大多数格林函数和微分算子实际上都是等变算子，它们也可以通过参数化径向函数来拟合未知的对称性保持动力学。我们实现了Julia包EquivariantOperators.jl，用于2d/3d中的标量、向量和高阶张量场上的全可微有限差分等变算子。它既可用于仿真或图像处理，也可用于计算机视觉、逆问题和最优控制。代码https://aced-differentiate.github.io/EquivariantOperators.jl/
2022-08-04 cs.LG
A Review on Oracle Issues in Machine Learning
INESC TEC（INESC TEC（葡萄牙工程与系统技术研究所））
机器学习与传统的软件开发不同，因为预言是数据，而数据并不总是机器学习试图建模的问题的正确表示。我们对机器学习中发现的Oracle问题进行了调查，并提出了处理这些问题的最先进的解决方案。其中包括差分测试、变形测试和测试覆盖率的研究路线。我们还回顾了最近在建模过程中对鲁棒性的一些改进，这些改进减少了Oracle问题的影响，以及用于帮助测试和发现特定于数据集的问题的工具和框架。
2021-05-04 cs.LG
A Differentiable Programming System to Bridge Machine Learning and Scientific Computing
Julia Computing（Julia Computing公司）；MIT（麻省理工学院）；UMB（马萨诸塞大学波士顿分校）；Invenia Labs（Invenia实验室）
科学计算越来越多地融合了机器学习的进步和处理大量数据的能力。与此同时，机器学习模型正变得越来越复杂，并表现出科学计算中常见的许多特征，强调了机器学习框架的能力。正如科学计算和机器学习的学科以数值线性代数的形式共享共同的基础设施一样，我们现在有机会以微分编程的形式进一步共享新的计算基础设施，从而共享新的思想。我们描述受精卵，微分编程系统，能够采取梯度的一般程序结构。我们用Julia程序设计语言实现了这个系统。我们的系统支持几乎所有的语言结构（控制流，递归，变异等）。并且编译高性能代码，而不需要任何用户干预或重构来分阶段计算。这为深度学习提供了一个富有表现力的编程模型，但更重要的是，它使我们能够以一种简单的方式将大型库生态系统纳入我们的模型中。我们讨论了我们的方法，自动微分，包括其支持先进的技术，如混合模式，复杂的和检查点的差异，并提出了几个例子，区分程序。
2019-07-18 cs.LG cs.PL
Understanding the Nature of System-Related Issues in Machine Learning Frameworks: An Exploratory Study
University of South Carolina（南卡罗来纳大学）；Chalmers and the University of Gutenberg（查尔姆斯理工大学与哥德堡大学）；Carnegie Mellon University（卡内基梅隆大学）
现代系统是使用开发框架构建的。这些框架对最终系统的执行方式、配置管理方式、测试方式以及部署方式和部署位置有着重大影响。机器学习（ML）框架和使用它们开发的系统与传统框架有很大不同。当然，在这些框架中出现的问题也可能不同-开发人员解决这些问题的行为也可能不同。我们有兴趣描述ML框架中出现的与系统相关的问题-影响性能，内存和资源使用以及其他质量属性的问题，以及它们与传统框架中的问题有何不同。我们进行了一项中等规模的探索性研究，分析了10个流行的机器学习框架中与现实世界系统相关的问题。我们的研究结果为机器学习系统的开发提供了启示，包括某些问题类型发生频率的差异，关于辩论和时间对问题纠正的影响的观察，以及开发人员专业化的差异。我们希望这种探索性的研究将使开发人员能够提高他们的期望，计划风险，并相应地分配资源时，利用这些框架提供的工具来开发基于ML的系统。
2020-05-13 cs.LG cs.SE
Flexible Performant GEMM Kernels on GPUs
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯）；Starfleet Academy（星际舰队学院）
通用矩阵乘法或GEMM内核在高性能计算和机器学习中占据中心位置。最近的NVIDIA GPU包括GEMM加速器，例如NVIDIA的Tensor Cores。它们的开发受到两种语言问题的阻碍：它要么需要低级编程，这意味着程序员的生产力很低，要么使用只提供有限组件集的库。因为根据已建立的组件来改写算法通常会引入开销，库缺乏灵活性限制了探索新算法的自由。因此，使用GEMM的研究人员无法同时享受编程效率、高性能和研究灵活性。在本文中，我们解决这个问题。我们提出了三套抽象和接口的科学朱莉娅程序设计语言内的程序GEMM。接口和抽象是针对研究人员的需求和Julia的功能共同设计的，以实现足够的关注点分离和灵活性，从而以多种不同的方式轻松扩展基本GEMM，而无需付出性能代价。将我们的GEMM与最先进的库cuBLAS和CUTLASS进行比较，我们证明了我们的性能与库相同，在某些情况下甚至超过了它，而无需在CUDA C++或汇编中编写一行代码，并且不会面临灵活性限制。
2021-11-22 cs.DC cs.LG cs.MS
Quantum Neural Network Classifiers: A Tutorial
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
机器学习在过去十年中取得了巨大的成功，应用范围从人脸识别到自然语言处理。与此同时，量子计算领域取得了快速进展，包括开发强大的量子算法和先进的量子器件。机器学习和量子物理学之间的相互作用具有将实际应用带到现代社会的有趣潜力。在这里，我们专注于参数化量子线路形式的量子神经网络。我们将主要讨论用于监督学习任务的量子神经网络的不同结构和编码策略，并利用Julia语言编写的量子模拟包Yao.jl对其性能进行基准测试。这些代码是高效的，旨在为科学工作的初学者提供方便，例如开发强大的变分量子学习模型和辅助相应的实验演示。
2022-07-12 cond-mat.dis-nn cs.AI cs.LG
Pitfalls in Machine Learning Research: Reexamining the Development Cycle
The AI Village（AI村）；Booz Allen Hamilton（博思艾伦汉密尔顿公司）；University of Notre Dame（圣母大学）
机器学习有可能推动数据科学的进一步发展，但它受到特设设计过程，数据卫生状况差以及模型评估缺乏统计严谨性的极大阻碍。最近，这些问题已经开始引起更多的关注，因为它们在研究和开发中引起了公众和尴尬的问题。借鉴我们作为机器学习研究人员的经验，我们遵循从算法设计到数据汇集再到模型评估的机器学习过程，提请注意常见的陷阱并提供实用的改进建议。在每一步中，都会引入案例研究，以突出这些陷阱在实践中是如何发生的，以及可以改进的地方。
2021-08-18 cs.LG stat.ME stat.ML
Complexity Issues and Randomization Strategies in Frank-Wolfe Algorithms for Machine Learning
KU Leuven（鲁汶大学）；Universidad Técnica Federico Santa María（费德里科·圣玛丽亚理工大学）
本文研究了Frank-Wolfe算法在大规模数据集中的有效性，分析了随机采样策略的替代方案，并提供了一些指导原则。
2014-10-15 cs.LG cs.NA math.NA
Statistical stability indices for LIME: obtaining reliable explanations for Machine Learning models
CRIF S.p.A.（CRIF公司）
如今，我们正在目睹业务流程向更计算驱动的方法转变。机器学习技术的不断增加的使用是这种趋势的最明显的例子。这种革命通常提供优势，例如提高预测准确性和缩短获得结果的时间。然而，这些方法存在一个主要缺点：很难理解算法做出决定的依据。为了解决这个问题，我们考虑LIME方法。我们给出了LIME的一般背景，然后，我们专注于稳定性问题：在相同条件下重复使用该方法，可能会产生不同的解释。两个互补的指标，提出了衡量石灰稳定性。从业者必须意识到这个问题，并有一个工具来发现它。稳定性保证LIME解释是可靠的，因此通过建议的指数进行稳定性评估是至关重要的。作为案例研究，我们将机器学习和经典统计技术应用于信用风险数据。我们在机器学习算法上测试LIME并检查其稳定性。最后，我们检查返回的解释是否合理。
2020-11-12 cs.AI cs.LG stat.ML
Quality issues in Machine Learning Software Systems
Polytechnique Montréal（蒙特利尔理工学院）
背景：在各个领域中观察到越来越多的需求，以采用机器学习（ML）来解决复杂问题。ML模型被实现为软件组件并部署在机器学习软件系统（MLSS）中。问题：迫切需要确保MLSS的服务质量。这些系统的错误或错误决策可能导致其他系统故障，重大财务损失，甚至威胁到人类生命。MLSS的质量保证被认为是一项具有挑战性的任务，目前是一个热门的研究课题。此外，还必须涵盖最低生活保障系统质量的各个方面。目的：从从业人员的角度探讨医疗器械质量保障体系中实际质量问题的特征。这项实证研究的目的是确定一个目录的不良做法有关的质量差的MLSS。方法：我们计划与从业者/专家进行一系列访谈，相信访谈是在处理质量问题时检索他们的经验和做法的最佳方法。我们希望在这一步开发的问题目录也将帮助我们以后确定MLSS质量问题的严重性，根本原因和可能的补救措施，使我们能够为ML模型和MLSS开发有效的质量保证工具。
2022-08-22 cs.LG cs.SE
Strongly Hierarchical Factorization Machines and ANOVA Kernel Regression
Arizona State University（亚利桑那州立大学）
高阶参数模型，包括功能相互作用的条款适用于各种数据采掘任务，其中地面真理取决于功能的相互作用。然而，在数据稀疏的情况下，用于特征交互的高维参数通常面临三个问题：计算昂贵、参数估计困难和缺乏结构。以前的工作已经提出的方法，可以部分地重新解决这三个问题。特别是，具有因子分解参数（例如因子分解机）和稀疏学习算法（例如FTRL-Proximal）的模型可以解决前两个问题，但无法解决第三个问题。关于非结构化参数，应用约束或复杂的正则化项，使得可以施加分层结构。然而，这些方法使优化问题更具挑战性。在这项工作中，我们提出了强层次分解机和ANOVA核回归，所有这三个问题都可以解决，而不会使优化问题更加困难。实验结果表明，所提出的模型显着优于国家的最先进的两个数据采掘任务：冷启动用户响应时间预测和股票波动预测。
2018-01-05 cs.LG
Analysis of Software Engineering for Agile Machine Learning Projects
Samsung R&D Institute Bangalore（三星研发研究所班加罗尔分所）
使用敏捷方法的机器学习、人工智能或数据科学相关软件工程项目的数量正在增加。然而，很少有人研究这些项目在实践中如何运作。在本文中，我们分析了几个机器学习项目的项目问题跟踪数据，这些数据来自于Scrum（一种流行的敏捷工具）。我们将这些数据与来自非机器学习项目的相应数据进行比较，试图分析机器学习项目如何与正常软件工程项目不同地执行。通过分析发现，机器学习项目问题使用不同的词汇来描述问题，与实施任务相比，探索性或研究性任务的数量更高，并且在每个Sprint之后的产品待办事项中有更多的问题，这意味着提前估计机器学习项目相关任务的持续时间更困难。在分析这些数据之后，我们提出了一些方法，可以更好地记录和执行敏捷机器学习项目，因为它们与普通软件工程项目不同。
2019-12-16 cs.LG cs.SE
Quality Issues in Machine Learning Software Systems
Polytechnique Montréal（蒙特利尔理工学院）
本文通过访谈与问卷调查实证研究MLSS质量问题，识别18类问题及21种缓解策略，并构建问题目录以支持质量保证工具开发。
2024-08-03 cs.LG cs.SE
Machine Learning for a Low-cost Air Pollution Network
University of Sheffield（谢菲尔德大学）；Makerere University（麦克雷雷大学）
由于所用传感器成本低，在经济拮据的国家进行数据汇集往往需要使用近似和有偏差的测量。这可能导致无效的预测和糟糕的政策或决策。如果应用来自资源丰富地区的方法而不处理这些额外的约束，这尤其是一个问题。在本文中，我们通过使用空气污染网络的例子，如何使用概率机器学习可以减轻一些技术限制。具体来说，我们实验建模的校准单个传感器的分布或高斯过程随时间的推移，并讨论了更广泛的问题，决策过程。
2019-11-28 cs.LG stat.AP stat.ML
Fashionable Modelling with Flux
Julia Computing, Inc.（朱莉娅计算公司）；University College London（伦敦大学学院）；Birla Institute of Technology and Science（比尔拉科学技术学院）；National Institute of Technology（国家技术学院）；Indian Institute of Technology（印度理工学院）
近年来，机器学习作为一门学科受到了令人难以置信的关注，这在很大程度上是由于新理论的完美风暴，卓越的工具，以及对其能力的新兴趣。我们在本文中提出了一个名为Flux的框架，它展示了如何进一步完善机器学习的核心思想，建立在Julia程序设计语言的基础上，可以产生一个简单，易于修改和高性能的环境。我们详细介绍了Flux作为可微分编程框架的基本原理，给出了在Flux中实现的模型示例，以显示许多有助于其易用性和高生产力的语言和框架级功能，显示用于实现Flux核心的加速和性能的内部编译器技术，最后概述Flux适合的更大生态系统。
2018-11-10 cs.LG cs.PL
Machine Learning in Event-Triggered Control: Recent Advances and Open Issues
University College Cork（科克大学学院）；Munster Technological University（芒斯特理工大学）
由于分散控制应用的趋势和信息物理系统应用的出现，网络化控制系统在过去十年中获得了相当大的关注。然而，由于无线网络的复杂性质，现实世界的无线联网控制系统遭受有限的通信带宽、可靠性问题以及缺乏对网络动态的感知。结合机器学习和事件触发控制有可能缓解其中的一些问题。例如，机器学习可用于通过学习系统行为或通过连续学习模型动态来适应动态变化的模型来克服缺乏网络模型的问题。事件触发控制可通过仅在必要时或在资源可用时传送控制信息来帮助节省通信带宽。本文的目的是对机器学习与事件触发控制结合使用的文献进行综述。正在结合事件触发控制研究诸如统计学习、神经网络之类的机器学习技术和诸如深度强化学习之类的基于强化学习的方法。我们讨论了这些学习算法如何根据机器学习用途的目的用于不同的应用。在对文献进行回顾和讨论之后，我们强调了与基于机器学习的事件触发控制相关的开放研究问题和挑战，并提出了潜在的解决方案。
2022-08-09 cs.LG cs.SY eess.SY
An Introduction to Machine Unlearning
NatWest Group（国民西敏寺银行集团）；UCL（伦敦大学学院）
可能需要从机器学习模型中去除训练数据的指定子集的影响，以解决隐私、公平性和数据质量等问题。在删除子集后，在剩余的数据上从头开始重新训练模型是一种有效但通常不可行的选择，因为它的计算开销很大。因此，在过去的几年里，已经看到了一些新的方法来有效地去除，形成了“机器遗忘“领域，然而，迄今为止发表的文献的许多方面是不同的，缺乏共识。在本文中，我们总结和比较七个国家的最先进的机器遗忘算法，巩固在该领域使用的核心概念的定义，调和不同的方法来评估算法，并讨论相关的问题，在实践中应用机器遗忘。
2022-09-02 cs.LG
Integrating Machine Learning with Physics-Based Modeling
Princeton University（普林斯顿大学）
机器学习是一个非常强大的工具，可以大大提高我们进行科学研究的能力。然而，在这成为现实之前，需要解决许多问题。本文重点关注一个引起广泛兴趣的特定问题：我们如何将机器学习与基于物理的建模集成，以开发新的可解释且真正可靠的物理模型？在介绍了一般准则之后，我们讨论了开发基于机器学习的物理模型的两个最重要的问题：施加物理约束和获得最佳数据集。我们还为现代机器学习成功背后的根本原因提供了一个简单而直观的解释，并介绍了将机器学习与基于物理的建模相结合所需的并发机器学习框架。以分子动力学和动力学方程的矩封闭为例说明了所讨论的主要问题。最后，我们对这种整合将把我们带到哪里，以及在机器学习成功整合到科学建模中之后，新的前沿将在哪里进行了一般性的讨论。
2020-06-04 cs.LG cs.NA math.NA
Comparison of Machine Learning Methods for Assigning Software Issues to Team Members
Boğaziçi University（博阿齐奇大学）
本研究提出适用于浅层机器学习的精选语言特征，将软件问题分配给四类角色并考量开发者经验，通过5个共5324条问题的工业数据集验证，浅层集成分类器准确率达0.92，与深度语言模型表现相当，还公开了数据集等成果。
2023-08-23 cs.CL cs.LG cs.SE
Challenges in Deploying Machine Learning: a Survey of Case Studies
University of Cambridge（剑桥大学）；Cambridge Spark（剑桥星火）
近年来，机器学习已经从学术研究领域转变为能够解决现实世界商业问题的领域。然而，在生产系统中部署机器学习模型可能会带来许多问题和担忧。本调查回顾了在各种用例、行业和应用程序中部署机器学习解决方案的已发布报告，并提取了与机器学习部署工作流程阶段相对应的实际注意事项。通过将发现的挑战映射到机器学习部署工作流程的步骤，我们表明从业者在部署过程的每个阶段都面临问题。本文的目标是制定一个研究议程，探讨解决这些挑战的方法。
2022-05-19 cs.LG
Data Quality Toolkit: Automatic assessment of data quality and remediation for machine learning datasets
IBM Research（IBM研究院）
训练数据的质量对机器学习任务的效率、准确性和复杂性有着巨大的影响。有各种工具和技术可用于评估与一般清理和分析检查有关的数据质量。然而，这些技术不适用于检测数据问题的背景下，机器学习任务，如嘈杂的标签，存在重叠的类等，我们试图重新审视数据质量问题的背景下，建立一个机器学习管道，并建立一个工具，可以检测，解释和补救问题的数据，并系统和自动捕获所有的变化应用到数据。我们引入了用于机器学习的数据质量工具包，作为一些关键质量指标和相关补救技术的库，以分析和增强机器学习项目的结构化训练数据集的准备程度。该工具包可以减少数据准备管道的周转时间，并简化数据质量评估过程。我们的工具包通过IBM API Hub [1]平台公开提供，任何开发人员都可以使用IBM的Data Quality for AI API [2]评估数据质量。详细的教程也可以在IBM Learning Path [3]上找到。
2021-09-05 cs.LG
Applications of Machine Learning in Healthcare and Internet of Things (IOT): A Comprehensive Review
近年来，智能医疗物联网设备已经变得无处不在，但由于其策略，它们在隔离的网络中工作。将这些设备连接到网络中使我们能够执行医疗分布式数据分析。然而，在技术、结构和网络策略方面存在不同的物联网设备，这使得在将传统的集中式学习算法应用于从物联网设备收集的分散式数据时成为一个具有挑战性的问题。在这项研究中，我们对最先进的机器学习应用进行了广泛的回顾，特别是在医疗保健领域，物联网中的挑战性问题以及相应的有前途的解决方案。最后，我们强调了医疗保健中物联网的一些开放式问题，为科学家留下了进一步的研究和调查。
2022-02-06 cs.CY cs.LG
Studying the explanations for the automated prediction of bug and non-bug issues using LIME and SHAP
TU Clausthal（克劳斯塔尔工业大学）
上下文：在问题跟踪器中识别报告的问题中的错误对于问题的分类至关重要。机器学习模型已经显示出关于自动化问题类型预测的性能的有希望的结果。然而，除了我们的假设之外，我们对这些模型如何识别bug的了解非常有限。LIME和SHAP是解释分类器预测的常用技术。目的：我们想了解机器学习模型是否为分类提供了合理的解释，并与我们对模型应该学习什么的假设保持一致。我们还想知道预测的质量是否与解释的质量相关。方法：我们进行了一项研究，根据LIME和SHAP解释问题类型预测模型结果的质量对其进行评级。为此，我们评价解释本身的质量，即，如果它们符合我们的期望，如果它们帮助我们理解底层的机器学习模型。
2022-09-15 cs.LG cs.SE
Domain Generalization in Machine Learning Models for Wireless Communications: Concepts, State-of-the-Art, and Open Issues
University of Manitoba（曼尼托巴大学）
数据驱动的机器学习（ML）被提升为下一代无线系统中使用的一种潜在技术。这导致了大量的研究工作，应用ML技术来解决无线传输链路不同层的问题。然而，这些应用中的大多数依赖于监督学习，其假设源（训练）和目标（测试）数据是独立且同分布（i.i.d）的。在现实世界中，由于源数据和目标数据之间的域或分布偏移，经常违反这一假设。因此，重要的是要确保这些算法推广到分布外（OOD）数据。在这种情况下，领域泛化（DG）通过在不同的和不同的源域/数据集上学习模型来解决与OOD相关的问题，该模型具有泛化能力，可以泛化到看不见的新领域，而无需额外的微调。出于DG的要求，无线应用的重要性，我们提出了一个全面的概述DG和域转移的不同来源的最新发展。我们还总结了现有的DG方法，并审查其在选定的无线通信问题中的应用，并得出结论的见解和开放的问题。
2023-03-13 cs.AI cs.LG
Machine Learning of User Profiles: Representational Issues
随着越来越多的信息以电子方式提供，查找用户感兴趣的信息的工具变得越来越重要。这里描述的研究的目标是建立一个系统，用于生成可理解的用户配置文件，准确地捕捉用户的兴趣与最小的用户交互。这里所描述的研究集中在一个合适的泛化层次结构和表示的学习配置文件是预测准确和可理解的重要性。在我们的实验中，我们评估了传统的功能加权术语向量的基础上，以及主题功能对应的类别，可以从一个词库。我们的实验，在一个基于内容的分析系统，在万维网上的在线报纸（IDD新闻浏览器）的背景下进行，证明了一个泛化层次结构的重要性和承诺相结合的自然语言处理技术与机器学习（ML），以解决信息检索（IR）的问题。
1997-12-11 cmp-lg cs.CL cs.LG
SeaPearl: A Constraint Programming Solver guided by Reinforcement Learning
École Polytechnique, Institut Polytechnique de Paris（巴黎综合理工学院，巴黎综合理工大学）；École Polytechnique de Montréal（蒙特利尔综合理工学院）
设计求解组合优化问题的高效通用算法是一个活跃的研究领域。标准的精确求解方法是基于对解集的巧妙而完整的枚举。使用这种方法的一个关键和重要的设计选择是分支策略，它指导如何执行搜索。在过去的十年中，人们对设计基于机器学习的算法来解决组合优化问题表现出越来越大的兴趣。目标是利用历史数据中的知识来解决问题的类似新实例。单独使用时，这种算法只能有效地提供近似解，但不能证明其解的最优性或边界。最近的工作表明，强化学习可以成功地用于驱动约束规划（CP）求解器的搜索阶段。然而，也已经表明，这种混合是具有挑战性的建设，因为标准的CP框架不包括原生的机器学习机制，导致一些低效率的来源。本文介绍了SeaPearl的概念证明，这是一种在Julia中实现的新CP求解器，它支持机器学习例程，以便使用强化学习来学习分支决策。还提供了对学习组件建模的支持。我们说明了两个问题的建模和解决方案的性能，这个新的求解器。虽然还没有与工业求解器竞争，但SeaPearl旨在提供一个灵活的开源框架，以促进未来约束编程和机器学习混合的研究。
2021-04-20 cs.AI cs.LG
Lyceum: An efficient and scalable ecosystem for robot learning
University of Washington（华盛顿大学）；Roboti LLC（Roboti有限责任公司）
我们介绍Lyceum，一个用于机器人学习的高性能计算生态系统。Lyceum建立在Julia程序设计语言和MuJoCo物理模拟器之上，结合了高级程序设计语言的易用性和原生C的性能。此外，Lyceum有一个简单的API来支持跨多个核心和机器的并行计算。总体而言，根据环境的复杂性，Lyceum比其他流行的抽象（如OpenAI的Gym和DeepMind的dm-control）快5- 30倍。这大大减少了各种强化学习算法的训练时间;而且速度也足够快，可以通过MuJoCo支持实时模型预测控制。代码、教程和演示视频可以在www.lyceum.ml上找到。
2020-01-21 cs.AI cs.LG cs.RO
Robust Orthogonal Machine Learning of Treatment Effects
City University of Hong Kong（香港城市大学）；Renmin University of China（中国人民大学）
因果学习是获得稳定预测和回答决策中的\textit{what if}问题的关键。在因果学习中，寻求从观察数据估计平均处理效应（ATE）的方法是核心。双偏/去偏机器学习（DML）是估计ATE的常用方法之一。然而，DML估计器可能遭受\textit{error-compounding issue}，甚至在倾向得分接近0或1时给出极端估计。以往的研究都是通过倾向得分修正等经验技巧来克服这一问题的，但还没有从理论上解决这一问题。在本文中，我们提出了一个\textit{Robust Causal Learning (RCL)}方法，以弥补不足的DML估计。理论上，RCL估计满足（高阶）正交条件，与DML估计一样是\textit{consistent and doubly robust}，并且避免了误差复合问题.综合实验表明：i）RCL估计比DML给出了更稳定的因果参数估计; ii）在模拟和基准数据集以及WGAN生成的模拟消费信贷数据集上应用不同的机器学习模型时，RCL估计优于传统估计及其变体。
2022-12-06 cs.LG econ.EM q-fin.ST
Mitigating the Language Mismatch and Repetition Issues in LLM-based Machine Translation via Model Editing
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）
针对大语言模型机器翻译中常见的语言不匹配与重复错误，提出通过取不同语言设置下定位结果交集优化模型编辑组件的方法，在降低两类错误率的同时多数情况下可提升或保持通用翻译质量。
2024-10-09 cs.CL cs.LG
When Machine Learning Meets Spectrum Sharing Security: Methodologies and Challenges
Utah State University（犹他州立大学）；University of Wisconsin-Whitewater（威斯康星大学白水分校）；Idaho National Laboratory（爱达荷国家实验室）
互联网连接系统的指数增长产生了许多挑战，例如频谱短缺问题，这需要高效的频谱共享（SS）解决方案。复杂和动态的SS系统可能暴露于不同的潜在安全和隐私问题，需要保护机制是自适应的，可靠的，可扩展的。基于机器学习（ML）的方法经常被提出来解决这些问题。在这篇文章中，我们提供了一个基于ML的SS方法，最关键的安全问题，以及相应的防御机制的最新发展的全面调查。特别是，我们阐述了最先进的方法，用于提高SS通信系统的性能的各个重要方面，包括基于ML的认知无线电网络（CRN），基于ML的数据库辅助SS网络，基于ML的LTE-U网络，基于ML的环境反向散射网络，和其他基于ML的SS解决方案。我们还提出了物理层的安全问题和相应的防御策略的基础上ML算法，包括主用户仿真（PUE）攻击，频谱感知数据伪造（SSDF）攻击，干扰攻击，窃听攻击和隐私问题。最后，对基于ML的SS面临的挑战进行了广泛的讨论。这一全面的审查旨在为未来探索新兴ML应对日益复杂的SS及其安全问题的潜力的研究提供基础和便利。
2022-01-12 cs.CR cs.LG cs.SY
Application of Machine Learning in Wireless Networks: Key Techniques and Open Issues
Beijing University of Posts and Telecommunications（北京邮电大学）；Auburn University（奥本大学）
作为实现人工智能的关键技术，机器学习（ML）能够在没有显式编程的情况下解决复杂问题。由于其在图像识别等许多实际任务中的成功应用，工业界和研究界都倡导ML在无线通信中的应用。本文综述了ML在无线通信中的应用，主要包括：MAC层的资源管理、网络层的组网和移动性管理以及应用层的定位。在资源管理中的应用还包括功率控制、频谱管理、回程管理、缓存管理、波束形成器设计和计算资源管理，而基于ML的网络集中在集群、基站切换控制、用户关联和路由中的应用。此外，在每个方面的文献组织根据所采用的ML技术。此外，还分析了ML在无线通信中应用的几个条件，以帮助读者决定是否使用ML以及使用哪种ML技术，并总结了传统方法及其与基于ML的方法的性能比较，在此基础上阐明了被调查文献采用ML的动机。鉴于研究领域的广泛性，提出了挑战和未解决的问题，以促进未来的研究，其中基于ML的网络切片，基础设施更新，以支持基于ML的范例，开放的数据集和平台的研究人员，ML实现的理论指导等进行了讨论。
2019-03-01 cs.LG cs.NI
Proposing an Interactive Audit Pipeline for Visual Privacy Research
University of Oklahoma（俄克拉荷马大学）；Carnegie Mellon University（卡内基梅隆大学）
在理想的世界中，部署的机器学习模型将改善我们的社会。我们希望这些模式将提供公正和合乎道德的决定，使每个人受益。然而，情况并非总是如此;在数据准备过程中，在模型部署的整个步骤中都会出现问题。继续使用有偏见的数据集和流程将对社区造成不利损害，并增加以后解决问题的成本。在这项工作中，我们走查的决策过程中，研究人员应该考虑之前，期间和之后的系统部署，以了解更广泛的影响，他们的研究在社区。在本文中，我们讨论了机器学习管道中的公平性、隐私和所有权问题;我们断言需要一种负责任的人在回路中的方法，将问责制引入机器学习管道，最后，反思探索具有有害社会影响的研究议程的必要性。我们研究了视觉隐私研究，并吸取了可以广泛应用于人工智能的经验教训。我们的目标是系统地分析机器学习管道中的视觉隐私和偏见问题。我们希望提高利益相关者（例如，研究人员、建模人员、公司）的意识，因为这些问题在该管道的各个机器学习阶段中传播。
2021-11-24 cs.CY cs.LG
Machine Learning-Enabled IoT Security: Open Issues and Challenges Under Advanced Persistent Threats
University of Ottawa（渥太华大学）；Ciena（CIENA公司）
尽管物联网（IoT）具有技术优势，但由于无线介质中的漏洞，物联网（IoT）具有网络弱点。基于机器学习（ML）的方法被广泛用于物联网网络中的网络威胁，具有良好的性能。高级持续性威胁（APT）是网络犯罪分子危害网络的突出表现，具有长期性和危害性的特点。然而，它是很难应用ML为基础的方法来识别APT攻击，以获得一个有前途的检测性能，由于正常流量中的一个非常小的百分比。由于缺乏所有类型的APT攻击的公共数据集，因此对物联网网络中的APT攻击进行全面调查的调查有限。这是值得桥梁的国家最先进的网络攻击检测与APT攻击检测在一个全面的评论文章。这篇调查文章回顾了物联网网络中的安全挑战，并介绍了物联网系统中众所周知的攻击、APT攻击和威胁模型。同时，基于特征的，基于异常的，和混合的入侵检测系统的物联网网络进行了总结。本文重点介绍了针对网络入侵的常用ML方法的统计见解以及检测到的攻击类型的数量。最后，常见的网络入侵和APT攻击的开放性问题和挑战，为未来的研究。
2022-04-17 cs.CR cs.LG cs.NI
Bridging belief function theory to modern machine learning
Université Grenoble-Alpes（格勒诺布尔-阿尔卑斯大学）；CNRS（法国国家科学研究中心）；CEA（法国原子能和替代能源委员会）；INSERM（法国国家健康与医学研究院）
机器学习是一个快速发展的领域，现在看起来与15年前完全不同，当时分类和聚类是主要问题。本文提出了几个趋势来探索现代机器学习的新问题，并强烈认为信念函数框架可以发挥重要作用。
2015-04-15 cs.AI cs.LG
Security and Privacy in IoT Using Machine Learning and Blockchain: Threats & Countermeasures
University of Technology Sydney（悉尼科技大学）；Macquarie University（麦考瑞大学）；University of South Wales（南威尔士大学）；Federation University（联邦大学）
由于物联网（IoT）设备在众多应用中的参与，用户的安全和隐私已经成为重要的关注点。网络威胁正以爆炸性的速度增长，使得现有的安全和隐私措施不足。因此，互联网上的每个人都是黑客的产品。因此，机器学习（ML）算法用于从大型复杂数据库中生成准确的输出，其中生成的输出可用于预测和检测基于物联网的系统中的漏洞。此外，区块链（BC）技术在现代物联网应用中越来越流行，以解决安全和隐私问题。已经对ML算法或BC技术进行了几项研究。然而，这些研究使用ML算法或BC技术针对安全或隐私问题，因此需要对近年来使用ML算法和BC技术解决安全和隐私问题的努力进行综合调查。在本文中，我们总结了过去几年（从2008年到2019年）在物联网领域使用ML算法和BC技术解决安全和隐私问题的研究工作。首先，我们讨论并分类了过去12年来物联网领域报告的各种安全和隐私威胁。然后，我们对物联网领域基于ML算法和BC技术的安全和隐私工作的文献进行了分类。最后，我们确定并阐明了使用ML算法和BC技术解决物联网领域安全和隐私问题的几个挑战和未来研究方向。
2020-08-06 cs.CR cs.LG
Evaluation Metrics for Symbolic Knowledge Extracted from Machine Learning Black Boxes: A Discussion Paper
University of Urbino（乌尔比诺大学）；Alma Mater Studiorum —University of Bologna（博洛尼亚大学）
随着不透明决策系统越来越多地被应用于几乎所有的应用领域，其缺乏透明度和人类可读性的问题成为最终用户的具体问题。在将人类可解释的知识与不透明模型提供的准确预测相关联的现有建议中，存在规则提取技术，能够从不透明模型中提取符号知识。然而，如何定量地评估提取的知识的可读性水平仍然是一个悬而未决的问题。找到这样一个指标将是关键，例如，使一组不同的知识表示之间的自动比较，为知识提取器的参数自动调整算法的发展铺平了道路。在本文中，我们讨论了这样一个指标的必要性以及可读性评估和评价的关键性，考虑到最常见的知识表示，同时突出最令人困惑的问题。
2022-11-01 cs.AI cs.LG
Correlated Differential Privacy: Feature Selection in Machine Learning
University of Technology Sydney（悉尼科技大学）；China University of Geosciences（中国地质大学）；Zhongnan University of Economics and Law（中南财经政法大学）；RMIT University（皇家墨尔本理工大学）
机器学习中的隐私保护是工业信息学中的一个关键问题，因为工业中用于训练的数据通常包含敏感信息。现有的差分隐私机器学习算法没有考虑数据相关性的影响，这可能导致工业应用中比预期更多的隐私泄露。例如，由于时间相关性或用户相关性，为流量监控收集的数据可能包含一些相关记录。为了填补这一空白，我们提出了一个相关性减少计划与差异私人特征选择考虑隐私损失的问题时，数据相关的机器学习任务。该方案的关键是描述数据相关性并选择特征，这导致整个数据集之间的数据相关性较小。该方案包括五个步骤，目标是管理数据相关性的程度，保护隐私，并支持预测结果的准确性。这样，所提出的特征选择方案减轻了数据相关性的影响，并且保证了学习中数据相关性的隐私问题。该方法可广泛应用于工业领域提供服务的机器学习算法中。实验结果表明，与现有的方法相比，该方法在机器学习任务下能产生更好的预测结果，且数据查询的均方误差更小。
2020-10-07 cs.CR cs.LG
A Reflection on Learning from Data: Epistemology Issues and Limitations
Princess Sumaya University for Technology（苏曼亚公主科技大学）；The University of Jordan（约旦大学）
虽然从数据中学习是有效的，并取得了重大的里程碑，但它有许多挑战和局限性。从数据中学习从观察开始，然后进行更广泛的概括。这个框架在科学上是有争议的，但它已经取得了显着的工程成功。本文反映了一些认识论问题和一些局限性的知识发现的数据。该文档从理论和实践的角度讨论了获得更多数据是实现更好的机器学习模型的关键的普遍看法。本文揭示了一些使用一般的数学理论来描述这个过程的缺点。它进一步强调了专门从数据中学习的理论的必要性。虽然更多的数据通常会利用机器学习模型的性能，但实践中的关系最好是对数关系;在特定的限制之后，更多的数据会稳定或降低机器学习模型。最近在强化学习方面的工作表明，趋势正在从面向数据的方法转向更多地依赖算法。本文的结论是，从数据中学习受到许多限制。因此，需要一种具有内涵取向的方法。
2021-07-28 cs.AI cs.LG
Conditionals in Homomorphic Encryption and Machine Learning Applications
European Research Council Executive Agency（欧洲研究委员会执行局）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
同态加密的目的是允许对加密数据进行计算，而无需解密最终结果以外的内容。这可以为基于数据的应用程序（例如使用机器学习的应用程序）中的隐私保护问题提供一个优雅的解决方案，但一些开放的问题阻碍了这一计划。在这项工作中，我们评估了同态加密完全实现其程序而不依赖其他技术的可能性，例如多方计算（SMPC），这在许多用例中可能是不可能的（例如由于所需的高级别通信）。我们分两步进行：1.基于结构化程序理论（Bohm-Jacopini定理）我们确定了实现任何算法所必须执行的同态加密相关最小运算集;以及ii）我们分析了解决--并提出一个实现方案--我们分析中出现的最根本的相关问题的可能性，即，条件的实现（需要比较和选择/跳转操作）。我们展示了这个问题如何与同态加密的基本要求相冲突，并可能代表其作为一个完整的解决方案，在基于数据的应用程序，特别是机器学习的隐私保护的缺点。我们的比较方法是新颖的，完全嵌入在同态加密，而以前的研究依赖于其他技术，如SMPC，要求各方之间的高水平的通信，并从数据所有者的中间结果解密。我们的协议也是可证明安全的（共享相同的安全性的同态加密计划），不同于其他技术，如保序/揭示加密（OPE/ORE）。
2019-05-09 cs.CR cs.LG
A Closer Look at Machine Unlearning for Large Language Models
University of Science and Technology of China（中国科学技术大学）；Sea AI Lab, Singapore（新加坡Sea AI实验室）
本文探讨了LLMs机器遗忘的评估与方法问题，提出三个新评估指标，并针对无目标和有目标遗忘分别引入最大化熵目标与答案保留损失，有效提升了遗忘效果与模型性能的平衡。
2025-08-10 cs.AI cs.CL cs.LG
Using Pareto Simulated Annealing to Address Algorithmic Bias in Machine Learning
University College Dublin（都柏林大学）
算法偏见可能是由于训练数据的偏差或算法本身的问题。这些算法问题通常与模型容量和正则化问题有关。这种低估偏差可能会出现，因为模型已经优化了良好的泛化精度，而没有明确考虑偏差或公平性。从某种意义上说，我们不应该感到惊讶，一个模型可能是有偏见的，当它没有被“要求”不要。在本文中，我们考虑将偏差（低估）作为模型训练中的一个额外标准。我们提出了一个多目标优化策略，使用帕累托模拟退火，优化平衡的准确性和低估。我们在一个合成数据集和两个真实世界数据集上证明了该策略的有效性。
2021-05-31 cs.CY cs.LG
Residual Tree Aggregation of Layers for Neural Machine Translation
KingSoft AI Lab（金山人工智能实验室）；Massey University（梅西大学）
虽然基于注意力的神经机器翻译在最近几层取得了显著的进展，但它仍然存在未充分利用每层输出的问题。在Transformer中，它在后续的过程中只使用了编码器和解码器的顶层，这使得它无法利用其他层中的有用信息。为了解决这个问题，我们提出了一个残留的树聚合层的Transformer（RTAL），这有助于跨层融合信息。具体来说，我们试图通过构建后序二叉树来融合跨层的信息。除了最后一个节点之外，我们将剩余连接添加到生成子节点的过程中。我们的模型基于神经机器翻译模型Transformer，并在WMT 14英语到德语和WMT 17英语到法国的翻译任务上进行了实验。跨语言对的实验结果表明，该方法的性能明显优于强基线模型
2021-07-19 cs.CL cs.LG
A Survey on Machine Learning-based Misbehavior Detection Systems for 5G and Beyond Vehicular Networks
University of Luxembourg（卢森堡大学）
在部署车辆到一切（V2X）技术方面取得了重大进展。V2X与5G的集成实现了超低延迟和高可靠性的V2X通信。然而，虽然通信性能得到了增强，但安全和隐私问题却有所增加。攻击变得更具侵略性，攻击者变得更具战略性。标准化组织提出的公钥基础设施不能单独防御这些攻击。因此，作为补充，应设计复杂的系统来检测这种攻击和攻击者。机器学习（ML）最近已经成为确保我们未来道路安全的关键推动因素。许多V2X不当行为检测系统（MDS）都采用了这种模式。然而，分析这些系统是一个研究空白，开发有效的ML为基础的MDS仍然是一个悬而未决的问题。为此，本文提出了一个全面的调查和分类ML为基础的MDS。我们从安全和ML的角度分析和讨论它们。然后，我们给出了一些经验教训和建议，帮助开发，验证和部署基于ML的MDS。最后，我们强调开放的研究和标准化问题与一些未来的方向。
2022-01-25 cs.CR cs.LG cs.NI
The privacy issue of counterfactual explanations: explanation linkage attacks
University of Antwerp（安特卫普大学）
黑盒机器学习模型正在越来越多的高风险领域中使用，这使得对可解释AI（XAI）的需求不断增长。不幸的是，XAI在机器学习中的使用引入了新的隐私风险，这些风险目前在很大程度上尚未被注意到。我们介绍了解释链接攻击，这可能会发生在部署基于实例的策略，以找到反事实的解释。为了应对这种攻击，我们提出了k-匿名反事实解释，并引入纯粹性作为一个新的度量标准来评估这些k-匿名反事实解释的有效性。我们的结果表明，使解释，而不是整个数据集，k-匿名，是有益的解释的质量。
2022-10-21 cs.CR cs.CY cs.LG
Reproducibility in Machine Learning-based Research: Overview, Barriers and Drivers
Know Center Research GmbH（Know Center Research 有限公司）；Graz University of Technology（格拉茨工业大学）；University of Graz（格拉茨大学）
本文概述机器学习研究中可复现性差的现状，分析其关键障碍与驱动因素，并映射二者以提出缓解策略，旨在提升研究可信度并引发关注。
2025-02-26 cs.IR cs.LG cs.SE
