Constrained Machine Learning Through Hyperspherical Representation
University of Bologna(博洛尼亚大学)
本文提出超球面约束表示方法,通过将欧几里得坐标转换为超球面坐标来保证输出满足凸可行域约束,实验表明其预测性能相当且推理成本极低。
2025-04-11 cs.AI cs.LG
An Analysis of Regularized Approaches for Constrained Machine Learning
University of Bologna(博洛尼亚大学)
介绍了在机器学习(ML)中注入约束的基于正则化的方法,以通过专家知识改进预测模型。我们解决了在损失(学习器的准确性)和正则化项(约束满足的程度)之间找到正确平衡的问题。本文的主要结果是正式证明,这种类型的方法不能保证找到所有的最优解。特别是,在非凸的情况下,可能有最优的约束问题,不对应于任何乘数值。
2020-05-20 cs.AI cs.LG stat.ML
Learning Sign-Constrained Support Vector Machines
Gunma University(群马大学)
领域知识对于提高学习机的泛化性能是非常有用的。符号约束是将领域知识与学习机结合起来的一种方便的表示方法。本文在线性支持向量机的学习过程中,考虑对权系数的符号进行约束,提出了两种在符号约束下最小化经验风险的优化算法。其中一种算法是基于投影梯度法的,投影梯度法的每次迭代都需要$O(nd)$的计算代价,并且保证了目标误差的次线性收敛。第二个算法是基于Frank-Wolfe方法,也收敛于次线性,并具有明确的终止准则。我们表明,每次迭代的Frank-Wolfe也需要$O(nd)$成本。通过分析目标函数的曲率,得到了保证解具有$ε$精度的最小迭代次数的显式表达式。最后,我们的经验表明,符号约束是一个很有前途的技术时,相似的训练样本组成的特征向量。
2021-01-05 cs.AI cs.LG
Operating critical machine learning models in resource constrained regimes
University of Copenhagen(哥本哈根大学)
本研究探讨了在资源受限环境下运行关键机器学习模型时,资源消耗与性能之间的权衡,重点关注临床部署中的挑战。
2024-02-04 cs.AI cs.LG
Improving Lexically Constrained Neural Machine Translation with Source-Conditioned Masked Span Prediction
Graduate School of AI, KAIST(韩国科学技术院人工智能研究生院)
准确的术语翻译对于确保神经机器翻译(NMT)系统的实用性和可靠性至关重要。为了解决这个问题,词汇约束NMT探索了各种方法来确保翻译输出中出现预先指定的单词和短语。然而,在许多情况下,这些方法是在一般领域语料库中研究的,其中术语大多是uni-gram和bi-gram(>98%)。在本文中,我们解决了一个更具挑战性的设置,由特定领域的语料库组成,具有更长的n-gram和高度专业化的术语。受最近成功的掩蔽跨度预测模型的启发,我们提出了一种简单有效的训练策略,该策略在两种语言对中的三个特定领域语料库的术语和句子级别翻译上实现了一致的改进。
2021-08-12 cs.AI cs.CL cs.LG
Stochastic Penalty-Barrier Method for Constrained Machine Learning
Artificial Intelligence Center, CTU in Prague(布拉格CTU人工智能中心);CMAP, École Polytechnique, Palaiseau, France(法国巴黎高等理工学院帕莱索校区CMAP)
本文提出了一种随机罚函数-障碍方法(SPBM),用于解决深度学习中非凸、非光滑、随机环境下的约束优化问题,该方法通过指数对偶平均、稳定罚函数调度和Moreau包络来处理非光滑性,并在多个设置中验证了其性能。
2026-10-07 cs.AI cs.LG
Data-Centric Approach to Constrained Machine Learning: A Case Study on Conway's Game of Life
Skoltech(斯科尔科沃科技学院);Skoltech Agro(斯科尔科沃科技学院农业分支);Lirio LLC(Lirio有限责任公司)
本文以Conway生命游戏为例,研究在可训练参数受限条件下,通过策略性设计训练数据集来训练最小架构网络学习转换规则,证明了数据集设计的优势不依赖于网络权重或优化算法,并强调了领域专家知识在受限机器学习应用中的关键作用。
2024-08-23 cs.AI cs.CV cs.IR
Tensor Network-Constrained Kernel Machines as Gaussian Processes
Delft University of Technology(代尔夫特理工大学)
本文证明CPD和TT约束的核机器在独立同分布先验下可恢复高斯过程,并表明TT在相同参数量下比CPD更接近高斯过程行为,从而建立张量网络约束核机器与高斯过程的联系。
2024-03-28 cs.LG stat.ML
UNIFY: a Unified Policy Designing Framework for Solving Constrained Optimization Problems with Machine Learning
University of Bologna(博洛尼亚大学)
机器学习(ML)和约束优化(CO)之间的相互作用最近已经成为越来越多的兴趣的主题,导致一个新的和多产的研究领域,涵盖(例如)决策聚焦学习与约束强化学习。这种方法致力于解决多个阶段的不确定性下的复杂决策问题,涉及显式(成本函数,约束)和隐式知识(来自数据),并可能受到执行时间的限制。虽然已经取得了很大程度的成功,但现有的方法在适用性和有效性方面仍然存在局限性。对于这类问题,我们提出了一个统一的框架来设计复杂决策问题的解决方案。我们的方法依赖于将策略巧妙地分解为两个阶段,即无约束ML模型和CO问题,以利用每种方法的优势,同时弥补其弱点。通过一点设计工作,CRAYY可以概括几种现有的方法,从而扩展它们的适用性。我们证明了两个实际问题,即能源管理系统和设置多覆盖随机覆盖要求的方法的有效性。最后,我们强调了我们的方法和未来的研究方向,可以受益于这两个领域的交叉施肥的一些当前的挑战。
2022-10-25 cs.AI cs.LG math.OC
Chance constrained conic-segmentation support vector machine with uncertain data
Xidian University(西安电子科技大学);KTH Royal Institute of Technology(KTH皇家理工学院)
支持向量机(Support Vector Machines,SVM)是一种著名的有监督的学习算法。此外,圆锥分割SVM(CS-SVM)是标准二进制SVM的自然多类模拟,因为CS-SVM模型处理的是数据点的精确值已知的情况。本文研究了数据点不确定或错误标记时的CS-SVM。利用概率分布的一些已知性质,采用机会约束CS-SVM方法来保证不确定数据的小误分类概率。几何解释CS-SVM的工作原理。最后,我们提出了实验结果,调查机会约束CS-SVM的性能。
2022-09-22 cs.LG math.OC
Constrained Extreme Learning Machines: A Study on Classification Cases
极限学习机(ELM)是一种非常快速的学习方法,在模式识别任务中具有强大的性能。但其良好的泛化能力是建立在大量隐层神经元的基础上的,不利于测试过程的实时的响应。在本文中,我们提出了新的方法,命名为“约束极端学习机”(CELM),随机选择隐藏的神经元的样本分布的基础上。与ELM中完全随机选择隐藏节点相比,CELM从包含原始样本向量的一些基本组合的约束向量空间中随机选择隐藏节点。实验结果表明,该方法比传统的ELM、SVM等方法具有更好的泛化能力。此外,CELM具有与ELM类似的快速学习速度。
2015-02-04 cs.CV cs.LG cs.NE
Towards Machine Learning and Inference for Resource-constrained MCUs
Imperial College London(帝国理工学院)
本文提出面向MCU的无电池ML推理与模型个性化流水线,通过海洋鱼类图像识别验证,在保持97.78%准确率的同时大幅降低存储、运行时间、功耗和能耗,证明资源受限环境下无电池ML推理的可行性。
2023-05-30 cs.AI cs.CV cs.LG
On the experimental feasibility of quantum state reconstruction via machine learning
IBM-HBCU Quantum Center, Howard University(霍华德大学IBM-HBCU量子中心);Massachusetts Institute of Technology(麻省理工学院);Tulane University(杜兰大学);United States Army Research Laboratory(美国陆军研究实验室)
我们确定了基于机器学习的量子态重建方法的资源缩放,在推理和训练方面,当约束到纯态时,最多可达四个量子位的系统。此外,我们研究系统的性能,在低计数制度,可能会遇到的高维系统的断层扫描。最后,我们在IBM Q量子计算机上实现了我们的量子态重建方法,并与无约束和有约束的MLE态重建方法进行了比较。
2021-08-20 cs.AI cs.LG quant-ph
Physics-Constrained Machine Learning for Chemical Engineering
Department of Chemical & Biological Engineering University of Wisconsin-Madison(化学与生物工程系 明尼苏达大学)
本文总结了物理约束机器学习在化学工程中的应用进展,指出其在知识嵌入、融合策略、模型扩展和不确定性量化方面的挑战,并强调闭环实验设计、实时控制与多尺度建模等机遇。
2025-08-28 cs.LG cs.SY eess.SY
Monotonic Gaussian process for physics-constrained machine learning with materials science applications
Sandia National Laboratories(桑迪亚国家实验室)
物理约束机器学习是物理学领域机器学习的一个重要研究课题。将物理约束纳入机器学习方法的最显著优点之一是,最终模型需要的训练数据显著减少。通过将物理规则纳入机器学习公式本身,预测预计在物理上是合理的。高斯过程(GP)可能是小数据集机器学习中最常见的方法之一。在本文中,我们研究的可能性,约束GP制定与单调性在三个不同的材料数据集,其中使用一个实验和两个计算数据集。单调GP与常规GP进行比较,观察到后验方差显著降低。单调GP在内插机制中是严格单调的,但在外插机制中,随着超出训练数据集,单调效应开始逐渐消失。与常规GP相比,在GP上强加单调性的精度成本很小。单调GP可能在数据稀缺且有噪声的应用中最有用,并且单调性得到强有力的物理证据的支持。
2022-09-06 cond-mat.mtrl-sci cs.LG stat.AP
Entropy-Constrained Machine Learning with Residual Data Augmentation for Modeling Chemical Kinetics
Department of Mechanical and Industrial Engineering(机械与工业工程系)
提出物理约束机器学习框架加速湍流反应流DNS,用替代模型预测反应速率,引入热力学第二定律约束提高稳定性,在二维火焰DNS验证,计算成本降低超量级,基于残差的数据增强策略可参数探索,为燃烧模拟提供可靠高效替代模型。
2026-07-13 cs.LG physics.flu-dyn
Symmetry constrained machine learning
MegaWatt Technologies LLC(兆瓦科技有限责任公司)
对称性是理解自然规律的核心概念,几个世纪以来一直用于物理学,数学和化学,以帮助建立易于处理的数学模型。然而,尽管它的力量,对称性并没有被广泛用于机器学习,直到最近。在这篇文章中,我们展示了一种将对称性纳入机器学习模型的一般方法。我们通过对一个相当简单的现实世界机器学习系统的详细分析来证明这一点-一个用于对手写数字进行分类的神经网络,每个神经元都没有偏置项。我们证明了忽略对称性可能会产生可怕的过度拟合后果,将对称性纳入模型可以减少过度拟合,同时降低复杂性,最终需要更少的训练数据,并花费更少的时间和资源进行训练。
2019-09-10 cs.LG physics.data-an stat.ML
Optimization for Classical Machine Learning Problems on the GPU
Friedrich-Schiller-University Jena(耶拿弗里德里希·席勒大学);Data Assessment Solutions GmbH(数据评估解决方案有限责任公司)
约束优化问题经常出现在经典的机器学习中。存在解决约束优化的框架,例如CVXPY和GENO。然而,与深度学习框架相比,GPU支持有限。在这里,我们扩展了GENO框架,也可以在GPU上解决约束优化问题。该框架允许用户以易于阅读的建模语言指定约束优化问题。然后,求解器将根据此规范自动生成。当在GPU上运行时,该求解器的性能优于CVXPY等最先进的方法与cuOSQP或SCS等GPU加速求解器的组合。
2022-03-30 cs.LG math.OC stat.ML
Knowledge Integration in Differentiable Models: A Comparative Study of Data-Driven, Soft-Constrained, and Hard-Constrained Paradigms for Identification and Control of the Single Machine Infinite Bus System
Korea University(高丽大学);Hyundai Motor Company(现代汽车公司)
本文比较了数据驱动、软约束和硬约束范式在单机无穷大母线系统建模中的表现,发现知识表示影响泛化能力,硬约束方法在参数空间收敛更快更可靠,知识准确性影响控制性能。
2026-04-11 cs.LG cs.SY eess.SY
Constrained Multi-Objective Optimization for Automated Machine Learning
SAS Institute Inc.(SAS研究所)
自动化的机器学习最近获得了很多关注。构建和选择正确的机器学习模型通常是一个多目标优化问题。同时支持多个目标和约束的通用机器学习软件很少,尽管潜在的好处很大。在这项工作中,我们提出了一个名为Autotune的框架,有效地处理机器学习问题中出现的多个目标和约束。Autotune建立在一套无导数优化方法的基础上,并在分布式计算环境中利用多级并行来自动训练、评分和选择良好的模型。在模型探索和选择过程中结合多个目标和约束提供了满足实际机器学习应用中必要的权衡所需的灵活性。标准多目标优化基准问题的实验结果表明,Autotune在捕获Pareto前沿方面非常有效。这些基准测试结果还显示了添加约束如何将搜索引导到解空间中更有希望的区域,最终产生更理想的Pareto前沿。两个真实案例研究的结果证明了Autotune提供的约束多目标优化功能的有效性。
2019-08-14 cs.DC cs.LG cs.NE
MotePy: A domain specific language for low-overhead machine learning and data processing
提出了一种领域专用语言(DSL),命名为MotePy。DSL为时间受限或存储器受限系统中的ML/数据处理提供了具有低开销的高级语法。DSL-to-C编译器有一个新颖的静态内存分配器,它跟踪对象的生存期并重用静态内存,我们称之为编译器管理的堆。
2020-11-12 cs.LG cs.PL
Distribution-Guided and Constrained Quantum Machine Unlearning
Department of Electrical Engineering, Lahore University of Management Sciences, Lahore 54792, Pakistan.(电气工程系,拉合尔管理科学大学,巴基斯坦拉合尔);Department of Physics, Lahore University of Management Sciences, Lahore 54792, Pakistan.(物理系,拉合尔管理科学大学,巴基斯坦拉合尔)
本文提出了一种基于分布和约束的量子机器学习去学习框架,通过可调节的目标分布和保留约束,有效控制遗忘与保留行为之间的权衡,提升去学习的可靠性与可解释性。
2026-02-09 cs.LG quant-ph
NCVX: A General-Purpose Optimization Solver for Constrained Machine and Deep Learning
University of Minnesota(明尼苏达大学);Queens College, City University of New York(纽约城市大学皇后学院)
施加显式约束是相对较新的,但在深度学习中越来越紧迫,例如,值得信赖的人工智能,在复杂的扰动集和需要尊重物理定律和约束的科学应用程序上执行鲁棒优化。然而,如果没有优化专业知识,很难可靠地解决受约束的深度学习问题。现有的深度学习框架不承认约束。通用优化包可以处理约束,但不能执行自动微分,并且在处理非平滑性时有问题。在本文中,我们介绍了一个名为NCVX的新软件包,其初始版本包含求解器PyGRANSO,这是一个支持PyTorch的通用优化包,用于约束机器/深度学习问题,这是同类产品中的第一个。NCVX继承了PyTorch的自动微分,GPU加速和张量变量,并构建在免费提供和广泛使用的开源框架上。NCVX可在https://ncvx.org上获得,其中有详细的文档和来自机器/深度学习和其他领域的大量示例。
2022-11-14 cs.CV cs.LG cs.MS
Training Neural Machine Translation To Apply Terminology Constraints
Amazon AI(亚马逊人工智能)
提出了一种在运行时间将自定义术语注入神经机器翻译的新方法。以前的工作主要提出修改的解码算法,以约束输出,包括运行时提供的目标条款。虽然是有效的,这些约束解码方法添加,但是,显着的计算开销的推理步骤,并且,正如我们在本文中所示,在现实条件下测试时,可以是脆弱的。在本文中,我们通过训练神经MT系统来学习如何在提供输入时使用自定义术语来解决这个问题。对比实验表明,我们的方法不仅是更有效的约束解码的国家的最先进的实现,但也一样快的约束自由解码。
2019-06-24 cs.AI cs.CL cs.LG
Hard Shape-Constrained Kernel Machines
École des Ponts ParisTech(巴黎高科桥路学校);CAS(中国科学院);MINES ParisTech, PSL(巴黎高等矿业学院(巴黎文理研究大学));Center of Applied Mathematics, CNRS(法国国家科学研究中心应用数学中心);École Polytechnique, Institut Polytechnique de Paris(巴黎综合理工学院(巴黎理工学院))
形状约束(如非负性,单调性,凸性)在大量的应用中发挥着核心作用,因为它们通常可以提高小样本量的性能,并有助于解释。然而,以硬性方式强制执行这些形状要求是一个极具挑战性的问题。传统上,这个任务是解决(i)在一个软的方式(没有样本外的保证),(ii)在个案的基础上,通过专门的变量变换,或(iii)通过使用高度限制的函数类,如多项式或多项式样条。在本文中,我们证明了硬仿射形状约束的函数导数可以编码在内核机器,这是机器学习和统计中最灵活和强大的工具之一。特别是,我们提出了一个收紧的二阶锥约束的重新制定,可以很容易地实现凸解算器。我们证明了性能保证的解决方案,并证明了联合分位数回归的方法的效率与经济学的应用和飞机轨迹的分析,等等。
2020-10-17 cs.LG math.OC stat.ML
Machine Learning Assisted Approach for Security-Constrained Unit Commitment
University of Houston(休斯顿大学)
针对电力系统日前发电计划中的安全约束机组组合问题,提出了一种求解该问题的大规模混合整数线性规划方法。SCUC的模型缩减可以带来显著的时间节省。在这项工作中,提出了一种新的方法,有效地利用机器学习(ML),以减少SCUC的问题大小。提出了一种使用逻辑回归(LR)算法的ML模型,并用历史节点需求曲线和相应的承诺时间表进行训练。对ML输出进行处理和分析,以减少SCUC中的变量和约束。在IEEE 24节点系统、IEEE 73节点系统、IEEE 118节点系统、合成South Carolina 500节点系统和波兰2383节点系统等标准测试系统上对该方法进行了验证。仿真结果表明,在SCUC模型约简中使用所提出的LR模型的预测可以在保持解的质量的同时大大减少计算时间。
2022-07-13 cs.LG cs.SY eess.SY
Tiny Robot Learning: Challenges and Directions for Machine Learning in Resource-Constrained Robots
Harvard University(哈佛大学);CMU(卡内基梅隆大学);University of Virginia(弗吉尼亚大学);Google Brain(谷歌大脑);Delft University of Technology(代尔夫特理工大学)
机器学习(ML)已经成为跨计算系统的普遍工具。对ML系统设计挑战进行压力测试的一个新兴应用是微型机器人学习,即在资源受限的低成本自主机器人上部署ML。微型机器人学习位于嵌入式系统、机器人技术和机器学习的交叉点,加剧了这些领域的挑战。微型机器人学习面临着来自尺寸、重量、面积和功耗(SWAP)约束、传感器、执行器和计算硬件限制、端到端系统权衡以及各种可能部署场景的挑战。微小的机器人学习需要在设计ML模型时考虑到这些挑战,从而提供了一个坩埚,揭示了整体ML系统设计和自动化端到端设计工具的必要性,以实现敏捷开发。本文简要介绍了微小的机器人学习空间,阐述了关键的挑战,并提出了有前途的机会,为未来的工作在ML系统设计。
2022-05-11 cs.LG cs.RO
ConAML: Constrained Adversarial Machine Learning for Cyber-Physical Systems
University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校);University of Illinois Springfield(伊利诺伊大学斯普林菲尔德分校)
最近的研究表明,表面上训练有素的机器学习(ML)模型非常容易受到对抗性示例的影响。随着ML技术在研究文献中成为网络物理系统(CPS)应用的流行解决方案,这些应用的安全性受到关注。然而,目前对对抗性机器学习(AML)的研究主要集中在纯网络空间领域。对抗性示例可能给CPS应用程序带来的风险尚未得到很好的研究。特别是,由于数据源的分布式特性和CPS所施加的固有物理约束,在以前的网络空间研究中广泛使用的威胁模型和最先进的AML算法变得不可行。我们通过提出约束对抗性机器学习(ConAML)来研究应用于CPS的ML的潜在漏洞,ConAML生成满足物理系统内在约束的对抗性示例。我们首先总结了CPS中的AML和现有网络空间系统中的AML之间的差异,并提出了ConAML的一般威胁模型。然后,我们设计了一个尽力而为的搜索算法,迭代生成具有线性物理约束的对抗性示例。我们评估我们的算法与两个典型的CPS,电网和水处理系统的模拟。结果表明,我们的ConAML算法可以有效地生成对抗性的例子,显着降低ML模型的性能,即使在实际的约束。
2020-11-24 cs.CR cs.LG
Self-Adaptive Ising Machines for Constrained Optimization
Department of Electrical and Computer Engineering(电气与计算机工程系);University of California Santa Barbara(加州大学圣巴巴拉分校)
针对伊辛机求解约束优化需预设大能量惩罚的难题,提出基于拉格朗日松弛迭代调整能量景观的自适应伊辛机,在300变量二次背包问题上性能优于现有最先进伊辛机且样本需求大幅降低。
2025-01-09 cs.ET cs.LG cs.NE
Discretization and Machine Learning Approximation of BSDEs with a Constraint on the Gains-Process
Sorbonne Université(索邦大学);Université de Paris(巴黎大学);CNRS(法国国家科学研究中心);ENSIIE(法国国立高等信息工程学校);FiME(金融与数学工程研究所)
研究了带增益过程约束的倒向随机微分方程的逼近问题。我们首先通过在网格的时间应用所谓的整容算子来离散约束。我们表明,这种离散约束的Battlefield收敛到连续约束的网格网格收敛到零。然后,我们专注于离散约束的近似的。为此,我们采用了机器学习方法。我们表明,整容可以近似为一类神经网络的约束下的神经网络及其衍生物的优化问题。然后,我们推导出一个算法收敛到离散约束的神经元的数量趋于无穷大。最后,我们进行数值实验。数学学科分类(2010):65C30、65M75、60H35、93E20、49L25。
2020-02-07 cs.LG math.OC q-fin.RM
TinyML Security: Exploring Vulnerabilities in Resource-Constrained Machine Learning Systems
Harvard University(哈佛大学);University of Southern California(南加利福尼亚大学);Draper Laboratory(德雷珀实验室)
本文首次全面调查TinyML安全威胁,提出设备分类法并区分IoT、EdgeML和TinyML,列出攻击向量并评估威胁级别与防御措施,强调需为TinyML量身定制专门安全解决方案。
2024-11-11 cs.CR cs.LG
Machine-learning-based arc selection for constrained shortest path problems in column generation
Polytechnique Montréal(蒙特利尔理工学院);GERAD(GERAD 运筹学研究中心);Canada Excellence Research Chair in Data Science for Real-Time Decision-Making, Polytechnique Montréal(加拿大数据科学实时决策卓越研究教席,蒙特利尔理工学院)
列生成是一种用于解决各种最优化问题的迭代法。它将问题分解为两个部分:主问题和一个或多个定价问题(PP)。该方法所花费的总计算时间在这两个部分之间划分。在路由或调度应用中,问题大多定义在网络上,并且PP通常是具有资源约束的NP-难最短路问题。在这项工作中,我们提出了一个新的启发式定价算法的基础上机器学习。通过利用在先前执行期间收集的数据,目标是减小网络的大小并加速PP,仅保留有很高机会成为线性松弛解的一部分的弧。该方法已被应用到两个具体的问题:车辆和乘务员调度问题在公共交通和车辆路径问题的时间窗口。计算时间可减少高达40%。
2022-01-07 cs.LG math.OC
Novel hybrid protein scaffold gap filling using weighted machine learning ensemble, beam search, and mass-constrained reranking
American International University-Bangladesh(美国国际大学-孟加拉国分校);City University(城市大学)
提出一种混合机器学习与质量约束重排序框架,结合加权集成、束搜索及同源检索,在已知缺口大小和质量条件下实现高准确率的蛋白质支架缺口填充。
2026-09-09 cs.LG q-bio.BM
On Inductive Biases for Machine Learning in Data Constrained Settings
École Normale Supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);Oxford(牛津大学);Twitter(推特公司);EPFL(洛桑联邦理工学院);ENSAE(国立统计与经济管理学院);CREST(经济与统计研究中心)
有限数据的学习是机器学习最大的问题之一。目前解决这个问题的方法包括从大量数据中学习一般表示,然后在感兴趣的小数据集上微调模型。虽然这种被称为迁移学习的技术在计算机视觉或自然语言处理等领域非常有效,但它尚未解决深度学习的常见问题,如模型可解释性或对数据的整体需求。这篇论文探索了在数据约束环境中学习表达模型问题的一个不同答案:我们将用反映数据结构的已知函数代替一些模块,而不是依赖于大数据集来学习神经网络。通常,这些函数会从内核方法的丰富文献中提取。事实上,许多内核可以反映数据的底层结构,从而在一定程度上节省了学习参数。我们的方法属于“归纳偏差”的范畴,归纳偏差可以定义为对手头数据的假设,限制了学习过程中模型的探索空间。我们证明了这种方法的有效性的上下文中的序列,如句子在自然语言或蛋白质序列,和图形,如分子。我们还强调了我们的工作与深度学习最新进展之间的关系。此外,我们还研究了凸机器学习模型。在这里,我们不是提出新的模型,而是想知道数据集中的样本比例是真正需要学习“好”模型的。更确切地说,我们研究了安全样本筛选的问题,即,即使在拟合机器学习模型之前,也可以执行简单的测试来丢弃数据集中没有信息的样本,而不会影响最佳模型。这些技术可以用于修剪数据集或挖掘稀有样本。
2023-02-21 cs.LG
Constrained Neural Networks for Interpretable Heuristic Creation to Optimise Computer Algebra Systems
University of Bath(巴斯大学);Coventry University(考文垂大学)
提出将柱形代数分解中变量排序的人工启发式表示为约束神经网络,并利用机器学习优化生成复杂度相似的新启发式,为计算机代数系统提供事前可解释性。
2024-04-26 cs.LG cs.SC
Feedback-Based Dynamic Feature Selection for Constrained Continuous Data Acquisition
Worcester Polytechnic Institute(伍斯特理工学院)
相关和高质量的数据对于成功开发机器学习应用程序至关重要。对于机器学习在配备大量传感器的动态系统上的应用,例如联网车辆和机器人,如何以有效的方式找到相关且高质量的数据特征是一个具有挑战性的问题。在这项工作中,我们解决的问题,特征选择在约束连续数据采集。我们提出了一个基于反馈的动态特征选择算法,有效地决定了功能集的数据汇集从一个动态系统中逐步的方式。我们制定的顺序特征选择过程作为一个马尔可夫决策过程。具有探索组件的机器学习模型性能反馈被用作$ε$贪婪动作选择中的奖励函数。我们的评估表明,提出的基于反馈的特征选择算法具有优越的性能约束基线方法和匹配性能与无约束基线方法。
2021-02-22 cs.LG cs.SY eess.SY
Electronic excited states from physically-constrained machine learning
Università di Pisa(比萨大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);California Institute of Technology(加州理工学院)
该研究提出将对称性适配机器学习有效哈密顿量模型与物理近似结合的集成建模方法,可高效预测更大更复杂分子的电子激发态,提升模型可迁移性与可解释性,为ML增强电子结构方法提供蓝图。
2023-11-08 cs.LG physics.chem-ph
Machine-learning-based neutrino-event generation constrained by experimental measurements
Institute of Theoretical Physics, University of Wrocław(弗罗茨瓦夫大学理论物理研究所)
本研究提出一种受实验测量约束的中微子事例生成代理模型,通过适配MicroBooNE测量实现校准,可应用于不同中微子通量测量且保留事例级预测,为生成式事例模型提供实验截面约束方法。
2026-10-16 cs.LG hep-ex hep-ph
Constrained Submodular Optimization for Vaccine Design
Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室)
机器学习的进步使得能够预测免疫系统对预防性和治疗性疫苗的反应。然而,设计疫苗的工程任务仍然是一个挑战。特别地,人类免疫系统的遗传变异性使得难以设计在接种群体中提供广泛免疫的肽疫苗。我们介绍了一个框架,用于评估和设计肽疫苗,使用概率机器学习模型,并证明了它的能力,产生设计的SARS-CoV-2疫苗,优于以前的设计。我们提供了一个理论分析的近似性,可扩展性和复杂性,我们的框架。
2023-01-27 cs.LG q-bio.QM
Adaptive Machine Learning for Resource-Constrained Environments
Ireland’s Centre for Artificial Intelligence (CeADAR), University College Dublin(爱尔兰人工智能中心(CeADAR)都柏林大学学院)
针对物联网小型网关卸载任务中网关可用性动态变化的问题,提出利用CPU利用率结合在线与持续机器学习预测网关可用性的方法,经与多种模型对比验证,该方法准确率可观且资源占用低。
2025-03-24 cs.LG
MSfusion: A Dynamic Model Splitting Approach for Resource-Constrained Machines to Collaboratively Train Larger Models
Internet of Things Thrust, The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)物联网部);School of Cyber Science and Engineering, Southeast University(东南大学网络空间科学与工程学院)
MSfusion 提出一种基于双重移位模型切分与自适应重叠、对比损失的协作学习框架,使资源受限设备能够高效协作训练大模型,并展现出强可扩展性。
2024-07-04 cs.LG
A New Knowledge Gradient-based Method for Constrained Bayesian Optimization
Southern University of Science and Technology(南方科技大学)
黑盒问题在现实生活中很常见,如结构设计、药物实验和机器学习。在优化黑箱系统时,决策者往往综合考虑多个性能指标,通过综合评价给出最终决策。出于这样的实际需要,我们专注于约束黑箱问题的目标和约束缺乏已知的特殊结构,评估是昂贵的,甚至与噪音。提出了一种基于知识梯度法的约束贝叶斯优化方法($c-\rm{KG}$)。考虑到最优性和可行性,提出了一种新的采集函数来确定下一批样本。新的捕获函数的梯度的无偏估计,推导出实现$c-\rm{KG}$的方法。
2021-01-20 cs.AI cs.LG stat.ML
Program synthesis performance constrained by non-linear spatial relations in Synthetic Visual Reasoning Test
University of Nottingham(诺丁汉大学);Dalhousie University(达尔豪斯大学);Vector Institute(矢量研究所);Cardiff University(卡迪夫大学)
尽管机器在自动视觉识别方面取得了显着进步,但一些视觉任务对机器来说仍然具有挑战性。Fleuret等人(2011年)引入了合成视觉推理测试(SVRT)来强调这一点,该测试要求仅使用几个示例,基于隐藏的抽象规则对由随机生成的形状组成的图像进行分类。Ellis et al.(2015)证明,程序合成方法可以解决一些无监督的、少样本学习的SVRT问题,而对于用数千个样本训练的几个卷积神经网络来说,它们仍然具有挑战性。在这里,我们重新考虑了人类和机器实验,因为它们遵循不同的协议,产生不同的统计数据。因此,我们提出了一个定量的重新解释的数据之间的协议,使我们可以作出公平的比较人类和机器的性能。通过对图像解析的修正,改进了程序合成分类器,并将其结果与其他机器代理和人类受试者的性能进行了比较。根据分类的核心特征:形状规范和位置关系,我们将SVRT问题分为不同的类型。我们发现,程序合成分类器不能解决涉及形状距离的问题,因为它依赖于符号计算,其与输入维度的比例很差,并且将距离添加到这样的计算中会增加与图像中的形状数量相结合的维度。因此,尽管程序合成分类器能够进行抽象推理,但其性能受到图像解析中可访问信息的高度约束。
2019-11-19 cs.LG stat.ML
Physics-constrained polynomial chaos expansion for scientific machine learning and uncertainty quantification
Johns Hopkins University(约翰斯·霍普金斯大学);Brno University of Technology(布尔诺理工大学)
本文提出物理约束多项式混沌展开代理模型,通过融合PDE、边界条件、不等式及先验信息,统一支持SciML与UQ,并在多类物理系统中验证有效性。
2024-05-11 cs.LG physics.data-an stat.ML
ExperienceThinking: Constrained Hyperparameter Optimization based on Knowledge and Pruning
Harbin Institute of Technology(哈尔滨工业大学);University of California San Diego(加州大学圣迭戈分校)
机器学习算法对超参数非常敏感,并且它们的评估通常是昂贵的。用户迫切需要智能方法根据已知的评价信息快速优化超参数设置,从而降低计算成本,提高优化效率。受此启发,我们提出了ExperienceThinking算法,以快速找到最好的可能的超参数配置的机器学习算法在几个配置评估。ExperienceThinking设计了两种新的方法,分别从搜索空间剪枝和知识利用两个方面智能地推断最优配置。两种方法相辅相成,有效地解决了约束超参数优化问题。为了证明ExperienceThinking的好处,我们将其与3个经典的超参数优化算法进行了比较,这些算法具有少量的配置评估。实验结果表明,我们提出的算法提供了优越的结果,并取得更好的性能。
2020-05-04 cs.LG stat.ML
Machine Unlearning Meets Adversarial Robustness via Constrained Interventions on LLMs
Department of Computer Science, Université Paris-Dauphine(巴黎-索邦大学计算机科学系);Institute of Mathematics, EPFL(苏黎世联邦理工学院数学研究所);Computational Engineering Lab, Empa(Empa计算工程实验室)
本文提出一种基于约束干预的LLM遗忘与对抗鲁棒性统一方法,通过最小权重调整实现敏感信息遗忘和越狱攻击防御,无需预言机分类器,性能优于现有方法。
2025-10-16 cs.CL cs.CR cs.CY
Lightweight Strategy for XOR PUFs as Security Primitives for Resource-constrained IoT device
Texas Tech University(德克萨斯理工大学);University of Jeddah(吉达大学)
本文提出一种结合XOR Arbiter PUF架构参数选择与使用方式的轻量策略,以降低硬件成本和能耗并提升对机器学习攻击的抵抗力。
2022-10-04 cs.CR cs.LG
Data-Efficient Indentation Size Effect Mitigation in Steels Using Machine Learning and a Physics-Constrained Neural Network
Center for Material Technologies(材料技术中心);Skolkovo Institute of Science and Technology(斯克尔科沃科学与技术研究所);Center for Petroleum Science and Engineering(石油科学与工程中心)
本文通过物理引导特征工程和增强技术,利用小数据集预测钢材料参考硬度,采用非线性模型实现高效 indentation 尺寸效应校正,验证了该方法在钢材料中的可行性。
2026-10-20 cond-mat.mtrl-sci cs.LG
Breaking the Black Box: Inherently Interpretable Physics-Constrained Machine Learning With Weighted Mixed-Effects for Imbalanced Seismic Data
本研究提出一种基于加权混合效应的可解释物理约束机器学习方法,有效解决地震数据不平衡问题,提升地面运动模型的预测精度和可解释性。
2025-11-05 cs.LG
Can Machine Learning Forecast Rice Yields in Data-Constrained Settings? Satellite Climate Data, National Crop Statistics, and Lessons from Sierra Leone
Seidenberg School of Computer Science & Information Systems Pace University, New York, USA(佩斯大学塞登伯格计算机科学与信息系统学院,纽约,美国);RiseAfrica Foundation for STEM and Innovation Sierra Leone, West Africa(RiseAfrica STEM与创新基金会,塞拉利昂,西非)
利用塞拉利昂25年作物统计和免费卫星气候数据,通过严格反泄漏协议训练机器学习模型,发现仅气候数据的XGBoost将水稻产量预测误差降低三分之一,早期季节降雨是关键预测因子,并转化为政策建议。
2026-06-15 cs.LG
GBM-based Bregman Proximal Algorithms for Constrained Learning
Shanghai University of Finance and Economics(上海财经大学)
针对现有GBM无法处理带复杂函数约束的学习任务的问题,提出基于Bregman近端的原始-对偶算法,可无缝对接公开GBM实现,在凸场景下有全局最优保证,经实验验证有效且适用场景广泛。
2023-08-21 cs.LG
Mining Robust Default Configurations for Resource-constrained AutoML
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
自动机器学习(AutoML)是下一代机器学习系统大规模部署的关键推动因素。未来ML系统的一个关键需求是模型和超参数的自动选择。我们提出了一种新的方法,通过执行离线自动ML和挖掘不同的任务集,为给定的任务选择性能配置。通过挖掘训练任务,我们可以选择一个紧凑的配置组合,这些配置组合在各种各样的任务中表现良好,并学习一种策略来为尚未看到的任务选择组合配置。该算法以zero-shot方式运行,即除了所选择的模型之外,不在线训练任何模型。在计算或时间受限的设置中,这种几乎即时的选择具有很高的性能。此外,我们还证明了我们的方法对于热启动现有的autoML平台是有效的。在这两种情况下,我们通过测试超过62个分类和回归数据集来证明对最先进技术的改进。我们还演示了实用程序的建议数据相关的默认配置,优于广泛使用的手工制作的默认值。
2022-02-20 cs.LG
Energy-efficient Machine Learning in Silicon: A Communications-inspired Approach
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
这份立场文件主张在能量受限的嵌入式“永远在线”平台上设计机器学习系统的通信启发方法。通信启发的方法有两个版本- 1)确定性版本,其中现有的低功率通信IC设计方法被重新利用,以及2)随机版本,称为香农启发的统计信息处理,其采用基于信息的度量、统计误差补偿(SEC)和基于再训练的方法来在以能量效率的极限操作的随机电路/器件结构上实现ML系统。这种受通信启发的方法有可能充分利用ML算法和应用程序提供的机会,以解决其在能源受限平台上部署所固有的挑战。
2016-10-25 cs.AR cs.LG
Resource-constrained Fairness
University of Antwerp(安特卫普大学);University of Oxford(牛津大学)
针对现有公平机器学习工具忽视资源限制且调整阈值时无法保持公平性的问题,本研究提出“资源受限公平性”概念,量化该框架下公平性的成本,并证明可用资源水平对成本有显著影响。
2025-02-07 cs.CY cs.LG