Bias Robustness of Genetic Multi-Criteria Sorting versus Learned Rankers under Proxy Skew and Label Contamination
danube.ai solutions GmbH
该研究对比遗传多准则排序与LightGBM等LTR模型,在代理偏斜和标签污染场景下,发现遗传排序鲁棒性更优,可作为优化固定池声明属性的架构选项。
2026-10-14 cs.AI cs.LG cs.NE
Electronic Density versus Geometry for Machine-Learned Molecular Absorption Spectra
Science and Technology Facilities Council(科学与技术设施委员会)
本研究比较了以基态电子密度与分子几何构型作为机器学习模型输入预测吸收光谱的效果,发现基于密度的卷积神经网络显著优于几何图模型,验证相关性达0.9926,残差减少约64%。
2026-10-05 cond-mat.mtrl-sci cs.LG physics.chem-ph
Data-Driven Performance Guarantees for Classical and Learned Optimizers
Princeton University(普林斯顿大学)
我们提出数据驱动框架,利用统计学习理论为经典和学习型优化器构建泛化保证,通过PAC-Bayes上界训练,实验显示界限更紧且优于非学习方法。
2025-10-06 cs.LG math.OC
Context-Specific Validation of Data-Driven Models
本文提出了一种基于情境的驱动模型验证框架,通过计算闭环实际系统与学习模型之间的距离来评估模型质量,并采用主动采样方案高效计算距离上界,用于验证实际系统控制器设计。
2018-03-26 cs.LG cs.RO cs.SY
Learning Not to Learn: Nature versus Nurture in Silico
Berlin Institute of Technology(柏林工业大学);Excellence Cluster Science of Intelligence(智能科学卓越集群)
动物具有丰富的感官,行为和运动技能的先天剧目,使它们能够在出生后立即与世界互动。同时,许多行为具有高度的适应性,可以通过学习来适应特定的环境。在这项工作中,我们使用数学分析和元学习(或“学习学习”)的框架来回答什么时候学习这种自适应策略是有益的,什么时候硬编码启发式行为。我们发现,生态的不确定性,任务的复杂性和智能体的生命周期的相互作用有至关重要的影响,元学习摊销贝叶斯推理的代理。有两种制度:一种是元学习产生一种学习算法,实现任务相关的信息集成,另一种是元学习印刻一种启发式或“硬编码”行为。进一步的分析表明,非适应性行为不仅对个体之间稳定的环境方面是最佳的,而且在适应环境实际上是非常有益的情况下,但不能在剩余的生命中足够快地被利用。因此,硬编码的行为不仅应该是那些总是有效的行为,而且应该是那些过于复杂而无法在合理的时间框架内学习的行为。
2022-05-01 cs.AI cs.LG cs.NE
Thermodynamically Consistent Machine-Learned Internal State Variable Approach for Data-Driven Modeling of Path-Dependent Materials
University of California, San Diego(加州大学圣地亚哥分校)
复杂材料的路径依赖行为的表征和建模的唯象模型仍然具有挑战性,由于在制定的数学表达式和内部状态变量(ISV)控制的路径依赖行为的困难。数据驱动的机器学习模型,如深度神经网络和递归神经网络(RNN),已经成为可行的替代方案。然而,将输入映射到输出而不考虑底层物理的纯黑盒数据驱动模型具有不稳定和不准确的泛化性能。提出了一种基于可测量材料状态的机器学习物理信息数据驱动的路径依赖材料本构建模方法。所提出的数据驱动的本构模型的设计考虑到普遍的热力学原理,其中的ISV必不可少的材料路径依赖性是自动推断的RNN的隐藏状态。描述数据驱动的机器学习ISV进化的RNN遵循热力学第二定律。为了提高RNN模型的鲁棒性和准确性,将随机性引入到模型训练中。研究了RNN历史步数、内部状态维数、模型复杂度和应变增量对模型性能的影响。所提出的方法的有效性进行了评估,通过模拟土壤材料的行为下循环剪切载荷使用实验应力-应变数据。
2022-05-01 cs.CE cs.LG cs.NA
Data-Driven Control with Inherent Lyapunov Stability
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学)
针对学习非线性动力学模型和稳定控制器的难题,提出 CoILS 方法,通过联合学习参数化 Lyapunov 函数内在约束模型可稳定性,并在多种模拟系统上验证了其有效性。
2023-04-04 cs.LG cs.RO cs.SY
Data-Driven Learning of Geometric Scattering Networks
Yale University(耶鲁大学);Mila -- Quebec AI Institute(米拉-魁北克人工智能研究所)
我们提出了一个新的图神经网络(GNN)模块,最近提出的几何散射变换,其中包括级联的图形小波滤波器的松弛的基础上。我们的可学习几何散射(LEGS)模块使自适应调整的小波,鼓励带通功能出现在学习表示。与许多流行的GNN相比,将我们的LEGS模块并入GNN可以学习更长范围的图关系,这些GNN通常依赖于通过邻居之间的平滑度或相似性来编码图结构。此外,它的小波先验导致简化的架构,与竞争的GNN相比,学习的参数显著减少。我们展示了基于LEGS的网络在图分类基准上的预测性能,以及它们在生化图数据探索任务中学习到的特征的描述性质量。
2022-03-28 cs.LG stat.ML
Visual analogy: Deep learning versus compositional models
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Johns Hopkins University(约翰斯·霍普金斯大学)
类比推理是一项必须从头开始学习的任务,通过将深度学习模型应用于大量推理问题来解决吗?或者类比是通过计算类比的结构化表征之间的相似性来解决的?我们解决这个问题,通过比较人类的表现,使用熟悉的三维物体(汽车及其子区域)的图像与替代计算模型的性能创建的视觉类比。人类推理者对所有问题类型都达到了高于机会的准确性,但在几种情况下(例如,当相关次区域被遮挡时)。我们将人类的表现与两个最近的深度学习模型(暹罗网络和关系网络)进行了比较,这些模型直接训练来解决这些类比问题,以及评估基于部分的表示之间关系相似性的组合模型。基于部件表示的组合模型,而不是深度学习模型,产生了类似于人类推理机的定性性能。
2021-05-14 cs.AI cs.LG
An Experimentally Driven Automated Machine Learned lnter-Atomic Potential for a Refractory Oxide
Argonne National Laboratory(阿贡国家实验室);Helmholtz-Institute Munster(明斯特亥姆霍兹研究所);Forschungszentrum Julich GmbH(于利希研究中心);University of Cambridge(剑桥大学)
了解难熔氧化物的结构和性能对于高温应用至关重要。在这项工作中,结合实验和仿真方法使用自动闭环通过主动学习,这是由X射线和中子衍射测量初始化,并依次改善机器学习模型,直到实验预定的相空间被覆盖。一个多相电位产生的典型例子的原型耐火氧化物,HfO 2,通过绘制最小数量的训练配置从室温到液态在~ 2900 ℃。该方法大大减少了模型开发时间和人力。
2020-09-09 cond-mat.mtrl-sci cs.LG physics.comp-ph
When is there a representer theorem? Vector versus matrix regularizers
University College London(伦敦大学学院)
我们考虑一类通用的正则化方法,它基于线性测量学习参数向量。众所周知,如果正则化子是内积的非减函数,则学习向量是输入数据的线性组合。这个结果被称为{\em表示定理},是机器学习中基于内核的方法的基础。本文证明了上述条件的必要性,从而完成了基于正则化的核方法的刻画。我们进一步将我们的分析扩展到学习矩阵的正则化方法,这是一个由多任务学习应用程序激发的问题。在这方面,我们研究了一个更一般的表示定理,它适用于更大的一类正则化。我们提供了一个必要和充分条件,这些类矩阵正则化,并突出了它们与一些具体的例子,具有实际意义。我们的分析使用了矩阵理论的基本原理,特别是矩阵非减函数的有用概念。
2008-09-09 cs.LG
Curiosity Driven Exploration of Learned Disentangled Goal Spaces
Inria(法国国家信息与自动化研究所);Ensta-ParisTech(巴黎高等先进技术学院)
内在动机的目标探索过程,使代理自主采样目标,以有效地探索复杂的环境与高维连续的行动。他们已成功地应用于现实世界的机器人,发现剧目的政策产生了广泛的多样性的影响。这些算法通常依赖于工程目标空间,但最近表明,可以使用深度表示学习算法在简单环境中学习足够的目标空间。然而,在包含多个对象或干扰物的更复杂的环境的情况下,有效的探索要求目标空间的结构反映环境的结构。在本文中,我们表明,使用解纠缠的目标空间导致更好的探索性能比纠缠的目标空间。我们进一步表明,当表示被解开时,人们可以通过以模块化方式最大化学习进度的采样目标来利用它。最后,我们表明,学习进度的措施,用于驱动好奇心驱动的探索,可以同时用于发现抽象的独立可控的环境功能。
2018-11-04 cs.AI cs.LG cs.NE
A probabilistic data-driven model for planar pushing
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种数据驱动的方法来模拟平面推交互,以预测最有可能的结果推和其预期的变化。学习的模型依赖于高斯过程的变化,具有输入依赖性噪声,称为变分异方差高斯过程(VHGP),它捕获随机函数的均值和方差。我们表明,我们可以学习准确的模型,在少于100个样本后优于分析模型,并且在少于1000个样本的情况下性能饱和。我们对收集的重复轨迹数据集验证结果,并使用学习的模型来研究问题,如推动的变化性的性质,以及准静态假设的有效性。
2017-09-23 cs.LG cs.RO stat.ML
Learned SVD: solving inverse problems via hybrid autoencoding
University of Twente(特文特大学)
我们的世界充满了物理驱动的数据,其中需要数据流形之间的有效映射。人们越来越需要理解基于模型和数据驱动相结合的方法。我们提出了一种非线性的学习奇异值分解(L-SVD),它结合了自动编码器,同时学习和连接所需信号和给定测量的潜在代码。我们提供了一个特定结构的L-SVD,作为正则化方法的收敛性分析。在更一般的设置中,我们通过数据降维来研究模型降维的主题,以获得正则化反演。我们提出了一个很有前途的方向,解决反问题的情况下,底层物理不完全理解或具有非常复杂的行为。我们表明,学习反演映射的构建块可以自动获得,与经典方法相比具有更好的性能,并且比黑盒方法具有更好的可解释性。
2020-09-29 cs.LG eess.IV
CoLSE: A Lightweight and Robust Hybrid Learned Model for Single-Table Cardinality Estimation using Joint CDF
School of Computing(计算学院);Information Systems University of Melbourne(信息系统墨尔本大学)
CoLSE通过结合皮尔逊理论和轻量级神经网络,实现单表基数估计的高精度与低资源消耗的平衡。
2025-12-14 cs.DB cs.LG
SMPL-IK: Learned Morphology-Aware Inverse Kinematics for AI Driven Artistic Workflows
Mila(米拉研究所);University of Montreal(蒙特利尔大学);Unity Technologies(Unity科技公司);Polytechnique Montreal(蒙特利尔理工学院)
逆运动学(IK)系统相对于其输入角色通常是刚性的,因此需要用户干预以适应新的骨架。在本文中,我们的目标是创建一个灵活的,学习IK解算器适用于各种各样的人类形态。我们扩展了一个国家的最先进的机器学习IK解算器上著名的皮肤多人线性模型(SMPL)。我们称我们的模型为SMPL-IK,并表明当集成到实时3D软件中时,这个扩展系统为定义新颖的AI辅助动画工作流程提供了机会。例如,SMPL-IK允许用户在设置角色姿势时修改性别和体形,从而使姿势创作更加灵活。此外,当与现有的姿势估计算法链接时,SMPL-IK通过允许用户从2D图像引导3D场景来加速姿势,同时允许进一步编辑。最后,我们提出了一种新的SMPL形状反转机制(SMPL-SI),以映射任意的人形角色到SMPL空间,允许艺术家利用SMPL-IK自定义字符。除了展示拟议工具的定性演示外,我们还在H36 M和AMASS数据集上展示了定量SMPL-IK基线。
2022-08-16 cs.GR cs.LG
Overton: A Data System for Monitoring and Improving Machine-Learned Products
Apple(苹果公司)
我们描述了一个名为Overton的系统,其主要设计目标是支持工程师构建,监控和改进生产机器学习系统。工程师面临的主要挑战是监控细粒度的质量,诊断复杂应用中的错误,以及处理矛盾或不完整的监督数据。Overton通过提供一组新颖的高级声明性抽象,使模型构造、部署和监视的生存周期自动化。Overton的愿景是将开发人员转移到这些更高级别的任务上,而不是更低级别的机器学习任务。事实上,使用Overton,工程师可以构建基于深度学习的应用程序,而无需在TensorFlow等框架中编写任何代码。一年多来,Overton一直用于生产,以支持近实时应用和后台处理中的多种应用。在这段时间里,基于Overton的应用程序已经用多种语言回答了数十亿次查询,处理了数万亿条记录,与生产系统相比,错误减少了1.7-2.9倍。
2019-09-07 cs.CL cs.DB cs.LG
Data-Driven Time-Varying Control Barrier Functions for Adaptive Safe-Set Learning with Online Decremental Support Vector Machines
Klipsch School of Electrical and Computer Engineering, New Mexico State University(新墨西哥州立大学克利普什电气与计算机工程学院);Department of Aerospace Engineering, Embry-Riddle Aeronautical University(安柏瑞德航空航天大学航空航天工程系)
本文针对智能系统时变安全失效问题,提出结合在线递减SVM的时变CBF安全过滤框架,通过VTOL仿真验证其可在控制权限下降时保障安全且避免障碍突变。
2026-08-25 cs.CE cs.LG
Sig2Model: A Boosting-Driven Model for Updatable Learned Indexes
Huawei Technologies Ltd(华为技术有限公司)
Sig2Model通过sigmoid提升近似、GMM主动更新训练和神经联合优化三种技术,最小化可更新学习索引的重训练成本,实现高达20倍重训练成本降低、3倍QPS提升和1000倍内存节省。
2025-09-25 cs.DB cs.LG cs.PF
Autocorrelated Optimize-via-Estimate: Predict-then-Optimize versus Finite-sample Optimal
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Durham University Business School(杜伦大学商学院)
本文提出了一种自相关优化-通过估计模型,用于在有限样本情况下优化资产组合,表现出优于传统方法的性能。
2026-02-02 cs.LG math.OC
Learned reconstruction methods with convergence guarantees
University College London(伦敦大学学院);KTH–Royal Institute of Technology(KTH皇家理工学院);Maxwell Institute for Mathematical Sciences(麦克斯韦数学科学研究所);Heriot-Watt University(赫瑞-瓦特大学);University of Cambridge(剑桥大学);University of Oulu(奥卢大学)
近年来,深度学习在图像重建方面取得了显著的经验成功。这促进了对关键用例中数据驱动方法的正确性和可靠性的精确表征的持续追求,例如在医学成像中。尽管基于深度学习的方法具有出色的性能和功效,但人们对它们的稳定性或缺乏稳定性提出了担忧,这具有严重的实际影响。近年来,在揭示数据驱动图像恢复方法的内部工作原理方面取得了重大进展,挑战了其广泛认为的黑箱性质。在这篇文章中,我们将详细说明数据驱动图像重建的收敛性的相关概念,这将构成对具有数学严格重建保证的学习方法的调查的基础。一个突出的例子是ICNN的作用,它提供了将深度学习与经典凸正则化理论相结合的可能性,以设计可证明收敛的方法。这篇调查文章的目的是方法论研究人员寻求推进我们对数据驱动的图像重建方法的理解的前沿,以及从业者,通过提供有用的收敛概念的可访问的描述,并通过将一些现有的经验做法放在坚实的数学基础上。
2022-09-14 cs.CV cs.LG
Learnability and Robustness of Shallow Neural Networks Learned With a Performance-Driven BP and a Variant PSO For Edge Decision-Making
Cranfield University(克兰菲尔德大学);Anhui Polytechnic University(安徽工程大学);Smart Perception Ltd(Smart Perception有限公司)
在许多情况下,如果没有GPU的好处,计算资源是有限的,特别是在支持物联网的系统的边缘设备中。在边缘设备中实现复杂的AI模型可能并不容易。通用逼近定理指出,浅神经网络(SNN)可以表示任何非线性函数。然而,SNN有多胖才足以解决边缘设备中的非线性决策问题?在本文中,我们专注于学习和鲁棒性的SNNs,获得了贪婪紧力启发式算法(性能驱动BP)和松散的力元启发式算法(PSO的变体)。进行两组实验以检查具有Sigmoid激活的SNN的可学习性和鲁棒性,通过KPI-PDBP和KPI-VPSO学习/优化,其中KPI(关键性能指标:错误(ERR),准确性(ACC)和$F_1$得分)是目标,驱动搜索过程。一个增量的方法被应用于检查隐藏的神经元数量对SNN的性能的影响,学习/优化的KPI-PDBP和KPI-VPSO。从工程角度来看,所有传感器都适合特定任务。因此,所有传感器读数都应与目标高度相关。因此,SNN的结构应该取决于问题空间的维度。实验结果表明,KPI-PDBP算法的隐层神经元数目可以达到问题空间的维数;在训练数据集上,KPI-PDBP算法产生的神经网络的学习性能和学习时间优于KPI-VPSO算法优化的神经网络;与其他经典的机器学习模型相比,ACC-PDBPs在几乎所有的测试数据集上都取得了较好的效果。
2020-08-13 cs.LG cs.NE cs.PF
MLIPilot: LLM-Driven Auto-Research for Machine-Learned Interatomic Potentials
PsiQuantum
提出MLIPilot框架,利用大语言模型自动提出假设、编辑训练代码并基于物理约束评分卡优化机器学习原子间势,在QM7和Cu EMT数据集上验证了其有效性。
2026-05-29 cs.LG physics.chem-ph
Reviewing continual learning from the perspective of human-level intelligence
University of Science and Technology of China(中国科学技术大学);Institute of Intelligent Machines, Chinese Academy of Sciences(中国科学院合肥智能机械研究所);Mississippi State University(密西西比州立大学);Sichuan University(四川大学);Southwest Jiaotong University(西南交通大学);Central South University(中南大学)
人类的持续学习(CL)能力与稳定性与可塑性困境密切相关,该困境描述了人类如何实现持续学习能力和对学习信息的保存。CL的概念自诞生以来一直存在于人工智能(AI)中。本文提出了一个全面的审查CL。与以往的研究主要关注合作学习中的灾难性遗忘现象不同,本文基于稳定性与可塑性机制,从更宏观的角度对合作学习进行了研究。类似于生物学上的对应物,“智能”人工智能智能体应该i)记住先前学习的信息(信息回顾); ii)不断推断新的信息(信息展望); iii)传递有用的信息(信息传递),以实现高水平的CL。根据分类法,介绍了评价指标、算法、应用以及一些尚待解决的问题。我们的主要贡献包括:i)从人工通用智能的层面重新审视CL; ii)对CL主题进行详细而广泛的概述; iii)提出一些关于CL潜在发展的新想法。
2021-11-23 cs.AI cs.LG cs.NE
Comparing representations of biological data learned with different AI paradigms, augmenting and cropping strategies
ETH Zürich(苏黎世联邦理工学院);Institute of Molecular Systems Biology(分子系统生物学研究所)
计算机视觉和机器人技术的最新进展使自动化大规模生物图像分析成为可能。各种机器学习方法已成功应用于表型分析。然而,目前还不清楚它们在生物特征提取方面的比较情况。在这项研究中,我们提出了一个简单的CNN架构,并实现了4种不同的表示学习方法。我们在相同的条件下对770k癌细胞图像数据集进行了训练16个深度学习设置,使用不同的增强和裁剪策略。我们通过评估三个下游任务中的每一个的多个指标来比较学习到的表示:i)已知药物的基于距离的相似性分析,ii)药物与对照的分类,iii)细胞系内的聚类。我们还比较了训练时间和内存使用情况。在所有测试的设置中,正如预期的那样,多作物和随机增强通常提高了跨任务的性能。引人注目的是,自监督(隐式对比学习)模型显示,训练的竞争性能快了11倍。自我监督的正则化学习需要大部分的内存和计算来提供可以说是信息量最大的特征。我们观察到,没有单一的增强和裁剪策略的组合始终在整个任务的最高性能的结果,并建议前瞻性的研究方向。
2022-03-07 cs.AI cs.CV cs.LG