Surrogate Locally-Interpretable Models with Supervised Machine Learning Algorithms
Corporate Model Risk, Wells Fargo(富国银行企业模型风险部门)
监督机器学习(SML)算法,例如梯度提升、随机森林和神经网络,由于其优于传统统计方法的预测性能,近年来变得流行。然而,它们的复杂性使得在没有额外工具的情况下难以解释结果。最近在开发用于解释SML模型的全局和局部诊断方面做了很多工作。在本文中,我们提出了一个局部可解释的模型,该模型采用拟合的ML响应面,使用基于模型的回归树划分预测空间,并在每个节点上拟合可解释的主效应模型。我们适应的算法是有效的,在处理高维预测。虽然主要关注的是可解释性,但由此产生的代理模型也具有相当好的预测性能。
2020-07-28 cs.LG stat.ML
Explanations Go Linear: Post-hoc Explainability for Tabular Data with Interpretable Meta-Encoding
University of Pisa(比萨大学);ISTI-CNR(意大利国家研究委员会ISTI研究所);Scuola Normale Superiore - Pisa, Italy(比萨大学正常学院 - 意大利)
本文提出ILLUME框架,结合全局训练的替代模型与实例特定的线性变换,生成准确且高效的局部和全局解释,解决传统替代方法的局限性。
2026-03-18 cs.LG
When stakes are high: balancing accuracy and transparency with Model-Agnostic Interpretable Data-driven suRRogates
KU Leuven(鲁汶大学);University of Amsterdam(阿姆斯特丹大学);Université Laval(拉瓦尔大学)
银行和保险等高度监管的行业要求透明的决策算法。与此同时,竞争激烈的市场正在推动使用复杂的黑匣子模型。因此,我们提出了一个程序来开发一个模型无关的可解释的数据驱动的suRRogate(maidrr)适合结构化的表格数据。通过部分依赖效应从黑盒中提取知识。这些用于通过对变量值进行分组来执行智能特征工程。这导致了具有自动变量选择的特征空间的分割。一个透明的广义线性模型(GLM)是适合的分类格式的功能及其相关的相互作用。我们展示了我们的R包maidrr的案例研究一般保险索赔频率建模六个公开可用的数据集。我们的maidrr GLM非常接近梯度提升机(GBM)的黑盒,并优于线性和树代理作为基准。
2020-12-10 cs.LG stat.ML
Surrogate Interpretable Graph for Random Decision Forests
Center for Artificial Intelligence in Public Health Research (ZKI-PH)(人工智能与公共卫生研究所以(ZKI-PH));Robert Koch Institute(罗伯特·科赫研究所);Department of Mathematics and Computer Science(数学与计算机科学系);Free University of Berlin(柏林自由大学)
本文提出代理可解释图方法,利用图与混合整数线性规划分析随机森林中的全局特征交互,以提升健康信息学等高风险领域的可解释性与合规性。
2025-05-17 cs.AI cs.LG
Surrogate Model For Field Optimization Using Beta-VAE Based Regression
Visage Technology
油田开发相关的决策是使用基于油藏模拟的优化研究,其中不同的生产方案和井控制进行了比较。这种模拟在计算上是昂贵的,因此使用代理模型来加速研究。深度学习过去曾被用于生成替代模型,但此类模型通常无法量化预测的不确定性,并且不可解释。在这项工作中,β-VAE为基础的回归,提出了生成模拟替代品用于优化工作流程。beta-VAE使潜在空间中的决策变量的可解释的、因子化的表示成为可能,然后进一步用于回归。概率密集层用于量化预测的不确定性,并支持近似贝叶斯推理。使用基于β-VAE的回归开发的代理模型发现可解释的和相关的潜在表征。合理的β值确保因子解纠缠和重构之间的良好平衡。概率密集层有助于量化目标函数的预测不确定性,然后用于决定是否需要对案例进行全物理模拟。
2022-02-27 cs.LG stat.ML
Sampling Based On Natural Image Statistics Improves Local Surrogate Explainers
Universidad Politécnica de Madrid(马德里理工大学);University of Bristol(布里斯托大学)
计算机视觉中的许多问题最近都是使用预测不容易解释的模型来解决的,最常见的是深度神经网络。替代解释器是一种流行的事后可解释性方法,用于进一步理解模型如何达到特定的预测。通过训练一个简单的,更可解释的模型来局部近似不可解释系统的决策边界,我们可以估计输入特征对预测的相对重要性。专注于图像,代理解释者,例如,LIME,通过在可解释域中采样来生成查询图像周围的局部邻域。然而,这些可解释域传统上仅从查询图像的内在特征导出,而不考虑不可解释模型在训练中暴露的数据的流形(或更一般地,真实图像的流形)。这导致在潜在的低概率图像上训练的次优代理。我们通过将替代训练的局部邻域与原始训练数据分布对齐来解决这个限制,即使这个分布是不可访问的。我们提出了两种方法来做到这一点,即(1)改变局部邻域的采样方法和(2)使用感知度量来传达自然图像分布的一些属性。
2022-08-08 cs.AI cs.CV cs.LG
Proactive Routing to Interpretable Surrogates with Distribution-Free Safety Guarantees
本文研究了主动路由方法,通过轻量级门控在部署中选择准确的黑盒模型或更简单的替代模型,确保替代模型的退化在可控范围内,同时提供分布无关的安全保证。
2026-03-15 cs.LG
Surrogate Fitness Metrics for Interpretable Reinforcement Learning
LMU Munich(慕尼黑大学)
本研究提出用替代适应度指标优化轨迹选择,以增强强化学习策略的可解释性,在离散和连续环境中均显著提升演示保真度。
2025-04-20 cs.AI cs.LG
Interpretable A-posteriori Error Indication for Graph Neural Network Surrogate Models
Transportation and Power Systems Division, Argonne National Laboratory(阿贡国家实验室交通与动力系统分部);College of Information Sciences and Technology, Pennsylvania State University(宾夕法尼亚州立大学信息科学与技术学院);Mathematics and Computer Science Division, Argonne National Laboratory(阿贡国家实验室数学与计算机科学分部)
本文提出一种可解释GNN增强流程,在非结构网格流体代理模型中自适应识别任务相关子图并标记主要预测误差节点,同时保持基线预测能力。
2024-10-24 cs.LG physics.comp-ph physics.flu-dyn
SAFE ML: Surrogate Assisted Feature Extraction for Model Learning
Warsaw University of Technology(华沙理工大学);University of Warsaw(华沙大学)
复杂的黑盒预测模型可能具有很高的准确性,但不透明会导致缺乏信任,缺乏稳定性,对概念漂移敏感等问题。另一方面,可解释的模型需要更多与特征工程相关的工作,这非常耗时。我们能否在没有永恒的特征工程的情况下,训练可解释的和准确的模型?在这篇文章中,我们展示了一种方法,使用弹性黑盒作为代理模型来创建一个更简单,更不透明,但仍然准确和可解释的玻璃盒模型。在代理模型的帮助下,在新工程特征上创建新模型。我们展示了这种方法的应用模型级的解释和可能的扩展实例级的解释。我们还提供了一个Python中的示例实现,并在一些表格数据集上对该方法进行了基准测试。
2019-02-28 cs.LG stat.ME stat.ML
Mathematical Foundation of Interpretable Equivariant Surrogate Models
University of Pisa(比萨大学);Scuola Normale Superiore(比萨高等师范学院)
本文提出了一个基于群等变非扩张算子(GENEOs)的群等变算子(GEOs)严格数学框架,通过测量特定图表的非交换性量化算子距离,并基于用户自定义复杂度度量定义可解释性,展示了其在卷积神经网络图像分类等经典场景中的应用。
2025-03-03 cs.AI cs.LG stat.ML
Faithful and Interpretable Explanations for Complex Ensemble Time Series Forecasts using Surrogate Models and Forecastability Analysis
AWS Supply Chain(AWS供应链)
本文提出双方法框架,用LightGBM代理模型忠实解释AutoGluon集成时间序列预测,并结合频谱可预测性分析量化置信度,在M5数据集上验证了高忠实度与可预测性的关联。
2025-10-09 cs.LG
Explaining Deep Reinforcement Learning Agents In The Atari Domain through a Surrogate Model
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究院)
深度强化学习(RL)在游戏内外应用的一个主要障碍是缺乏可解释性。在本文中,我们描述了一种轻量级和有效的方法来推导深度RL代理的解释,我们在Atari域中进行评估。我们的方法依赖于RL代理的基于像素的输入到可解释的、类似感知的输入表示的转换。然后,我们训练一个本身可解释的代理模型,以复制目标深度RL代理的行为。我们的实验表明,我们可以学习一个有效的代理,准确地近似的一套Atari游戏的目标代理的基本决策。
2021-10-07 cs.LG
Courant: a State-Adaptive Perceiver-Based Neural Surrogate with Local Support and Interpretable Field Decomposition
Pasteur Labs(Pasteur实验室);Cornell University(康奈尔大学);Institute for Simulation Intelligence(模拟智能研究所)
提出基于感知器的编码-处理-解码代理模型Courant,通过状态自适应潜在查询和轻量解码器实现类似自适应hp细化的局部支持与可解释场分解,在稳态/瞬态模拟基准上取得竞争性精度。
2026-05-24 cs.AI cs.CE cs.LG
SOLIS: Physics-Informed Learning of Interpretable Neural Surrogates for Nonlinear Systems
AI and Intelligent Systems Laboratory(人工智能与智能系统实验室);Istanbul Technical University(伊斯坦布尔技术大学)
SOLIS通过状态条件化的二阶代理模型学习非线性系统的可解释参数,恢复自然频率、阻尼和增益,避免预设全局方程。
2026-04-16 cs.AI cs.LG cs.SY
Surrogate-assisted performance prediction for data-driven knowledge discovery algorithms: application to evolutionary modeling of clinical pathways
ITMO University(圣彼得堡国立信息技术机械与光学大学);Almazov National Medical Research Center(阿尔马佐夫国家医学研究中心)
提出并研究了一种基于代理的数据驱动知识发现算法性能预测方法。该方法基于代理模型的识别,用于预测目标算法的质量和性能。所提出的方法被实施和研究应用到一个进化算法,发现集群的可解释的临床路径在电子健康记录的急性冠状动脉综合征患者。多个聚类指标和执行时间分别作为目标质量和性能指标。一个分析软件原型的基础上提出的方法预测的算法特性和特征分析,提供了一个更可解释的预测目标算法的性能和质量,可以进一步用于参数调整。
2022-01-07 cs.LG stat.ML
Interpretable Heart Disease Prediction via a Weighted Ensemble Model: A Large-Scale Study with SHAP and Surrogate Decision Trees
本研究提出结合 LightGBM、XGBoost 与 CNN 的加权集成模型预测心血管疾病风险,在 229,781 名患者数据上取得 0.8371 的 AUC 和 80.0% 召回率,并利用 SHAP 与代理决策树提供临床可解释性,适用于公共卫生筛查。
2025-11-03 cs.AI cs.LG eess.SP
TS-MULE: Local Interpretable Model-Agnostic Explanations for Time Series Forecast Models
University of Konstanz(康斯坦茨大学)
时间序列预测是一项艰巨的任务,从天气到故障预测,黑箱模型具有最先进的性能。但是,理解和调试并不保证。我们提出了TS-MULE,一个本地的代理模型解释方法专门为时间序列扩展的LIME方法。我们的扩展LIME使用各种方法来分割和扰动时间序列数据。在我们的扩展中,我们提出了六种用于时间序列的采样分割方法,以提高替代属性的质量,并在三种深度学习模型架构和三种常见的多变量时间序列数据集上展示了它们的性能。
2021-09-17 cs.LG
Augmented Fairness: An Interpretable Model Augmenting Decision-Makers' Fairness
University of Iowa(爱荷华大学);University of Texas at Austin(得克萨斯大学奥斯汀分校)
我们提出了一种模型不可知的方法,用于减轻黑盒决策者,特别是人类决策者的预测偏差。我们的方法在特征空间中检测黑盒决策者有偏见的地方,并用一些简短的决策规则代替它,充当“公平代理”。基于规则的代理模型在两个目标下训练,预测性能和公平性。我们的模型侧重于一个设置,在实践中是常见的,但不同于其他文献的公平性。我们只能黑盒访问模型,并且在预算约束下只能查询有限的真标签集。我们制定了一个多目标优化建立一个代理模型,我们同时优化预测性能和偏差。为了训练模型,我们提出了一种新的训练算法,结合非支配排序遗传算法与主动学习。我们在公共数据集上测试我们的模型,在那里我们模拟各种有偏见的“黑盒”分类器(决策者),并将我们的方法应用于可解释的增强公平性。
2020-11-17 cs.HC cs.LG
Anant-Net: Breaking the Curse of Dimensionality with Scalable and Interpretable Neural Surrogate for High-Dimensional PDEs
WPI(韦斯利安理工学院)
Anant-Net 是一种可扩展且可解释的神经代理框架,通过结合高维边界条件与 Kolmogorov-Arnold 网络最小化 PDE 残差,高效解决了高维偏微分方程中的维度灾难问题,并在单 GPU 上数小时内实现 300 维问题的高精度求解。
2025-09-14 cs.LG
From Embeddings to Equations: Genetic-Programming Surrogates for Interpretable Transformer Classification
Faculty of Engineering & Information Technology, University of Technology Sydney(工程与信息技术学院,技术悉尼大学);Department of Civil and Architectural Engineering, Sultan Qaboos University(土木与建筑学院,苏丹·卡布斯大学);University Research and Innovation Center (EKIK), Obuda University(研究与创新中心(EKIK),布达佩斯大学)
本研究提出用遗传编程为冻结Transformer嵌入构建符号代理分类器,通过特征划分与多群体进化学习闭式logit程序,在五个基准上实现高F1和低校准误差,提供可审计的跨模态解释。
2025-09-16 cs.AI cs.LG cs.NE
A Maritime Industry Experience for Vessel Operational Anomaly Detection: Utilizing Deep Learning Augmented with Lightweight Interpretable Models
Mälardalen University(梅拉达伦大学);Gdansk University of Technology(格但斯克工业大学)
本研究提出一种结合LSTM自编码器与轻量级代理模型的船舶运营异常检测方法,在TUCANA传感船舶上验证了其高检测性能与可解释性,有效提升了工程师的决策效率。
2025-01-25 cs.LG
FA-INR: Adaptive Implicit Neural Representations for Interpretable Exploration of Simulation Ensembles
The Ohio State University(俄亥俄州立大学)
本文提出FA-INR,一种基于隐式神经表示的适应性代理模型,通过交叉注意力机制和专家混合框架实现对模拟集合的高保真可解释探索。
2026-03-31 cs.AI cs.LG
Interpretable and Explainable Surrogate Modeling for Simulations: A State-of-the-Art Survey and Perspectives on Explainable AI for Decision-Making
IRIT, Université Toulouse Capitole(图卢兹大学IRIT);Université de Toulouse, ISAE-SUPAERO(图卢兹大学ISAE-SUPAERO)
本文综述了替代建模与可解释人工智能的结合,探讨了如何通过可解释方法提升复杂系统模拟的透明度和决策支持能力。
2026-04-15 cs.AI cs.LG stat.ML
EnergyLens: Interpretable Closed-Form Energy Models for Multimodal LLM Inference Serving
University of Illinois Chicago(伊利诺伊大学香槟分校)
针对多模态大语言模型推理服务中的能量优化问题,提出EnergyLens模型,通过符号回归发现结构,构建基于系统属性的闭式能量模型,实现可解释且高效的配置选择。
2026-05-13 cs.CV cs.LG
Robust DNN Surrogate Models with Uncertainty Quantification via Adversarial Training
The Pennsylvania State University(宾夕法尼亚州立大学)
为了计算效率,代理模型已经被用于仿真物理或生物过程的数学模拟器。当模拟在许多随机采样的输入点上重复时,高速模拟对于进行不确定性量化(UQ)至关重要(又名蒙特卡罗方法)。在某些情况下,UQ仅适用于代理模型。最近,深度神经网络(DNN)代理模型因其难以匹配的仿真精度而受到欢迎。然而,众所周知,当输入数据以特定方式受到干扰时,DNN容易出错,这正是对抗训练的动机。在代理模型的使用场景中,人们关注的不是蓄意攻击,而是DNN的准确性对输入方向的高度敏感性,这是使用仿真模型的研究人员在很大程度上忽略的问题。在本文中,我们通过实证研究和假设检验显示了这个问题的严重性。此外,我们采用对抗训练的方法来提高DNN代理模型的鲁棒性。实验表明,我们的方法显着提高了代理模型的鲁棒性,而不影响仿真精度。
2022-11-10 cs.LG
Enhancing LIME using Neural Decision Trees
ENS Paris-Saclay, Centre Borelli, CNRS, Gif-Sur-Yvette, France(巴黎-萨克雷大学,Borelli中心,国家科学研究中心,法国吉夫-sur-埃瓦尔,法国);Le Crédit Lyonnais, Paris, France(巴黎银行,法国巴黎)
本文提出NDT-LIME,通过神经决策树作为替代模型,提升对复杂模型的局部解释精度,实验显示在表格数据集上解释忠实度优于传统LIME。
2026-03-21 cs.AI cs.LG
Interpretable epistemic uncertainty decomposition in sequential generative models via polynomial chaos surrogates
Mathematical Institute, University of Oxford, United Kingdom(牛津大学数学研究所,英国);IBM Research, Thomas J. Watson Research Center, USA(IBM研究院,托马斯·J·沃森研究中心,美国);IBM Research Europe, Daresbury, United Kingdom(IBM欧洲研究院,达尔斯伯里,英国);MIT–IBM Watson AI Lab, Massachusetts, USA(麻省理工–IBM沃森人工智能实验室,马萨诸塞州,美国);Université de Montréal, Mila–Quebec AI Institute, Montreal, Quebec, Canada(蒙特利尔大学,魁北克人工智能研究所,蒙特利尔,魁北克,加拿大)
本文提出通过多项式混沌展开分析序列生成模型中epistemic不确定性的来源,揭示奖励组件对生成决策的影响,优于深度集合、贝叶斯神经网络等方法,且在多个真实任务中展现高效性和鲁棒性。
2026-05-15 cs.LG stat.ML
Interpretable Differencing of Machine Learning Models
IBM Research(IBM研究院)
本研究针对机器学习模型差异定位需求,提出可解释的联合代理树方法及细化流程,能在特征空间中直观呈现模型决策逻辑差异,且保真度不低于朴素方法。
2023-06-13 cs.LG
Interpretable Policy Distillation for Power Grid Topology Control
University of Latvia, Faculty of Exact Sciences and Technology(拉脱维亚大学,精确科学与技术学院)
提出一种将深度强化学习策略蒸馏为轻量级决策树/随机森林的方法,在保持性能的同时提升可解释性,并揭示表征偏移。
2026-05-30 cs.AI cs.LG
Surrogate-Assisted Framework for SI-Compliant Interconnect Design Optimization Using the Earth Mover's Distance
Information Processing Lab, TU Dortmund University(图腾大学信息处理实验室);Pyramide2525/TU Dortmund University(图腾大学Pyramide2525分部);EMC Technology Center Paderborn, Zuken GmbH(帕德博恩EMC技术中心,祖克纳公司)
提出一种基于推土机距离的确定性机器学习辅助框架,通过代理模型预测波形、决策树筛选SI合规设计,并利用EMD排序,实现可解释且高效的PCB互连优化。
2026-06-16 cs.CE cs.LG eess.SP
Model Bridging: Connection between Simulation Model and Neural Network
NEC Corporation(日本电气股份有限公司);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所)
机器学习的可解释性,特别是深度神经网络的可解释性,对于现实世界应用中的决策至关重要。一种方法是用代理模型代替不可解释的机器学习模型,代理模型具有简单的解释结构。另一种方法是通过使用具有可解释的仿真参数的人类知识建模的仿真来理解目标系统。最近,基于核均值嵌入的模拟器校准已经发展,以估计模拟参数作为后验分布。我们的想法是使用一个模拟模型作为一个可解释的代理模型。然而,由于仿真模型的复杂性,仿真器校准的计算成本很高。因此,我们提出了一个“模型桥接”框架,通过一系列的核均值嵌入来桥接机器学习模型和仿真模型,以解决这些困难。所提出的框架使我们能够同时获得预测和可解释的模拟参数,而无需昂贵的模拟计算。在这项研究中,我们提出的框架,在制造业的基本模拟,如生产模拟和流体动力学模拟。
2020-07-21 cs.LG stat.ML
Interpretable Neural Architecture Search via Bayesian Optimisation with Weisfeiler-Lehman Kernels
University of Oxford(牛津大学)
目前的神经结构搜索(NAS)策略只关注于找到一个单一的,好的,架构。它们几乎无法解释为什么特定的网络表现良好,或者如果我们想要进一步改进,我们应该如何修改架构。我们提出了一个贝叶斯优化(BO)的NAS方法,结合Weisfeiler-Lehman图形内核与高斯过程代理。我们的方法优化的架构,在一个高度的数据效率的方式:它是能够捕获的拓扑结构的架构,并可扩展到大型图形,从而使高维和图形的搜索空间服从BO。更重要的是,我们的方法通过发现有用的网络特征及其对网络性能的相应影响来提供可解释性。事实上,我们的经验表明,我们的代理模型是能够识别有用的图案,可以指导新架构的生成。我们最后表明,我们的方法优于现有的NAS方法,以实现最先进的封闭和开放域搜索空间。
2021-02-19 cs.LG stat.ML
RRISE: Robust Radius Inference via a Surrogate Estimator
Carnegie Mellon University(卡内基梅隆大学)
提出RRISE框架,使用代理模型替代蒙特卡洛采样进行随机平滑认证,通过一次性共形校准保证保守半径,在保持认证精度的同时大幅降低计算成本。
2026-06-01 cs.LG
Smart predict-then-robustly-optimize
研究智能预测然后优化方法的稳健变体,通过智能预测然后稳健优化损失集成稳健优化原则,建立凸代理防范特征扰动,理论证明其有效性及优势,数值实验验证该稳健框架性能优于标准方法。
2026-07-27 cs.LG math.OC
EvoCSFL: Surrogate-Assisted Evolutionary Client Selection for Efficient and Robust Federated Learning
Jiangnan University(江南大学);The Hong Kong Polytechnic University(香港理工大学)
针对联邦学习中客户端数据与系统异构性导致收敛慢、鲁棒性差的问题,提出代理辅助的进化客户端选择框架,将选择问题建模为组合优化,用代理模型加速进化搜索,实验表明收敛更快、能耗更低、鲁棒性更强。
2026-06-05 cs.AI cs.LG
Gaussian Process Surrogate Models for Neural Networks
Stanford University(斯坦福大学);University College London(伦敦大学学院)
本文使用Gaussian processes构建神经网络的替代模型,通过经验学习有限网络的核函数,以解决预测架构泛化性和识别关键影响点等实际问题。
2023-09-14 cs.LG stat.ML
Meta-Black-Box Optimization with Ensemble Surrogate Modeling for Robustness-Accuracy Trade-off within SAEA
提出AdaE-SAEA,一种将SAEA嵌入MetaBBO框架并联合控制填充准则与集成代理建模的方法,通过强化学习训练元策略,自适应平衡鲁棒性与准确性,在昂贵多目标优化中优于现有方法。
2026-05-30 cs.LG cs.NE
Smart Surrogate Losses for Contextual Stochastic Linear Optimization with Robust Constraints
Department of Industrial Engineering and Operations Research University of California, Berkeley(工业工程与运营管理系加州大学伯克利分校)
研究带不确定约束的上下文随机线性优化,提出可行性敏感的 SPO-RC 损失及其凸代理 SPO-RC+,并通过截断数据集与重要性重加权纠正偏差,实验证明该方法能有效处理约束不确定性并提升性能。
2025-05-28 cs.LG math.OC stat.ML
MPD-SGR: Robust Spiking Neural Networks with Membrane Potential Distribution-Driven Surrogate Gradient Regularization
针对代理梯度方法导致深度脉冲神经网络易受对抗攻击的问题,本文提出MPD-SGR正则化方法,通过显式正则化膜电位分布降低模型对输入扰动的敏感度,实验证明该方法可显著提升SNNs的对抗鲁棒性与跨场景泛化能力。
2025-11-18 cs.LG
Calibrated Surrogate Losses for Adversarially Robust Classification
The University of Tokyo(东京大学);RIKEN(理化学研究所);AIP(应用物理研究所);University of Michigan(密歇根大学)
对抗鲁棒分类寻求对测试模式的对抗扰动不敏感的分类器。这个问题通常通过极大极小目标来表述,其中目标损失是受扰动大小约束的0-1损失的最坏情况值。最近的工作提出了对抗性0-1损失的凸代理,以使优化更容易处理。一个主要的问题是一致性,即替代风险的最小化是否意味着对抗性0-1风险的最小化。在这项工作中,我们分析这个问题,通过镜头的校准,这是一个逐点一致性的概念。我们表明,没有凸代理损失校准相对于对抗0-1损失时,限制到类的线性模型。我们进一步介绍了一类非凸损失,并提供了必要和充分条件,在这类损失进行校准。我们还表明,如果底层分布满足Massart的噪声条件,凸损失也可以在对抗设置校准。
2021-05-13 cs.LG stat.ML
Robust Bayesian Optimization with Q-Exponential Surrogates
针对标准贝叶斯优化对异常值敏感的问题,提出q-ED-BO方法,采用q-指数分布代理模型,在保持闭式解的同时增强鲁棒性,实验证明其在噪声环境下性能优于现有基线。
2026-09-29 cs.LG
Heteroscedastic Neural Surrogate Modeling for Robust and Rapid Bayesian Inference in Fusion Plasma Diagnostics
The University of Tokyo(东京大学);National Institute for Fusion Science(国立核聚变科学研究所)
本文针对聚变等离子体诊断中MCMC贝叶斯推理的计算瓶颈与噪声敏感性问题,提出双头架构的异方差神经代理框架,实现超1500倍加速且降低20%以上推理误差,为实时物理分析提供新范式。
2026-08-21 cs.LG stat.CO
AUTOLYCUS: Exploiting Explainable AI (XAI) for Model Extraction Attacks against Interpretable Models
Case Western Reserve University(凯斯西储大学);IBM Research - Dublin(IBM都柏林研究院)
本研究提出基于重训练的模型提取攻击框架AUTOLYCUS,利用LIME和SHAP两种XAI工具推断目标模型决策边界构建替代模型,在6个数据集和多种可解释模型上验证了其低查询量、高准确率的攻击效果及抗防御性。
2024-07-08 cs.CR cs.LG
Joint Explainability-Performance Optimization With Surrogate Models for AI-Driven Edge Services
Athens University of Economics and Business(雅典经济与商业大学)
本文提出一种基于多目标优化的联合双层训练方案,同时优化复杂AI模型与代理模型,在仅损失不到3%预测精度的情况下将代理模型对黑盒模型的近似Fidelity提升超过99%,从而为边缘服务提供更可信的解释。
2025-03-10 cs.AI cs.LG
Adversarial Agents on Topology Optimization: Understanding the Fragility and Robustness of Deep Learning-based and Physics-Based Design Models under Adversarial Perturbation
该研究构建力学驱动的对抗智能体评估拓扑优化中深度学习代理模型的脆弱性,发现初始噪声会引发机械失效,物理梯度调节未必提升鲁棒性,SIMP优化器可部分恢复性能,为鲁棒生成式设计智能体训练提供基础。
2026-08-25 cs.LG
Data Mining for Faster, Interpretable Solutions to Inverse Problems: A Case Study Using Additive Manufacturing
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文以增材制造为案例,通过改进 Gaussian process 代理的 tapering 加速逆问题求解,并用 Kohonen 自组织映射及加权距离解释高维输入解。
2023-06-07 cs.LG cs.NA cs.NE
Learning Deterministic Surrogates for Robust Convex QCQPs
University of Edinburgh(爱丁堡大学)
提出双隐层模型,通过求解确定性代理和评估最坏情况,实现不确定凸QCQP的鲁棒决策聚焦学习,并以松弛处理不确定约束,实验验证其正则化有效性。
2023-12-19 cs.AI cs.LG math.OC
A Deep Surrogate Model for Robust and Generalizable Long-Term Blast Wave Prediction
本文提出RGD-Blast模型,通过多尺度模块和动态-静态特征耦合机制,提升爆炸波预测的鲁棒性和泛化能力,在保持精度的同时实现传统方法两数量级的速度提升。
2026-03-18 cs.LG
Fast and Robust Sparsity Learning over Networks: A Decentralized Surrogate Median Regression Approach
Shanghai Jiao Tong University(上海交通大学);Iowa State University(爱荷华州立大学)
分散稀疏学习由于其快速增长的应用,最近吸引了大量的关注。为了得到鲁棒的稀疏估计,一个自然的想法是采用非光滑中值损失结合$\ell_1$稀疏正则化。然而,大多数现有的方法遭受由{ \em double}非光滑目标引起的慢收敛性能。为了加快计算速度,本文提出了一种分散代理中值回归(deSMR)方法,有效地解决了分散稀疏学习问题。我们表明,我们提出的算法具有线性收敛速度与一个简单的实现。我们还研究了统计保证,它表明,我们提出的估计实现了近预言收敛速度,而没有任何限制的网络节点的数量。此外,我们建立了稀疏支持恢复的理论结果。数值实验和实际数据的研究证明了该方法的有效性。
2022-02-11 cs.LG stat.ME stat.ML
Interpretable deep learning for guided structure-property explorations in photovoltaics
Iowa State University(爱荷华州立大学)
有机光伏器件的性能与其活性层形态复杂相关。有源层和器件性能之间的这种联系无论是实验上还是计算上的评估都非常昂贵。因此,设计形态以实现更高的性能是不平凡的,往往是棘手的。为了解决这个问题,我们首先引入了一个深度卷积神经网络(CNN)架构,它可以作为复杂结构-属性映射的快速和强大的替代。进行了几次测试以获得对这个训练模型的信任。然后,我们利用这个快速的框架进行稳健的微结构设计,以提高器件的性能。
2018-12-12 cs.CV cs.LG stat.ML
Consistent Robust Adversarial Prediction for General Multiclass Classification
Carnegie Mellon University(卡内基梅隆大学);Conversant LLC(Conversant有限责任公司);California Institute of Technology(加州理工学院);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Pennsylvania(宾夕法尼亚大学)
我们提出了一个强大的对抗性预测框架一般多类分类。我们的方法寻求预测分布,该预测分布针对(近似)匹配训练数据统计的最坏情况条件标签分布(对抗分布)鲁棒地优化非凸和非连续多类损失度量。虽然优化的损失度量是非凸和非连续的,但该框架的对偶公式是一个凸优化问题,可以重新转换为具有指定凸代理损失的风险最小化模型,我们称之为对抗代理损失。我们表明,对抗性代理损失填补了现有的空白,代理损失建设一般多类分类问题,同时更好地与原始多类损失对齐,保证Fisher一致性,使一种方式,通过内核技巧,将丰富的特征空间,并提供在实践中有竞争力的性能。
2019-11-20 cs.LG stat.ML
Training Experimentally Robust and Interpretable Binarized Regression Models Using Mixed-Integer Programming
Monash University(莫纳什大学)
在本文中,我们探索基于模型的方法来训练强大的和可解释的二进制回归模型的多类分类任务使用混合编程(MIP)。我们的MIP模型通过使用加权目标来平衡预测余量和模型大小的优化:最小化错误分类的训练实例的总余量,最大化正确分类的训练实例的总余量,并最大化整体模型正则化。我们进行了两组实验来测试我们的MIP模型的分类精度在标准和损坏版本的多个分类数据集,分别。在第一组实验中,我们表明,我们的MIP模型优于一个等效的伪布尔优化(PBO)模型,并取得了竞争力的结果,逻辑回归(LR)和梯度下降(GD)在标准数据集的分类精度。在第二组实验中,我们表明我们的MIP模型优于其他模型(即,GD和LR)在大多数损坏数据集的分类准确性方面。最后,我们直观地展示了我们的MIP模型在MNIST数据集上的学习参数的可解释性。总体而言,我们展示了使用MIP训练鲁棒和可解释的二值化回归模型的有效性。
2022-03-19 cs.LG
Towards Calibrated Losses for Adversarial Robust Reject Option Classification
IIIT Hyderabad(印度国际信息技术研究院(海得拉巴))
本文研究对抗扰动且允许弃权(不执行)预测场景下的分类问题,提出对抗鲁棒拒绝选项损失,给出替代损失的校准表征,并证明 Shifted DRL 和 DSL 满足校准条件且具有鲁棒性。
2024-10-14 cs.LG stat.ML