Efficient Structured Surrogate Loss and Regularization in Structured Prediction
Toyota Technological Institute of Technology（丰田工业大学）
本文主要研究结构化预测中的几个重要问题。在结构化预测中，标签具有丰富的内在子结构，并且损失相对于预测标签和真实标签对而变化。结构化SVM是二进制SVM的扩展，以适应这种结构化的任务。本文第一部分研究了代理损失及其有效的解决方法。为了使经验风险最小化，使用了一个替代损失作为最小化实际损失的代理，该替代损失是损失的上限。由于目标函数是根据代理损失来编写的，因此代理损失的选择很重要，并且性能取决于它。关于代理损失的另一个问题是argmax标签推理对代理损失的效率。高效的推理对于优化是必要的，因为它通常是最耗时的步骤。本文提出了一类新的代理损失，称为双准则代理损失，它是对现有代理损失的推广。首先，我们研究了一个有效的方法，松弛重新缩放配方作为一个起点，利用分解的模型。然后，我们将该算法扩展到双标准代理损失，这是非常有效的，也显示出性能的改善。本文的第二部分研究了正则化的另一个重要问题。具体来说，我们调查的问题时，结构不平衡存在于标签结构的层次分类的正则化。我们提出了一种方法来规范化的结构，以及一个新的范数，即共享Frobenius范数。它适用于除了标签结构之外还适应数据的分层分类。
2018-09-14 cs.LG stat.ML
Leveraging Low-Rank Relations Between Surrogate Tasks in Structured Prediction
University College London（伦敦大学学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Imperial College London（帝国理工学院）
我们研究了结构化预测的代理方法和多任务学习技术之间的相互作用，这些方法旨在利用代理输出之间的关系。我们提出了一个有效的算法的基础上跟踪范数正则化，不同于以往的方法，不需要明确的知识的代理框架的编码/解码功能。因此，我们的算法可以适用于代理空间是大的，甚至无限维的广泛的问题。我们研究了迹范数正则化结构预测的超额风险界，这意味着我们的估计的一致性和学习率。我们还确定了相关的制度，我们的方法可以享受更好的泛化性能比以前的方法。排序问题的数值实验表明，在代理输出之间强制执行低秩关系确实可以在实践中提供显着的优势。
2019-03-02 cs.LG stat.ML
On Structured Prediction Theory with Calibrated Convex Surrogate Losses
INRIA/ENS（法国国家信息与自动化研究所/巴黎高等师范学院）；HSE（高等经济学院）；MILA（米拉魁北克人工智能研究所）；DIRO（计算机科学与运筹学系）；Université de Montréal（蒙特利尔大学）
我们提供了新的理论见解结构化预测的上下文中有效的凸代理损失最小化的一致性保证。对于任何任务损失，我们构建了一个凸代理，可以通过随机梯度下降优化，我们证明了紧边界上的所谓的“校准功能”有关的超额代理风险的实际风险。与之前的相关工作相比，我们仔细监控学习保证中类的指数数量以及优化复杂性的影响。作为一个有趣的结果，我们形式化的直觉，一些任务的损失，使学习比别人更难，经典的0-1损失是不适合一般的结构化预测。
2018-01-29 cs.LG stat.ML
Guided evolutionary strategies: Augmenting random search with surrogate gradients
Google Research（谷歌研究院）
机器学习中的许多应用需要优化其真实梯度未知的函数，但是替代梯度信息（可能与真实梯度相关但不一定相同的方向）可用。当近似梯度比完整梯度更容易计算时（例如，在元学习或展开优化中），或者当真实梯度难以处理并被替代时（例如，在某些强化学习应用中，或者当使用合成梯度时），就会出现这种情况。我们提出了指导进化策略，最佳地使用代理梯度方向与随机搜索的方法。我们定义了一个搜索分布的进化策略，是拉长沿引导子空间跨越的代理梯度。这允许我们估计下降方向，然后可以将其传递给一阶优化器。我们分析和数值特征的权衡结果，从调整如何强烈的搜索分布是沿着引导子空间拉伸，我们用它来获得一个设置的超参数，以及在整个问题。最后，我们将我们的方法应用到示例问题中，证明了标准进化策略和一阶方法（直接遵循代理梯度）的改进。我们在https://github.com/brain-research/guided-evolutionary-strategies上提供了引导ES的演示
2019-06-10 cs.LG cs.NE stat.ML
A General Theory for Structured Prediction with Smooth Convex Surrogates
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
在这项工作中，我们提供了一个结构化预测的理论框架，概括了现有的理论的替代方法的二进制和多类分类的基础上估计条件概率与光滑凸代理（如逻辑回归）。该理论依赖于一个自然的表征的任务损失的结构特性，并允许获得统计保证，许多广泛使用的方法的背景下，多标签，排名，有序回归和图形匹配。特别是，我们刻画了一个合适的Bregman发散与链接函数组成的一个给定的任务损失的光滑凸代理兼容。这允许导出紧边界的校准函数，并获得新的结果对现有的代理框架结构化预测，如条件随机场和二次代理。
2019-02-13 cs.AI cs.LG stat.ML
Non-Stationary Online Structured Prediction with Surrogate Losses
CyberAgent, Tokyo, Japan（日本东京CyberAgent公司）；National Institute of Informatics, Tokyo, Japan（日本东京信息机构）；Center for Advanced Intelligence Project, RIKEN, Tokyo, Japan（日本东京RIKEN高级智能项目）；The Institute of Statistical Mathematics, Tokyo, Japan（日本东京统计数学研究所）；Tohoku University, Miyagi, Japan（日本宫城县立东大学）；Nanyang Technological University, Singapore（新加坡南洋理工大学）
本文提出在非平稳环境下，通过结合在线梯度下降的动态后悔分析与替代损失间隙技术，获得目标损失的上限，同时扩展到更广泛的设置，并证明依赖于F_T和P_T的紧性。
2026-05-14 cs.LG
Few-shot Generation of Personalized Neural Surrogates for Cardiac Simulation via Bayesian Meta-Learning
Rochester Institute of Technology（罗切斯特理工学院）；The University of Utah（犹他大学）；Dalhousie University（达尔豪斯大学）
个性化虚拟心脏模拟的临床应用面临着模型个性化和昂贵计算的挑战。虽然理想的解决方案是同时针对个体受试者个性化的有效神经代理，但最先进的技术要么涉及个性化昂贵的仿真模型，要么学习有效但通用的代理。本文提出了一个全新的概念，以实现个性化的神经代理在一个单一的连贯框架的元学习（元PNS）。我们不是学习单个神经代理，而是使用来自受试者的少量上下文数据来学习个性化神经代理的过程，这是一种新的Few-Shot生成建模的公式，其基础是：1）用于心脏模拟的集合条件神经代理，其以受试者特定的上下文数据为条件，学习生成不包括在上下文集合中的查询模拟，以及2）摊销变分推理的元模型，其通过上下文数据的简单前馈嵌入来学习调节神经代理。作为测试时间，MetaPNS通过快速前馈嵌入个人可用的少量灵活数据来提供个性化的神经代理，首次实现个性化和代理构建，用于在一个端到端学习框架中进行昂贵的模拟。合成和真实数据实验表明，与传统优化的心脏模拟模型相比，MetaPNS能够提高个性化和预测准确性，只需一小部分计算。
2022-10-06 cs.LG
Geometric Characterisation and Structured Trajectory Surrogates for Clinical Dataset Condensation
University of Oxford（牛津大学）；GlaxoSmithKline（葛兰素史克）
本文针对临床数据集浓缩的轨迹匹配方法的监督信号结构问题，提出贝塞尔轨迹匹配（BTM），经5个临床数据集实验，其在低患病率等设置下优于标准轨迹匹配，减少了轨迹存储且适配合成数据集优化约束。
2026-10-28 cs.LG
Learning Differentiable Surrogate Losses for Structured Prediction
Télécom Paris（巴黎电信学院）；IP Paris（巴黎理工学院）
本文提出一种通过对比学习直接从输出数据中学习由神经网络参数化的结构化损失函数的新框架，该可微损失支持代理回归训练和基于梯度下降的解码预测，在图预测任务上达到或超越预定义核方法。
2024-11-18 cs.LG stat.ML
Linear-Core Surrogates: Smooth Loss Functions with Linear Rates for Classification and Structured Prediction
Google Research（谷歌研究）；Courant Institute of Mathematical Sciences（Courant数学科学研究所）
本文提出线性核心替代方案，结合平滑损失的优化优势与边际损失的统计效率，提升结构预测的计算效率和鲁棒性。
2026-10-27 cs.LG stat.ML
TN-SHAP-G: Graph-Structured Tensor Network Surrogates for Shapley Values and Interactions
University of Washington（华盛顿大学）；CNRS（法国国家科学研究中心）
提出TN-SHAP-G框架，利用图结构输入通过张量网络代理高效计算Shapley值和高阶交互指数。
2026-06-01 cs.AI cs.LG
CoMetaPNS: Continually Meta-learning Personalized Neural Surrogates for Cardiac Electrophysiology Simulations
Golisano College of Computing and Information Sciences, Rochester Institute of Technology（罗切斯特理工学院戈利萨诺计算与信息科学学院）；Department of Computer Science, Rowan University（罗文大学计算机科学系）；The University of Utah（犹他大学）
提出持续元学习框架CoMetaPNS，通过贝叶斯高斯混合模型记忆缓冲区分辨数据来源，实现个性化神经代理的持续学习，避免灾难性遗忘，在心脏模拟预测中优于基线。
2026-06-05 cs.LG
Explanations Go Linear: Post-hoc Explainability for Tabular Data with Interpretable Meta-Encoding
University of Pisa（比萨大学）；ISTI-CNR（意大利国家研究委员会ISTI研究所）；Scuola Normale Superiore - Pisa, Italy（比萨大学正常学院 - 意大利）
本文提出ILLUME框架，结合全局训练的替代模型与实例特定的线性变换，生成准确且高效的局部和全局解释，解决传统替代方法的局限性。
2026-03-18 cs.LG
Structured Neural Chaos: An Adaptive Surrogate Modeling Framework for Functional Uncertainty Quantification and Global Sensitivity Analysis
University of Colorado Denver（科罗拉多大学丹佛分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
该研究提出结构化神经混沌（sNC）代理建模框架，结合PCE的可解释性与神经网络的表达能力，用于解决高维随机输入和功能响应系统的不确定性量化与全局敏感性分析问题，可自适应识别主导模式并低成本提取相关量。
2026-08-03 cs.LG stat.ML
Leveraging Recursive Gumbel-Max Trick for Approximate Inference in Combinatorial Spaces
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Airtificial Intelligence Research Institute（人工智能研究所）；Moscow Institute of Physics and Technology（莫斯科物理与技术学院）；HSE University（高等经济学院）；Skoltech（斯科尔科沃科学技术学院）；AIRI（人工智能研究所）；Sber AI Lab；MIPT（莫斯科物理与技术学院）
结构化潜变量允许将有意义的先验知识合并到深度学习模型中。然而，学习这些变量仍然具有挑战性，因为它们的离散性。如今，标准的学习方法是将潜在变量定义为扰动算法输出，并使用可微代理进行训练。一般来说，代理对模型施加了额外的约束，不可避免地导致有偏梯度。为了减轻这些缺点，我们扩展了Gumbel-Max技巧来定义结构域上的分布。我们通过利用得分函数估计器进行优化来避免可微代理。特别是，我们强调一个家庭的递归算法的一个共同的特点，我们称之为随机不变。该功能使我们能够构建可靠的梯度估计和控制变量，而无需对模型进行额外的约束。在我们的实验中，我们考虑了各种结构化的潜变量模型，并取得了与基于松弛的同行竞争的结果。
2021-10-28 cs.LG
Few-Shot Bayesian Optimization with Deep Kernel Surrogates
IBM Research（IBM研究院）；University of Freiburg（弗莱堡大学）
超参数优化（HPO）是机器学习解决方案自动化的核心支柱，主要通过贝叶斯优化来执行，其中学习参数替代以近似黑盒响应函数（例如验证误差）。不幸的是，评估响应函数是计算密集型的。作为一种补救措施，早期的工作强调需要迁移学习代理，它学习从其他任务中优化算法的超参数。与以前的工作相比，我们建议将HPO重新考虑为一个少样本学习问题，其中我们训练一个共享的深度代理模型，以快速适应（很少响应评估）新任务的响应函数。我们建议使用一个深内核网络的高斯过程代理元学习的端到端的方式，以共同近似的响应函数的集合的训练数据集。因此，与最近在不同元数据集上的几种方法相比，我们的深度内核代理的新颖的Few-Shot优化在HPO上产生了新的最先进的结果。
2021-01-19 cs.LG
Meta-learning Spiking Neural Networks with Surrogate Gradient Descent
Peter Grünberg Institute – Neuromorphic Software Ecosystems（彼得·格伦贝格研究所——神经形态软件生态系统）；Forschungszentrum Jülich（于利希研究中心）；RWTH Aachen（亚琛工业大学）；UC Irvine（加州大学欧文分校）
在边缘和在线任务执行期间进行自适应“终身”学习是人工智能研究的一个理想目标。实现脉冲神经网络（SNN）的神经形态硬件在这方面特别有吸引力，因为它们的实时、基于事件的本地计算范例使它们适合于边缘实现和快速学习。然而，最先进的SNN训练所特有的长时间和迭代学习与神经形态硬件的物理性质和实时操作不兼容。双层学习，如元学习，越来越多地用于深度学习，以克服这些限制。在这项工作中，我们展示了SNN中基于梯度的元学习，使用替代梯度方法来近似梯度估计的尖峰阈值函数。因为代理梯度可以被二次可微，所以可以使用良好建立的有效的二阶梯度元学习方法，例如模型不可知Meta Learning（MAML）。我们表明，使用MAML元训练的SNN匹配或超过基于事件的元数据集上使用MAML元训练的传统ANN的性能。此外，我们还展示了元学习的具体优势：快速学习，无需高精度权重或梯度。我们的研究结果强调了元学习技术如何成为部署神经形态学习技术在现实世界中的问题。
2022-01-26 cs.LG cs.NE
Structured Extrema Errors in Classical Surrogates for Viscous Burgers: A Physics-Consistent Interpretation
IMT Atlantique（IMT大西洋）
研究经典代理模型预测粘性Burgers方程时在极值附近的系统误差，发现其源于粘性平滑不足，并提出了仅用预测量的修正方法。
2026-09-09 cs.LG physics.flu-dyn
Meta-Model Framework for Surrogate-Based Parameter Estimation in Dynamical Systems
University of Ljubljana（卢布尔雅那大学）
复杂动力系统建模的核心任务是参数估计。这项任务涉及大量的计算昂贵的目标函数的评估。基于代理的优化引入了一个计算效率高的预测模型，该模型近似于目标函数的值。标准方法涉及从对应于目标函数的过去评估的训练样本中学习代理。当前基于代理的优化方法使用静态的、预定义的替换策略，该策略决定何时使用代理以及何时使用真实目标。我们引入了一个元模型框架，其中的替代策略是动态适应给定的优化问题的解决方案空间。Meta模型封装了目标函数、代理模型和替代策略的模型，以及用于学习它们的组件。该框架可以与任意优化算法无缝耦合，无需任何修改：它替换目标函数并自主决定如何评估给定的候选解决方案。我们测试的实用程序的框架上的三个任务估计参数的真实世界模型的动力系统。结果表明，Meta模型显着提高了优化效率，减少了目标函数的评估总数平均高达77%。
2019-12-18 cs.LG math.DS math.OC
Assessing Surrogate Heterogeneity in Real World Data Using Meta-Learners
Department of Statistics and Data Sciences, University of Texas at Austin（统计与数据科学系，德克萨斯大学奥斯汀分校）
提出基于元学习器的框架，在真实世界非随机数据中评估替代标记物异质性，量化患者特征影响并识别替代有效个体，模拟及糖化血红蛋白应用验证。
2025-04-21 cs.LG stat.ME stat.ML
Large Language Model as Meta-Surrogate for Data-Driven Many-Task Optimization: A Proof-of-Principle Study
School of Computer Science and Engineering, South China University of Technology, Guangzhou, China.（计算机科学与工程学院，华南理工大学，广州，中国）；Guangzhou Institute of Technology, Xidian University, China.（广州理工大学，西安电子科技大学，中国）；College of Artificial Intelligence, Nankai University, Tianjin, China.（人工智能学院，南开大学，天津，中国）；Hanyang University, 15588 Ansan, South Korea.（湖南衡阳大学，韩国）
本研究提出利用大语言模型作为元代理模型，通过多任务优化框架提升适应度预测效率，实现跨任务知识共享与新任务适应性，验证了其在进化迁移优化中的有效性。
2026-02-04 cs.AI cs.LG cs.NE
Debiased Graph Poisoning Attack via Contrastive Surrogate Objective
KAIST（韩国科学技术院）
针对现有基于元梯度的图攻击偏向训练节点导致次优的问题，提出基于对比代理目标的攻击方法Metacon，通过新代理损失缓解偏差，在基准数据集上显著提升了攻击性能。
2024-07-27 cs.CR cs.LG
PruneShift: A Framework for Evaluating Decision Reliability in Structured Pruning
University of Chinese Academy of Sciences（中国科学院大学）
该研究提出PruneShift框架，将结构化剪枝的预测保真度、局部保真度与决策质量分离，经多数据集实验验证，证明需分别评估剪枝的预测拟合、决策可靠性及方法质量。
2026-09-01 cs.LG cs.NE
A Surrogate-Assisted Extended Generative Adversarial Network for Parameter Optimization in Free-Form Metasurface Design
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（高性能计算研究所（IHPC），新加坡科技研究局（A*STAR））
提出代理辅助的扩展生成对抗网络XGAN，通过引入物理约束从光谱响应准确生成自由形式超表面，在2万个设计实验中达0.9734准确率且速度提升500倍，可推广至多种逆向设计问题。
2023-10-18 cs.CV cs.LG eess.IV
Meta-Surrogate Benchmarking for Hyperparameter Optimization
University of Freiburg（弗赖堡大学）；Amazon Cambridge（亚马逊剑桥）；University of Cambridge（剑桥大学）
尽管最近在超参数优化（HPO）方面取得了进展，但类似于真实世界场景的可用基准测试由一些非常大的问题实例组成，这些问题实例的解决成本很高。这不仅阻碍了研究人员和从业人员系统地进行大规模比较，从而得出统计学上显著的结果，而且也阻碍了他们复制以前进行的实验。这项工作提出了一种方法，以减轻这些问题的Meta代理模型的HPO任务训练离线生成的数据。该模型将概率编码器与多任务模型相结合，使得它可以生成感兴趣的问题类的廉价且现实的任务。我们证明，在生成模型的样本上对HPO方法进行基准测试，使我们能够得出更连贯和统计上显著的结论，这些结论可以比使用原始任务更快地达到数量级。我们提供的证据，我们的研究结果为各种HPO方法对广泛的一类问题。
2019-11-24 cs.LG stat.ML
Meta-Learning surrogate models for sequential decision making
DeepMind（深度思维）
我们引入了一个统一的概率框架，用于解决从贝叶斯优化到上下文强盗和强化学习的顺序决策问题。这是通过一种基于概率模型的方法来实现的，该方法解释了观测数据，同时在决策过程中捕获了预测的不确定性。至关重要的是，这个概率模型被选为元学习系统，允许从相关问题的分布中学习，允许数据有效地适应目标任务。作为这个框架的一个合适的实例，我们探讨了由于统计和计算的需要而使用神经过程。我们将我们的框架应用于广泛的问题领域，例如控制问题，推荐系统和对RL代理的对抗性攻击，展示了一种有效和通用的黑盒学习方法。
2019-06-12 cs.LG stat.ML
Training Meta-Surrogate Model for Transferable Adversarial Attack
JD Technology（京东科技）；University of California, Los Angeles（加州大学洛杉矶分校）
我们认为对抗攻击的黑盒模型时，不允许查询。在这种情况下，许多方法直接攻击代理模型，并将获得的对抗性示例转移到欺骗目标模型。大量的工作研究了对代理模型的攻击可以产生更多可转移的对抗样本，但由于代理模型和目标模型之间的不匹配，其性能仍然受到限制。在本文中，我们从一个新的角度来解决这个问题-而不是使用原来的代理模型，我们是否可以获得一个Meta-代理模型（MSM），使攻击这个模型可以更容易地转移到其他模型？我们证明了这个目标可以在数学上表述为一个适定性（类似于双层）的优化问题，并设计了一个可微攻击器来使训练可行。给定一个或一组代理模型，我们的方法可以得到一个MSM，使得在MSM上生成的对抗示例具有良好的可移植性。Cifar-10和ImageNet上的综合实验表明，通过攻击MSM，我们可以获得更强的可转移对抗性示例，以欺骗黑盒模型，包括对抗性训练的模型，成功率比现有方法高得多。所提出的方法揭示了深度模型的重大安全挑战，并有望成为评估黑盒环境下深度模型鲁棒性的最新基准。
2021-09-07 cs.AI cs.CR cs.LG
Tree-Structured Synergy of Large Language Models and Bayesian Optimization for Efficient CASH
School of Computer Science, Peking University（北京大学计算机科学系）
本文提出LB-MCTS框架，通过树状结构整合大语言模型与贝叶斯优化，解决高维CASH问题中的冷启动问题，实验表明其优于传统方法。
2026-10-15 cs.LG
On the Potential of Graph Neural Networks as Metamodels for Supply Chain Optimization: Dataset, Architectures, and Directions
School of Mathematics and Computer Science, Indian Institute of Technology Goa（印度理工学院果阿分校数学与计算机科学学院）
本文探讨图神经网络在供应链优化中的潜力，创建大型公共训练数据集，探索适用于节点和网络级预测的GNN架构并分析其与模拟的精度-计算权衡，还概述了基于梯度的拓扑优化等关键研究方向。
2026-11-11 cs.LG
Hyperparameter Optimization with Differentiable Metafeatures
University of Hildesheim（希尔德斯海姆大学）；University of Freiburg（弗莱堡大学）
元特征或数据集特征已被证明可以提高超参数优化（HPO）的性能。传统上，元特征被预先计算并用于测量数据集之间的相似性，从而更好地初始化HPO模型。在本文中，我们提出了一个跨数据集的代理模型称为基于可区分元特征的代理（DMFBS），预测超参数响应，即验证损失，在手头的数据集上训练的模型。与现有模型相比，DMFBS i）集成了可区分的元特征提取器，ii）使用新的多任务损失进行优化，将流形正则化与通过辅助数据集识别元任务学习的数据集相似性度量联系起来，有效地执行相似数据集的响应近似。我们在三个大型元数据集上将DMFBS与最近的几种HPO模型进行了比较，结果表明它的性能始终优于所有模型，平均提高了10%。最后，我们提供了一个广泛的消融研究，检查我们的方法的不同组成部分。
2021-02-07 cs.LG
Physics-Informed Coarsening for Multigrid Graph Neural Surrogates
Amir Bazzi（阿米尔·巴齐）；David Cardinaux（大卫·卡迪纳克斯）；Ramy Nemer（拉米·纳默）；José Alves（若泽·阿尔维斯）；Arjun Kalkur（阿鲁金·卡尔库）；Matpadi Raghavendra（马特帕迪·拉吉文德拉）；Elie Hachem（埃利·哈克）
针对固体力学中的非线性弹性、塑性和瞬态行为，提出一种结合物理信息粗化策略的多重网格图神经网络，通过基于残差的局部活动评分保留高应变/应力区域，实现分层消息传递，提升长期滚动稳定性和精度。
2026-05-29 cs.LG
Augmenting Novelty Search with a Surrogate Model to Engineer Meta-Diversity in Ensembles of Classifiers
Imperial College London（帝国理工学院）；Edinburgh Napier University（爱丁堡龙比亚大学）
使用神经进化结合新奇搜索来促进行为多样性，能够构建用于分类的高性能集合。然而，在搜索期间使用梯度下降来训练演进的架构在计算上可能是禁止的。在这里，我们提出了一种方法来克服这一限制，通过使用一个代理模型，估计两个神经网络架构之间的行为距离计算的稀疏项在新奇搜索。我们证明了10倍的速度比以前的工作，并显着改善了以前的报告结果的三个基准数据集从计算机视觉- CIFAR-10，CIFAR-100，和SVHN。这是由于通过使用代理来促进扩展的架构搜索空间。我们的方法代表了一个改进的范例，实现水平缩放的学习算法的多样性显式搜索相当容易处理相同的有界资源。
2022-02-08 cs.CV cs.LG cs.NE
Combining Latent Space and Structured Kernels for Bayesian Optimization over Combinatorial Spaces
Washington State University（华盛顿州立大学）
我们考虑优化组合空间的问题（例如，序列、树和图）使用昂贵的黑盒函数求值。例如，使用物理实验室实验优化药物设计的分子。贝叶斯优化（BO）是一个有效的框架，解决这类问题的智能选择高效用的输入引导学习代理模型。组合空间的最近BO方法是通过使用深度生成模型（DGMs）学习结构的潜在表示来在连续空间上减少BO。从连续空间中选择的输入被解码成离散结构，用于执行函数求值。然而，潜在空间上的代理模型仅使用由DGM学习的信息，其可能不具有期望的归纳偏差来近似目标黑盒函数。为了克服这个缺点，本文提出了一种称为LADDER的原则性方法。其关键思想是定义一个新的结构耦合内核，明确集成的结构信息解码结构与学习的潜在空间表示更好的代理建模。我们在真实世界的基准测试中的实验表明，LADDER显着改善了潜在空间上的BO方法，并且表现得更好或类似于最先进的方法。
2021-11-01 cs.AI cs.LG
Structured Kernel Regression VAE: A Computationally Efficient Surrogate for GP-VAEs in ICA
Hong Kong Polytechnic University（香港理工大学）
为解决GP-VAE在独立成分分析中计算成本高的问题，提出SKR-VAE模型，通过避免核矩阵求逆在保持性能的同时显著提升计算效率。
2025-08-13 cs.LG stat.ML
Towards Scalable and Robust Structured Bandits: A Meta-Learning Framework
North Carolina State University（北卡罗来纳州立大学）
在线学习在大规模的结构化土匪是众所周知的，是具有挑战性的，由于维数灾难。本文针对一类结构化强盗问题提出了一个统一的元学习框架，其中参数空间可以分解到项目级。新的Bandit算法具有通用性，适用于许多流行的问题，可扩展到巨大的参数和动作空间，并对泛化模型的规格说明具有鲁棒性。在这个框架的核心是一个贝叶斯层次模型，允许通过其功能项目之间的信息共享，在此基础上，我们设计了一个Meta汤普森抽样算法。三个有代表性的例子进行了深入的讨论。理论分析和数值结果都支持了该方法的有效性。
2022-02-26 cs.LG
PAMELI: A Meta-Algorithm for Computationally Expensive Multi-Objective Optimization Problems
我们提出了一个算法的多目标优化计算昂贵的问题。该算法是基于解决一组代理问题定义的模型的真正的，所以只有解决方案估计是近似帕累托最优的评估使用真正的昂贵的功能。除了搜索解决方案，我们的算法还执行元搜索的最佳代理模型和导航策略的优化景观，因此适应的搜索策略的解决方案的问题，因为它获得了新的信息。我们的方法的竞争力证明了一个国家的最先进的代理辅助进化算法的一组基准问题的实验比较。
2021-04-18 cs.LG cs.NE
Learning Composable Energy Surrogates for PDE Order Reduction
Princeton University（普林斯顿大学）
超材料是一类重要的新兴工程材料，其中复杂的宏观行为-无论是电磁，热，或机械-来自模块化的子结构。这些材料的模拟和优化在计算上是具有挑战性的，因为丰富的子结构需要高保真度的有限元网格来求解控制偏微分方程。为了解决这个问题，我们利用参数化模块化结构来学习组件级代理，从而实现更便宜的高保真仿真。我们使用一个神经网络来模拟给定边界条件的组件中存储的势能。这产生了一个结构化的预测任务：宏观行为是由系统的总势能的最小值，这可以近似组成这些代理模型。因此，可组合的能量替代物允许在组件边界的简化基础上进行模拟。由于训练数据是通过对单个部件进行有限元分析生成的，因此避免了对整个结构进行昂贵的地面实况模拟。使用数据集聚合来选择训练边界条件，使我们能够学习能量替代品，这些替代品在合成时产生准确的宏观行为，加速参数化元材料的模拟。
2020-05-15 cs.LG stat.ML
Short-term prediction of stream turbidity using surrogate data and a meta-model approach
RMIT University（皇家墨尔本理工大学）
许多水质监测计划旨在测量浊度，以帮助指导水道和集水区的有效管理，但在整个网络中分布浊度传感器通常成本过高。为此，我们建立并比较了动态回归（ARIMA），长短期记忆神经网络（LSTM）和广义可加模型（GAM）的能力，以提前一步预测河流浊度，使用相对低成本的原位传感器和公开数据库的替代数据。我们反复试验了四个替代协变量（降雨量，水位，气温和全球太阳总暴露量）的组合，为每种类型选择了一个最终模型，最大限度地减少了校正赤池信息标准。使用滚动时间窗的交叉验证表明，ARIMA，其中包括降雨量和水位协变量，产生了最准确的预测，紧随其后的GAM，其中包括所有四个协变量。我们构建了一个元模型，根据浊度的时间序列特征进行训练，以利用每个模型在不同时间点的优势，并预测每个时间步的最佳模型（具有最低预测误差的一步先验）。元模型优于所有其他模型，表明这种方法可以产生高精度，并可能是一个可行的替代方案，使用直接从浊度传感器的成本禁止他们的部署和维护，并在短期内预测浊度测量。我们的研究结果还表明，温度和光相关的变量，例如水下照度，可能有希望作为具有成本效益的，高频率的浊度替代品，特别是当与其他协变量（如降雨量）相结合时，这些协变量通常以粗略的空间分辨率测量。
2022-10-11 cs.LG stat.AP stat.ML
Sketch In, Sketch Out: Accelerating both Learning and Inference for Structured Prediction with Kernels
Télécom Paris（巴黎电信学院）；CentraleSupélec（中央理工-高等电力学院）；University of Milan（米兰大学）
本文提出用草图化近似同时处理输入和输出核，以加速代理核方法在结构化预测中的训练与推理，并证明其理论风险界和实际可扩展性。
2024-05-06 cs.LG stat.ML
Data-Driven Differential Evolution in Tire Industry Extrusion: Leveraging Surrogate Models
Intelligent Information Systems Unit Tekniker（Tekniker智能信息系统单位）
提出一种基于代理模型的数据驱动差分进化方法，利用历史数据优化无明确数学公式的轮胎工业挤出过程，实现初始化时间减少65%并显著降低材料浪费。
2025-07-15 cs.CE cs.LG
MetaNOR: A Meta-Learnt Nonlocal Operator Regression Approach for Metamaterial Modeling
Lehigh University（理海大学）
我们提出了MetaNOR，一种基于非局部算子回归的迁移学习算子的元学习方法。总体目标是有效地提供代理模型的新的和未知的材料学习任务与不同的微观结构。该算法由两个阶段组成：（1）从现有任务中学习一个通用的非局部核表示;（2）转移学习到的知识，并快速学习替代算子，用于具有不同材料的未知任务，其中只需要少量测试样本。我们应用MetaNOR模拟一维超材料中的波传播，显示出新材料的采样效率的实质性改善。
2022-06-04 cond-mat.mtrl-sci cs.LG stat.ML
Graph Neural Network Surrogates to leverage Mechanistic Expert Knowledge towards Reliable and Immediate Pandemic Response
Institute of Software Technology, Department of High-Performance Computing, German Aerospace Center（软件技术研究所，高性能计算部门，德国航空航天中心）；Delft Institute of Applied Mathematics, Delft University of Technology（代尔夫特应用数学研究所，代尔夫特理工大学）；Life and Medical Sciences Institute and Bonn Center for Mathematical Life Sciences, University of Bonn（生命与医学科学研究所和波恩数学生命科学中心，波恩大学）；Bonn Center for Mathematical Life Sciences, University of Bonn（波恩数学生命科学中心，波恩大学）
本文提出利用图神经网络代理加速机理模型，实现快速且可靠的疫情响应决策支持。
2026-01-14 cs.LG q-bio.PE
Optimizing Closed-Loop Performance with Data from Similar Systems: A Bayesian Meta-Learning Approach
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
贝叶斯优化（BO）已经证明了在数据有限的设置，特别是对于未知的动态或未建模的性能目标的系统优化控制性能的潜力。BO算法通过使用代理模型利用不确定性估计来有效地权衡探索和开发。这些代理通常使用从待优化的目标动态系统收集的数据来学习。直觉上，对于能够准确预测目标系统性能的代理模型，BO的收敛速度更好。在经典BO中，初始代理模型是使用非常有限的数据点构建的，因此很少产生系统性能的准确预测。在本文中，我们提出了使用元学习来生成一个初始的代理模型的基础上收集的数据，从性能优化任务上执行的各种系统是不同的目标系统。为此，我们采用了深度内核网络（DKN），它易于训练，并且包括与经典BO无缝集成的编码高斯过程模型。我们提出的DKN-BO方法的有效性，加快控制系统的性能优化证明了使用一个良好的研究与未知的动态和未建模的性能函数的非线性系统。
2022-10-31 cs.LG cs.SY eess.SY
Global Optimization on Graph-Structured Data via Gaussian Processes with Spectral Representations
George Washington University（乔治华盛顿大学）；Amazon（亚马逊）；Northeastern University（东北大学）
针对贝叶斯优化扩展到图结构域的挑战，提出一种利用低秩谱表示构建高斯过程代理模型的可扩展框架，通过可学习嵌入联合推断图结构和节点表示，实现高效全局搜索，实验显示其收敛更快、优化性能更优。
2026-10-06 cs.AI cs.LG cs.SI
Return of the Latent Space COWBOYS: Re-thinking the use of VAEs for Bayesian Optimisation of Structured Spaces
School of Mathematical Sciences, Lancaster University, UK（数学科学学院，兰卡斯特大学）；Department of Applied Maths and Theoretical Physics, University of Cambridge, UK（应用数学与理论物理系，剑桥大学）
本文提出将VAE生成模型与高斯过程代理模型解耦训练并通过贝叶斯更新规则结合的新方法，在受限评估预算下提升了分子优化中识别高潜力候选对象的能力。
2025-07-05 cs.LG stat.ML
Towards a universal meta-optics solver via large language models
The Pennsylvania State University（宾夕法尼亚州立大学）；School of Electronics and Information Technology, Sun Yat-Sen University（中山大学电子与信息工程学院）
该研究提出基于Gemma-2-9B大语言模型的统一工作流，将多家族超表面相关信息转换为文本格式微调，实现跨家族光学响应预测与逆设计，MSE平均降低56.5%，减少了对任务特定架构的需求。
2026-08-28 cs.LG physics.optics
DeepFEAv2: Deep Learning for Transient Finite Element Analysis Beyond Structured Meshes
University of Thessaly（色萨利大学）
DeepFEAv2提出一种深度学习代理框架，利用FE连通性矩阵组织输入并设计新架构，实现跨网格拓扑和单元类型的瞬态FEA预测，R²高达0.99，误差低至0.38%，推理速度提升三个数量级。
2026-09-23 cs.AI cs.CE cs.LG
Towards explainable meta-learning
Warsaw University of Technology（华沙理工大学）
元学习是一个旨在发现不同的机器学习算法如何执行各种预测任务的领域。这些知识加速了超参数调整或特征工程。通过使用替代模型，预测任务的各个方面，例如元特征，地标模型等。用于预测预期性能。最先进的方法都集中在寻找最好的元模型，但没有解释这些不同的方面如何有助于其性能。然而，为了构建新一代的元模型，我们需要更深入地了解元特征对模型可调性的重要性和影响。在本文中，我们提出了可解释人工智能（XAI）开发的技术，检查和提取知识的黑盒代理模型。据我们所知，这是第一篇展示如何使用事后可解释性来改进元学习的论文。
2021-07-12 cs.LG stat.ML
Adaptive Batching for Gaussian Process Surrogates with Application in Noisy Level Set Estimation
University of California at Santa Barbara（加州大学圣巴巴拉分校）
我们发展了随机试验的高斯过程元模型的自适应复制设计。自适应优化是顺序设计优化的自然扩展，随着响应特性的学习、输入的集中和元建模开销的增加，复制的好处也会增加。针对模拟器平均响应水平集的学习问题，我们提出了四种新的方法：多级批处理（MLB）、棘轮批处理（RB）、自适应批处理逐步不确定性降低（ABSUR）、自适应设计逐步分配（ADSA）和确定性设计逐步分配（DDSA）。我们的算法同时（MLB，RB和ABSUR）或顺序（ADSA和DDSA）确定顺序设计输入和相应的重复次数。使用合成的例子和定量金融中的应用（通过回归蒙特卡罗的期权定价）的插图表明，自适应的递归带来了显着的计算速度与建模保真度的损失最小。
2021-07-13 cs.LG stat.ML
Fast rates in structured prediction
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure - PSL Research University（巴黎高等师范学院 - PSL研究大学）
离散监督学习问题（如分类）通常通过引入类似于回归的连续代理问题来解决。通过替代误差来界定估计值和解之间的原始误差，可以使离散问题具有连续情况下已经显示的收敛速度。然而，当前的方法没有利用这样的事实，即当连续问题预测连续值时，离散问题本质上是预测离散输出。在本文中，我们解决这个问题的一般结构化预测问题，开辟了“超快”的速度，即收敛速度的超额风险快于$n^{-1}$，其中$n$是观察的数量，甚至指数率与最强的假设。我们首先说明它的预测最近的邻居的基础上，广义率已知的二进制分类的结构化预测的框架内的任何离散问题。然后，我们考虑内核岭回归，我们在$n^{-1/4}$中提高已知的速率到任意快的速率，这取决于表征问题硬度的参数，从而允许在平滑假设下绕过维数灾难。
2021-07-15 cs.AI cs.LG math.ST
Multi-Hierarchical Surrogate Learning for Structural Dynamical Crash Simulations Using Graph Convolutional Neural Networks
University of Stuttgart（斯图加特大学）；University of Washington（华盛顿大学）
提出一种基于图卷积神经网络的多分层代理建模框架，通过网格简化和迁移学习在多分辨率下构建代理模型，以降低碰撞仿真计算成本并适应不同硬件与精度需求。
2024-02-15 cs.LG math.DS
Variational Autoencoding of PDE Inverse Problems
University of Warwick（华威大学）；The Alan Turing Institute（艾伦·图灵研究所）
在物理学缺失的情况下如何建立一个支配物理模型和恢复其参数是科学中两个相互交织的基本问题。现代机器学习允许人们通过仿真器和代理人来规避这些问题，但这样做会忽视先验知识和物理定律，而这些知识和物理定律对于小数据机制、可解释性和决策制定尤为重要。在这项工作中，我们折叠成一个灵活的数据驱动的代理机制模型，以达到一个物理结构的解码器网络。这为贝叶斯逆问题提供了加速推理，并且可以充当编码先验物理信息的插入式正则化器。我们采用偏微分方程问题的变分形式，并引入随机局部近似作为一种形式的基于模型的数据增强。我们证明了在现实世界的设置和结构化的空间过程的框架的准确性和提高的计算效率。
2020-06-28 cs.LG stat.ML
Structured Prediction for Conditional Meta-Learning
Imperial College London（帝国理工学院）
基于优化的元学习的目标是找到一个跨任务分布共享的单个初始化，以加快学习新任务的过程。条件元学习寻求特定于任务的初始化，以更好地捕捉复杂的任务分布并提高性能。然而，现有的许多条件方法难以推广，缺乏理论保证。在这项工作中，我们提出了一个新的角度有条件的元学习通过结构化预测。我们得到任务自适应结构化元学习（TASML），一个原则性的框架，产生特定于任务的目标函数，通过加权Meta训练数据的目标任务。我们的非参数方法是模型不可知的，可以与现有的元学习方法相结合，以实现条件反射。从经验上讲，我们表明，TASML提高了现有元学习模型的性能，并在基准数据集上优于最先进的模型。
2020-10-19 cs.LG stat.ML
Differentiable graph-structured models for inverse design of lattice materials
European Space Research and Technology Centre（欧洲空间研究与技术中心）；European Space Agency（欧洲空间局）
本文提出基于可微图消息传递和图神经网络代理模型的晶格材料逆向设计方法，可同时优化几何结构与局部属性，适用于规则和不规则晶格及任意异构图系统。
2023-09-22 cond-mat.mtrl-sci cs.AI cs.LG
