Online Conformal Prediction: Enforcing monotonicity via Online Optimization
University of Michigan（密歇根大学）
本文提出两种新的在线置信预测方法，生成不同置信水平下的嵌套预测集，实现整个风险范围的不确定性量化。方法通过在线优化控制后悔，提高统计效率。
2026-05-12 cs.LG stat.ML
Additive Tree-Structured Conditional Parameter Spaces in Bayesian Optimization: A Novel Covariance Function and a Fast Implementation
KU Leuven（鲁汶大学）
贝叶斯优化（BO）是一种样本有效的全局优化算法的黑箱函数，这是昂贵的评估。现有的文献中基于模型的优化在条件参数空间通常是建立在树。本文将可加性假设推广到树结构函数，提出了可加性树结构协方差函数，提高了样本效率，具有更广泛的适用性和更大的灵活性。此外，通过结合参数空间的结构信息和BO循环中的可加性假设，我们开发了一种并行算法来优化采集函数，这种优化可以在低维空间中进行。我们展示了我们的方法上的优化基准函数，神经网络压缩问题，修剪预训练的VGG16和ResNet50模型，以及搜索激活函数的ResNet20。实验结果表明，我们的方法在条件参数优化方面明显优于现有技术，包括SMAC，TPE和Jenatton等人（2017）。
2020-10-06 cs.LG stat.ML
Local Latent Space Bayesian Optimization over Structured Inputs
University of Pennsylvania（宾夕法尼亚大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University College London（伦敦大学学院）；Massachusetts Institute of Technology（麻省理工学院）
深度自动编码器模型（DAE）的潜在空间上的贝叶斯优化最近已经成为一种有前途的新方法，用于在结构化、离散、难以枚举的搜索空间（例如，分子）。这里，DAE通过将输入映射到连续的潜在空间中，可以更容易地应用熟悉的贝叶斯优化工具，从而大大简化了搜索空间。尽管这种简化，潜在空间通常仍然是高维的。因此，即使有一个非常合适的潜在空间，这些方法并不一定提供一个完整的解决方案，但可能会转移到一个高维的结构化优化问题。在本文中，我们提出了LOL-BO，它适应了最近的高维贝叶斯优化工作中探索的信任区域的概念结构化设置。通过将编码器重新公式化，使其既作为DAE的全局编码器，又作为信任区域内代理模型的深层内核，我们可以更好地将潜在空间中的局部优化概念与输入空间中的局部优化概念相结合。LOL-BO在六个真实世界的基准测试中实现了最先进的潜在空间贝叶斯优化方法的20倍改进，表明优化策略的改进与开发更好的DAE模型一样重要。
2023-02-22 cs.LG stat.ML
TB or Not TB: Coverage-Driven Direct Preference Optimization for Verilog Stimulus Generation
Core AI Department（核心人工智能部门）；Cognichip Inc（认知芯片公司）
TB or not TB通过覆盖率驱动的直接偏好优化，提升Verilog刺激生成的覆盖率和效率。
2025-11-19 cs.AI cs.LG cs.PL
Structured sparsity through convex optimization
INRIA（法国国家信息与自动化研究所）；University of California, Berkeley（加州大学伯克利分校）
稀疏估计方法旨在使用或获得数据或模型的简约表示。虽然自然地转换为组合优化问题，但变量或特征选择通过$\ell_1$ -范数的正则化允许凸松弛。在本文中，我们考虑的情况下，我们不仅感兴趣的稀疏性，但一些结构先验知识是可用的。我们表明，$\ell_1$规范，然后可以扩展到结构化的规范建立在不相交或重叠的变量组，导致一个灵活的框架，可以处理各种结构。我们目前的应用程序无监督学习，结构稀疏主成分分析和层次字典学习，并在非线性变量选择的背景下，监督学习。
2012-04-20 cs.LG stat.ML
Sparse Stochastic Zeroth-Order Optimization with an Application to Bandit Structured Prediction
Amazon Research（亚马逊研究院）；Heidelberg University（海德堡大学）
随机零阶（SZO）或无梯度优化允许仅依赖于参数扰动下的函数评估来优化任意函数，然而，SZO方法的迭代复杂度与扰动函数的维数成比例。我们表明，在结构化预测应用中具有自然稀疏模式的情况下，该因子可以减少到输入输出对上的活动特征的预期数量。我们给出了一个一般的证明，适用于稀疏SZO优化Lipschitz连续，非凸，随机目标，并提出了一个实验评估线性强盗结构预测任务与稀疏字为基础的特征表示，证实我们的理论结果。
2020-11-10 cs.CL cs.LG stat.ML
Volume Optimality in Conformal Prediction with Structured Prediction Sets
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Northwestern University（西北大学）
本文提出一种基于动态规划的无分布算法，在结构化预测集（$k$-区间并集）中实现近最优体积，并兼顾覆盖保证，实验显示优于现有方法。
2025-02-23 cs.LG stat.ML
A General Framework for Structured Sparsity via Proximal Optimization
University College London（伦敦大学学院）
我们研究了结构稀疏性的一个广义框架。它扩展了著名的Lasso和Group Lasso方法，将变量的额外约束作为凸优化问题的一部分。该框架提供了一种直接的方式，有利于规定的稀疏模式，如排序，连续区域和重叠组，等等。现有的优化方法仅限于特定的约束集，往往不能很好地扩展样本大小和维度。我们提出了一种新的一阶近似方法，它建立在不动点和逐次逼近的结果。该算法可以应用于一般类的圆锥曲线和范数约束集，并依赖于一个邻近算子的子问题，可以显式计算。在不同的回归问题上的实验证明了该优化算法的有效性及其随问题规模的扩展性。它们还展示了最先进的统计性能，比Lasso和StructOMP有所改进。
2011-06-26 cs.LG stat.ML
Optimization of Structured Mean Field Objectives
University of California at Berkeley（加州大学伯克利分校）
在难以处理的无向图模型中，创建结构化平均场近似的直观方法是选择非循环易处理的子图。我们表明，计算的平均场目标的目标函数和梯度的硬度定性地依赖于一个简单的图形属性。如果易处理的子图有这个属性-我们称这样的子图为v-非循环的-一个非常快的块坐标上升算法是可能的。如果没有，优化是困难的，但我们展示了一个新的算法的基础上建设的一个辅助指数的家庭，可以用来使推理可能在这种情况下，以及。我们讨论了每个政权的优点和缺点，并比较经验的算法。
2012-05-09 cs.LG stat.ML
Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Massachusetts Institute of Technology（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
在深度神经网络分类器的对抗训练和生成对抗网络的训练中使用最小-最大优化激发了对非凸-非凹优化目标的研究，这些目标在这些应用中经常出现。不幸的是，最近的研究结果已经确定，即使近似的一阶稳定点，这样的目标是棘手的，即使在光滑条件下，激励研究的最小最大目标与其他结构。我们引入了一类新的结构化非凸非凹极小极大最优化问题，提出了一个推广的外梯度算法，可证明收敛到一个稳定点。该算法不仅适用于欧几里得空间，而且适用于一般的$\ell_p$ -赋范有限维实向量空间。我们还讨论了它的稳定性下的随机预言，并提供其样本复杂性的界限。我们的迭代复杂性和样本复杂性的界限匹配或改善最好的已知的界限相同或更一般的非凸非凹设置，如满足变分相干或在其中弱解相关的变分不等式问题被假定存在。
2021-02-27 cs.DS cs.LG math.OC
Good practices for Bayesian Optimization of high dimensional structured spaces
Aalto University（阿尔托大学）；Microsoft（微软公司）；University of Cambridge（剑桥大学）
越来越多的结构化但高维数据的可用性为优化提供了新的机会。一个新兴的和有前途的途径是探索无监督的方法，将结构化的高维数据投影到低维连续表示，简化优化问题，使传统的优化方法的应用。然而，这一系列的研究一直是纯粹的方法，与从业者的需求很少连接到目前为止。在本文中，我们研究了不同的搜索空间设计选择的效果进行贝叶斯优化在高维结构化数据集。特别是，我们分析了潜在空间的维数的影响，采集功能的作用，并评估新的方法来自动定义潜在空间中的优化边界。最后，基于使用合成和真实数据集的实验结果，我们为从业者提供了建议。
2021-01-06 cs.LG
Fast and computationally efficient generative adversarial network algorithm for unmanned aerial vehicle-based network coverage optimization
Nanchang Institute of Technology（南昌工程学院）；King’s College London（伦敦国王学院）
移动网络中动态流量需求的挑战是通过基于无人机的移动小区来解决的。考虑到无人机在未来的巨大潜力，我们提出了一种新的启发式算法的覆盖优化。该算法基于条件生成对抗神经网络实现，具有独特的多层和池损失函数。为了评估所提出的方法的性能，我们将其与最优核集算法和准最优螺旋算法进行了比较。仿真结果表明，该方法收敛到准最优解，与全局最优解的差异可以忽略不计，同时保持二次复杂度，无论用户的数量。
2022-03-25 cs.LG cs.NI
Stochastic Iterative Hard Thresholding for Graph-structured Sparsity Optimization
SUNY at Albany（纽约州立大学奥尔巴尼分校）
随机优化算法以较低的每次迭代成本连续更新模型，这使得它们适合大规模数据分析。这种算法已经被广泛研究用于结构化稀疏模型，其中稀疏信息是非常具体的，例如，凸稀疏诱导范数或$\ell^0$ -范数。然而，这些规范不能直接应用于复杂的（非凸）图结构稀疏模型的问题，这在疾病爆发和社交网络等有重要的应用。在本文中，我们提出了一种基于随机梯度的方法来解决图结构稀疏约束问题，不限于最小二乘损失。我们证明了我们的算法具有线性收敛到一个常数的错误，这是竞争对手在批量学习设置。我们进行了大量的实验，以显示所提出的算法的效率和有效性。
2019-05-09 cs.AI cs.LG stat.ML
LatticeBridge: Rare-Event Sequential Inference for Faithful Structured Sequence Synthesis
Bahcesehir University（巴切塞希尔大学）
针对结构化序列生成中约束满足的罕见事件问题，提出LatticeBridge方法，结合前缀语言模型、实例编译表面自动机和扭曲序列蒙特卡洛解码器，在多个基准上显著提升锚点满足率和覆盖率。
2026-06-11 cs.CL cs.LG
Modified Adaptive Tree-Structured Parzen Estimator for Hyperparameter Optimization
Warsaw University of Technology（华沙理工大学）；AGH University of Krakow（克拉科夫AGH大学）
本文回顾了机器学习超参数优化方法，重点针对ATPE算法提出多项修改，并在标准基准函数上验证了其显著提升优化效果，具有实际应用价值。
2025-02-02 cs.LG
Coverage Analysis of Multi-Environment Q-Learning Algorithms for Wireless Network Optimization
University of Southern California（南加州大学）
本文针对多环境混合Q学习算法进行覆盖分析，建立覆盖系数期望与方差上界，提出高效初始化算法，并在真实无线网络上验证其可降低50%策略误差和40%运行时复杂度。
2024-08-29 cs.LG cs.NI eess.SP
GraphSkillEvo: Evolutionary Optimization of Graph-Structured Agent Skills
City University of Hong Kong（香港城市大学）；National University of Singapore（新加坡国立大学）；Southern University of Science and Technology（南方科技大学）
GraphSkillEvo提出将智能体技能表示为图结构，并通过进化优化框架（含变异和交叉算子）在结构化空间中高效搜索，在五个基准上超越SkillOpt，平均准确率提升最高达4.01%。
2026-09-21 cs.LG
Structured Point Cloud Data Analysis via Regularized Tensor Regression for Process Modeling and Optimization
Arizona State University（亚利桑那州立大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Salento（萨伦托大学）
先进的3D测量技术，如坐标测量机（CMM）和激光3D扫描仪，促进了大量点云数据的收集，有利于过程监测，控制和优化。然而，由于点云的高维性和结构复杂性，其建模和分析仍然是一个挑战。在本文中，我们利用多线性代数技术，并提出了一套张量回归方法来模拟点云的变化模式，并将它们连接到过程变量。所提出的方法的性能进行了评估，通过模拟和车削工艺优化的实际案例研究。
2018-12-01 cs.CV cs.LG stat.ML
Structured Preconditioners in Adaptive Optimization: A Unified Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Google Research（谷歌研究）
本文提出一种针对结构化预条件器自适应优化算法的统一分析，证明使用更少计算资源的结构化预条件器（如单侧Shampoo）在理论和实验上均可优于全矩阵方法。
2025-07-15 cs.LG
Marginal Coverage Credit Reduces Redundant Exploration in Parallel State-Entropy Optimization
College of Information Engineering, Hunan Applied Technology University（湖南应用技术学院信息工程学院）
该研究针对并行状态熵优化中的冗余探索问题，提出MCC-PGPSE方法，通过分配边际覆盖率信用重新分配辅助奖励，在多类基准上提升了并行策略的互补覆盖效果。
2026-08-31 cs.AI cs.LG
Block-Structured Optimization for Subgraph Detection in Interdependent Networks
Hefei University of Technology（合肥工业大学）；University at Albany – SUNY（纽约州立大学奥尔巴尼分校）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Mininglamp Academy of Sciences, Mininglamp Technologies（明略科技集团明略科学院）
我们提出了一个通用的框架块结构的非凸优化，它可以应用于结构化的子图检测相互依赖的网络，如多层网络，时间网络，网络的网络，和许多其他的。具体来说，我们设计了一个有效的，高效的，可并行化的投影算法，即图块结构梯度投影（GBGP），优化一般的非线性函数的图形结构的约束。我们证明了我们的算法：1）运行在网络规模的近似线性时间; 2）享有理论上的近似保证。此外，我们展示了我们的框架可以应用到两个非常实际的应用程序，并进行全面的实验，以显示我们所提出的算法的有效性和效率。
2022-10-06 cs.AI cs.LG
Convex Optimization For Non-Convex Problems via Column Generation
Experian Data Lab（益博睿数据实验室）；University of California San Diego（加州大学圣地亚哥分校）
我们通过一组原始结构化对象的交叉熵或L2损失下，应用列生成来近似复杂的结构化对象。我们使用L1正则化来鼓励使用少量结构化的原始对象。我们攻击近似使用凸优化在一个无限数量的变量，每个对应于一个原始的结构化的对象，生成的需求，通过简单的推断在拉格朗日对偶。我们应用我们的方法生产低秩近似大3路张量。
2016-02-14 cs.LG
Who Speaks for the Pruned? Visual Token Pruning as Coverage Optimization
School of Computing, University of Georgia（佐治亚大学计算学院）；College of Engineering, Northeastern University（东北大学工程学院）
本文针对视觉语言模型剪枝仅关注保留令牌的缺陷，提出无需训练的CoverPruner，将剪枝建模为表征覆盖最大化，在多架构及压缩率下实现最优平均准确率，激进压缩时增益最大。
2026-09-04 cs.CL cs.CV cs.LG
View-Structured Conformal Prediction for 3D Gaussian Splatting
Nankai University（南开大学）；Beihang University（北京航空航天大学）
针对3D高斯泼溅新视角合成，提出视图结构化共形预测（VSCP），分解尺度为空间形状与视图难度因子，通过视图级校准保证覆盖率并削减预测宽度，实验验证其有效性与高效性。
2026-09-10 cs.CV cs.LG
Learning as Search Optimization: Approximate Large Margin Methods for Structured Prediction
Information Sciences Institute（信息科学研究所）
映射到结构化输出空间（字符串、树、分区等）通常使用分类算法到简单图形结构的扩展来学习（例如，线性链），其中可以精确地执行搜索和参数估计。不幸的是，在许多复杂的问题，这是罕见的，精确的搜索或参数估计是易于处理的。而不是学习精确的模型和搜索通过启发式手段，我们拥抱这个困难，并在近似搜索方面的结构化输出问题。我们提出了一个框架，学习搜索优化，两个参数更新收敛定理和界限。经验证据表明，我们的学习和解码集成方法可以以更小的计算成本优于精确模型。
2009-07-04 cs.CL cs.LG
Optimization-based Online Conformal Prediction for Multi-step Forecasting
University of Michigan（密歇根大学）
提出O2CP框架，通过双层优化结构建模多步误差依赖，在保证边际覆盖有效性的同时生成更窄的预测区间，实验表明在自动驾驶、气候预测等领域优于现有方法。
2026-08-10 cs.LG
ASGO: Adaptive Structured Gradient Optimization
Rice University（里士大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta Platforms, Inc.（Meta平台公司）；Columbia University（哥伦比亚大学）
针对现有优化器未利用深度神经网络训练中梯度低秩、Hessian近似块对角的结构特性问题，提出自适应结构化梯度优化算法ASGO，经理论证明其收敛速率更优，且在语言模型任务上验证了有效性。
2025-10-29 cs.LG math.OC
Structured Regularization for Constrained Optimization on the SPD Manifold
Harvard University（哈佛大学）
针对SPD流形约束优化中黎曼算法的计算瓶颈，提出基于对称规范函数的结构化正则化器，通过保持凸性或凸差结构，实现用高效无约束方法求解约束问题，数值实验验证了其有效性。
2024-10-12 cs.LG math.DG math.OC
On Correcting Inputs: Inverse Optimization for Online Structured Prediction
University of Maryland（马里兰大学）
算法设计者通常假设输入数据是正确的，然后使用该输入数据继续寻找“最优”或“次优”解决方案。然而，这种正确数据的假设在实践中并不总是成立，特别是在在线学习系统的背景下，其中目标是在给定一些训练样本的情况下学习适当的特征权重。这种情况下需要研究逆优化问题，其中一个给定的输入实例以及所需的输出，任务是调整输入数据，使给定的输出确实是最优的。受学习结构化预测模型的启发，在本文中，我们考虑了具有裕度的逆优化，即，我们要求给定的输出比所有其他可行的输出好一个期望的裕度。我们认为这样的逆优化问题的最大权拟阵的基础上，拟阵的交集，完美匹配，最小成本最大流，最短路径，并得出第一个已知的结果，这样的问题与非零利润。这些算法的有效性，结构化预测的在线学习的方法进行了讨论。
2015-10-12 cs.LG
Bridging Visualization and Optimization: Multimodal Large Language Models on Graph-Structured Combinatorial Optimization
本研究提出将图转换为图像，结合多模态大语言模型与简单搜索技术，以解决图结构组合优化问题，实验表明该方法具备卓越空间智能，可高效处理多种图任务。
2025-01-21 cs.AI cs.LG
Scalable Gaussian Process Hyperparameter Optimization via Coverage Regularization
University of Colorado Boulder（科罗拉多大学博尔德分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
高斯过程（GP）是贝叶斯非参数模型，由于其准确性和固有不确定性量化（UQ）而在各种应用中流行。调整GP超参数对于确保预测精度和不确定性的有效性至关重要;唯一地估计多个超参数，例如Matern内核也可能是一个重大挑战。此外，在大规模数据集上训练GP是一个非常活跃的研究领域：传统的最大似然超参数训练需要二次记忆来形成协方差矩阵，并且具有立方训练复杂度。为了解决可扩展的超参数调整问题，我们提出了一种新的算法，估计的平滑度和长度尺度参数的Matern内核，以提高鲁棒性的预测不确定性。使用新的损失函数类似于那些在共形预测算法的超参数估计算法MuyGPs提供的计算框架，我们实现了改进的UQ留一法似然最大化，同时保持了高度的可扩展性，在数值实验中证明。
2022-11-02 cs.LG cs.NA math.NA
A Screening Strategy for Structured Optimization Involving Nonconvex $\ell_{q,p}$ Regularization
ShanghaiTech University（上海科技大学）
在本文中，我们开发了一个简单而有效的筛选规则策略，以提高计算效率，在解决结构优化涉及非凸$\ell_{q,p}$正则化。基于迭代重新加权的$\ell_1$（IRL1）框架，建议的筛选规则的工作原理就像一个预处理模块，可能会删除不活跃的组，然后再启动子问题求解器，从而减少总的计算时间。这主要是通过在每次迭代中启发式地利用对偶子问题的信息来实现的。此外，我们证明了我们的筛选规则可以在有限次迭代中删除所有无效变量。数值实验表明，我们的筛选规则策略的效率相比，一些国家的最先进的算法。
2022-08-02 cs.LG stat.ME
End-to-end Conditional Robust Optimization
HEC Montréal（蒙特利尔高等商学院）；GERAD（GERAD（蒙特利尔大学等联合研究机构））
针对高风险决策的安全性需求，本文提出端到端训练条件鲁棒优化模型的方法，通过在损失中引入逻辑回归可微层提升条件覆盖质量，决策性能优于传统先估计后优化方案。
2024-03-07 cs.LG
DrugImproverGPT: A Large Language Model for Drug Optimization with Fine-Tuning via Structured Policy Optimization
Department of XXX, University of YYY, Location, Country；School of ZZZ, Institute of WWW, Location, Country
本研究针对药物优化问题，提出DrugImprover框架及SPO算法微调LLM生成模型，在保留药物有益性质的同时提升目标性能，还构建了含100万化合物的数据集，评估证明了方法有效性。
2025-02-11 cs.CL cs.LG q-bio.BM
Structured model selection via $\ell_1-\ell_2$ optimization
本文提出一种基于非凸 $\ell_1-\ell_2$ 稀疏优化的学习方法，用于从欠采样含噪时空数据中识别结构化动力系统，并通过理论分析和数值实验验证了其稳定恢复与计算效率。
2023-05-30 cs.IT cs.LG math.IT
Continuous Function Structured in Multilayer Perceptron for Global Optimization
Soft Foundry Institute, Seoul National University（首尔国立大学软铸造研究所）
针对全局最小搜索基准测试问题，利用函数导数修正线性神经元多层感知器的梯度信息。通过这种方法，我们证明了使用函数导数从给定的连续函数导出的梯度的景观可以是具有ax+b神经元的MLP形式。在此范围内，所提出的算法提高了优化过程的可用性，同时处理问题集中的所有参数。该方法的功能可以通过有意设计的凸函数和Kullack-Liebler散度应用于成本值以及改善。
2023-03-07 cond-mat.dis-nn cs.LG
Metric Learning Driven Multi-Task Structured Output Optimization for Robust Keypoint Tracking
Zhejiang University（浙江大学）
作为计算机视觉和图形学中的一个重要且具有挑战性的问题，基于关键点的目标跟踪通常在时空统计学习框架中进行表述。然而，大多数现有的关键点跟踪器不能有效地建模和平衡以下三个方面的同时的方式：跨帧的时间模型的一致性，帧内的空间模型的一致性，和歧视性的功能建设。为了解决这个问题，我们提出了一个强大的关键点跟踪器基于时空多任务结构化输出优化驱动的判别度量学习。因此，时间模型一致性的特点是多任务结构化的关键点模型学习在几个相邻的帧，而空间模型的一致性是通过解决基于几何验证的结构化学习问题。通过度量学习实现区分性特征构造，以确保类内紧致性和类间可分性。最后，上述三个模块同时优化的联合学习计划。实验结果证明了我们的跟踪器的有效性。
2014-12-04 cs.CV cs.LG
Formal-Verification-Guided Bayesian Optimization for Non-Intrusive Last-Mile Coverage Closure
Texas A&M University（德克萨斯农工大学）
该研究提出形式化验证引导的非侵入式工作流，结合AST/COI映射、形式化可达性分析与分组BO，在OpenTitan AES和熵源上实现了高覆盖率的最后一英里功能覆盖闭合。
2026-10-14 cs.AR cs.LG
WONDER: A Radio World Model-based Negotiation Framework for Multi-Agent UAV Coverage Optimization
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）；College of Communications and Engineering, Army Engineering University of PLA（中国人民解放军陆军工程大学通信工程学院）；Macau University of Science and Technology（澳门科技大学）
针对灾后无线覆盖中断问题，提出基于JEPA无线电世界模型与PPO演员交替更新的WONDER框架，在含62个城市场景的RadioDynamics仿真中，其平衡得分0.870，覆盖优于STACCA且保持无人机全连通。
2026-08-19 cs.LG cs.MA
Classifier-pruned Bayesian optimization for particle accelerator tuning: Exploring temporally structured manifold of 6D beam phase space
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
针对粒子加速器调谐这一高维优化问题，提出CBOL-Tuner框架，集成条件变分自编码器、长短期记忆网络、轻量级神经网络及分类器剪枝贝叶斯优化器，可在6D束流相空间的时间结构潜在流形内高效探索。
2026-09-29 cs.LG
PRISM: Structured Optimization via Anisotropic Spectral Shaping
Yujie Yang
PRISM通过各向异性频谱塑造技术，结合部分第二阶信息提升第一阶优化方法，实现高效结构化优化。
2026-02-03 cs.AI cs.LG
SPAP: Structured Pruning via Alternating Optimization and Penalty Methods
Department of Mathematics The University of Hong Kong（数学系香港大学）
本文提出基于交替优化与罚方法的LLM结构化剪枝框架SPAP，通过混合整数优化建模和交替最小化算法，在OPT、LLaMA等模型上实现线性加速与内存降低，同时保持性能。
2025-05-06 cs.AI cs.LG math.OC
Diverse Policy Optimization for Structured Action Space
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institute of AI and Robotics for Society（深圳人工智能与机器人研究院）
增强策略的多样性有利于强化学习的鲁棒性、探索性和迁移性。在本文中，我们的目标是寻求不同的政策，在一个未充分探索的设置，即RL任务与结构化的动作空间的可组合性和局部依赖性的两个属性。复杂的动作结构，不均匀的奖励景观，以及由于结构化动作的特性而引起的微妙的超参数调整，阻止了现有方法的良好扩展。我们提出了一种简单有效的强化学习方法，多样性策略优化（DPO），模型的策略在结构化的行动空间作为基于能量的模型（EBM）通过以下概率强化学习框架。最近提出的一种新颖的和强大的生成模型，GFlowNet，介绍了高效的，多样化的基于循证医学的政策采样器。DPO遵循联合优化框架：外层使用GFlowNet采样的不同策略来更新基于EBM的策略，这支持内层的GFlowNet训练。在ATSC和Battle基准测试上的实验表明，DPO可以在具有挑战性的场景中有效地发现令人惊讶的多样化策略，并大大优于现有的最先进的方法。
2023-02-23 cs.AI cs.LG
Multi-Objective Bayesian Optimization via Adaptive \varepsilon-Constraints Decomposition
Department of Computer Science, Aalto University, Espoo, Finland（阿尔托大学计算机科学系，芬兰 Espoo）；ELLIS Institute Finland（芬兰 ELLIS 机构）；Department of Computer Science, University of Manchester, Manchester, United Kingdom（曼彻斯特大学计算机科学系，英国 Manchester）
提出STAGE-BO方法，通过自适应ε-约束分解将多目标优化转化为序列约束子问题，实现均匀帕累托覆盖并处理约束与偏好。
2026-05-29 cs.LG
UAV Base Station Trajectory Optimization Based on Reinforcement Learning in Post-disaster Search and Rescue Operations
Muroran Institute of Technology（室兰工业大学）
由于灾害，地面基站（TBS）将部分崩溃。一些用户设备（UE）将不被服务。部署无人机（UAV）作为空中基站是快速覆盖UE的方法。但现有的方法仅涉及无人机的覆盖范围。在这些场景中，他们专注于在所有TBS不再工作的灾后地区部署无人机。现有的TBS和无人机的组合的研究有限。我们提出的方法来部署无人机与可用的TBS作为空中基站合作。并通过强化学习提高覆盖率。此外，在实验中，我们首先使用平衡迭代减少和使用层次分簇（BIRCH）对UE进行分簇。最后，通过Q-learning实现基站对UE的更好覆盖。
2022-02-17 cs.LG
Evolutionary Optimization of High-Coverage Budgeted Classifiers
Wake Forest University（维克森林大学）
分类器通常用于时间受限的设置，其中必须快速将标签分配给输入。为了解决这些情况，预算多阶段分类器（MSC）通过一系列部分特征获取和评估步骤与早期退出选项处理输入，直到可以做出自信的预测。这允许快速评估，可以防止在时间关键的情况下进行昂贵的、不必要的特征获取。然而，性能的MSC是高度敏感的几个设计方面-使这些系统的优化是一个重要的，但困难的问题。为了近似一个最初棘手的组合问题，目前的MSC配置方法依赖于行为良好的代理损失函数占两个主要目标（处理成本，错误）。这些方法已被证明在许多情况下是有用的，但受到分析约束（凸性，平滑性等）的限制。并且不管理额外的性能目标。值得注意的是，这种方法没有明确说明实时检测系统的一个重要方面--“接受”预测的比率满足由风险规避监测器施加的某种置信度标准。本文提出了一种特定问题的遗传算法，EMSCO，它采用了终端拒绝选项的不确定性预测和对待MSC设计作为一个进化优化问题，具有不同的目标（准确性，成本，覆盖范围）。该算法的设计强调帕累托效率，同时尊重通过一个独特的标量聚合性能的概念。实验证明了EMSCO在各种Theta（k^n）解空间中找到全局最优解的能力，多个实验表明EMSCO与其他预算方法相比具有竞争力。
2021-12-03 cs.LG cs.NE
A Structured Tour of Optimization with Finite Differences
DIBRIS, University of Genova（热那亚大学DIBRIS学院）；University of Genova（热那亚大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；CBMM - MIT（MIT CBMM）
本文综述并扩展了有限差分优化中的结构化方向选择策略，证明其能以相近计算成本显著提升梯度估计精度与优化性能，涵盖合成任务与对抗扰动等应用。
2025-05-26 cs.LG math.OC
Cliqueformer: Model-Based Optimization with Structured Transformers
Cliqueformer通过功能图模型学习黑盒函数结构，提升模型优化性能，适用于蛋白质工程和材料发现等设计任务。
2026-03-18 cs.AI cs.LG
The Importance of Online Data: Understanding Preference Fine-tuning via Coverage
Carnegie Mellon University（卡内基梅隆大学）；Aurora Innovation（奥罗拉创新公司）；Cornell University（康奈尔大学）
本研究通过覆盖度理论证明离线对比方法需全局覆盖条件，而在线RL仅需局部覆盖，并据此提出混合偏好优化算法HyPO，兼具性能与效率优势。
2024-07-16 cs.AI cs.CL cs.LG
Data-Efficient Structured Pruning via Submodular Optimization
Samsung - SAIT AI Lab（三星-三星先进技术研究院人工智能实验室）；Harvard University（哈佛大学）；Mila（米拉研究所）；Université de Montreal（蒙特利尔大学）
结构化剪枝是压缩大型预训练神经网络而不显著影响其性能的有效方法。然而，大多数当前的结构化修剪方法不提供任何性能保证，并且经常需要微调，这使得它们不适用于有限的数据制度。我们提出了一个原则性的数据有效的结构化修剪方法的基础上子模块优化。特别地，对于给定的层，我们选择要修剪的神经元/通道以及下一层的相应新权重，这使得修剪引起的下一层输入的变化最小化。我们表明，这个选择问题是一个弱次模极大化问题，因此它可以证明近似使用一个有效的贪心算法。在合理的假设下，我们的方法保证在原始模型和修剪后的模型输出之间具有指数递减的误差。它也是文献中仅使用有限数量的训练数据且不使用标签的少数方法之一。我们的实验结果表明，我们的方法优于国家的最先进的方法在有限的数据制度。
2023-02-10 cs.AI cs.DM cs.LG
