A randomised non-descent method for global optimisation
提出了一种求解非凸多峰约束优化问题的新算法。它是基于低维随机子空间(一般是流形)对可行集的截面的顺序求解约束。这种方法在绘制子空间的方式、子空间的维数以及解决限制性问题的方法上有所不同。我们提供了实证研究的凸,单峰和多峰优化问题的算法,并将其与有效的算法用于每一类问题。
2023-03-27 math.OC
A geometric integration approach to smooth optimisation: Foundations of the discrete gradient method
本文系统分析离散梯度法用于优化,证明其适定性、凸目标O(1/k)收敛及PL不等式下线性收敛,并验证多种离散梯度的数值鲁棒性。
2024-07-16 math.OC
A class of nonlinear optimisation and applications
本文介绍了一类非线性优化问题。在适当的假设下,我们得到了势函数的存在性,并证明了该势函数是Monge-Ampère型方程的广义解.我们还提出了一些有趣的应用在最佳运输和几何光学问题。
2019-09-12 math.AP math.OC
KKT Residual Sliding Manifolds: A Projection-Free Structured Finite-Time Solver for Nonlinear Constrained Optimisation
City University of London(伦敦城市大学)
本文针对非线性约束优化问题,提出无投影的SM-KKT求解器,通过稳定KKT滑动残差流形实现有限时间收敛,在四个非线性基准上表现出优于基线方法的KKT残差精度与收敛性能。
2026-10-14 cs.NA math.NA math.OC
Gradient Flows for Optimisation and Quantum Control: Foundations and Applications
为了解决有限维量子系统的优化任务,我们给出了一个全面的基础上的梯度流黎曼流形,包括新的发展:我们延长了以前的结果从李群,如全酉群封闭子群,如分区因式分解成张量积,其中最好的分区由纯粹的本地酉操作。此外,公共框架保持足够的一般性,并允许在(子)流形,李群,商群和约化齐性空间上建立梯度流。讨论了相关的收敛条件,旨在为最近和新的成果提供依据,并为进一步的研究奠定基础。(a)在抽象层次上,梯度流可以建立相关质量函数的精确上界,即在状态空间动力学的基本流形内可达到的上界;(b)在涉及具体实验设置的第二阶段中,可以建立分段恒定控制幅度$\R^m$的流形上的梯度流,以提供(近似)在现实条件下的量子设备的最优控制。说明性的例子和新的应用有关的距离措施的纯态纠缠。我们建立了高阶张量的最佳秩1近似的对应关系。
2008-12-09 math-ph math.MP math.OC
Geometric insights into robust portfolio construction
本研究扩展了无约束二次投资组合优化中alpha-权重角度与协方差矩阵条件数的关系,将结果推广至含杠杆约束的优化场景,论证等权重组合不优于均值-方差组合,并通过高斯模拟验证了理论,为稳健投资组合构建提供几何视角。
2024-12-02 math.OC q-fin.GN q-fin.PM
PCA by Optimisation of Symmetric Functions has no Spurious Local Optima
主成分分析(PCA)发现数据的最佳线性表示,并且是许多学习和推理任务中不可或缺的工具。传统上,数据集的主成分被解释为保留其大部分“能量”的方向,这一解释在理论上得到了著名的Eckart-Young-Mirsky定理的支持。本文介绍了许多其他方法进行PCA,与各种几何解释,并证明了相应的家庭的非凸规划没有虚假的局部最优,而只有严格的鞍点。因此,这些程序表现得像凸问题,并且可以有效地解决全局最优性,例如,使用随机梯度下降的某些变体。除了提供新的几何解释和增强我们对PCA的理论理解外,我们的研究结果可能为结构化降维的全新方法铺平道路,例如稀疏PCA和非负矩阵分解。更具体地说,我们研究了一个无约束的PCA使用行列式优化,可能提供一个优雅的替代方案,通常用于稀疏PCA的放气计划。
2019-12-21 math.OC
Wasserstein PAC-Bayes Learning: Exploiting Optimisation Guarantees to Explain Generalisation
Inria(法国国家信息与自动化研究所);University College London(伦敦大学学院);Université de Lille(里尔大学)
本文扩展 Wasserstein PAC-Bayes 理论,用 Wasserstein 距离替代 KL 散度建立新泛化界,并利用优化性质为 Bures-Wasserstein SGD 提供泛化保证,从而将优化保证与泛化能力联系起来。
2023-05-30 cs.LG math.OC stat.ML
Unconstrained optimisation on Riemannian manifolds
Department of Mathematics, University of Oslo(奥斯陆大学数学系)
本文给出了(局部)回溯梯度下降法和新Q- Newton方法在Riemann背景下的几种形式的显式描述,这里X是有限维的一般黎曼流形,$f:X\rightarrow \mathbb{R}$是Morse(即它的所有临界点都是非退化的)的$C^2$函数. { \bf定理。}对于黎曼局部回溯梯度下降算法中的超参数的随机选择和初始点$x_0$的随机选择,由该算法构造的序列$\{x_n\}$(i)收敛到$f$的局部最小值或(ii)最终离开$X$的每个紧致子集(换句话说,在$X$上发散到无穷大)。如果$f$具有紧凑的子级,则只发生前一种选择。收敛速度与Armijo的经典论文相同。{ \bf定理。}假设$f$是$C^3$。对于黎曼新Q- Newton方法中超参数的随机选择,如果算法构造的序列收敛,则极限是$f$的临界点.我们有一个局部稳定中心流形定理,鞍点附近的$f$,与算法相关的动力系统。如果极限点是非退化极小点,则收敛速度是二次的。如果$X$是李群的开子集,且初始点$x_0$是随机选取的,则可以全局避免鞍点.作为应用,给出了利用黎曼回溯GD求欧氏空间中有界球上函数最小值的一般方法,并对对称方阵的最小特征值进行了显式计算.
2020-08-31 cs.LG math.DG math.DS
Automatic Optimisation of Normalised Neural Networks
Cranfield University(克兰菲尔德大学)
该研究针对归一化神经网络,提出基于矩阵流形几何的自动优化方法,通过两种步长确定策略实现免手动调参的自动化优化,适配控制应用需求。
2023-12-17 cs.LG cs.NE cs.SY
Bregman Itoh--Abe methods for sparse optimisation
在本文中,我们提出了优化方法的变分正则化问题的基础上离散的逆尺度空间流与离散梯度法。反尺度空间流广义梯度流,将广义布雷格曼距离作为基础度量。它的离散时间对应物,Bregman迭代和线性化Bregman迭代,是反问题的流行正则化方案,其包含先验信息而不损失对比度。离散梯度法是几何数值积分的一种工具,用于耗散微分系统的能量耗散。所得到的Bregman离散梯度法是无条件耗散的,并通过利用问题的结构,如稀疏性,实现快速的收敛速度。建立在以前的工作离散梯度的非光滑,非凸优化,我们证明了这些方法的收敛保证在克拉克次微分框架。凸和非凸的例子的数值结果。
2020-02-09 math.OC
Gradient descent in hyperbolic space
梯度下降自然推广到黎曼流形,特别是双曲$n$ -空间。也就是说,在计算了表示模型参数的流形上的点处的梯度之后,通过沿着在梯度的方向上经过的测地线行进来获得更新的点。最近的一些作品采用优化在双曲空间没有尝试这个过程,然而,采用不同的近似,以避免计算,被认为是太复杂。在本教程中,我们演示了在双曲空间的双曲面模型中,执行梯度下降的必要计算实际上是直接的。该方法的优点,然后都说明和量化的优化问题的计算Fréchet平均值(即重心)的点在双曲空间。
2018-08-13 math.OC
Optimisation of the lowest Robin eigenvalue in the exterior of a compact set
我们考虑的最低特征值的拉普拉斯算子在一个紧凑的平面集的外部,有吸引力的罗宾边界条件的几何优化问题。在固定周长或面积的约束下,我们证明了凸集的外部类中的最大化者总是圆盘的外部。我们还讨论了为什么没有凸性约束和更高的维度的结果失败。
2017-08-25 math-ph math.AP math.MP
Sufficient conditions for non-asymptotic convergence of Riemannian optimisation methods
出于能源为基础的分析下降法在欧几里德设置,我们调查了这样的分析下降法在黎曼流形的推广。在这样做时,我们发现,它是可能的,以获得曲率自由的保证,这样的下降法。这也使我们能够给出$g$ -凸函数上的黎曼正则化牛顿算法的第一个已知保证,这扩展了Agarwal等人[2021]对一般非凸函数上的自适应黎曼正则化牛顿算法的保证。这种分析使我们研究了$g$ -凸设置中黎曼梯度下降的加速,并且我们改进了Alimisis等人[2021]的现有结果,尽管具有曲率依赖的速率。最后,扩展Ahn和Sra [2020]的分析,我们试图在强测地线凸设置中为黎曼下降法的加速提供一些充分条件。
2022-12-12 math.OC
Some Notes on Geometric Interpretation of Holding-Free Solution for Urban Intersection Model
传统的求解宏观节点模型的方法主要是从算法或代数的角度进行讨论。本文以Flotterod和Rohde(2011)中的一个例子为例,讨论了几何解释。通过观察这些图,很容易看出,导出保持自由解(HFS)不只是一个普通的优化问题,而是一个帕累托前沿发现问题。
2017-02-28 math.OC
Linear vector optimization and European option pricing under proportional transaction costs
Lohne & Rudloff(2014)基于线性向量优化和几何对偶开发的在比例交易成本下的欧式期权定价和超对冲方法与Roux & Zastawniak(2014)的美式衍生品算法的特殊情况进行了比较。这两种方法之间的等价性是通过将线性向量优化问题的上图像的支持函数与对偶线性优化问题的下图像联系起来的一般结果来建立的。
2014-07-22 math.OC math.PR q-fin.PR
Sum of Three Cubes via Optimisation
本文将三个立方数之和问题转化为优化问题,应用粒子群优化和模拟退火等三种随机优化算法在 $k=2$ 情况下搜索整数解,并通过指数和对数正态分布建模运行时间,利用Fisher信息度量评估模型的可区分性。
2020-05-19 math.NT math.OC stat.CO
Optimisation models for Transportation Network Design under Uncertainty:a literature review
供应链网络对服务客户至关重要,因此最常见的做法是确定设施的数量、位置和容量。但与此同时,必须考虑到不确定性和风险,以控制延误。在此背景下,许多优化模型已被开发,以使用运输网络的结果,从而提高供应链的性能。模型开发的路由和分区/区的问题,并在文献中讨论了不同的情况下,如设施选址问题,城市问题,交通问题。本文旨在回顾这方面的文献,并将模型分解为数学建模和几何方法。分销是供应链管理的重要组成部分,是一个多参与方的过程。这种特性带来了高度的不确定性。因此,本文介绍了分配过程,特别是交通网络的设计,其中可以包括路由和分区问题。
2021-12-22 math.OC physics.soc-ph
Revisiting the origin to bridge a gap between topology and topography optimisation of fluid flow problems
本文回顾了流体流动问题的拓扑优化的起源,即基于Poiquille的摩擦阻力项用于参数化固体和流体区域。传统模型仅适用于真正的拓扑优化,其中它用于将固体区域近似为具有非常小的通道高度的区域,因此具有非常高的摩擦阻力。它将表明,如果通道高度被允许连续变化和/或最小通道高度是相对较大的和/或意义是归因于中间设计字段值,那么传统模型的预测是错误的。为了解决这个问题,这项工作引入了一个增广的质量守恒方程,允许连续变化的通道高度。所提出的平面模型准确地描述了充分发展的流动之间的两个不同的通道高度的板。它允许在自由度的数量显着减少,同时通常确保在层流状态下的低到中等雷诺数的高精度。传统和建议的模型的准确性和局限性进行了探讨,使用深入的参数研究。所提出的模型是用来优化两个平行板之间的流体通道的高度,因此,地形的板的流量分配问题。最后,据观察,该模型实际上产生更好的拓扑设计比传统的模型时,应用到拓扑优化的流量歧管。
2021-10-06 math.OC physics.flu-dyn