Minimum complexity interpolation in random features models
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
尽管核方法有许多吸引人的特性,但它们受到维数灾难的严重影响。例如,在$\mathbb{R}^d$中的内积核的情况下,对于强烈依赖于方向的小子集(脊函数)的函数,再生核希尔伯特空间(RKHS)范数通常非常大。相应地,这样的函数很难使用核方法学习。这一观察激发了对核方法的推广的研究,其中RKHS范数-等价于加权$\ell_2$范数-被加权函数$\ell_p$范数取代,我们称之为$\mathcal{F}_p$范数。不幸的是,这些方法的可操作性尚不清楚。核技巧是不可用的,最小化这些范数需要解决一个无限维凸问题。我们研究随机特征近似这些规范,并表明,对于$p>1$,近似原始学习问题所需的随机特征的数量是上界的样本量的多项式。因此,在这些情况下,使用$\mathcal{F}_p$范数的学习是容易处理的。我们介绍了一个证明技术的基础上,在对偶的均匀浓度,这可以在过参数化模型的研究更广泛的兴趣。对于$p= 1$,我们对随机特征近似的保证失效。相反,我们证明学习与$\mathcal{F}_1$规范是$\mathsf{NP}$ -硬随机减少的基础上学习半空间噪声的问题。
2021-11-05 cs.LG math.ST stat.ML
A tutorial introduction to the minimum description length principle
本教程概述并介绍了Rissanen的最小描述长度(MDL)原则。第一章提供了一个概念性的,完全非技术性的介绍。它是第二章技术介绍的基础,第一章的所有思想都在数学上精确化了。主要思想在伟大的概念和技术细节进行了讨论。本教程是“最小描述长度的进展:理论与应用”(由P.Grunwald,I.J. Myung和M. Pitt,将由MIT出版社出版,2005年春季)。
2004-06-04 cs.IT cs.LG math.IT
Determining Principal Component Cardinality through the Principle of Minimum Description Length
Facebook Research(脸书研究院)
PCA(Principal Component Analysis)及其变体是矩阵降维和降维潜在因子提取的普遍技术。使用PCA的一个重要挑战是主成分数量的选择。信息论的最小描述长度(MDL)原则为模型选择提供了基于压缩的客观标准,但很难将其现代定义--归一化最大似然(NML)--应用于PCA问题。这项工作显示了NML问题的一般减少到低维问题。应用这一约简,它用已知的线性回归的NML项来界定PCA的NML。
2019-06-29 cs.LG stat.ML
Compressibility Measures Complexity: Minimum Description Length Meets Singular Learning Theory
Timaeus(蒂马埃乌斯);UK AI Security Institute(英国人工智能安全研究所)
本研究利用奇异学习理论扩展最小描述长度原理,发现局部学习系数与神经网络可压缩性密切相关,为评估模型压缩极限提供了新途径。
2025-10-14 cs.LG stat.ML
Minimum Description Length Revisited
CWI;Leiden University(莱顿大学);University of Helsinki(赫尔辛基大学)
这是对最小描述长度(MDL)原则的最新介绍和概述,这是一种归纳推理理论,可应用于统计,机器学习和模式识别中的一般问题。虽然MDL最初是基于数据压缩的思想,但这篇介绍可以在没有任何相关知识的情况下阅读。报告考虑到了自2007年以来的所有重大发展,2007年是上一次编写全面概述的时候。这些包括模型选择和平均和假设检验的新方法,以及{ \em MDL估计量}的第一个完全通用的定义。为了说明这些发展,MDL可以被看作是惩罚似然和贝叶斯方法的强大扩展,其中惩罚函数和先验分布被更一般的幸运函数取代,平均情况方法被更鲁棒的最坏情况方法取代,并且其中传统上被视为高度不同的方法,例如AIC与BIC和交叉验证与贝叶斯,在很大程度上,从统一的角度来看。
2019-12-18 cs.IT cs.LG math.IT
Inferring Latent dimension of Linear Dynamical System with Minimum Description Length
University of Science and Technology of China(中国科学技术大学)
时不变线性动力系统在实际应用中有着广泛的应用,其实用性也得到了广泛的认可。此模型的一个实际限制是,需要手动指定对模型功能有很大影响的潜在维度。可以证明,一个低阶模型类可以完全嵌套到一个高阶模型类中,并且相应的似然是非减的。因此,建立在可能性基础上的标准不适用于模型选择。针对这一问题,提出了一种基于最小描述长度原则的线性动力系统的判定方法。潜在的结构,这是省略在以前的工作中,被明确认为是在这个新提出的标准。我们的工作扩展了最小描述长度的原则,并证明了其有效性的模型训练任务。在单变量和多变量序列上的实验证实了我们新提出的方法的良好性能。
2019-06-23 cs.LG stat.ML
Minimum Norm Interpolation via the Local Theory of Banach Spaces: The Role of $2$-Uniform Convexity
Institute for Machine Learning, ETH Zürich(苏黎世联邦理工学院机器学习研究所);Department of Mathematics, Weizmann Institute of Science(魏茨曼科学研究所数学系)
本文研究了在2-均匀凸性假设下最小范数插值器的性质,证明了其在线性和非线性模型中的偏差上界,并在特定条件下建立了非高斯协变量的泛化界。
2026-07-27 cs.LG math.FA math.MG
A Short Introduction to Model Selection, Kolmogorov Complexity and Minimum Description Length (MDL)
对模型选择中的过拟合概念进行了解释,并举例说明。在介绍了信息论和Kolmogorov复杂度的一些背景知识之后,我们对最小描述长度和错误最小化进行了简短的解释。最后,我们讨论了模型选择中过拟合的典型特征。
2010-05-14 cs.CC cs.LG
Minimum Conditional Description Length Estimation for Markov Random Fields
University of Michigan(密歇根大学)
在本文中,我们讨论了一种方法,我们称之为最小条件描述长度(MCDL),用于估计马尔可夫随机场内的一个子集的网站的参数。我们假设整个图$G=(V,E)$的边是已知的。然后,对于一个子集$U\subset V$,我们估计参数的节点和边缘在$U$以及边缘事件的节点在$U$,通过找到该子集的指数参数,产生最佳的压缩条件的边界上的值$\partial U$。我们的估计是从集合$U$上的一个时间平稳的观测序列导出的。我们讨论如何也可以应用这种方法来估计一个空间不变的参数从一个单一的配置,并在这样做,得出最大伪李克图(MPL)估计。
2016-02-23 cs.IT cs.LG math.IT
High-dimensional Penalty Selection via Minimum Description Length Principle
本文基于最小描述长度(MDL)原则,解决了正则化惩罚函数的选取问题。特别是,我们认为惩罚函数的设计空间是高维的。在这种情况下,幸运归一化最大似然(LNML)最小化方法是有利的,因为LNML量化了正则化模型的良好性,考虑到最小描述长度原则,并引导我们通过高维空间找到一个好的惩罚函数。然而,LNML的最小化需要两个主要挑战:1)LNML的归一化因子的计算和2)它在高维空间中的最小化。本文提出了一种新的正则化选择方法(MDL-RS),在该方法中,LNML(uLNML)的紧上界被最小化,并保证局部收敛。我们的主要贡献是推导uLNML,这是一个统一的间隙上界的LNML的解析表达式。这以近似的方式解决了上述挑战,因为它允许我们精确地近似LNML,然后有效地最小化它。实验结果表明,MDL-RS提高了正则化估计的泛化性能,特别是当模型具有冗余参数时。
2018-04-26 cs.LG stat.ML
Minimum Description Length Control
Gatsby Unit, UCL(伦敦大学学院盖茨比计算神经科学中心);DeepMind(深度思维);Facebook Reality Labs(脸书现实实验室)
我们提出了一种基于最小描述长度(MDL)原则的多任务强化学习新框架。在这种方法中,我们称之为MDL-C(MDL-Control),智能体学习它所面临的任务之间的共同结构,然后将其提炼成一个更简单的表示,这有助于更快地收敛和推广到新的任务。在这样做的时候,MDL-C自然地平衡了对每个任务的适应与对任务分配的认知不确定性。我们激励MDL-C通过MDL原则和贝叶斯推理之间的正式连接,获得理论性能保证,并证明MDL-C的经验有效性离散和高维连续控制任务。
2022-07-24 cs.LG
How do Minimum-Norm Shallow Denoisers Look in Function Space?
Technion(以色列理工学院);Marquette University(马凯特大学)
本文在最小表示代价的插值设定下,刻画了浅层ReLU神经网络去噪器的函数形态,推导出单变量和多变量情形下的闭式解,揭示其分解为与训练样本边和面对齐的秩一逐段线性插值,并验证了其泛化优势。
2024-01-16 cs.LG stat.ML
Minimum description length as an objective function for non-negative matrix factorization
University of Southampton(南安普顿大学)
非负矩阵分解(NMF)是一种降维技术,它倾向于产生数据的稀疏表示。通常,实际矩阵和重建矩阵之间的误差被用作目标函数,但这种方法可能不会产生我们想要的表示类型,因为它允许模型的复杂性增长,仅受子空间大小和非负性要求的约束。如果施加额外的约束,如稀疏性,参数选择的问题变得至关重要。而不是增加稀疏性约束,在特设的方式,我们提出了一种新的目标函数,通过使用最小描述长度(MDL)的原则。我们的公式,MDL-NMF,自动权衡模型的复杂性和准确性之间的原则性的方法,几乎没有参数选择或需要领域的专业知识。我们证明了我们的模型有效地工作在三个异构的数据集和一系列的半合成数据显示我们的方法的广泛适用性。
2019-02-05 cs.LG stat.ML
Minimum Description Length Hopfield Networks
Tel Aviv University(特拉维夫大学);Ecole Normale Supérieure(巴黎高等师范学院)
针对现代 Hopfield 网络记忆容量与泛化的权衡问题,提出基于最小描述长度(MDL)在训练中决定存储哪些及多少记忆的解决方案。
2023-11-11 cs.CL cs.LG
Ridgeless Interpolation with Shallow ReLU Networks in $1D$ is Nearest Neighbor Curvature Extrapolation and Provably Generalizes on Lipschitz Functions
Princeton University(普林斯顿大学)
我们证明了所有单层ReLU网络$z(x;θ)$的精确几何描述,该网络具有单个线性单元和输入/输出维度,该维度等于内插给定数据集$\mathcal D=\{(x_i,f(x_i))\}$的1,并且在所有此类内插中,最小化神经元权重的$\ell_2$范数。这样的网络可以直观地被认为是那些最小化$\mathcal D$上的均方误差加上无穷小的权重衰减惩罚的网络。因此,我们将它们称为无脊ReLU插值。我们的描述证明,为了外推位于两个连续数据点之间的输入$x\in (x_i,x_{i+1})$的值$z(x;θ)$,无脊ReLU插值简单地比较$x_i$和$x_{i+1}$处的$f$的曲率的离散估计的符号,$x_{i+1}$源自数据集$\mathcal D$。如果$x_i$和$x_{i+1}$的曲率估计值具有不同的符号,则$z(x;θ)$必须在$(x_i,x_{i+1})$上是线性的。相反,如果在$x_i$和$x_{i+1}$处的曲率估计都是正的(分别为负的),则$z(x;θ)$是凸的(分别凹的)在$(x_i,x_{i+1})$上。我们的研究结果表明,无脊ReLU插值实现了学习$1d$ Lipschitz函数的最佳泛化,直到通用常数。
2021-09-27 cs.LG stat.ML
Noisy Interpolation Learning with Shallow Univariate ReLU Networks
TTI-Chicago(芝加哥理工学院);Hebrew University(希伯来大学)
本文首次严格分析了单变量两层ReLU网络在最小范数回归中的过拟合行为,发现用$L_1$损失衡量时过拟合是温和的,但在$L_2$损失或对训练集取期望时则呈现灾难性。
2024-03-21 cs.LG
Minimum Description Length Induction, Bayesianism, and Kolmogorov Complexity
建立了贝叶斯方法和最小描述长度方法之间的关系。我们锐化和澄清的一般建模原则MDL和MML,抽象为理想MDL原则,定义从贝叶斯规则的Kolmogorov复杂性。应用理想原理的基本条件被概括为基本不等式,广义地说,当数据相对于每个预期的假设是随机的,并且这些假设相对于(普遍的)先验是随机的时,该原理是有效的。基本上,理想原理指出,与假设相关的先验概率应该由算法普适概率给出,并且模型的对数普适概率加上给定模型的数据概率的对数之和应该最小化。如果我们将模型类限制在有限集上,那么理想原理的应用就变成了柯尔莫哥洛夫最小充分统计量。在一般情况下,我们表明,数据压缩几乎总是最好的策略,无论是在假设识别和预测。
1999-01-27 cs.AI cs.CC cs.IT
A Minimum Description Length Approach to Regularization in Neural Networks
Tel Aviv University(特拉维夫大学);École Normale Supérieure(法兰西综合理工学院)
本文提出用最小描述长度(MDL)原理作为神经网络正则化方法,在形式语言任务中优于L1、L2或无正则化,能选择完美解而非近似解,有效对抗过拟合并促进泛化。
2025-09-08 cs.CL cs.LG
Does Compression Imply Generalization? A Minimum Description Length Perspective
Leiden University(莱顿大学);Centrum Wiskunde & Informatica (CWI)(数学和计算机科学中心);Hefei University of Technology(合肥工业大学);Great Bay University(大湾区大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);UiT The Arctic University of Norway(挪威北极大学)
该研究从MDL原理切入,提出预quential遗憾作为仅由训练轨迹计算的信号,证明其可关联泛化界,且在CIFAR数据集上与泛化误差高度相关,结合了MDL与IB的压缩视角。
2026-10-16 cs.LG
(Exhaustive) Symbolic Regression and model selection by minimum description length
1 Institute of Cosmology \& Gravitation, University of Portsmouth, Dennis Sciama Building, Portsmouth, PO1 3FX, United Kingdom
本文提出穷举式符号回归结合最小描述长度原则进行模型选择,以信息单位直接权衡准确性与复杂性,并在三个天体物理开放问题上验证其优于文献标准函数。
2025-07-17 astro-ph.CO astro-ph.GA astro-ph.IM
Causal Discovery in Hawkes Processes by Minimum Description Length
Columbia University(哥伦比亚大学);Sharif University of Technology(谢里夫理工大学);University of Vienna(维也纳大学);Czech Academy of Sciences(捷克科学院)
霍克斯过程是一类特殊的时间点过程,它表现出因果关系的自然概念,因为过去事件的发生可能会增加未来事件的概率。发现多维时间过程的维度之间的潜在影响网络在高频数据要建模的学科中是非常重要的,例如在金融数据或地震数据中。本文研究了多维Hawkes过程中Granger因果网络的学习问题。我们制定这个问题作为一个模型选择任务,我们遵循最小描述长度(MDL)的原则。此外,我们提出了一个通用的算法MDL为基础的推理,使用蒙特卡罗方法,我们用它为我们的因果发现问题。我们将我们的算法与最先进的合成和真实世界的金融数据的基线方法进行比较。合成实验表明,我们的方法的优越性incausal图发现相比,基线方法的数据的大小。用七国集团债券价格数据进行的实验结果与专家知识相一致。
2022-06-10 cs.LG math.ST stat.TH