模型选择、Kolmogorov复杂性和最小描述长度简介（MDL）

最小描述长度再探

Minimum Description Length Revisited

CWI；Leiden University（莱顿大学）；University of Helsinki（赫尔辛基大学）

这是对最小描述长度（MDL）原则的最新介绍和概述，这是一种归纳推理理论，可应用于统计，机器学习和模式识别中的一般问题。虽然MDL最初是基于数据压缩的思想，但这篇介绍可以在没有任何相关知识的情况下阅读。报告考虑到了自2007年以来的所有重大发展，2007年是上一次编写全面概述的时候。这些包括模型选择和平均和假设检验的新方法，以及{ \em MDL估计量}的第一个完全通用的定义。为了说明这些发展，MDL可以被看作是惩罚似然和贝叶斯方法的强大扩展，其中惩罚函数和先验分布被更一般的幸运函数取代，平均情况方法被更鲁棒的最坏情况方法取代，并且其中传统上被视为高度不同的方法，例如AIC与BIC和交叉验证与贝叶斯，在很大程度上，从统一的角度来看。

2019-12-18cs.ITcs.LGmath.IT

基于MDL的From-Below布尔矩阵分解算法

From-Below Boolean Matrix Factorization Algorithm Based on MDL

National Research University Higher School of Economics（国家研究型高等经济大学）；LORIA（洛林计算机科学及其应用实验室）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；University of Lorraine（洛林大学）；Palacký University Olomouc（奥洛穆茨帕拉茨基大学）

近年来，布尔矩阵分解（BMF）已成为数据分析的一个重要方向。最小描述长度原则（MDL）被成功地应用于BMF的模型阶数选择。然而，一个BMF算法执行良好的结果，从BMF的标准措施的立场是失踪。提出了一种基于形式概念分析的自下而上布尔矩阵分解算法。该算法利用MDL原则作为因子选择的准则。在各种实验中，我们表明，该算法优于-从不同的角度-现有的国家的最先进的BMF算法。

2019-01-28cs.LGstat.ML

基于最小描述长度的边界感知非参数粒球分类器

A Boundary-Aware Non-parametric Granular-Ball Classifier Based on Minimum Description Length

Department of Mathematics and Computer Science, Gannan Normal University（数学与计算机科学学院，赣南师范大学）；Key Laboratory of Data Science and Artificial Intelligence of Jiangxi Education Institutes, Gannan Normal University（江西省数据科学与人工智能重点实验室，赣南师范大学）；Department of Computer Science and Technology, Tongji University（计算机科学与技术学院，同济大学）；Department of Electrical and Computer Engineering, University of Alberta（电气与计算机工程学院，阿尔伯塔大学）

本文提出基于最小描述长度原理的粒球分类器MDL-GBC，通过局部模型选择解决传统粒球分类方法的透明性问题，实现边界敏感区域的显式建模，实验表明其在多个数据集上表现优异。

2026-05-12cs.LG

重访过参数化模型中的最小描述长度复杂度

Revisiting minimum description length complexity in overparameterized models

Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）

本文提出一种新的基于最小描述长度原则的复杂度度量MDL-COMP，适用于过参数化模型，理论分析表明其与参数数量、奇异值和信噪比相关，并可用于指导岭回归的超参数调整，优于交叉验证且节省计算成本。

2023-10-12cs.ITcs.LGmath.IT

使用BiGAN和MDL的分布外检测

Out-of-Distribution Detection using BiGAN and MDL

University of Hawaii at Manoa（夏威夷大学马诺阿分校）；John A. Burns School of Medicine（约翰·A·伯恩斯医学院）

我们考虑以下问题：我们有一个大的正常数据集。我们现在得到一组新的、可能相当小的数据，我们要判断这些数据是正常的，还是表明了一种新的现象。这是新颖性检测或分布外检测问题。一个例子是在医学中，正常数据是没有已知疾病的人，而新的数据集是有症状的人。另一个例子可能是安全。我们通过在正常数据上训练双向生成对抗网络（BiGAN）并使用高斯图模型对输出进行建模来解决这个问题。然后，我们使用通用信源编码，或最小描述长度（MDL）的输出，以确定它是否是一个新的分布，在实施柯尔莫哥洛夫和马丁-洛夫随机性。我们将该方法应用于MNIST数据和健康和川崎病患者的真实心电图（ECG）数据集，并在ROC曲线方面表现出比类似方法更好的性能。

2022-06-03cs.ITcs.LGmath.IT

压缩是否意味着泛化？最小描述长度视角

Does Compression Imply Generalization? A Minimum Description Length Perspective

Leiden University（莱顿大学）；Centrum Wiskunde & Informatica (CWI)（数学和计算机科学中心）；Hefei University of Technology（合肥工业大学）；Great Bay University（大湾区大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；UiT The Arctic University of Norway（挪威北极大学）

该研究从MDL原理切入，提出预quential遗憾作为仅由训练轨迹计算的信号，证明其可关联泛化界，且在CIFAR数据集上与泛化误差高度相关，结合了MDL与IB的压缩视角。

2026-10-16cs.LG

基于率-失真MDL的双变量因果发现：信息维度方法

Bivariate Causal Discovery Using Rate-Distortion MDL: An Information Dimension Approach

本文提出基于率-失真理论的RDMDL方法，改进了传统MDL在因果变量描述长度估计上的不足，通过信息维度和直方图密度估计结合，提升双变量因果发现性能。

2026-04-07cs.LGstat.ML

神经网络正则化的最小描述长度方法

A Minimum Description Length Approach to Regularization in Neural Networks

Tel Aviv University（特拉维夫大学）；École Normale Supérieure（法兰西综合理工学院）

本文提出用最小描述长度（MDL）原理作为神经网络正则化方法，在形式语言任务中优于L1、L2或无正则化，能选择完美解而非近似解，有效对抗过拟合并促进泛化。

2025-09-08cs.CLcs.LG

全变差中的离散MDL预测

Discrete MDL Predicts in Total Variation

最小描述长度（MDL）原则选择具有最短代码的模型用于数据加模型。我们发现，对于可数的一类模型，MDL预测接近真实的分布在很强的意义上。结果是完全通用的。不需要对模型类进行独立性、遍历性、平稳性、可识别性或其他假设。更正式地说，我们表明，对于任何可数类的模型，由MDL（或MAP）选择的分布渐近预测（合并）在类中的真实措施在全变差的距离。对非i.i.d.的影响讨论了时间序列预测、判别学习和强化学习等领域。

2009-09-25cs.ITcs.LGmath.IT

符号回归：从最小化预测误差到最小化描述长度的MDLformer引导搜索

Symbolic regression via MDLformer-guided search: from minimizing prediction error to minimizing description length

Department of Electronic Engineering, BNRist Tsinghua University（电子工程系，清华大学）

针对符号回归中预测误差不单调导致恢复率低的问题，提出基于最小描述长度的MDLformer引导搜索目标，实现SR4MDL方法，在基准上恢复率提升43.92%，并具良好泛化性。

2025-09-10cs.LG

基于最小描述长度原则的高维惩罚选择

High-dimensional Penalty Selection via Minimum Description Length Principle

本文基于最小描述长度（MDL）原则，解决了正则化惩罚函数的选取问题。特别是，我们认为惩罚函数的设计空间是高维的。在这种情况下，幸运归一化最大似然（LNML）最小化方法是有利的，因为LNML量化了正则化模型的良好性，考虑到最小描述长度原则，并引导我们通过高维空间找到一个好的惩罚函数。然而，LNML的最小化需要两个主要挑战：1）LNML的归一化因子的计算和2）它在高维空间中的最小化。本文提出了一种新的正则化选择方法（MDL-RS），在该方法中，LNML（uLNML）的紧上界被最小化，并保证局部收敛。我们的主要贡献是推导uLNML，这是一个统一的间隙上界的LNML的解析表达式。这以近似的方式解决了上述挑战，因为它允许我们精确地近似LNML，然后有效地最小化它。实验结果表明，MDL-RS提高了正则化估计的泛化性能，特别是当模型具有冗余参数时。

2018-04-26cs.LGstat.ML

基于最小描述长度原则的机器理解理论

A Theory of Machine Understanding via the Minimum Description Length Principle

Department of Computer Science（计算机科学系）；Florida State University（佛罗里达州立大学）

本文提出连接MDL压缩与可解释表示的机器理解理论，并通过可严格评估MDL的Spectrum VAE说明：自监督地最小化描述长度可催生理解。

2025-06-09cs.ITcs.LGmath.IT

预测建模的最小编码方法

Minimum Encoding Approaches for Predictive Modeling

CWI（荷兰国家数学与计算机科学研究中心）；University of Helsinki（赫尔辛基大学）

我们分析了两个信息理论动机的统计推断和模型选择方法之间的差异：最小描述长度（MDL）原则，和最小消息长度（MML）原则。基于这种分析，我们提出了两个修订版本的MML：逐点估计，它给出了MML最优单参数模型，和一个体积估计，它给出了MML最优区域的参数空间。我们的实证结果表明，小数据集，MDL方法产生更准确的预测比MML估计。实证结果还表明，这里介绍的修正MML估计比Wallace和Freeman建议的原始MML估计性能更好。

2013-01-30cs.LGstat.ML

前序MDL神经网络的序贯学习

Sequential Learning Of Neural Networks for Prequential MDL

DeepMind（深度思维）

最小描述长度（MDL）为原则模型评估提供了一个框架和目标。它形式化了奥卡姆剃刀，并可应用于非平稳源的数据。在MDL的序贯公式中，目标是当顺序遍历数据并使用先前的观测值进行参数估计时，使累积的下一步对数损失最小化。因此，它非常类似于一个持续或在线学习问题。在这项研究中，我们评估的方法，计算与神经网络的图像分类数据集的前置描述长度。考虑到计算成本，我们发现，与以前广泛使用的分块估计相比，在线学习与排练具有良好的性能。我们提出了前向校准，以更好地将模型预测与经验观察相结合，并引入了重放流，这是一种小批量增量训练技术，可以有效地实现近似随机重放，同时避免大型内存重放缓冲区。因此，我们提出了一套图像分类数据集的描述长度，大大提高了以前报告的结果。

2022-10-14cs.LGstat.ML

监督分类中双部分码最小描述长度沿正则化路径的过拟合量化

Quantifying Overfitting along the Regularization Path for Two-Part-Code MDL in Supervised Classification

The University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）

本文针对二元分类中改进的双部分码MDL规则，给出了最坏情况极限误差随正则化参数λ和噪声水平变化的精确刻画，显著加强并推广了Grunwald和Langford关于λ=1时正则化不足的既有分析。

2025-03-10cs.LGstat.ML

通过图柯莫戈罗夫复杂性进行逻辑语法规则推断：一种用于自愈临床数据完整性的神经符号框架

Logical Grammar Induction via Graph Kolmogorov Complexity: A Neuro-Symbolic Framework for Self-Healing Clinical Data Integrity

Department of Computer Engineering, Ferdowsi University of Mashhad（法尔德大学马什哈德分校计算机工程系）

本文提出Logic-GNN框架，通过整合时间图神经网络与图柯莫戈罗夫复杂性，推断医疗交互的逻辑语法规则，以识别临床数据中的异常，实现自愈数据完整性。

2026-05-14cs.LG

多任务特征选择的最小描述长度方法

A Minimum Description Length Approach to Multitask Feature Selection

许多回归问题涉及的不是一个而是多个响应变量（y）。通常情况下，这些反应被怀疑共享一个共同的底层结构，在这种情况下，在它们之间共享信息可能是有利的;这被称为多任务学习。作为一种特殊情况，我们可以使用多个响应来更好地识别共享的预测特征--我们可以称之为多任务特征选择的项目。本文的结构安排如下。第1节介绍了回归的特征选择，重点是ell_0正则化方法及其在最小描述长度（MDL）框架内的解释。第2节提出了一种新的扩展MDL特征选择的多任务设置。该方法被称为“多重包含标准”（MIC），旨在通过更容易地选择与多个响应相关的特征来借用回归任务中的信息。我们在合成和真实生物数据集的实验中表明，MIC可以减少在响应中至少部分共享特征的设置中的预测误差。第3节调查的假设检验回归与单一的回应，侧重于标准Bonferroni校正和MDL方法之间的平行。模仿第2节中的想法，第4节提出了一种新的MIC方法来进行多重响应的假设检验，并表明在响应之间具有显著共享特征的合成数据上，MIC有时在发现给定假阳性水平的真阳性方面优于标准FDR控制方法。第5节结束。

2009-05-30cs.AIcs.LG

最小描述长度作为非负矩阵分解的目标函数

Minimum description length as an objective function for non-negative matrix factorization

University of Southampton（南安普顿大学）

非负矩阵分解（NMF）是一种降维技术，它倾向于产生数据的稀疏表示。通常，实际矩阵和重建矩阵之间的误差被用作目标函数，但这种方法可能不会产生我们想要的表示类型，因为它允许模型的复杂性增长，仅受子空间大小和非负性要求的约束。如果施加额外的约束，如稀疏性，参数选择的问题变得至关重要。而不是增加稀疏性约束，在特设的方式，我们提出了一种新的目标函数，通过使用最小描述长度（MDL）的原则。我们的公式，MDL-NMF，自动权衡模型的复杂性和准确性之间的原则性的方法，几乎没有参数选择或需要领域的专业知识。我们证明了我们的模型有效地工作在三个异构的数据集和一系列的半合成数据显示我们的方法的广泛适用性。

2019-02-05cs.LGstat.ML

针对非指数族的基于局部指数族纤维丛的改进MDL估计器

Improved MDL Estimators Using Fiber Bundle of Local Exponential Families for Non-exponential Families

National Institute of Information and Communications Technology（日本国立信息通信技术研究所）；Yale University（耶鲁大学）；Kyushu University（九州大学）

本文针对非指数族场景，提出基于局部指数族纤维丛的两段编码改进MDL估计器，其遗憾值接近极小极大遗憾值，可给出风险与损失的紧上界，且适用于混合族这类典型非指数族。

2023-11-07cs.ITcs.LGmath.IT

诊断多通道时间序列分类中的时间错位：基于最小描述长度的方法

Diagnosing Temporal Misalignment in Multichannel Time-Series Classification with Minimum Description Length

Lamarr Institute, TU Dortmund University（拉马尔研究所，多特蒙德工业大学）；DAES Group, TU Dortmund University（DAES研究组，多特蒙德工业大学）；Cyber-Physical Systems, RWTH Aachen（网络物理系统，亚琛工业大学）

提出基于最小描述长度的无监督诊断方法，通过测量通道间编码效率检测多通道时间序列分类中的时间错位，无需重训练或参考对齐，实验验证可恢复部署漂移下的准确性并揭示基准数据集的系统性偏移。

2026-10-01cs.AIcs.ARcs.LG

使用MDL发现数字目标的未完成子组列表

Discovering outstanding subgroup lists for numeric targets using MDL

Leiden University（莱顿大学）；National Research Institute for Mathematics and Computer Science in the Netherlands (CWI)（荷兰国家数学与计算机科学研究院（CWI））

子组发现（SD）的任务是找到一个数据集的子集，突出相对于目标属性的可解释的描述。为了解决挖掘大量冗余子群的问题，已经提出了子群集发现（SSD）。然而，最先进的SSD方法有其局限性，因为它们通常严重依赖于几何学和/或用户选择的超参数。我们提出了一个分散意识的问题制定的子群集发现，是基于最小描述长度（MDL）的原则和子群列表。我们认为，最好的子组列表是一个最好的总结数据给定的目标的总体分布。我们限制我们的重点是一个单一的数字目标变量，并表明，我们的形式化符合现有的质量措施时，找到一个单一的子群，但除此之外，它允许权衡子群质量与子群的复杂性。接下来，我们提出SSD++，一个启发式算法，我们的经验表明，它返回优秀的子组列表：非冗余集的紧凑的子组，突出具有强烈的偏离手段和小的蔓延。

2020-06-16cs.LGstat.ML

Hawkes过程因果关系的最小描述长度发现

Causal Discovery in Hawkes Processes by Minimum Description Length

Columbia University（哥伦比亚大学）；Sharif University of Technology（谢里夫理工大学）；University of Vienna（维也纳大学）；Czech Academy of Sciences（捷克科学院）

霍克斯过程是一类特殊的时间点过程，它表现出因果关系的自然概念，因为过去事件的发生可能会增加未来事件的概率。发现多维时间过程的维度之间的潜在影响网络在高频数据要建模的学科中是非常重要的，例如在金融数据或地震数据中。本文研究了多维Hawkes过程中Granger因果网络的学习问题。我们制定这个问题作为一个模型选择任务，我们遵循最小描述长度（MDL）的原则。此外，我们提出了一个通用的算法MDL为基础的推理，使用蒙特卡罗方法，我们用它为我们的因果发现问题。我们将我们的算法与最先进的合成和真实世界的金融数据的基线方法进行比较。合成实验表明，我们的方法的优越性incausal图发现相比，基线方法的数据的大小。用七国集团债券价格数据进行的实验结果与专家知识相一致。

2022-06-10cs.LGmath.STstat.TH

基于几何的MDL优化在深度学习中的驱动机制

A Geometrically-Grounded Drive for MDL-Based Optimization in Deep Learning

School of Aeronautics and Astronautics, Shanghai JiaoTong University, Shanghai China（上海交通大学航空航天学院）；M´ et´ eo-France/CNRS CNRM/GAMEUMR 3589 and the Mathematical Institute of Toulouse, France（法国Météo-France/CNRS CNRM/GAMEUMR 3589和图卢兹数学研究所）

本文提出一种将MDL原理整合到深度学习训练动态中的新框架，通过几何认知流形和MDL驱动项实现数据保真与模型简化之间的平衡，理论证明了描述长度单调减少和拓扑相变等性质，实验验证了算法的有效性。

2026-03-12cs.AIcs.LG

可压缩性度量复杂性：最小描述长度与奇异学习理论的结合

Compressibility Measures Complexity: Minimum Description Length Meets Singular Learning Theory

Timaeus（蒂马埃乌斯）；UK AI Security Institute（英国人工智能安全研究所）

本研究利用奇异学习理论扩展最小描述长度原理，发现局部学习系数与神经网络可压缩性密切相关，为评估模型压缩极限提供了新途径。

2025-10-14cs.LGstat.ML

连接柯尔莫哥洛夫复杂性与深度学习：用于Transformer的渐近最优描述长度目标

Bridging Kolmogorov Complexity and Deep Learning: Asymptotically Optimal Description Length Objectives for Transformers

Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）

本文提出基于柯尔莫哥洛夫复杂性的渐近最优描述长度目标，用于改进Transformer模型的压缩与泛化能力，揭示了优化挑战。

2026-03-02cs.AIcs.CLcs.LG

一种鲁棒分类器：基于MDL的对抗样本生成方法

Towards a Robust Classifier: An MDL-Based Method for Generating Adversarial Examples

The University of Newcastle（纽卡斯尔大学）

我们解决了机器学习中的对抗性示例问题，其中对手试图通过对原始样本进行功能保留修改来误导分类器。我们假设一个黑盒的情况下，对手只能访问的功能集，和分类器的最终硬决策输出。我们提出了一种使用最小描述长度（MDL）原则生成对抗性示例的方法。我们的最终目标是提高分类器的鲁棒性，在重建分类器时考虑生成的例子。我们评估我们的方法在便携式可执行（PE）文件中的静态恶意软件检测的应用。我们认为PE文件的API调用作为其区别特征，其中特征向量是表示API调用的存在-不存在的二进制向量。在我们的方法中，我们首先通过查询目标分类器来创建良性样本的数据集。接下来，我们使用MDL原理构造一个频繁模式的码表，用于压缩该数据集。最后，我们通过从良性代码表中选择一个模式并将其添加到恶意软件样本中，来生成与恶意软件样本相对应的对抗性示例。所选模式是在给定代码表的情况下使压缩对抗示例的长度最小化的模式。此修改保留了原始恶意软件样本的功能，因为保留了所有原始API调用，并且仅添加了一些新的API调用。考虑到一个神经网络，我们发现对抗性示例的规避率为78.24%，而原始恶意软件样本的规避率为8.16%。这表明了我们的方法在生成重建分类器时需要考虑的示例方面的有效性。

2019-12-11cs.ITcs.LGmath.IT

神经网络在低复杂度数据上实现泛化

Neural Networks Generalize on Low Complexity Data

Stanford University（斯坦福大学）

本文提出基于最小描述长度的神经网络在低复杂度数据上实现泛化，并通过素数检测实验验证其有效性。

2026-03-01cs.AIcs.LGmath.ST

最小描述长度 Hopfield 网络

Minimum Description Length Hopfield Networks

Tel Aviv University（特拉维夫大学）；Ecole Normale Supérieure（巴黎高等师范学院）

针对现代 Hopfield 网络记忆容量与泛化的权衡问题，提出基于最小描述长度（MDL）在训练中决定存储哪些及多少记忆的解决方案。

2023-11-11cs.CLcs.LG

基于随机复杂性的因果推理

Causal Inference by Stochastic Complexity

Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）

算法马尔可夫条件指出，两个随机变量X和Y之间最可能的因果方向可以被识别为具有最低柯尔莫哥洛夫复杂度的方向。然而，由于停机问题，这个概念是不可计算的。因此，我们建议做因果推理的随机复杂性。也就是说，我们建议通过最小描述长度（MDL）原则来近似Kolmogorov复杂度，使用一个关于所考虑的模型类的最小-最大最优得分。这意味着即使在对抗性设置中，例如当真实分布不在该类中时，我们仍然可以获得相对于该类的数据的最佳编码。我们实例化这个框架，我们称之为CISC，对单变量离散变量，使用类的多项式分布。实验表明，CISC对合成数据、基准数据以及真实数据都非常准确，远远优于最先进的技术水平，并且在样本和域大小方面具有非常好的扩展性。

2017-02-22cs.AIcs.LG

最小描述长度原理的教程介绍

A tutorial introduction to the minimum description length principle

本教程概述并介绍了Rissanen的最小描述长度（MDL）原则。第一章提供了一个概念性的，完全非技术性的介绍。它是第二章技术介绍的基础，第一章的所有思想都在数学上精确化了。主要思想在伟大的概念和技术细节进行了讨论。本教程是“最小描述长度的进展：理论与应用”（由P.Grunwald，I.J. Myung和M. Pitt，将由MIT出版社出版，2005年春季）。

2004-06-04cs.ITcs.LGmath.IT

Rissanen数据分析：通过描述长度检查数据集特征

Rissanen Data Analysis: Examining Dataset Characteristics via Description Length

New York University（纽约大学）；Facebook AI Research（Facebook AI研究院）

我们介绍了一种方法来确定是否某种能力有助于实现给定数据的准确模型。我们认为标签是由具有不同功能的子程序组成的程序从输入中生成的，并且我们认为子程序是有用的，当且仅当调用它的最小程序比不调用它的程序短。由于最小程序长度无法计算，因此我们转而估计标签的最小描述长度（MDL）作为代理，为我们提供了一种分析数据集特征的理论依据方法。我们将该方法称为MDL之父Rissanen Data Analysis（RDA），并展示了其在NLP中各种设置上的适用性，从评估在回答问题之前生成子问题的效用，到分析理由和解释的价值，再到调查不同词性的重要性，以及揭示数据集的性别偏见。

2021-03-05cs.AIcs.CLcs.LG

归纳的尽头：整数序列基准中的描述长度难度与记忆差距

Where Induction Runs Out: Description-Length Difficulty and the Memorisation Gap in Integer-Sequence Benchmarks

该研究以OEIS整数序列基准为对象，通过MDL参考学习器发现整数序列存在记忆差距，揭示语言模型在该基准中更多依赖记忆而非归纳，并提出MDL可作为无干扰难度信号。

2026-09-01cs.LGcs.SC

符号回归中模型选择标准的比较研究

A Comparative Study of Model Selection Criteria for Symbolic Regression

Aarhus University（奥胡斯大学）；Heuristic and Evolutionary Algorithms Laboratory (HEAL)（启发式和进化算法实验室）；Federal University of ABC（巴西联邦大学ABC分校）；University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学）；University of Modena（摩德纳大学）；Reggio Emilia Department of Physics, Informatics（雷吉奥艾米利亚物理与信息学系）

本文通过七个合成数据集比较了多种模型选择标准，发现MDL在多数情况下能识别测试误差低且长度短的模型，MDL和BIC在选择真实表达式方面表现最佳。

2026-05-11cs.LG

大规模数据集的快速全自动直方图

Fast and fully-automated histograms for large-scale data sets

Université Paris 1 Panthéon-Sorbonne（巴黎第一大学先贤祠-索邦）；Orange Labs（橙色实验室）；Université Paris-Dauphine, PSL University（巴黎文理研究大学巴黎多芬纳大学）；CNRS（法国国家科学研究中心）

G-Enum直方图是一种新的快速和全自动的不规则直方图构建方法。通过将直方图构建框架为密度估计问题及其自动化作为模型选择任务，这些直方图利用最小描述长度原则（MDL）导出两个不同的模型选择标准。关于这些标准的几个已证明的理论结果给出了关于它们的渐近行为的见解，并用于加速它们的优化。这些见解，结合一个贪婪的搜索启发式，被用来构建直方图在线性时间，而不是多项式时间由以前的作品所引起的。参考文献中的其他全自动方法，无论是合成和大型现实世界的数据集的能力，所提出的MDL密度估计方法的说明。

2022-12-27cs.LGmath.STstat.ML

AdaptiveMDL-GenClust：一种融合归一化互信息与进化算法的鲁棒聚类框架

AdaptiveMDL-GenClust: A Robust Clustering Framework Integrating Normalized Mutual Information and Evolutionary Algorithms

Azad University（阿扎德大学）

针对单一聚类方法存在局限、难以适配多样数据集的问题，提出融合MDL原理与遗传算法的AdaptiveMDL-GenClust鲁棒聚类框架，经13个基准数据集验证，其准确率、稳定性等指标均优于传统方法。

2024-12-12cs.LGcs.NE

机器学习中超参数选择的差分描述长度

Differential Description Length for Hyperparameter Selection in Machine Learning

University of Hawaii at Manoa（夏威夷大学马诺阿分校）；Shenzhen Research Institute of Big Data, CUHKSZ（香港中文大学（深圳）深圳大数据研究院）

本文介绍了一种新的方法，模型选择和更一般的超参数选择在机器学习。最小描述长度（MDL）是一种用于模型选择的既定方法，然而，它并不直接旨在最小化泛化误差，而泛化误差通常是机器学习的主要目标。本文证明了泛化误差与训练数据的描述长度差之间的关系，我们称之为差分描述长度（DCL）。这允许通过执行对训练数据的编码来仅从训练数据预测泛化误差。然后，通过选择具有最小预测泛化误差的模型，可以将泛化用于模型选择。我们展示了这种方法如何用于线性回归、神经网络和深度学习。实验结果表明，该方法的泛化误差小于交叉验证方法和传统的MDL、Bayes方法。

2019-05-22cs.ITcs.LGmath.IT

表示学习的最小描述长度与泛化保证

Minimum Description Length and Generalization Guarantees for Representation Learning

Paris Research Center, Huawei Technologies France（法国华为技术有限公司巴黎研发中心）；Université Gustave Eiffel（古斯塔夫·埃菲尔大学）

本文提出基于最小描述长度的可压缩性框架，为表示学习算法推导出新的泛化误差上界，并引入数据依赖先验，优于经典先验。

2024-02-05cs.ITcs.LGmath.IT

优化的Kolmogorov-Arnold网络架构

Optimized Architectures for Kolmogorov-Arnold Networks

Mathematics & Statistics, University of Vermont（佛蒙特大学数学与统计学系）；Vermont Complex Systems Center, University of Vermont（佛蒙特复杂系统中心）；Computer Science, University of Vermont（佛蒙特大学计算机科学系）

本文提出通过过度配置架构结合稀疏化、深度监督和深度选择，学习紧凑且可解释的KANs，同时保持准确性。

2026-04-20cs.LGcs.NEphysics.data-an

神经网络和数据集的高效压缩

Efficient compression of neural networks and datasets

Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究院）

本文结合算法信息论和神经网络剪枝技术，通过改进数据压缩方法提升模型泛化能力，实现高效模型压缩与数据描述长度优化。

2026-05-13cs.AIcs.ITcs.LG

面向实用Few-Shot查询集的最小描述长度推断

Towards Practical Few-Shot Query Sets: Transductive Minimum Description Length Inference

Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CentraleSupélec（巴黎中央理工-高等电力学院）；ÉTS Montreal（蒙特利尔高等工程技术学院）

标准的Few-Shot基准测试通常建立在对查询集的简化假设之上，这在实践中可能并不总是成立。特别是，对于测试时的每个任务，有效地存在于未标记的查询集中的类是先验已知的，并且完全对应于标记的支持集中表示的类的集合。我们放松这些假设，并扩展当前的基准测试，这样一个给定的任务的查询集类是未知的，但只是属于一个更大的可能的类集。我们的设置可以被视为具有挑战性但实际问题的极端不平衡的K-路分类，K是远远大于标准基准中通常使用的值，并与潜在的无关监督的支持集的一个实例。不出所料，我们的设置会导致最先进方法的性能下降。出于这些观察，我们引入了PrimAl双最小描述长度（PADDLE）制定，平衡数据拟合精度和模型的复杂性为一个给定的Few-Shot任务，监督约束下的支持集。我们的约束MDL类目标促进了一个大的可能的类之间的竞争，只保留有效的类，更好地适合一个Few-Shot任务的数据。它是无超参数的，可以应用于任何基类训练之上。此外，我们得到了一个快速块坐标下降算法优化我们的目标，收敛性保证，在每次迭代的线性计算复杂性。在标准的Few-Shot数据集和更现实和更具挑战性的i-Nat数据集上进行的综合实验显示出我们的方法具有很强的竞争力，当任务中可能的类的数量增加时，这种竞争力更强。我们的代码可在https://github.com/SegoleneMartin/PADDLE上公开获取。

2022-10-26cs.LGmath.OC

面向最小程序搜索的单遍自适应图像分词

Single-pass Adaptive Image Tokenization for Minimum Program Search

Massachusetts Institute of Technology（麻省理工学院）；LG Electronics（LG电子）

受柯尔莫哥洛夫复杂度启发，提出单遍自适应图像分词器 KARL，通过单次前向传递预测 token 数量作为最小描述长度代理，在匹配现有自适应分词器性能的同时避免了测试时搜索。

2025-07-10cs.AIcs.CVcs.LG

高斯图模型中用于模型选择和异常检测的图编码

Graph Coding for Model Selection and Anomaly Detection in Gaussian Graphical Models

University of Hawaii（夏威夷大学）；John A. Burns School of Medicine（约翰·A·伯恩斯医学院）

描述长度的一个经典应用是使用最小描述长度（MDL）原则进行模型选择。本文的重点是扩展描述长度的数据分析超越简单的模型选择和序列的标量。更具体地说，我们扩展了高斯图形模型中数据分析的描述长度。这些都是强大的工具，可以以图形的形式对i.i.d高斯数据序列中变量之间的相互作用进行建模。我们的方法使用通用的图编码方法，以准确地考虑模型的复杂性，因此提供了一个更严格的方法图模型的选择。所开发的方法进行了测试，与合成和心电图（ECG）数据，以找到高斯图形模型的图形模型和异常。实验表明，我们的方法相比，常用的方法提供了更好的性能。

2021-02-04cs.ITcs.LGmath.IT

智能体强化学习中的技能重用作为压缩

Skill Reuse as Compression in Agentic RL

Arizona State University（亚利桑那州立大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Southern California（南加州大学）

提出ReuseRL方法，基于最小描述长度原则将成功轨迹压缩为可重用技能字典，并通过分割代价惩罚低效编码行为，在多个环境中提升分布内和分布外成功率。

2026-09-02cs.AIcs.LG