Symbolic regression via MDLformer-guided search: from minimizing prediction error to minimizing description length
Department of Electronic Engineering, BNRist Tsinghua University(电子工程系,清华大学)
针对符号回归中预测误差不单调导致恢复率低的问题,提出基于最小描述长度的MDLformer引导搜索目标,实现SR4MDL方法,在基准上恢复率提升43.92%,并具良好泛化性。
2025-09-10 cs.LG
Compressibility Measures Complexity: Minimum Description Length Meets Singular Learning Theory
Timaeus(蒂马埃乌斯);UK AI Security Institute(英国人工智能安全研究所)
本研究利用奇异学习理论扩展最小描述长度原理,发现局部学习系数与神经网络可压缩性密切相关,为评估模型压缩极限提供了新途径。
2025-10-14 cs.LG stat.ML
A Boundary-Aware Non-parametric Granular-Ball Classifier Based on Minimum Description Length
Department of Mathematics and Computer Science, Gannan Normal University(数学与计算机科学学院,赣南师范大学);Key Laboratory of Data Science and Artificial Intelligence of Jiangxi Education Institutes, Gannan Normal University(江西省数据科学与人工智能重点实验室,赣南师范大学);Department of Computer Science and Technology, Tongji University(计算机科学与技术学院,同济大学);Department of Electrical and Computer Engineering, University of Alberta(电气与计算机工程学院,阿尔伯塔大学)
本文提出基于最小描述长度原理的粒球分类器MDL-GBC,通过局部模型选择解决传统粒球分类方法的透明性问题,实现边界敏感区域的显式建模,实验表明其在多个数据集上表现优异。
2026-05-12 cs.LG
Minimum Description Length Hopfield Networks
Tel Aviv University(特拉维夫大学);Ecole Normale Supérieure(巴黎高等师范学院)
针对现代 Hopfield 网络记忆容量与泛化的权衡问题,提出基于最小描述长度(MDL)在训练中决定存储哪些及多少记忆的解决方案。
2023-11-11 cs.CL cs.LG
Inferring Latent dimension of Linear Dynamical System with Minimum Description Length
University of Science and Technology of China(中国科学技术大学)
时不变线性动力系统在实际应用中有着广泛的应用,其实用性也得到了广泛的认可。此模型的一个实际限制是,需要手动指定对模型功能有很大影响的潜在维度。可以证明,一个低阶模型类可以完全嵌套到一个高阶模型类中,并且相应的似然是非减的。因此,建立在可能性基础上的标准不适用于模型选择。针对这一问题,提出了一种基于最小描述长度原则的线性动力系统的判定方法。潜在的结构,这是省略在以前的工作中,被明确认为是在这个新提出的标准。我们的工作扩展了最小描述长度的原则,并证明了其有效性的模型训练任务。在单变量和多变量序列上的实验证实了我们新提出的方法的良好性能。
2019-06-23 cs.LG stat.ML
Approximate Description Length, Covering Numbers, and VC Dimension
最近,Daniely和Granot [arXiv:1910.05697]引入了一个新的复杂性概念,称为近似描述长度(ADL)。他们用它来推导神经网络的新的泛化边界,尽管做了大量的工作,但对于更经典的技术,如离散化,覆盖数和Rademacher复杂性,这些都是遥不可及的。在本文中,我们将探讨ADL与经典的函数复杂性概念,如覆盖数和VC维。我们发现,对于值域为实数的函数,ADL本质上等价于这些经典的复杂性度量。然而,这种等价性在高维范围的函数中被打破。
2022-09-26 cs.DS cs.LG stat.ML
A tutorial introduction to the minimum description length principle
本教程概述并介绍了Rissanen的最小描述长度(MDL)原则。第一章提供了一个概念性的,完全非技术性的介绍。它是第二章技术介绍的基础,第一章的所有思想都在数学上精确化了。主要思想在伟大的概念和技术细节进行了讨论。本教程是“最小描述长度的进展:理论与应用”(由P.Grunwald,I.J. Myung和M. Pitt,将由MIT出版社出版,2005年春季)。
2004-06-04 cs.IT cs.LG math.IT
IMU Based Deep Stride Length Estimation With Self-Supervised Learning
National Chiao Tung University(国立交通大学)
使用惯性测量单元(IMU)传感器的步幅估计作为医疗保健和运动训练的代表性步态参数,近年来越来越流行。传统的估计方法需要一些明确的校准和设计假设。当前的深度学习方法存在标记数据少的问题。针对上述问题,本文提出了一种单卷积神经网络(CNN)模型来预测跑步和步行的步长,并对每步的跑步或步行类型进行分类。该模型利用自监督学习在大型未标记数据集上训练其前提任务进行特征学习,并利用监督学习在小型标记数据集上训练其步长估计和分类任务。该模型对跑步和步行步长的回归平均误差为4.78%,对跑步和步行步长的分类准确率为99.83%,而对步长的估计平均误差为7.44%.
2022-05-06 cs.LG
Differential Description Length for Hyperparameter Selection in Machine Learning
University of Hawaii at Manoa(夏威夷大学马诺阿分校);Shenzhen Research Institute of Big Data, CUHKSZ(香港中文大学(深圳)深圳大数据研究院)
本文介绍了一种新的方法,模型选择和更一般的超参数选择在机器学习。最小描述长度(MDL)是一种用于模型选择的既定方法,然而,它并不直接旨在最小化泛化误差,而泛化误差通常是机器学习的主要目标。本文证明了泛化误差与训练数据的描述长度差之间的关系,我们称之为差分描述长度(DCL)。这允许通过执行对训练数据的编码来仅从训练数据预测泛化误差。然后,通过选择具有最小预测泛化误差的模型,可以将泛化用于模型选择。我们展示了这种方法如何用于线性回归、神经网络和深度学习。实验结果表明,该方法的泛化误差小于交叉验证方法和传统的MDL、Bayes方法。
2019-05-22 cs.IT cs.LG math.IT
High-dimensional Penalty Selection via Minimum Description Length Principle
本文基于最小描述长度(MDL)原则,解决了正则化惩罚函数的选取问题。特别是,我们认为惩罚函数的设计空间是高维的。在这种情况下,幸运归一化最大似然(LNML)最小化方法是有利的,因为LNML量化了正则化模型的良好性,考虑到最小描述长度原则,并引导我们通过高维空间找到一个好的惩罚函数。然而,LNML的最小化需要两个主要挑战:1)LNML的归一化因子的计算和2)它在高维空间中的最小化。本文提出了一种新的正则化选择方法(MDL-RS),在该方法中,LNML(uLNML)的紧上界被最小化,并保证局部收敛。我们的主要贡献是推导uLNML,这是一个统一的间隙上界的LNML的解析表达式。这以近似的方式解决了上述挑战,因为它允许我们精确地近似LNML,然后有效地最小化它。实验结果表明,MDL-RS提高了正则化估计的泛化性能,特别是当模型具有冗余参数时。
2018-04-26 cs.LG stat.ML
Minimum Description Length based Granular-Ball Tree Regularization for Spectral Clustering
Department of Mathematics and Computer Science, Gannan Normal University(赣南师范大学数学与计算机科学学院);Key Laboratory of Data Science and Artificial Intelligence of Jiangxi Education Institutes, Gannan Normal University(江西省教育研究院数据科学与人工智能重点实验室)
本文提出一种基于最小描述长度的粒状球树正则化谱聚类方法,通过局部MDL模型选择构建粒状球树,利用反向邻域连续性抑制破坏可靠局部连接的分裂,利用稳定的叶球提供编码尺度信息正则化样本级亲和图,并引入共享邻居桥码调整弱局部桥接关系,从而在统一的谱聚类框架中连接可解释的局部表示学习与亲和图构建。
2026-09-30 cs.LG
Excess Description Length of Learning Generalizable Predictors
ucb(加州大学伯克利分校)
本文提出EDL框架,用于量化微调提取的预测结构并评估模型泛化能力。
2026-01-08 cs.AI cs.LG
Minimum description length as an objective function for non-negative matrix factorization
University of Southampton(南安普顿大学)
非负矩阵分解(NMF)是一种降维技术,它倾向于产生数据的稀疏表示。通常,实际矩阵和重建矩阵之间的误差被用作目标函数,但这种方法可能不会产生我们想要的表示类型,因为它允许模型的复杂性增长,仅受子空间大小和非负性要求的约束。如果施加额外的约束,如稀疏性,参数选择的问题变得至关重要。而不是增加稀疏性约束,在特设的方式,我们提出了一种新的目标函数,通过使用最小描述长度(MDL)的原则。我们的公式,MDL-NMF,自动权衡模型的复杂性和准确性之间的原则性的方法,几乎没有参数选择或需要领域的专业知识。我们证明了我们的模型有效地工作在三个异构的数据集和一系列的半合成数据显示我们的方法的广泛适用性。
2019-02-05 cs.LG stat.ML
Modeling Human Exploration Through Resource-Rational Reinforcement Learning
MPI for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
为人工智能体配备有用的探索机制至今仍是一个挑战。另一方面,人类似乎可以毫不费力地在探索和开发之间进行权衡。在本文中,我们提出了这样的假设,即它们通过最佳利用有限的计算资源来实现这一目标。我们通过元学习强化学习算法来研究这一假设,这些算法牺牲了较短的描述长度(定义为实现给定算法所需的位数)的性能。新兴的一类模型捕捉人类的探索行为比以前考虑的方法,如玻尔兹曼探索,置信上限算法,汤普森采样。我们还证明,在我们的模型类中改变描述长度会产生预期的效果:减少描述长度可以捕捉脑损伤患者的行为,而增加描述长度则反映了青少年时期的认知发展。
2022-11-14 cs.LG
A Minimum Description Length Approach to Regularization in Neural Networks
Tel Aviv University(特拉维夫大学);École Normale Supérieure(法兰西综合理工学院)
本文提出用最小描述长度(MDL)原理作为神经网络正则化方法,在形式语言任务中优于L1、L2或无正则化,能选择完美解而非近似解,有效对抗过拟合并促进泛化。
2025-09-08 cs.CL cs.LG
Bridging Kolmogorov Complexity and Deep Learning: Asymptotically Optimal Description Length Objectives for Transformers
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
本文提出基于柯尔莫哥洛夫复杂性的渐近最优描述长度目标,用于改进Transformer模型的压缩与泛化能力,揭示了优化挑战。
2026-03-02 cs.AI cs.CL cs.LG
Interpretability in Parameter Space: Minimizing Mechanistic Description Length with Attribution-based Parameter Decomposition
Apollo Research(阿波罗研究公司)
本文提出基于归因的参数分解方法APD,通过优化最小机制描述长度将神经网络参数分解为忠实、最少且最简单的组件,并在多个玩具实验中成功识别真实机制,为机制可解释性中的最小回路识别、特征定义和架构无关分解提供了新思路。
2025-02-07 cs.LG stat.ML
Traffic incident duration prediction via a deep learning framework for text description encoding
University of Technology, Sydney(悉尼科技大学)
预测交通事件持续时间是一个很难解决的问题,由于事件发生的空间和时间的随机性,在报告的交通中断开始时缺乏信息,以及缺乏先进的交通工程方法来从过去的事故中获得见解。本文提出了一种新的融合框架,用于通过将机器学习与交通流量/速度和事件描述集成为特征,通过几种深度学习方法(ANN自动编码器和字符级LSTM-ANN情感分类器)编码,从有限的信息中预测事件持续时间。本文构建了一种跨学科的交通和数据科学建模方法。与应用于基线事件报告的性能最佳的ML模型相比,该方法提高了事件持续时间预测的准确性。结果表明,与标准线性或支持向量回归模型相比,我们提出的方法可以通过$60\%$提高准确性,并且相对于混合深度学习自动编码的GBDT模型,$7\%$进一步改进,该模型似乎优于所有其他模型。应用区域是旧金山市,拥有丰富的交通事件日志(全国交通事故数据集)和过去的历史交通拥堵信息(来自Caltranss性能测量系统的5分钟精确测量)。
2022-09-19 cs.LG
Rissanen Data Analysis: Examining Dataset Characteristics via Description Length
New York University(纽约大学);Facebook AI Research(Facebook AI研究院)
我们介绍了一种方法来确定是否某种能力有助于实现给定数据的准确模型。我们认为标签是由具有不同功能的子程序组成的程序从输入中生成的,并且我们认为子程序是有用的,当且仅当调用它的最小程序比不调用它的程序短。由于最小程序长度无法计算,因此我们转而估计标签的最小描述长度(MDL)作为代理,为我们提供了一种分析数据集特征的理论依据方法。我们将该方法称为MDL之父Rissanen Data Analysis(RDA),并展示了其在NLP中各种设置上的适用性,从评估在回答问题之前生成子问题的效用,到分析理由和解释的价值,再到调查不同词性的重要性,以及揭示数据集的性别偏见。
2021-03-05 cs.AI cs.CL cs.LG
Minimum Conditional Description Length Estimation for Markov Random Fields
University of Michigan(密歇根大学)
在本文中,我们讨论了一种方法,我们称之为最小条件描述长度(MCDL),用于估计马尔可夫随机场内的一个子集的网站的参数。我们假设整个图$G=(V,E)$的边是已知的。然后,对于一个子集$U\subset V$,我们估计参数的节点和边缘在$U$以及边缘事件的节点在$U$,通过找到该子集的指数参数,产生最佳的压缩条件的边界上的值$\partial U$。我们的估计是从集合$U$上的一个时间平稳的观测序列导出的。我们讨论如何也可以应用这种方法来估计一个空间不变的参数从一个单一的配置,并在这样做,得出最大伪李克图(MPL)估计。
2016-02-23 cs.IT cs.LG math.IT
Bivariate Causal Discovery Using Rate-Distortion MDL: An Information Dimension Approach
本文提出基于率-失真理论的RDMDL方法,改进了传统MDL在因果变量描述长度估计上的不足,通过信息维度和直方图密度估计结合,提升双变量因果发现性能。
2026-04-07 cs.LG stat.ML
Deep ReLU Networks Preserve Expected Length
Princeton University(普林斯顿大学);University of Pennsylvania(宾夕法尼亚大学);McGill University(麦吉尔大学);Mila(米拉人工智能研究所)
评估由神经网络计算的函数的复杂性有助于我们理解网络将如何学习和泛化。复杂性的一个自然度量是网络如何扭曲长度-如果网络将单位长度曲线作为输入,那么最终输出曲线的长度是多少?人们普遍认为,这个长度在网络深度上呈指数级增长。我们证明了事实并非如此:对于具有标准随机初始化的ReLU网络,预期的长度失真不会随着深度的增加而增加,实际上会稍微缩小。我们还推广了这一结果,证明了更高的时刻的长度失真和高维体积的失真的上界。这些理论结果得到了实验的证实。
2021-06-23 cs.LG stat.ML
A Minimum Description Length Approach to Multitask Feature Selection
许多回归问题涉及的不是一个而是多个响应变量(y)。通常情况下,这些反应被怀疑共享一个共同的底层结构,在这种情况下,在它们之间共享信息可能是有利的;这被称为多任务学习。作为一种特殊情况,我们可以使用多个响应来更好地识别共享的预测特征--我们可以称之为多任务特征选择的项目。本文的结构安排如下。第1节介绍了回归的特征选择,重点是ell_0正则化方法及其在最小描述长度(MDL)框架内的解释。第2节提出了一种新的扩展MDL特征选择的多任务设置。该方法被称为“多重包含标准”(MIC),旨在通过更容易地选择与多个响应相关的特征来借用回归任务中的信息。我们在合成和真实生物数据集的实验中表明,MIC可以减少在响应中至少部分共享特征的设置中的预测误差。第3节调查的假设检验回归与单一的回应,侧重于标准Bonferroni校正和MDL方法之间的平行。模仿第2节中的想法,第4节提出了一种新的MIC方法来进行多重响应的假设检验,并表明在响应之间具有显著共享特征的合成数据上,MIC有时在发现给定假阳性水平的真阳性方面优于标准FDR控制方法。第5节结束。
2009-05-30 cs.AI cs.LG
MDL-Pool: Adaptive Multilevel Graph Pooling Based on Minimum Description Length
Chair of Machine Learning for Complex Networks(复杂网络机器学习教授席位);Center for Artificial Intelligence and Data Science (CAIDAS)(人工智能与数据科学中心);Julius-Maximilians-Universität Würzburg(乌尔姆-马克西米利安大学)
提出基于MDL原则与map equation的自适应图池化算子MDL-Pool,通过建模层级依赖并比较不同深度方案,在图分类基准上取得有竞争力的性能。
2025-05-14 cs.LG cs.SI
Minimum Description Length Revisited
CWI;Leiden University(莱顿大学);University of Helsinki(赫尔辛基大学)
这是对最小描述长度(MDL)原则的最新介绍和概述,这是一种归纳推理理论,可应用于统计,机器学习和模式识别中的一般问题。虽然MDL最初是基于数据压缩的思想,但这篇介绍可以在没有任何相关知识的情况下阅读。报告考虑到了自2007年以来的所有重大发展,2007年是上一次编写全面概述的时候。这些包括模型选择和平均和假设检验的新方法,以及{ \em MDL估计量}的第一个完全通用的定义。为了说明这些发展,MDL可以被看作是惩罚似然和贝叶斯方法的强大扩展,其中惩罚函数和先验分布被更一般的幸运函数取代,平均情况方法被更鲁棒的最坏情况方法取代,并且其中传统上被视为高度不同的方法,例如AIC与BIC和交叉验证与贝叶斯,在很大程度上,从统一的角度来看。
2019-12-18 cs.IT cs.LG math.IT
Graph Coding for Model Selection and Anomaly Detection in Gaussian Graphical Models
University of Hawaii(夏威夷大学);John A. Burns School of Medicine(约翰·A·伯恩斯医学院)
描述长度的一个经典应用是使用最小描述长度(MDL)原则进行模型选择。本文的重点是扩展描述长度的数据分析超越简单的模型选择和序列的标量。更具体地说,我们扩展了高斯图形模型中数据分析的描述长度。这些都是强大的工具,可以以图形的形式对i.i.d高斯数据序列中变量之间的相互作用进行建模。我们的方法使用通用的图编码方法,以准确地考虑模型的复杂性,因此提供了一个更严格的方法图模型的选择。所开发的方法进行了测试,与合成和心电图(ECG)数据,以找到高斯图形模型的图形模型和异常。实验表明,我们的方法相比,常用的方法提供了更好的性能。
2021-02-04 cs.IT cs.LG math.IT
Causal Discovery in Hawkes Processes by Minimum Description Length
Columbia University(哥伦比亚大学);Sharif University of Technology(谢里夫理工大学);University of Vienna(维也纳大学);Czech Academy of Sciences(捷克科学院)
霍克斯过程是一类特殊的时间点过程,它表现出因果关系的自然概念,因为过去事件的发生可能会增加未来事件的概率。发现多维时间过程的维度之间的潜在影响网络在高频数据要建模的学科中是非常重要的,例如在金融数据或地震数据中。本文研究了多维Hawkes过程中Granger因果网络的学习问题。我们制定这个问题作为一个模型选择任务,我们遵循最小描述长度(MDL)的原则。此外,我们提出了一个通用的算法MDL为基础的推理,使用蒙特卡罗方法,我们用它为我们的因果发现问题。我们将我们的算法与最先进的合成和真实世界的金融数据的基线方法进行比较。合成实验表明,我们的方法的优越性incausal图发现相比,基线方法的数据的大小。用七国集团债券价格数据进行的实验结果与专家知识相一致。
2022-06-10 cs.LG math.ST stat.TH
Where Induction Runs Out: Description-Length Difficulty and the Memorisation Gap in Integer-Sequence Benchmarks
该研究以OEIS整数序列基准为对象,通过MDL参考学习器发现整数序列存在记忆差距,揭示语言模型在该基准中更多依赖记忆而非归纳,并提出MDL可作为无干扰难度信号。
2026-09-01 cs.LG cs.SC
(Exhaustive) Symbolic Regression and model selection by minimum description length
1 Institute of Cosmology \& Gravitation, University of Portsmouth, Dennis Sciama Building, Portsmouth, PO1 3FX, United Kingdom
本文提出穷举式符号回归结合最小描述长度原则进行模型选择,以信息单位直接权衡准确性与复杂性,并在三个天体物理开放问题上验证其优于文献标准函数。
2025-07-17 astro-ph.CO astro-ph.GA astro-ph.IM
Recurrent Deep Divergence-based Clustering for simultaneous feature learning and clustering of variable length time series
UiT The Arctic University of Norway(挪威北极大学)
聚类未标记的时间序列和序列的任务需要一组特定的挑战,即充分建模时间关系和可变序列长度。如果这些挑战没有得到适当的处理,那么生成的集群可能质量不佳。作为一个关键的解决方案,我们提出了一个基于深度学习的时间序列联合聚类和特征学习框架。对于给定的一组时间序列,我们训练一个递归网络来表示或嵌入向量空间中的每个时间序列,使得基于发散的聚类损失函数可以以端到端的方式发现底层聚类结构。与以前的方法不同,我们的模型固有地处理可变长度的多变量时间序列,并且不需要在输入空间中指定距离度量。在一组不同的基准数据集上,我们说明了我们提出的基于递归深度分歧的聚类方法优于以前的方法,或者与以前的方法相当。
2019-02-16 cs.LG stat.ML
A Theory of Machine Understanding via the Minimum Description Length Principle
Department of Computer Science(计算机科学系);Florida State University(佛罗里达州立大学)
本文提出连接MDL压缩与可解释表示的机器理解理论,并通过可严格评估MDL的Spectrum VAE说明:自监督地最小化描述长度可催生理解。
2025-06-09 cs.IT cs.LG math.IT
Generate Image Descriptions based on Deep RNN and Memory Cells for Images Features
Stanford University(斯坦福大学)
为图像生成自然语言描述是一项具有挑战性的任务。传统的方法是使用卷积神经网络(CNN)提取图像特征,然后使用循环神经网络(RNN)生成句子。在本文中,我们提出了一个新的模型,增加了存储单元门图像特征的馈送到深层神经网络。直觉使我们的模型能够记住在RNN的每个阶段应该输入多少图像信息。在Flickr8K和Flickr30K数据集上的实验表明,我们的模型比其他最先进的模型具有更高的BLEU分数。
2016-02-05 cs.CL cs.CV cs.LG
Minimum Description Length Induction, Bayesianism, and Kolmogorov Complexity
建立了贝叶斯方法和最小描述长度方法之间的关系。我们锐化和澄清的一般建模原则MDL和MML,抽象为理想MDL原则,定义从贝叶斯规则的Kolmogorov复杂性。应用理想原理的基本条件被概括为基本不等式,广义地说,当数据相对于每个预期的假设是随机的,并且这些假设相对于(普遍的)先验是随机的时,该原理是有效的。基本上,理想原理指出,与假设相关的先验概率应该由算法普适概率给出,并且模型的对数普适概率加上给定模型的数据概率的对数之和应该最小化。如果我们将模型类限制在有限集上,那么理想原理的应用就变成了柯尔莫哥洛夫最小充分统计量。在一般情况下,我们表明,数据压缩几乎总是最好的策略,无论是在假设识别和预测。
1999-01-27 cs.AI cs.CC cs.IT
Phase-Aware Deep Speech Enhancement: It's All About The Frame Length
Universität Hamburg(汉堡大学)
语音处理中的语音延迟主要由用于傅立叶分析的帧长度决定,这反过来限制了以幅度为中心的方法的可实现性能。由于先前的研究表明相位的重要性随着帧长度的减小而增加,因此本文系统地研究了不同帧长度下基于现代深度神经网络(DNN)的语音增强中相位和幅度的贡献。结果表明,DNN在使用短帧时可以成功地估计相位,与使用较长帧相比,具有相似或更好的整体性能。因此,有趣的是,现代相位感知DNN允许高质量的低延迟语音增强。
2022-10-04 cs.LG cs.SD eess.AS
Central Description Length (CDL) Clustering Validation Index
Toronto Metropolitan University(多伦多 Metropolitan 大学)
提出中心描述长度(CDL)聚类验证指标,通过计算不可观测真实聚类中心描述长度的概率上界来评估聚类质量,无需标签且适用于非凸和不规则形状数据。
2026-06-02 cs.LG eess.SP stat.ML
Anomaly-Injected Deep Support Vector Data Description for Text Outlier Detection
Tencent America(腾讯美国);University of Utah(犹他大学)
异常检测或离群点检测是各个领域的常见任务,近年来吸引了大量的研究工作。现有的工作主要集中在结构化的数据,如数值或分类数据,而非结构化的文本数据的异常检测很少关注。在这项工作中,我们针对文本异常检测问题,并提出了一个深度异常注入支持向量数据描述(AI-SVDD)框架。AI-SVDD不仅学习了数据超球体的更紧凑的表示,而且还采用了少量的已知异常来提高区分能力。为了处理文本输入,我们采用多层感知器(MLP)网络结合BERT,以获得丰富的文本表示。我们在三个多数据集的文本异常检测应用程序上进行实验。实验结果表明,所提出的AI-SVDD是有前途的,优于现有的工作。
2021-10-27 cs.CL cs.LG
Efficient Hyperparameter Optimization in Deep Learning Using a Variable Length Genetic Algorithm
Georgia State University(佐治亚州立大学);Institute of High Performance Computing(高性能计算研究所);National University of Singapore(新加坡国立大学)
卷积神经网络(CNN)在许多人工智能任务中取得了巨大的成功。然而,为CNN找到一组好的超参数仍然是一项具有挑战性的任务。它通常需要一个有深厚知识的专家,以及试验和错误。遗传算法已被用于超参数优化。然而,具有固定长度染色体的传统遗传算法可能不适合优化深度学习超参数,因为深度学习模型具有取决于模型深度的可变数量的超参数。随着深度的增加,超参数的数量呈指数级增长,搜索变得更加困难。重要的是要有一个有效的算法,可以在合理的时间内找到一个好的模型。在这篇文章中,我们提出使用可变长度遗传算法(GA)来系统地自动调整CNN的超参数,以提高其性能。实验结果表明,该算法能有效地找到性能良好的CNN超参数。从我们的实验中可以清楚地看出,如果花更多的时间来优化超参数,可以获得更好的结果。从理论上讲,如果我们有无限的时间和CPU能力,我们可以找到优化的超参数,并在未来实现最佳结果。
2020-06-23 cs.LG cs.NE
Adaptive Rollout Length for Model-Based RL Using Model-Free Deep RL
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);College of Information and Computer Sciences(信息与计算机科学学院)
与无模型强化学习相比,基于模型的强化学习通过学习环境的中间模型来预测未来的交互,从而承诺从与环境的较少交互中学习最优策略。当预测一系列交互时,限制预测范围的卷展长度是一个关键的超参数,因为预测的准确性在远离真实体验的区域中会降低。因此,随着更长的推出长度,从长远来看,总体上更糟糕的策略是学习。因此,超参数提供了质量和效率之间的折衷。在这项工作中,我们将调整推出长度的问题框架为元级顺序决策问题,该问题通过基于基于模型的强化学习优化最终策略,给定固定的环境交互预算,通过基于学习过程的反馈动态调整超参数,例如模型的准确性和剩余的交互预算。我们使用无模型深度强化学习来解决元级决策问题,并证明我们的方法在两个著名的强化学习环境中优于常见的启发式基线。
2022-06-07 cs.AI cs.LG
Towards Practical Few-Shot Query Sets: Transductive Minimum Description Length Inference
Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CentraleSupélec(巴黎中央理工-高等电力学院);ÉTS Montreal(蒙特利尔高等工程技术学院)
标准的Few-Shot基准测试通常建立在对查询集的简化假设之上,这在实践中可能并不总是成立。特别是,对于测试时的每个任务,有效地存在于未标记的查询集中的类是先验已知的,并且完全对应于标记的支持集中表示的类的集合。我们放松这些假设,并扩展当前的基准测试,这样一个给定的任务的查询集类是未知的,但只是属于一个更大的可能的类集。我们的设置可以被视为具有挑战性但实际问题的极端不平衡的K-路分类,K是远远大于标准基准中通常使用的值,并与潜在的无关监督的支持集的一个实例。不出所料,我们的设置会导致最先进方法的性能下降。出于这些观察,我们引入了PrimAl双最小描述长度(PADDLE)制定,平衡数据拟合精度和模型的复杂性为一个给定的Few-Shot任务,监督约束下的支持集。我们的约束MDL类目标促进了一个大的可能的类之间的竞争,只保留有效的类,更好地适合一个Few-Shot任务的数据。它是无超参数的,可以应用于任何基类训练之上。此外,我们得到了一个快速块坐标下降算法优化我们的目标,收敛性保证,在每次迭代的线性计算复杂性。在标准的Few-Shot数据集和更现实和更具挑战性的i-Nat数据集上进行的综合实验显示出我们的方法具有很强的竞争力,当任务中可能的类的数量增加时,这种竞争力更强。我们的代码可在https://github.com/SegoleneMartin/PADDLE上公开获取。
2022-10-26 cs.LG math.OC
Generalization Bounds for Neural Networks via Approximate Description Length
The Hebrew University(希伯来大学);Google Research(谷歌研究院)
我们研究了网络的样本复杂性,其权重的大小有界。特别地,我们考虑类\[ H=\left\{W_t\circρ\circ \ldots\circρ\circ W_{1} :W_1,\ldots,W_{t-1}\in M_{d, d}, W_t\in M_{1,d}\right\} \],其中每个$W_i$的谱范数由$O(1)$界定,Frobenius范数由$R$界定,并且$ρ$是S形函数$\frac{e^x}{1+e^x}$或平滑的ReLU函数$ \ln (1+e^x)$。我们表明,对于任何深度的$t$,如果输入是在$[-1,1]^d$,$H$的样本复杂度是$\tilde O\left(\frac{dR^2}{ε^2}\right)$。该界限对于对数因子是最佳的,并且大大改进了$\tilde O\left(\frac{d^2R^2}{ε^2}\right)$的先前技术状态。我们还证明了,如果不考虑$W_i$的大小,我们考虑$W_i - W_i^0$的大小,其中$W_i^0$是一些参考矩阵,与$O(1)$的谱范数,这个界限仍然有效。通过将$W_i^0$作为训练过程开始时的矩阵,我们得到了在许多典型的参数制度中,在参数数量上是次线性的样本复杂度界限。为了建立我们的结果,我们开发了一种新的技术来分析样本的复杂性家庭$H$的预测。我们首先定义了一个新的概念的随机近似描述的功能$f:X\to\m…
2019-10-13 cs.LG stat.ML
DeepCAM: A Fully CAM-based Inference Accelerator with Variable Hash Lengths for Energy-efficient Deep Neural Networks
Yale University(耶鲁大学)
随着深度神经网络的深度和宽度不断增加以实现最先进的性能,深度学习计算已经显著增长,并且点积在总计算时间中仍然占主导地位。大多数先前的作品是建立在传统的点积加权输入求和是用来表示神经元操作。然而,另一种基于欧几里得空间中角度和幅度概念的点积的实现吸引了有限的关注。本文提出了DeepCAM,这是一种基于两个关键创新的推理加速器,旨在缓解卷积神经网络的计算时间瓶颈。第一个创新是建立在欧几里德空间中的计算上的近似点积,它可以用简单的逐位运算代替加法和乘法。第二个创新是动态大小的基于内容可寻址存储器(基于CAM)的加速器,用于执行逐位运算并以更低的计算时间加速CNN。我们在基准图像识别数据集上的实验表明,DeepCAM的速度分别比Eyeriss和Intel Skylake等传统CPU快523倍和3498倍。此外,与Eyeriss相比,我们的DeepCAM方法所消耗的能量少2.16倍至109倍。
2023-02-09 cs.ET cs.LG
Diagnosing Temporal Misalignment in Multichannel Time-Series Classification with Minimum Description Length
Lamarr Institute, TU Dortmund University(拉马尔研究所,多特蒙德工业大学);DAES Group, TU Dortmund University(DAES研究组,多特蒙德工业大学);Cyber-Physical Systems, RWTH Aachen(网络物理系统,亚琛工业大学)
提出基于最小描述长度的无监督诊断方法,通过测量通道间编码效率检测多通道时间序列分类中的时间错位,无需重训练或参考对齐,实验验证可恢复部署漂移下的准确性并揭示基准数据集的系统性偏移。
2026-10-01 cs.AI cs.AR cs.LG
Sequential Learning Of Neural Networks for Prequential MDL
DeepMind(深度思维)
最小描述长度(MDL)为原则模型评估提供了一个框架和目标。它形式化了奥卡姆剃刀,并可应用于非平稳源的数据。在MDL的序贯公式中,目标是当顺序遍历数据并使用先前的观测值进行参数估计时,使累积的下一步对数损失最小化。因此,它非常类似于一个持续或在线学习问题。在这项研究中,我们评估的方法,计算与神经网络的图像分类数据集的前置描述长度。考虑到计算成本,我们发现,与以前广泛使用的分块估计相比,在线学习与排练具有良好的性能。我们提出了前向校准,以更好地将模型预测与经验观察相结合,并引入了重放流,这是一种小批量增量训练技术,可以有效地实现近似随机重放,同时避免大型内存重放缓冲区。因此,我们提出了一套图像分类数据集的描述长度,大大提高了以前报告的结果。
2022-10-14 cs.LG stat.ML
Using Deep Object Features for Image Descriptions
受机器翻译中利用多种模态的最新进展的启发,我们引入了一个编码器-解码器流水线,该流水线使用(1)图像中的特定对象及其对象标签,(2)用于解码对象特征和对象标签的联合嵌入的语言模型。我们的流水线将先前从图像中检测到的对象及其对象标签合并,然后学习描述特定图像的标题序列。解码器模型通过解码由编码器组件调节的对象视觉特征及其对象类的联合表示来学习从零开始提取图像的描述。该模型的思想是只关注图像的特定对象及其标签,以生成图像的描述,而不是整个图像的视觉特征。模型需要通过调整参数和设置进行更多的校准,以获得更好的准确性和性能。
2019-02-25 cs.CL cs.CV cs.LG
Predicting Deep Zero-Shot Convolutional Neural Networks using Textual Descriptions
University of Toronto(多伦多大学)
视觉类别的零样本学习的主要挑战之一是收集伴随图像的语义属性。最近的研究表明,从文本描述(如维基百科文章)中学习可以避免显式定义这些属性的问题。我们提出了一个新的模型,可以分类看不见的类别,从他们的文本描述。具体来说,我们使用文本特征来预测深度卷积神经网络(CNN)中卷积层和全连接层的输出权重。我们利用CNN的架构并学习不同层的特征,而不仅仅是学习两种模态的嵌入空间,这与现有方法一样常见。所提出的模型还允许我们为每个视觉类别自动生成一个伪属性列表,该列表由来自维基百科文章的单词组成。我们训练我们的模型端到端使用加州理工大学-加州大学圣地亚哥分校的鸟和花的数据集,并评估ROC和精度召回曲线。我们的实证结果表明,该模型显着优于以前的方法。
2015-09-25 cs.CV cs.LG cs.NE
Deep Learning for Automatic Spleen Length Measurement in Sickle Cell Disease Patients
King's College London(伦敦国王学院);Evelina Children’s Hospital, Guy’s and St Thomas’ NHS Foundation Trust(盖伊和圣托马斯国民保健服务基金会信托伊夫利纳儿童医院)
镰状细胞病(SCD)是世界上最常见的遗传性疾病之一。脾肿大(脾脏异常肿大)在SCD儿童中很常见。如果不及时治疗,脾肿大可能危及生命。目前测量脾脏大小的工作流程包括触诊,可能随后是2D超声成像中的手动长度测量。然而,这种手动测量依赖于操作员的专业知识,并受到观察者内和观察者间的变化。我们研究了使用深度学习来从超声图像中自动估计脾脏长度。我们研究了两种类型的方法,一种是基于分割的,一种是基于直接长度估计的,并将结果与人类专家的测量结果进行比较。我们的最佳模型(基于分割)实现了7.42%的百分比长度误差,接近观察者间变异性水平(5.47%-6.34%)。据我们所知,这是首次尝试从超声图像中以全自动方式测量脾脏大小。
2020-09-06 cs.CV cs.LG eess.IV
Natural Language Descriptions of Deep Visual Features
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Northeastern University(东北大学);Allegheny College(阿勒格尼学院)
深度网络中的一些神经元专门识别输入的高度特定的感知,结构或语义特征。在计算机视觉中,存在用于识别对单个概念类别(如颜色、纹理和对象类别)作出响应的神经元的技术。但这些技术的范围有限,只能标记任何网络中的一小部分神经元和行为。神经元级计算的更丰富的表征是可能的吗?我们介绍了一个程序(称为MILAN,用于神经元的相互信息引导的语言注释),该程序自动标记具有开放式,组合式,自然语言描述的神经元。给定一个神经元,MILAN通过搜索一个自然语言字符串来生成一个描述,该字符串最大化了与神经元活跃的图像区域的逐点互信息。MILAN生成细粒度的描述,捕获学习特征中的分类、关系和逻辑结构。这些描述在各种模型架构和任务中与人类生成的特征描述高度一致,并且可以帮助理解和控制学习的模型。我们强调三个应用程序的自然语言神经元的描述。首先,我们使用MILAN进行分析,表征视觉模型中对属性、类别和关系信息有选择性的神经元的分布和重要性。第二,我们使用MILAN进行审计,在设计用于掩盖人脸的数据集中显示对人脸敏感的神经元。最后,我们使用MILAN进行编辑,通过删除对与类标签虚假相关的文本特征敏感的神经元来提高图像分类器的鲁棒性。
2022-04-18 cs.AI cs.CL cs.CV
Deep Neural Network inference with reduced word length
University of Stuttgart(斯图加特大学)
深度神经网络(DNN)是许多模式识别任务的强大模型,但其高计算复杂性和内存要求限制了它们在高性能计算平台上的应用。在本文中,我们提出了一种新的方法来评估使用32位浮点(float32)精度训练的DNN,仅使用低精度整数运算并结合二进制移位和裁剪操作。由于这些操作的硬件实现比高精度浮点计算简单得多,因此我们的方法可以用于专用硬件上的高效DNN推理。在MNIST上的实验中,我们证明了使用float32训练的DNN可以使用2位整数运算和每层中的一些float32计算的组合进行评估,或者仅使用3位整数运算结合二进制移位和裁剪,而不会显着降低性能。
2018-10-23 cs.AI cs.LG stat.ML
Deep Learning-Based Decoding of Constrained Sequence Codes
University of Alberta(阿尔伯塔大学)
约束序列(CS)码,包括定长CS码和变长CS码,在现代无线通信和数据存储系统中得到了广泛的应用。用约束序列码编码的序列满足由物理信道施加的约束,以实现编码符号的有效和可靠的传输。在本文中,我们提出使用深度学习方法来解码固定长度和可变长度的CS码。固定长度CS码的传统编码和解码依赖于查找表(LUT),这易于在传输期间发生错误。我们介绍了基于多层感知(MLP)网络和卷积神经网络(CNN)的固定长度约束序列解码,并证明了我们能够实现低比特出错率接近最大后验概率(MAP)解码,以及提高系统吞吐量。此外,实现容量的固定长度码的实现(其中,LUT解码的复杂度高得令人望而却步)在基于深度学习的解码的情况下变得实用。然后,我们考虑CNN辅助解码的变长CS码。不同于传统的解码,其中接收到的序列是逐位处理的,我们建议使用CNN来执行可变长度CS码的一次批量处理,使得整个批次被一次解码,这提高了系统吞吐量。此外,由于CNN可以利用批处理来利用全局信息,而不是像传统的逐位处理那样仅利用局部信息,因此可以降低出错率。我们目前的仿真结果显示出优异的性能与固定长度和可变长度的CS码,用于无线通信系统的前沿。
2019-06-13 cs.IT cs.LG cs.NI
FlexCap: Describe Anything in Images in Controllable Detail
Google Deepmind(谷歌DeepMind);Carnegie Mellon University(卡内基梅隆大学)
FlexCap是一种能生成可控长度区域描述的视觉语言模型,通过大规模变长数据集训练,在密集描述、零样本VQA及视觉对话等任务中取得优异表现。
2025-01-28 cs.AI cs.CL cs.CV
Paparazzi: A Deep Dive into the Capabilities of Language and Vision Models for Grounding Viewpoint Descriptions
University of Jena(耶拿大学);University of Magdeburg(马格德堡大学);University of Bielefeld(比勒费尔德大学)
现有的语言和视觉模型在图像-文本理解方面取得了令人印象深刻的性能。然而,这是一个开放的问题,在何种程度上,他们可以用于语言理解在3D环境中,以及他们是否隐含地获取3D对象的知识,例如,关于不同的意见,一个对象。在本文中,我们调查是否一个国家的最先进的语言和视觉模型,CLIP,是能够地面的3D对象的透视图描述,并确定基于文本查询的常见对象的规范视图。我们提出了一个评估框架,使用一个环绕的相机周围的3D对象从不同的角度生成图像,并评估他们的相似性自然语言描述。我们发现,预训练的CLIP模型在大多数规范视图上表现不佳,即使在可用训练数据很少的条件下,使用硬负采样和随机对比进行微调也会产生良好的结果。
2023-02-13 cs.AI cs.CL cs.CV
Minimum Description Length and Generalization Guarantees for Representation Learning
Paris Research Center, Huawei Technologies France(法国华为技术有限公司巴黎研发中心);Université Gustave Eiffel(古斯塔夫·埃菲尔大学)
本文提出基于最小描述长度的可压缩性框架,为表示学习算法推导出新的泛化误差上界,并引入数据依赖先验,优于经典先验。
2024-02-05 cs.IT cs.LG math.IT