Deep Intrinsic Coregionalization Multi-Output Gaussian Process Surrogate with Active Learning
本文提出深度内在共区域化多输出高斯过程代理模型deepICMGP,通过分层共区域化结构建模多输出间的非线性依赖,并结合主动学习优化序贯设计,在多输出系统模拟实验中表现优异。
2025-08-22 cs.LG stat.ML
Intrinsic-dimension empirical Bernstein inequalities for bounded self-adjoint operators
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
本文提出基于独立界自共轭算子求和的首个经验Bennett和伯恩斯坦不等式,通过数据驱动的方法替代未知方差,并依赖内在维度而非 ambient 维度,提供计算可行且更精确的保证,适用于非各向同性随机矩阵和无限维Hilbert空间。
2026-09-30 math.ST stat.TH
Intrinsic and extrinsic deep learning on manifolds
University of Notre Dame(圣母大学);Inha University(仁荷大学);Purdue University(普渡大学)
我们提出了外在和内在的深度神经网络架构作为流形上深度学习的一般框架。具体而言,外部深度神经网络(eDNN)通过利用从流形到其在欧几里得空间中的图像的等变嵌入来保留流形上的几何特征。此外,内在深度神经网络(iDNN)通过相对于黎曼结构的指数和对数映射来合并流形的底层内在几何。因此,我们证明了eDNN和iDNN的经验风险最小化器(ERM)的经验风险收敛于最优速率。总的来说,eDNN框架简单且易于计算,而iDNN框架准确且快速收敛。为了展示我们的框架的实用程序,各种模拟研究和真实数据分析都使用eDNN和iDNN。
2023-02-16 cs.LG stat.ME stat.ML
From Low Intrinsic Dimensionality to Non-Vacuous Generalization Bounds in Deep Multi-Task Learning
Institute of Science and Technology Austria (ISTA)(奥地利科学与技术研究所)
该研究证实深度多任务学习中模型固有维度低的现象,提出基于随机扩展的低维参数化方法,结合权重压缩与PAC-贝叶斯推理得到首个深度多任务网络非空泛化界。
2025-05-21 cs.LG stat.ML
Adaptive Approximation and Generalization of Deep Neural Network with Intrinsic Dimensionality
Rutgers University(罗格斯大学);The University of Tokyo(东京大学);Komaba Institute for Science, The University of Tokyo(东京大学驹场科学研究所);Center for Advanced Intelligence Project, RIKEN(理化学研究所革新智能综合研究中心)
在这项研究中,我们证明了协变量的内在低维度是决定深度神经网络(DNN)性能的主要因素。DNN通常提供出色的经验性能。因此,许多研究积极研究DNN的理论特性,以了解其潜在机制。特别是,DNN在高维数据方面的行为是最关键的问题之一。然而,这个问题还没有得到充分的研究方面的协变量,虽然高维数据实际上具有较低的内在维数。在这项研究中,我们推导出的近似误差和泛化误差与本质上低维协变量的DNN的界限。我们应用闵可夫斯基维数的概念,并开发了一种新的证明技术。因此,我们证明了DNN的误差收敛速度不依赖于数据的名义高维,而是依赖于其较低的内在维数。我们进一步证明了该速率在极大极小意义下是最优的。我们通过证明DNN可以处理比其他自适应估计器更广泛的一类内在低维数据来确定DNN的优势。最后,我们进行了数值模拟,以验证理论结果。
2020-09-17 cs.LG stat.ML
Intrinsic Motivation Driven Intuitive Physics Learning using Deep Reinforcement Learning with Intrinsic Reward Normalization
KAIST(韩国科学技术院)
在很小的时候,人类婴儿就能够通过不断观察周围的物体并与之互动来快速学习并建立世界模型。人类婴儿获得的最基本的直觉之一是直觉物理学。人类婴儿学习并发展这些模型,这些模型后来作为进一步学习的先验知识。受人类婴儿表现出的这种行为的启发,我们引入了一个集成了深度强化学习的图形物理网络。具体来说,我们引入了一种内在的奖励归一化方法,允许我们的代理有效地选择可以最大限度地改善其直观物理模型的动作。使用3D物理引擎,我们证明了我们的图形物理网络能够非常有效地推断物体的位置和速度,我们的深度强化学习网络鼓励智能体通过仅使用内在动机不断与物体交互来改进其模型。我们在静态和非静态问题中对我们的模型进行了实验,并在代理执行的不同操作的数量和代理的直觉模型的准确性方面显示了我们的方法的好处。视频在https://www.youtube.com/watch? v=pDbByp91r3M&t=2s
2019-07-06 cs.LG cs.RO stat.ML
On Measuring Intrinsic Causal Attributions in Deep Neural Networks
Indian Statistical Institute(印度统计研究所);University at Buffalo(布法罗大学)
本文提出可识别的生成式事后框架,将神经网络视为结构因果模型以量化内在因果贡献,并建立其与Sobol'指数的联系,实验证明该方法比现有全局解释技术更直观可靠。
2025-05-14 cs.LG stat.ML
Quantifying Intrinsic Uncertainty in Classification via Deep Dirichlet Mixture Networks
University of California, Davis(加州大学戴维斯分校);New York University(纽约大学);University of California, Berkeley(加州大学伯克利分校)
随着深度神经网络在科学和技术领域的广泛成功,量化深度学习产生的预测的不确定性变得越来越重要。在本文中,我们介绍了一种新的方法,该方法使用深度神经网络将显式不确定性声明附加到分类的概率上。准确地说,我们认为分类概率是从一个未知的分布中采样的,我们建议通过狄利克雷混合来学习这个分布,狄利克雷混合足够灵活,可以近似单纯形上的任何连续分布。然后,我们从学习的分布中构造可信区间,以评估分类概率的不确定性。我们的方法易于实现,计算效率高,并且可以与任何深度神经网络架构相结合。我们的方法利用了关键的观察,在许多分类应用程序,如医疗诊断,一个以上的类标签可用于每个观察单位。我们证明了我们的方法的有用性,通过模拟和一个真实的数据例子。
2019-08-14 cs.LG stat.ML
Deep learning is adaptive to intrinsic dimensionality of model smoothness in anisotropic Besov space
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Kyushu Institute of Technology(九州工业大学)
深度学习在各种任务中表现出了卓越的性能,特别是对于高维数据集,如图像。为了理解这一特性,我们研究了深度学习在各向异性Besov空间上的近似和估计能力。各向异性的Besov空间的特征在于方向相关的光滑性,并包括迄今为止已经研究过的几个函数类。我们证明了深度学习的近似误差和估计误差仅取决于各个方向上平滑参数的平均值。因此,如果目标函数的光滑性是高度各向异性的,则可以避免维数灾难。与现有的研究不同,我们的分析不需要输入数据的低维结构。我们还研究了深度学习的最小最大最优性,并将其性能与核方法(更一般地说,线性估计)进行了比较。结果表明,如果目标函数具有各向异性平滑性,深度学习对输入维度具有更好的依赖性,并且对于具有空间非均匀平滑性的函数,深度学习实现了自适应速率。
2021-09-30 cs.LG stat.ML
Deep Network Approximation in Terms of Intrinsic Parameters
National University of Singapore(新加坡国立大学);University of Maryland, College Park(马里兰大学帕克分校)
解释深度学习成功的一个论据是深度神经网络强大的近似能力。这种能力通常伴随着参数数量的爆炸性增长,这反过来又导致高计算成本。我们是否可以用少量适应目标函数的可学习参数来实现成功的深度学习,这是一个非常有趣的问题。从近似的角度来看,本文表明,需要学习的参数的数量可以显着小于人们通常期望的。首先,我们从理论上设计了具有一些可学习参数的ReLU网络,以实现有吸引力的近似。我们通过构造证明,对于$[0,1]^d$上的任何Lipschitz连续函数$f$,具有Lipschitz常数$λ>0$,具有$n+2$内部参数(依赖于$f$的参数)的ReLU网络可以以指数小误差$5λ\sqrt{d}\,2^{-n}$逼近$f$。这样的结果被推广到一般的连续函数。此外,我们表明,学习少量的参数,以实现一个良好的近似的想法可以在数值上观察。我们进行了几个实验来验证,如果其他参数是预先指定的或从相关问题中预先训练的,则训练一小部分参数也可以为分类问题取得良好的结果。
2022-06-14 cs.LG stat.ML
ABID: Angle Based Intrinsic Dimensionality
TU Dortmund University(多特蒙德工业大学)
内在维度是指数据的“真实”维度,而不是数据表示的维度。例如,当属性高度相关时,内在维度可以比变量的数量低得多。局部内在维度是指观察到该属性可以针对数据集的不同部分而变化;并且内在维度可以充当数据集的局部难度的代理。最流行的估计局部固有维数的方法是基于距离,以及到最近邻的距离增加的速率,这一概念被称为“扩展维数”。在本文中,我们引入了一个正交的概念,它不使用任何距离:我们使用相邻点之间的角度分布。我们推导出角度的理论分布,并使用它来构建内在维度的估计。实验上,我们验证了这一措施的行为类似,但补充,现有的措施的内在维度。通过向研究界介绍一种新的内在维度的概念,我们希望有助于更好地理解内在维度,并推动这一方向的新研究。
2020-06-23 cs.LG stat.ML
Deep Reinforcement Learning with Hybrid Intrinsic Reward Model
The Hong Kong Polytechnic University(香港理工大学);Eastern Institute of Technology(东方理工学院);Ningbo Institute of Digital Twin(宁波数字孪生研究院)
针对单一内在奖励限制探索多样性与效率的问题,提出HIRE框架,通过融合策略构建混合内在奖励,在通用与无监督RL基准上系统验证,显著提升探索效率、多样性与技能获取。
2025-01-22 cs.LG
Intrinsic Dimension Estimation Using Wasserstein Distances
MIT(麻省理工学院)
长期以来,人们一直认为在许多实际机器学习任务中遇到的高维数据具有低维结构,即,多重假设成立。因此,一个自然的问题是从有限样本中估计给定总体分布的内在维数。我们引入了一个新的估计的内在尺寸,并提供有限样本,非渐近保证。然后,我们应用我们的技术来获得生成对抗网络(GANs)的新样本复杂度界限,仅取决于数据的内在维度。
2022-05-31 cs.LG stat.ML
Automatic Intrinsic Reward Shaping for Exploration in Deep Reinforcement Learning
The Hong Kong Polytechnic University(香港理工大学);Eastern Institute for Advanced Study(东方高等研究院)
本文提出AIRS,一种自动内在奖励塑形方法,通过实时选择塑形函数增强强化学习探索,并在多个基准任务上取得优越性能。
2023-10-12 cs.AI cs.LG
Surprise-Based Intrinsic Motivation for Deep Reinforcement Learning
UC Berkeley(加州大学伯克利分校)
复杂领域的探索是强化学习的一个关键挑战,特别是对于奖励非常稀疏的任务。最近在深度强化学习中取得的成功主要是使用简单的启发式探索策略,如$ε$ -贪婪动作选择或高斯控制噪声,但有许多任务,这些方法不足以取得任何学习进展。在这里,我们考虑更复杂的探索:高效和可扩展的探索策略,最大限度地提高了一个代理的惊喜,通过内在动机的经验的概念。我们建议与策略同时学习MDP转移概率的模型,并形成近似于来自学习模型的真实转移概率的KL发散的内在奖励。我们的一个近似结果是将学习作为内在动机,而另一个近似结果是$k$步骤学习进展。我们表明,我们的激励机制,使代理人在广泛的环境中成功的高维状态空间和非常稀疏的奖励,包括连续控制任务和游戏中的Atari RAM域,优于其他几个启发式探索技术。
2017-03-06 cs.LG
Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation
BCS, MIT(麻省理工学院脑与认知科学系);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
在稀疏反馈环境中学习目标导向行为是强化学习算法的主要挑战。主要的困难是由于探索不足,导致代理无法学习鲁棒的价值函数。内在动机的代理人可以探索新的行为本身的缘故,而不是直接解决问题。这种内在行为最终可以帮助智能体解决环境带来的任务。我们提出了层次DQN(h-DQN),一个框架,集成层次价值函数,在不同的时间尺度上操作,具有内在动机的深度强化学习。顶级价值函数学习内在目标上的策略,而低级函数学习原子操作上的策略以满足给定目标。h-DQN允许灵活的目标规范,例如实体和关系上的函数。这为复杂环境中的探索提供了有效的空间。我们证明了我们的方法在两个问题上的强度非常稀疏,延迟反馈:(1)一个复杂的离散随机决策过程,(2)经典的ATARI游戏'蒙特祖玛的Restaurant'。
2016-05-31 cs.AI cs.CV cs.LG
Rdimtools: An R package for Dimension Reduction and Intrinsic Dimension Estimation
University of Notre Dame(圣母大学)
发现复杂高维数据的模式是一个长期存在的问题。降维(DR)和固有维估计(IDE)是两个基本的主题程序,它们有助于对数据的几何理解。我们提出了Rdimtools -一个R包,支持133 DR和17 IDE算法,其程度使多方面的审查数据在一个地方更容易。Rdimtools在MIT许可下分发,可以从CRAN,GitHub及其软件包网站访问,所有这些都提供安装说明,自包含的示例和API文档。
2020-05-22 cs.LG stat.ML
A deep network construction that adapts to intrinsic dimensionality beyond the domain
University of California, San Diego(加利福尼亚大学圣迭戈分校);Halıcıǧlu Data Science Institute, University of California San Diego(加利福尼亚大学圣迭戈分校Halıcıǧlu数据科学研究所);Simula Research Laboratory(Simula研究实验室)
我们研究了通过ReLU激活的深度网络对双层组合物$f(x) = g(ϕ(x))$的近似,其中$ϕ$是一个几何直观的降维特征映射。我们专注于两个直观的和实际相关的选择$ϕ$:投影到一个低维嵌入子流形和一个低维集合的距离。我们实现了接近最佳的近似率,这只取决于复杂的降维映射$ϕ$,而不是周围的尺寸。由于$ϕ$封装了对函数$f$重要的所有非线性特征,这表明深度网络忠实于由$f$控制的内在维度,而不是$f$的域的复杂性。特别是,在低维流形上近似函数的普遍假设可以使用$f(x) = g(ϕ(x))$型函数来显著放松,其中$ϕ$表示在同一流形上的正交投影。
2021-04-26 cs.LG math.ST stat.ML
Regularized Maximum Likelihood for Intrinsic Dimension Estimation
Epson Research and Development(爱普生研发部);University of Illinois(伊利诺伊大学)
我们提出了一种新的方法来估计的内在尺寸的数据集应用规则化的最大似然原则的近邻之间的距离。我们提出了一个正则化方案,这是出于发散最小化原则。我们得到的估计由泊松过程近似,讨论其收敛性,并将其应用到一些模拟和真实的数据集。我们还表明,它具有最好的整体性能相比,其他两个内在的尺寸估计。
2012-03-15 cs.LG stat.ML
Birds look like cars: Adversarial analysis of intrinsically interpretable deep learning
University of Warsaw(华沙大学);Warsaw University of Technology(华沙技术大学)
本文研究了内在可解释深度学习模型的对抗性风险,通过原型操纵和后门攻击揭示其不可解释性,并探讨了提升模型鲁棒性和对齐性的必要性。
2025-09-18 cs.CV cs.LG
Intrinsic training dynamics of deep neural networks
ENS - PSL Univ.(巴黎-萨克雷大学);CNRS, ENS - PSL Univ.(国家科学研究中心、巴黎-萨克雷大学);Inria, CNRS, ENS de Lyon, Université Claude Bernard Lyon 1, LIP, UMR 5668(法国国家信息与自动化技术研究所、国家科学研究中心、里昂大学、 Claude Bernard 大学、LIP 实验室、UMR 5668)
本文研究深度学习中梯度流如何促进参数属于低维结构的内在动态,提出基于核的必要条件,并应用于ReLU网络和线性神经ODE,展示松弛平衡初始化下的内在动态特性。
2026-03-12 cs.LG
A Novel Approach for Intrinsic Dimension Estimation
Middle East Technical University(中东技术大学);Kadir Has University(卡迪尔哈斯大学)
本文针对大数据场景下内在维度估计成本高的问题,提出一种仅依赖矩阵-向量乘积的高效稳健估计方法,并通过实验证明其性能优于现有先进方法。
2025-03-12 cs.LG stat.ML
Reconciling Modern Deep Learning with Traditional Optimization Analyses: The Intrinsic Learning Rate
Princeton University(普林斯顿大学);Tsinghua University(清华大学);IAS(高等研究院)
最近的作品(例如,(Li和Arora,2020))表明,在当今的深度学习中使用流行的归一化方案(包括批量归一化)可以使其远离传统的优化观点,例如,使用指数增长的学习率。本文强调了规范化网络的行为偏离传统观点的其他方式,然后通过对传统框架的适当调整,即通过适当的随机微分方程(STD)建模SGD诱导的训练轨迹,并通过捕获梯度噪声的噪声项,启动了一个正式的框架来研究它们的数学。这产生:(a)新的“固有学习率”参数,其是正常学习率和权重衰减因子的乘积。分析的有效学习速度的变化和平衡的内在LR的控制下,随着时间的推移。(b)通过理论和实验对流行的观点提出了挑战,即良好的泛化需要在训练开始时有很大的学习率。(c)由数学直觉支持的新实验表明,达到平衡(在函数空间中)的步骤数量与内在学习率成反比,而不是指数时间收敛边界。我们称之为快速平衡猜想,并建议它持有的关键,为什么批量归一化是有效的。
2020-10-06 cs.LG
The Intrinsic Manifolds of Radiological Images and their Role in Deep Learning
Duke University(杜克大学)
流形假设是深度学习成功背后的核心机制,因此理解图像数据的内在流形结构是研究神经网络如何从数据中学习的核心。内在的数据集流形和它们之间的关系,学习难度最近开始研究自然图像的共同领域,但很少有这样的研究已经尝试放射图像。我们在这里解决这个问题。首先,我们比较了放射图像和自然图像的固有流形维度。我们还研究了在广泛的数据集的内在维度和泛化能力之间的关系。我们的分析表明,自然图像数据集通常具有比放射图像更高的固有维数。然而,对于医学图像,泛化能力和内在维度之间的关系要强得多,这可以解释为放射图像具有更难学习的内在特征。这些结果为直觉提供了一个更有原则的基础,即放射图像比机器学习研究中常见的自然图像数据集更难应用深度学习。我们认为,而不是直接应用模型开发的自然图像的放射成像领域,更应该注意开发架构和算法,更适合这个领域的具体特点。我们的论文中所展示的研究,展示了这些特征以及与自然图像的差异,是朝着这个方向迈出的重要的第一步。
2022-07-06 cs.CV cs.LG eess.IV
Separating Intrinsic Ambiguity from Estimation Uncertainty in Deep Generative Models for Linear Inverse Problems
Neuroscience Institute, Carnegie Mellon University(卡内基梅隆大学神经科学研究所);Machine Learning Department, Carnegie Mellon University(卡内基梅隆大学机器学习系);Department of Electrical and Computer Engineering, Carnegie Mellon University(卡内基梅隆大学电气与计算机工程系)
本文提出一种分解后验不确定性的方法,用于区分逆问题中固有模糊性和推断传播的不确定性,通过校准分析揭示模型失败模式。
2026-05-14 cs.LG
Geometry-Aware Optimal Transport: Fast Intrinsic Dimension and Wasserstein Distance Estimation
Wolfgang Pauli Institute, Vienna, Austria(沃尔夫冈·保罗研究所)
本文提出了一种基于几何意识的最优传输方法,通过引入新的估计器来快速估计内在维度和Wasserstein距离,从而提高计算效率和统计准确性。
2026-02-04 cs.LG stat.ML
Intrinsic Geometric Vulnerability of High-Dimensional Artificial Intelligence
Department of Mathematics and Geosciences, University of Trieste(的里雅斯特大学数学与地球科学系);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
现代人工智能(AI)技术的成功关键取决于从大型高维数据集中学习非线性函数依赖关系的能力。尽管最近取得了令人瞩目的成功,但经验证据表明,高预测性能往往与低鲁棒性相结合,使得AI系统可能容易受到对抗攻击的攻击。在这份报告中,我们提供了一个简单直观的论点,表明高性能和脆弱性是内在耦合的,在很大程度上取决于典型的,高维数据集的几何形状。我们的工作突出了现代人工智能系统的一个主要潜在陷阱,并提出了改善问题的实际研究方向。
2019-01-24 cs.LG stat.ML
LIDL: Local Intrinsic Dimension Estimation Using Approximate Likelihood
University of Warsaw(华沙大学);Polish National Institute for Machine Learning(波兰国家机器学习研究所);Applica;Jagiellonian University(雅盖隆大学);University of Oxford(牛津大学)
大多数现有的方法估计的数据分布的局部固有维不缩放以及高维数据。他们中的许多人依赖于一个非参数的最近邻的方法,从维数灾难的痛苦。我们试图通过提出一种新的方法来解决这个问题:使用近似Likestive(LIDL)的局部固有维数估计。我们的方法依赖于一个任意的密度估计方法作为其子程序,因此试图回避的维数的挑战,利用参数神经方法的似然估计的最新进展。我们仔细研究了所提出的方法的经验性质,将它们与我们的理论预测进行比较,并表明LIDL在这个问题的标准基准上产生了有竞争力的结果,并且它可以扩展到数千个维度。更重要的是,我们预计这种方法将进一步改善与密度估计文献的不断进步。
2022-07-11 cs.LG stat.ML
Posterior Contraction for Sparse Neural Networks in Besov Spaces with Intrinsic Dimensionality
University of Maryland(马里兰大学);Yonsei University(延世大学)
本文证明稀疏贝叶斯神经网络在贝索夫空间上达到依赖内在维数的最优后验收缩率,缓解维数灾难,并实现速率自适应,为高维结构化估计提供理论依据。
2025-10-24 cs.LG stat.ML
Explaining Deep Neural Networks by Leveraging Intrinsic Methods
Sapienza University of Rome(罗马大学)
本论文通过引入自解释网络设计、神经元激活值分析和视觉分析中解释性技术的应用,增强深度神经网络的可解释性,以解决其黑盒问题。
2024-07-17 cs.LG
GIFT: Global stabilisation via Intrinsic Fine Tuning
School of Computing Science University of Glasgow(计算科学学院格拉斯哥大学)
GIFT通过内在微调方法优化深度强化学习策略的全局稳定性,保持任务性能,提升实际控制系统应用的可靠性。
2026-04-25 cs.AI cs.LG
Learn Goal-Conditioned Policy with Intrinsic Motivation for Deep Reinforcement Learning
Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
学习一个广泛适用的、通用的、能够实现包括图像和文本描述在内的多种目标的策略对于智能体具有重要意义。考虑到这些感知特定的目标,深度强化学习研究的前沿是学习一个目标条件的政策,而无需手工制作的奖励。为了学习这种策略,最近的工作通常采取的奖励非参数距离的一个明确的嵌入空间中的给定目标。从不同的角度,我们提出了一种新的无监督学习方法命名为目标有条件的政策与内在动机(GPIM),共同学习的抽象级别的政策和目标有条件的政策。抽象级策略以潜在变量为条件,以优化策略,并发现进一步呈现为目标条件策略的感知特定目标的各种状态。学习的策略作为目标条件策略的内在奖励函数,以模仿抽象级策略诱导的轨迹。各种机器人任务的实验证明了我们提出的GPIM方法的有效性和效率,大大优于现有技术。
2021-12-13 cs.LG cs.RO
Towards Uncovering the Intrinsic Data Structures for Unsupervised Domain Adaptation using Structurally Regularized Deep Clustering
South China University of Technology(华南理工大学);University of Surrey(萨里大学)
无监督领域自适应(Unsupervised domain adaptation,UDA)是指在源域中有标记数据的分布偏离目标域的情况下,学习对目标域中无标记数据进行预测的分类模型。主流的UDA方法努力学习与域对齐的特征,使得在源特征上训练的分类器可以很容易地应用于目标特征。虽然已经取得了令人印象深刻的结果,这些方法有一个潜在的风险,破坏了内在的数据结构的目标歧视,提出了一个问题,特别是在归纳设置的UDA任务的泛化。为了解决这个问题,我们的动机是跨域结构相似性的UDA假设,并建议通过约束聚类直接揭示内在的目标歧视,其中我们使用结构源正则化来约束聚类解决方案,该正则化依赖于相同的假设。从技术上讲,我们提出了一种结构正则化深度聚类的混合模型,它将目标数据的正则化判别聚类与生成聚类相结合,因此我们将我们的方法称为H-SRDC。我们的混合模型基于一个深度聚类框架,该框架最大限度地减少了网络预测分布与辅助分布之间的Kullback-Leibler分歧,在该框架中,我们通过学习域共享分类器和聚类中心来实施结构正则化。通过丰富的结构相似性假设,我们能够扩展H-SRDC的像素级UDA任务的语义分割。我们进行了广泛的实验,七UDA基准的图像分类和语义分割。在没有明确的特征对齐的情况下,我们提出的H-SRDC在归纳和转换设置下都优于所有现有的方法。我们在https://github.com/huitan…
2021-04-08 cs.CV cs.LG stat.ML
Predictable Gradient Manifolds in Deep Learning: Temporal Path-Length and Intrinsic Rank as a Complexity Regime
本文提出通过时间路径长度和内在秩来表征深度学习优化的低复杂度时间制度,为优化动态提供新视角。
2026-01-07 cs.LG
A Statistical Analysis for Supervised Deep Learning with Exponential Families for Intrinsically Low-dimensional Data
UC Berkeley(加州大学伯克利分校);Google DeepMind(谷歌DeepMind)
该研究针对指数族监督深度学习场景,采用熵本征维度概念推导测试误差收敛速率,改进了现有最优结果,证明误差对输入维度d仅呈多项式依赖,且密度有下界时速率近乎最优。
2024-12-13 cs.LG math.ST stat.ML
Linearly Separable Features in Shallow Nonlinear Networks: Width Scales Polynomially with Intrinsic Data Dimension
University of Michigan(密歇根大学);University of Macao(澳门大学)
本文研究浅层非线性网络的线性可分能力,证明网络宽度可多项式缩放于数据内在维度而非 ambient 维度,实验验证了理论结论。
2026-03-18 cs.CV cs.LG stat.ML
Towards Quantifying Intrinsic Generalization of Deep ReLU Networks
Florida State University(佛罗里达州立大学)
理解深层神经网络取得经验成功的潜在机制对于进一步提高其性能和解释此类网络至关重要。为了实现这一目标,一个具体的问题是如何解释相同的过度参数化的深度神经网络的“令人惊讶的”行为,这些神经网络可以在真实数据集上很好地泛化,同时在标签随机化时“记住”训练样本。在本文中,我们证明了深度ReLU网络通过分段线性插值从训练样本推广到新点。我们对深度ReLU网络的泛化能力进行了量化分析:给定一个固定点$\mathbf{x}$和输入空间$\mathcal{S}$中的固定方向,总有一个片段,使得片段上的任何点都将被分类为与固定点$\mathbf{x}$相同。我们把这一部分称为$generalization \ interval$。我们发现,在MNIST和CIFAR-10数据集上,在真实和随机情况下,ReLU网络的泛化区间沿着相同标签的样本之间的成对方向表现相似。该结果表明,在两种情况下使用相同的插值机制。此外,对于使用真实标签的数据集,这种网络提供了数据中底层流形的良好近似,其中沿切线方向的变化比沿法线方向的变化小得多。然而,另一方面,对于具有随机标签的数据集,具有相同标签的三角形沿中线的泛化间隔远小于具有真实标签的数据集上的泛化间隔,这表明沿其他方向的不同行为。我们的系统性实验首次证明,这种深度神经网络通过相同的插值进行泛化,并解释了它们在真实和随机标签数据集上的性能差异。
2019-10-18 cs.LG cs.NE stat.ML
Image-Based Deep Reinforcement Learning with Intrinsically Motivated Stimuli: On the Execution of Complex Robotic Tasks
The University of Auckland(奥克兰大学)
本文提出NaSA-TD3,一种结合新颖性与惊讶内在刺激的基于图像的深度强化学习方法,用于改善稀疏奖励下复杂机器人任务的探索效率,并在模拟和真实环境中优于现有方法。
2024-07-31 cs.AI cs.LG
On Explicit Curvature Regularization in Deep Generative Models
Korea Institute for Advanced Study(韩国高等研究院);Seoul National University(首尔国立大学);Saige Research(Saige研究院)
本文提出基于曲率的深度生成模型正则化方法,推导内蕴与外蕴曲率的坐标不变公式及高效近似算法,并在含噪声运动捕捉数据上验证其优于现有自编码器正则化方法。
2023-09-19 cs.AI cs.LG
Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Google DeepMind(谷歌DeepMind);Princeton University(普林斯顿大学)
我们提出了一个统一的机制,以实现协调和沟通的多智能体强化学习(MARL),通过奖励代理有因果关系的影响,其他代理的行动。使用反事实推理评估因果影响。在每一个时间步,一个代理模拟它可能采取的替代动作,并计算它们对其他代理行为的影响。导致其他代理行为发生更大变化的行为被认为是有影响力的,并得到奖励。我们表明,这相当于奖励代理人之间的行动有高互信息。实证结果表明,影响力导致在具有挑战性的社会困境环境中增强协调和沟通,显着增加深度RL代理的学习曲线,并导致更有意义的学习通信协议。通过使代理能够使用深度神经网络学习其他代理的模型,可以以分散的方式计算所有代理的影响力奖励。相比之下,在MARL设置的紧急通信的关键以前的作品无法学习不同的政策,在一个分散的方式,不得不求助于集中的培训。因此,影响力奖励为这一领域的研究开辟了新的机会。
2019-06-18 cs.AI cs.LG cs.MA
The Intrinsic Dimension of Images and Its Impact on Learning
University of Maryland, College Park(马里兰大学学院公园分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
人们普遍认为,自然图像数据表现出低维结构,尽管传统的像素表示的高维。这个想法是深度学习在计算机视觉中取得巨大成功的共同直觉的基础。在这项工作中,我们将维度估计工具应用于流行的数据集,并研究低维结构在深度学习中的作用。我们发现,常见的自然图像数据集确实有非常低的内在维数相对于图像中的高像素数。此外,我们发现低维数据集更容易让神经网络学习,并且解决这些任务的模型可以更好地从训练数据推广到测试数据。在此过程中,我们开发了一种技术,用于在GANs生成的合成数据上验证我们的维度估计工具,使我们能够通过控制图像生成过程来主动操纵固有维度。我们的实验代码可以在这里找到https://github.com/ppope/dimensions。
2021-04-18 cs.CV cs.LG stat.ML
Intrinsic Vicarious Conditioning for Deep Reinforcement Learning
Rochester Institute of Technology(罗切斯特理工学院)
本文提出一种内在代偿条件机制,通过记忆方法实现注意力、保留、再现和强化四个步骤,支持低样本学习,无需示范者策略或奖励函数,在MiniWorld Sidewalk和Box2D CarRacing环境中验证了其效果。
2026-05-12 cs.LG
Digital implementations of deep feature extractors are intrinsically informative
Chair for Geometry and Analysis(几何与分析研究所);RWTH Aachen University(亚琛工业大学)
本文提出了一种统一框架,用于确定深度特征提取器中能量传播速度的上限,并通过不同模型展示了全局指数能量衰减。
2026-01-02 cs.CV cs.LG math.FA
Data-Free Universal Attack by Exploiting the Intrinsic Vulnerability of Deep Models
提出无数据通用攻击方法 IntriUAP,利用深度模型线性组件的病态性质,将扰动与最大奇异值对应的右奇异向量对齐,无需样本即可高效攻击,且仅需部分层访问。
2025-03-28 cs.CV cs.LG
A Statistical Analysis of Deep Federated Learning for Intrinsically Low-dimensional Data
University of Michigan(密歇根大学);University of California, Berkeley(加州大学伯克利分校);Google DeepMind(谷歌DeepMind)
本文研究了双阶段抽样模型下深度联邦回归的泛化性质,发现其误差收敛速率取决于数据的内在熵维度而非名义高维性,并给出了参与与非参与客户端的误差率界限。
2025-09-16 cs.AI cs.LG math.ST
Geometry-Aware Maximum Likelihood Estimation of Intrinsic Dimension
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所);Higher School of Economics(高等经济学院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Institute for Information Transmission Problems(信息传输问题研究所)
当数据被非线性地嵌入到高维空间中时,现有的本征维数估计方法通常是不可靠的。在这项工作中,我们表明,明确会计几何性质的未知支持导致多项式校正的标准最大似然估计的内在尺寸平坦流形。所提出的算法(GeoMLE)实现了校正的回归标准MLE的基础上的距离最近的邻居为不同大小的邻域。此外,所提出的方法也有效地处理的情况下,非均匀采样的流形。我们在不同的合成和真实世界的数据集上进行了大量的实验。结果表明,我们的算法实现了最先进的性能,同时也是计算效率和数据中的噪声鲁棒性。
2019-04-12 cs.LG stat.ME stat.ML
Relative intrinsic dimensionality is intrinsic to learning
University of Leicester(莱斯特大学)
本文提出数据分布固有维度及相对固有维度概念,证明高固有维度保证数据可分离,并为二分类学习成功概率提供上下界。
2023-10-10 cs.AI cs.LG
Unified Data Collection for Visual-Inertial Calibration via Deep Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
视觉惯性传感器在机器人领域有着广泛的应用。然而,良好的性能往往需要不同的复杂的运动例程,以准确地校准相机的内在和传感器间的外在。这项工作提出了一种新的配方,学习的运动策略上执行的机器人手臂自动数据汇集校准内在和外在的联合。我们的方法使用无模型深度强化学习对校准过程进行了建模,以导出一种策略,该策略指导持有传感器的机器人手臂的运动,以有效地收集可用于相机内部校准和相机IMU外部校准的测量值。给定当前姿态和收集的测量值,学习策略生成优化传感器校准精度的后续变换。在模拟和一个真正的机器人系统的评估表明,我们学到的政策产生有利的运动轨迹,并有效地收集足够的测量,产生所需的内在和外在的短路径长度。在模拟中,我们能够以比手工制定的策略快10倍的速度执行校准,这比人类专家快3倍。
2021-09-30 cs.LG cs.RO
Intrinsic dimension estimation for discrete metrics
International School for Advanced Studies (SISSA)(国际高等研究院(SISSA));Banca d’Italia(意大利银行);The Abdus Salam International Centre for Theoretical Physics (ICTP)(阿卜杜勒·萨拉姆国际理论物理中心(ICTP))
现实世界中,以离散特征为特征的数据集无处不在:从分类调查到临床问卷,从未加权网络到DNA序列。然而,最常见的无监督降维方法是针对连续空间设计的,而将其用于离散空间可能会导致错误和偏差。在这封信中,我们介绍了一种算法来推断嵌入在离散空间中的数据集的内在维数(ID)。我们在基准数据集上证明了它的准确性,并将其应用于分析宏基因组数据集的物种指纹,发现一个令人惊讶的小ID,顺序为2。这表明,尽管层序空间是高维的,但演化压力作用在低维流形上。
2023-03-12 cs.LG physics.comp-ph stat.ML
Deep Intrinsic Surprise-Regularized Control (DISRC): A Biologically Inspired Mechanism for Efficient Deep Q-Learning in Sparse Environments
James Madison High School(詹姆斯麦迪逊高中);Thomas Jefferson HSST(托马斯·杰斐逊高中);Northview High School(北视高中)
DISRC通过动态调节Q更新,提升稀疏奖励环境下的深度Q学习效率与稳定性。
2026-01-24 cs.LG cs.NE
Curiosity in exploring chemical space: Intrinsic rewards for deep molecular reinforcement learning
University of Göttingen(哥廷根大学);University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);Canadian Institute for Advanced Research(加拿大高等研究院)
计算机辅助分子设计有可能颠覆药物和材料发现领域。机器学习,特别是深度学习,一直是该领域快速发展的主题。强化学习是一种特别有前途的方法,因为它允许分子设计而无需先验知识。然而,搜索空间是巨大的,并且当使用强化学习代理时,需要有效的探索。在这项研究中,我们提出了一个算法,以帮助有效的探索。该算法的灵感来自文献中称为好奇心的概念。我们在三个基准上显示,一个好奇的代理发现性能更好的分子。这为强化学习代理人指明了一个令人兴奋的新研究方向,这些代理人可以出于自己的动机探索化学空间。这有可能最终导致意想不到的新分子,到目前为止还没有人想到过。
2020-12-17 cs.AI cs.LG physics.chem-ph
Intrinsic dimension of a dataset: what properties does one expect?
我们提出了一个公理化的方法的概念的内在维度的数据集,基于高维结构的几何学的观点。我们的第一个公理假设,维数的高值表明维数灾难的存在(在某种精确的数学意义上)。第二个公理要求维数平滑地依赖于数据集之间的距离(这样数据集的维数和近似主流形的维数将彼此接近)。第三个公理是一个规范化条件:欧几里德$n$球$\s^n$的维数是$Θ(n)$ .我们给出一个满足我们公理的维数函数的例子,即使它在一般计算上是不可行的,并讨论一个计算上便宜的函数满足大多数但不是所有的公理(查韦斯等人的“内在维数”)。
2007-03-25 cs.LG
Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning
Facebook(脸书)
虽然预训练的语言模型可以进行微调,为各种语言理解任务产生最先进的结果,但这个过程的动态并没有得到很好的理解,特别是在低数据状态下。为什么我们可以使用相对普通的梯度下降算法(例如,在没有强正则化的情况下),在只有数百或数千个标记示例的数据集上调整具有数亿个参数的模型?在本文中,我们认为,通过内在维度的镜头分析微调为我们提供了经验和理论的直觉来解释这一显着的现象。我们的经验表明,常见的预训练模型具有非常低的内在维度;换句话说,存在一个低维的重新参数化,它与完整的参数空间一样有效。例如,通过优化随机投射回全空间的200个可训练参数,我们可以调整RoBERTa模型,以实现MRPC上90%的全参数性能水平。此外,我们的经验表明,预训练隐式地最小化了内在维度,也许令人惊讶的是,在固定数量的预训练更新后,较大的模型往往具有较低的内在维度,至少部分解释了它们的极端有效性。最后,我们将内在维度与低维任务表示和基于压缩的泛化边界连接起来,以提供独立于完整参数计数的基于内在维度的泛化边界。
2020-12-22 cs.CL cs.LG
Non-Parametric Inference Adaptive to Intrinsic Dimension
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
本文研究了高维条件矩模型的非参数估计和推断。我们发现,即使当尺寸$D$的条件变量是大于样本量$n$,估计和推断是可行的,只要分布的条件变量具有小的内在尺寸$d$,测量本地低倍措施。我们的估计是基于$k$ -最近邻($k$ -NN)$Z$ -估计器的子采样集合。我们证明了,如果协变量分布的内在维数等于$d$,那么我们的估计量的有限样本估计误差是$n^{-1/(d+2)}$阶的,并且我们的估计量是$n^{1/(d+2)}$ -渐近正态的,与$D$无关。实现这些结果所需的子采样大小取决于未知的固有维数$d$。我们提出了一个自适应的数据驱动的方法来选择这个参数,并证明它达到了预期的速率。我们讨论的扩展和应用,异质性治疗效果估计。
2019-06-18 cs.LG econ.EM math.ST