Quality Evaluation of GANs Using Cross Local Intrinsic Dimensionality
The University of Melbourne（墨尔本大学）；National Institute of Informatics（国立信息学研究所）
生成对抗网络（GANs）是一种优雅的数据生成机制。然而，使用GANs时的一个关键挑战是如何最好地衡量它们生成真实数据的能力。在本文中，我们证明了通过GAN模型学习的数据空间的固有维度特征可以为GAN质量提供有效的评估指标。特别是，我们提出了一种新的评估措施，CrossLID，它评估了真实世界数据的局部内在维度（LID），相对于在GAN生成的样本中发现的邻域。直观地说，CrossLID测量两个数据分布的流形彼此重合的程度。在4个基准图像数据集上的实验中，我们将我们提出的方法与几种最先进的评估指标进行了比较。我们的实验表明，CrossLID与GAN训练的进度密切相关，对模式坍塌敏感，对小规模噪声和图像变换具有鲁棒性，并且对样本大小具有鲁棒性。此外，我们展示了如何在GAN训练过程中使用CrossLID来提高生成质量。
2019-05-02 cs.LG stat.ML
Deep learning is adaptive to intrinsic dimensionality of model smoothness in anisotropic Besov space
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Kyushu Institute of Technology（九州工业大学）
深度学习在各种任务中表现出了卓越的性能，特别是对于高维数据集，如图像。为了理解这一特性，我们研究了深度学习在各向异性Besov空间上的近似和估计能力。各向异性的Besov空间的特征在于方向相关的光滑性，并包括迄今为止已经研究过的几个函数类。我们证明了深度学习的近似误差和估计误差仅取决于各个方向上平滑参数的平均值。因此，如果目标函数的光滑性是高度各向异性的，则可以避免维数灾难。与现有的研究不同，我们的分析不需要输入数据的低维结构。我们还研究了深度学习的最小最大最优性，并将其性能与核方法（更一般地说，线性估计）进行了比较。结果表明，如果目标函数具有各向异性平滑性，深度学习对输入维度具有更好的依赖性，并且对于具有空间非均匀平滑性的函数，深度学习实现了自适应速率。
2021-09-30 cs.LG stat.ML
An alternative proof of the vulnerability of retrieval in high intrinsic dimensionality neighborhood
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（信息与随机系统研究所）
本文研究了数据分析和机器学习中的关键工具最近邻搜索的脆弱性。该漏洞被衡量为攻击者需要添加到数据集点上以修改其邻居排名w.r.t.的相对扰动量。查询。这个数量的统计分布是从简单的假设中得出的。六个大规模数据集上的实验验证了该模型的一些离群值，这些离群值被解释为违反了假设。
2022-05-20 cs.LG math.PR stat.ML
A Novel Approach for Intrinsic Dimension Estimation
Middle East Technical University（中东技术大学）；Kadir Has University（卡迪尔哈斯大学）
本文针对大数据场景下内在维度估计成本高的问题，提出一种仅依赖矩阵-向量乘积的高效稳健估计方法，并通过实验证明其性能优于现有先进方法。
2025-03-12 cs.LG stat.ML
A deep network construction that adapts to intrinsic dimensionality beyond the domain
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Halıcıǧlu Data Science Institute, University of California San Diego（加利福尼亚大学圣迭戈分校Halıcıǧlu数据科学研究所）；Simula Research Laboratory（Simula研究实验室）
我们研究了通过ReLU激活的深度网络对双层组合物$f(x) = g(ϕ(x))$的近似，其中$ϕ$是一个几何直观的降维特征映射。我们专注于两个直观的和实际相关的选择$ϕ$：投影到一个低维嵌入子流形和一个低维集合的距离。我们实现了接近最佳的近似率，这只取决于复杂的降维映射$ϕ$，而不是周围的尺寸。由于$ϕ$封装了对函数$f$重要的所有非线性特征，这表明深度网络忠实于由$f$控制的内在维度，而不是$f$的域的复杂性。特别是，在低维流形上近似函数的普遍假设可以使用$f(x) = g(ϕ(x))$型函数来显著放松，其中$ϕ$表示在同一流形上的正交投影。
2021-04-26 cs.LG math.ST stat.ML
On Projections to Linear Subspaces
TU Dortmund University（多特蒙德工业大学）
将数据投影到线性子空间上的优点是众所周知的，例如，降维子空间投影的一个关键方面，方差的最大保持（主成分分析），已经被彻底研究，随机线性投影对内在维度等测量的影响仍然是一个持续的努力。在本文中，我们探讨了探索深度的线性投影到显式子空间的不同维度和期望的方差随之而来。其结果是一个新的家庭的界限的欧氏距离和内积。我们展示了这些界限的质量，以及调查的内在维度估计的密切关系。
2022-09-26 cs.LG stat.ML
On the Use of Bagging for Local Intrinsic Dimensionality Estimation
University of Southern Denmark（丹麦南部大学）；Monash University（莫纳什大学）；New Jersey Institute of Technology（新泽西理工学院）
本文提出使用Bagging方法减少局部内在维数估计中的方差，通过子Bagging保留最近邻距离的局部分布，分析采样率和k-NN大小对性能的影响，实验表明Bagging能有效降低方差和均方误差。
2026-03-25 cs.LG stat.ML
On the intrinsic dimensionality of Covid-19 data: a global perspective
本文旨在从全球角度探讨COVID-19病例、死亡人数的标准化人均增长率与OxCGRT COVID-19严格指数之间关系的复杂性。OxCGRT COVID-19严格指数是一种衡量一个国家封锁政策严格程度的指标。为了实现我们的目标，我们使用一个异构的内在维度估计实现贝叶斯混合模型，称为Hidalgo。我们发现Covid-19数据集可以投影到两个低维流形上，而不会有显著的信息损失。低维度表明，2020-2021年一个国家的人均病例和死亡的标准化增长率与OxCGRT Covid-19严格指数之间存在很强的依赖性。考虑到低维结构，用很少的参数对可观察的Covid-19动态进行建模可能是可行的。重要的是，我们确定了空间自相关的内在尺寸分布在世界各地。此外，我们强调，高收入国家更有可能处于低维流形上，这可能是由于人口老龄化、合并症以及COVID-19造成的人均死亡率负担增加。最后，我们对数据集进行时间分层，以在整个Covid-19大流行期间更细粒度地检查内在维度。
2022-03-08 stat.AP stat.CO stat.ML
Fast k-Nearest Neighbour Search via Prioritized DCI
University of California, Berkeley（加州大学伯克利分校）
最精确的方法k-最近邻搜索遭受灾难的维度，也就是说，他们的查询时间表现出指数依赖于环境或内在的维度。动态连续索引（DCI）提供了一种很有前途的方法来规避诅咒，并成功地减少查询时间对内在维度的依赖性从指数到次线性。在本文中，我们提出了一个变种的DCI，我们称之为优先级DCI，并表现出显着的改善查询时间的依赖内在维度。特别地，内在维度的线性增加，或者等价地，查询附近的点的数量的指数增加，可以仅用空间的线性增加来抵消。我们还实证表明，优先DCI显着优于以前的方法。特别地，相对于局部敏感散列（LSH），优先化DCI将距离评估的数量减少了14到116倍，并且将存储器消耗减少了21倍。
2017-07-20 cs.AI cs.DS cs.IR
LIDL: Local Intrinsic Dimension Estimation Using Approximate Likelihood
University of Warsaw（华沙大学）；Polish National Institute for Machine Learning（波兰国家机器学习研究所）；Applica；Jagiellonian University（雅盖隆大学）；University of Oxford（牛津大学）
大多数现有的方法估计的数据分布的局部固有维不缩放以及高维数据。他们中的许多人依赖于一个非参数的最近邻的方法，从维数灾难的痛苦。我们试图通过提出一种新的方法来解决这个问题：使用近似Likestive（LIDL）的局部固有维数估计。我们的方法依赖于一个任意的密度估计方法作为其子程序，因此试图回避的维数的挑战，利用参数神经方法的似然估计的最新进展。我们仔细研究了所提出的方法的经验性质，将它们与我们的理论预测进行比较，并表明LIDL在这个问题的标准基准上产生了有竞争力的结果，并且它可以扩展到数千个维度。更重要的是，我们预计这种方法将进一步改善与密度估计文献的不断进步。
2022-07-11 cs.LG stat.ML
Multi-fidelity data fusion for the approximation of scalar functions with low intrinsic dimensionality through active subspaces
高斯过程用于贝叶斯设置中的非参数回归。他们推广了线性回归，将输入嵌入到无限维再生核希尔伯特空间内的潜在流形中。我们可以用低保真度模型的观察来增加输入，以学习更具表达力的潜在流形，从而提高模型的准确性。这可以通过一系列高斯过程递归地实现，并具有越来越高的保真度。我们希望将这些多保真度模型实现扩展到受高维输入空间影响但具有低内在维度的案例研究。在这种情况下，物理支持或纯数值低阶模型仍然受到维数灾难的影响时，查询响应。当提供模型的梯度信息时，可以利用活动子空间的存在来设计低保真度响应表面，从而实现高斯过程多保真度回归，而不需要执行新的模拟。这在数据稀缺的情况下特别有用。在这项工作中，我们提出了一个多保真度的方法，涉及积极的子空间，我们测试它在两个不同的高维基准。
2020-10-16 cs.NA math.NA stat.ML
On the Limitation of Local Intrinsic Dimensionality for Characterizing the Subspaces of Adversarial Examples
National Chung Hsing University（国立中兴大学）；IBM Research（IBM研究院）
理解和表征对抗性示例的子空间有助于研究深度神经网络（DNN）对对抗性扰动的鲁棒性。最近，Ma等人（ICLR 2018）提出在DNN的逐层隐藏表示中使用局部内在维度（LID）来研究对抗子空间。已经证明，LID可以用于表征与不同攻击方法相关联的对抗子空间，例如，Carlini和Wagner（C&W）攻击和快速梯度符号攻击。在本文中，我们使用MNIST和CIFAR-10进行了两组新的实验，这些实验在现有的LID分析中是不存在的，并报告了LID在表征相应的对抗子空间方面的局限性，这些子空间是（i）使用具有不同置信水平的对抗示例的不经意攻击和LID分析;（ii）黑盒传输攻击。对于（i），我们发现LID的性能对攻击部署的置信度参数非常敏感，并且从具有不同置信度的对抗性示例集合中学习的LID令人惊讶地给出了较差的性能。对于（ii），我们发现，当对抗性示例是从另一个DNN模型制作的时，LID在表征其对抗性子空间时是无效的。这两个发现共同表明LID在表征对抗性示例的子空间方面的能力有限。
2018-03-26 cs.CR cs.CV cs.LG
Spectral Overlap and a Comparison of Parameter-Free, Dimensionality Reduction Quality Metrics
Stanford University（斯坦福大学）
非线性降维方法是数据科学家和研究人员可视化复杂高维数据的常用工具。然而，虽然这些方法不断改进并在数量上增加，但由于多种因素，例如缺乏有关数据内在维度的信息以及许多评估指标需要额外调整，通常很难评估可视化的质量。在本文中，我们试图提供一个系统的比较降维质量指标使用的数据集，我们知道地面真流形。我们在用于可视化的流行降维方法中利用每个指标进行超参数优化，并提供定量指标来客观地将可视化与其原始流形进行比较。在我们的研究结果中，我们发现了一些似乎一直做得很好的方法，并提出了最好的表现作为评估基于降维的可视化的基准。
2019-09-03 cs.LG stat.ML
Intrinsic dimension of data representations in deep neural networks
International School for Advanced Studies（国际高等研究学院）；Technical University of Munich（慕尼黑工业大学）
深度神经网络在多个处理层上逐步转换其输入。这些网络学习到的表示的几何特性是什么？在这里，我们研究数据表示的内在维度（ID），即描述表示所需的最小参数数量。我们发现，在一个经过训练的网络中，ID比每层中的单元数量小几个数量级。在层之间，ID首先增加，然后在最后的层中逐渐减小。值得注意的是，最后一个隐藏层的ID预测了测试集的分类精度。这些结果也不能通过线性维度估计（例如，用主成分分析），也不是在已经被人工线性化的表示中。它们既不存在于未经训练的网络中，也不存在于在随机标签上训练的网络中。这表明，能够泛化的神经网络是那些将数据转换为低维但不一定是平坦流形的网络。
2019-10-28 cs.LG stat.ML
The Dilemma Between Data Transformations and Adversarial Robustness for Time Series Application Systems
School of Computing and Information Sciences, Florida International University（佛罗里达国际大学计算与信息科学学院）
对抗性示例，或者攻击者创建的几乎无法区分的输入，会显著降低机器学习的准确性。理论证据表明，数据集的高内在维度有助于对手在分类模型中开发有效的对抗性示例的能力。另外，数据向学习模型的呈现会影响其性能。例如，我们已经通过降维技术看到了这一点，降维技术用于帮助机器学习应用程序中的特征泛化。因此，数据转换技术与智能医疗或军事系统等决策应用中最先进的学习模型密切相关。通过这项工作，我们探索了数据转换技术，如特征选择、降维或趋势提取技术如何影响对手在循环神经网络上创建有效对抗样本的能力。具体而言，我们分析它的角度来看，数据流形和其内在的功能的呈现。我们的评估经验表明，特征选择和趋势提取技术可能会增加RNN的脆弱性。数据转换技术只有在近似数据集的内在维度、最小化余维并保持更高的流形覆盖率时，才能减少对抗性示例的脆弱性。
2021-12-09 cs.LG stat.ML
How high is `high'? Rethinking the roles of dimensionality in topological data analysis and manifold learning
School of Mathematics University of Bristol, UK（数学系 布里斯托尔大学 UK）；School of Mathematics University of Edinburgh, UK（数学系 爱丁堡大学 UK）
本文通过广义Hanson-Wright不等式重新定义维度角色，证明环境内在维度远大于样本对数即可揭示潜在同调与流形结构，并首次发现网格细胞环面结构与物理空间等距。
2025-05-22 cs.LG stat.ML
Adaptive Metric Dimensionality Reduction
Ariel University（阿里埃勒大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Weizmann Institute of Science（魏茨曼科学研究所）
在一般度量空间中，我们研究了监督学习背景下的自适应数据相关降维问题。我们的主要统计贡献是一个推广的Lipschitz函数在度量空间的两倍，或接近一倍。在算法方面，我们描述了一个类似的PCA度量空间：即一个有效的程序，近似数据的内在维度，这往往是远低于环境维度。因此，我们的方法利用了低维度的双重好处：（1）更有效的算法，例如，用于邻近搜索，以及（2）更乐观的泛化边界。
2015-03-25 cs.DS cs.LG stat.ML
PCA-Based Out-of-Sample Extension for Dimensionality Reduction
在高维数据分析领域中，近似性约简方法是非常常见的。通常，用于降维的算法在计算上昂贵。因此，它们用于分析大量数据的应用是不切实际的。例如，由于累积的数据而导致的重复计算在计算上是禁止的。本文提出了一种样本外延拓方法，作为降维方法的补充。我们描述了一种算法，它执行一个新到达的数据点的样本外扩展。与Nyström算法等其他扩展算法不同，该算法利用数据的内在几何结构和属性进行降维映射。我们证明了所提出的算法的误差是有界的。除了样本外扩展之外，该算法还提供了任何新到达的数据点的异常程度。
2015-11-03 stat.ML
Feature Learning for Nonlinear Dimensionality Reduction toward Maximal Extraction of Hidden Patterns
University of California, Davis（加利福尼亚大学戴维斯分校）
在高维数据的可视化分析中，先验性约简（DR）起着至关重要的作用。DR的一个主要目的是揭示隐藏在内在低维流形上的模式。然而，当流形被某些有影响力的数据属性扭曲或掩盖时，DR经常忽略重要的模式。本文提出了一种特征学习框架FEALM，旨在为非线性DR生成一组优化的数据投影，以捕获隐藏流形中的重要模式。这些投影产生最大程度不同的最近邻图，从而得到的DR结果显著不同。为了实现这样的能力，我们设计了一个优化算法，以及引入一个新的图相异度的措施，命名为邻居形状相异度。此外，我们开发了交互式可视化，以帮助比较所获得的DR结果和每个DR结果的解释。我们证明FEALM的有效性，通过实验和案例研究，使用合成和真实世界的数据集。
2023-02-24 cs.LG stat.ML
Estimating the effective dimension of large biological datasets using Fisher separability analysis
Institut Curie（居里研究所）；PSL Research University（PSL研究大学）；Mines ParisTech（巴黎高科矿业学院）；INSERM（法国国家健康与医学研究院）；U900 Paris（U900巴黎）；Paris Diderot University（巴黎狄德罗大学）；Lobachevsky University Nizhni Novgorod（下诺夫哥罗德罗巴切夫斯基大学）
现代大规模数据集通常被认为是高维的。然而，它们的数据点云通常具有结构，由于簇的存在，点靠近低维品种或细粒度集块，显着降低了它们的固有维数（ID）。我们测试最近推出的维数估计，基于分析数据点的可分性，在几个基准和真实的生物数据集。我们发现，引入的ID措施具有竞争力的性能与国家的最先进的措施，是有效的，在广泛的尺寸和噪声样本的情况下，表现更好。此外，它允许估计的内在维数的情况下，内在流形假设是无效的。
2019-01-18 cs.LG q-bio.QM stat.ML
Probabilistic Dimensionality Reduction via Structure Learning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们提出了一种新的概率降维框架，可以自然地集成生成模型和数据的局部性信息。基于这个框架，我们提出了一个新的模型，它能够从高维噪声数据中学习低维空间中嵌入点的平滑骨架。新模型的公式化可以等价地解释为两个耦合的学习问题，即，结构学习和投影矩阵的学习。这种解释激发了对嵌入点的学习，这些嵌入点可以直接形成显式图结构。我们开发了一种新的方法来学习嵌入点，形成一个生成树，这是进一步扩展，以获得一个有区别的和紧凑的特征表示聚类问题。与传统的聚类方法不同，我们假设如果聚类中心在学习图中连接，则它们应该彼此靠近，而其他聚类中心应该远离。这可以极大地促进下游分析中的数据可视化和科学发现。大量的实验表明，所提出的框架是能够获得歧视性的特征表示，并正确地恢复各种现实世界的数据集的内在结构。
2016-10-16 cs.LG stat.ML
Building Models for Biopathway Dynamics Using Intrinsic Dimensionality Analysis
对许多（如果不是所有）科学领域来说，一项重要任务是有效的知识整合、测试和编纂。它通常在可控的计算环境中通过模型构造来解决。尽管如此，基于计算机模拟的观测的吞吐量对于彻底的分析来说变得同样棘手。分子生物学尤其如此，这是本研究的一个主题。在这个项目中，我们的目标是测试一些方法来处理维数灾难。其中，我们发现降维技术特别吸引人。它们可用于识别不相关的可变性，并有助于理解高维数据集的关键过程。此外，我们对数据集进行了非线性时间序列分析，因为这些是比较结果的成熟方法。为了研究降维方法的有用性，我们决定基于一个具体的样本集进行研究。这个例子取自系统生物学领域，涉及亚细胞信号传导的动态进化。特别地，数据集涉及酵母信息素途径，并使用随机模型在计算机上进行研究。该模型重建了交配信息素刺激的信号传播。本文首先阐述了分子信号背景下多维分析问题产生的原因，然后介绍了模型的选择、仿真细节以及得到的时间序列动力学。对所用方法的描述，然后对结果及其生物学解释进行讨论，最后完成论文。
2018-11-03 cs.IT math.IT q-bio.MN
INO: Invariant Neural Operators for Learning Complex Physical Systems with Momentum Conservation
Global Engineering and Materials, Inc.（环球工程与材料公司）；Lehigh University（里海大学）
神经操作符，出现作为隐式控制方程的解决方案运营商，最近成为流行的工具，学习复杂的现实世界的物理系统的响应。然而，到目前为止，大多数神经运算符应用都是数据驱动的，这忽略了数据中基本物理定律的内在保持。在本文中，我们介绍了一种新的积分神经操作符架构，学习物理模型的基本守恒律自动保证。特别是，通过用其在核空间中的不变对应物替换依赖于帧的位置信息，所提出的神经算子通过设计是平移和旋转不变的，因此遵守线性和角动量的守恒定律。作为应用，我们展示了我们的模型在从合成和实验数据集学习复杂材料行为方面的表现力和有效性，并表明，通过自动满足这些基本物理定律，我们学习的神经运算符不仅在处理平移和旋转数据集时是可推广的，而且与基线神经运算符模型相比，还实现了最先进的准确性和效率。
2023-01-28 cs.LG stat.ML
Unsupervised Feature Selection Based on the Morisita Estimator of Intrinsic Dimension
University of Lausanne（洛桑大学）
本文讨论了一种新的过滤算法，用于选择携带数据集的所有信息内容的特征的最小子集（即用于去除冗余特征）。它是分形降维技术的一个高级版本，它依赖于最近推出的Morisita估计的内在维数（ID）。在这里，ID用于量化特征子集之间的依赖关系，这允许有效处理高度非线性数据。所提出的算法成功地测试模拟和现实世界的案例研究。检查不同水平的样本量和噪声以及结果的变异性。此外，基于随机森林的综合过程表明，该算法在不丢失相关信息的情况下显着降低了数据的维数。最后，与基准特征选择技术的比较证明了这种新过滤器的良好性能。
2017-06-02 cs.LG stat.ML
Classification Constrained Dimensionality Reduction
简化视知觉是最近的一个热门话题。在本文中，我们提出了分类约束降维（CCDR）算法来说明标签信息。该算法可以考虑多类以及半监督设置。我们提出了一个样本外的表达式标记和未标记的数据。对于未标记的数据，我们引入了一种嵌入新点作为分类器预处理的方法。对于标记数据，我们引入了一种方法，该方法使用样本外扩展在训练阶段改进嵌入。我们调查分类性能使用CCDR算法对高光谱卫星图像数据。我们证明了本地和全局分类器的性能增益，并证明了$k$-最近邻算法的性能提高了10%。我们提出了一个内在的尺寸估计和使用CCDR算法获得的最佳嵌入维数之间的连接。
2008-02-21 stat.ML
Descriptive Dimensionality and Its Characterization of MDL-based Learning and Change Detection
The University of Tokyo（东京大学）
本文从信息论的角度提出了概率模型维数的新概念。我们称之为“描述性维度”（Ddim）。我们发现，Ddim与参数类的独立参数的数量相一致，并且当一些模型混合时，可以进一步扩展到实值维度。然后，本文推导出的MDL（最小描述长度）的学习算法，输出一个归一化的最大似然（NML）分布的最短NML码长模型的收敛速度。本文证明了该速率受Ddim控制。本文还推导了基于MDL的多模型变化检测的错误概率。这证明他们也被Ddim统治。通过分析，我们证明了Ddim是一个内在的量，它表征了基于MDL的学习和变化检测的性能。
2019-10-25 cs.IT cs.LG math.IT
Denoising diffusion probabilistic models are optimally adaptive to unknown low dimensionality
Department of Statistics and Data Science, the Wharton School, University of Pennsylvania（统计与数据科学系，沃顿商学院，宾夕法尼亚大学）
该研究证明了DDPM在未知低维数据下具有最优适应性，其迭代复杂度与内在维度线性相关，且与KL散度度量一致。
2026-02-15 cs.LG cs.NA eess.SP
LDReg: Local Dimensionality Regularized Self-Supervised Learning
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）；University of Southern Denmark（南丹麦大学）；School of Computer Science, Fudan University（复旦大学计算机科学学院）；New Jersey Institute of Technology（新泽西理工学院）
针对自监督学习中的局部维度坍缩问题，提出基于Fisher-Rao度量的局部维度正则化方法LDReg，通过优化局部距离分布提升表示质量，并在局部和全局层面正则化维度。
2024-03-14 cs.AI cs.CV cs.LG
Estimating the intrinsic dimension in fMRI space via dataset fractal analysis - Counting the `cpu cores' of the human brain
National Kapodistrian Univ. of Athens (NKUA/UoA)（雅典国家卡波季斯特里安大学）
功能磁共振成像（fMRI）是一种强大的非侵入性工具，用于定位和分析大脑活动。本研究的重点是人类大脑功能特性的一个非常重要的方面，特别是在执行复杂的认知任务时的并行性水平的估计。以功能磁共振成像为主要手段，通过纯数据驱动的信号处理和维度分析方法研究人脑活动。具体而言，fMRI信号被视为一个多维的数据空间，其内在的“复杂性”的研究，通过数据集分形分析和盲声源分离（BSS）的方法。一个模拟的和两个真正的fMRI数据集结合独立成分分析（ICA）和分形分析用于估计内在（真）维数，以提供数据驱动的实验证据的数量独立的大脑过程中并行运行时，视觉或视觉运动任务进行。虽然这个数字不能被定义为一个严格的阈值，而是作为一个连续的范围，当一个特定的激活水平被定义时，一个相应数量的并行处理或“CPU核心”的临时等效物可以在正常的人脑活动中检测到。
2014-10-27 cs.AI cs.CV q-bio.NC
A general framework for adaptive nonparametric dimensionality reduction
Seminar for Statistics, Department of Mathematics, ETH Zurich（苏黎世联邦理工学院统计研究所，数学系）；Faculty of Economics, Euler Institute, Università della Svizzera italiana（瑞士意大利大学经济学院，欧拉研究所）；Faculty of Informatics, Università della Svizzera italiana（瑞士意大利大学信息学院）；Department of Science and High Technology, University of Insubria（意大利因布里亚大学科学与高科技系）
本文提出了一种通用的自适应非参数维度约简框架，通过优化局部邻域结构来提升维度约简算法的性能。
2026-01-26 cs.AI cs.LG stat.ME
The Intrinsic Dimension of Images and Its Impact on Learning
University of Maryland, College Park（马里兰大学学院公园分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
人们普遍认为，自然图像数据表现出低维结构，尽管传统的像素表示的高维。这个想法是深度学习在计算机视觉中取得巨大成功的共同直觉的基础。在这项工作中，我们将维度估计工具应用于流行的数据集，并研究低维结构在深度学习中的作用。我们发现，常见的自然图像数据集确实有非常低的内在维数相对于图像中的高像素数。此外，我们发现低维数据集更容易让神经网络学习，并且解决这些任务的模型可以更好地从训练数据推广到测试数据。在此过程中，我们开发了一种技术，用于在GANs生成的合成数据上验证我们的维度估计工具，使我们能够通过控制图像生成过程来主动操纵固有维度。我们的实验代码可以在这里找到https://github.com/ppope/dimensions。
2021-04-18 cs.CV cs.LG stat.ML
