Deep Variational Sufficient Dimensionality Reduction
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
我们考虑充分降维（SDR）的问题，其中高维观测被转换到一个低维的子空间，在该子空间中，关于标签变量的观测信息被保留。我们提出了DVSDR，一个深度变分方法，充分降维。我们模型中的深层结构有一个瓶颈，代表数据的低维嵌入。我们使用图形模型解释SDR问题，并使用变分自编码器的框架来最大化观察和标签的联合分布的对数似然的下限。我们表明，这样的最大化问题可以解释为解决SDR问题。DVSDR可以很容易地应用到半监督学习环境中。在我们的实验中，我们表明，DVSDR在分类任务上具有竞争力，同时能够生成新的数据样本。
2018-12-18 cs.LG stat.ML
Dimension Reduction Forests: Local Variable Importance using Structured Random Forests
随机森林是最流行的机器学习方法之一，由于其准确性和变量重要性评估。然而，随机森林仅提供全局意义上的可变重要性。由于个性化医疗、决策和生物信息学的应用，越来越需要在地方一级进行这种评估。我们提出了一个新的非参数估计，对灵活的随机森林核与当地充分的降维，以适应回归函数的局部结构。这允许我们在每个预测点估计有意义的方向局部变量重要性度量。我们开发了一个计算效率的拟合过程，并提供了充分条件的分裂方向的恢复。我们证明了我们提出的估计在模拟和真实回归问题上的竞争方法的显着精度增益。最后，我们将所提出的方法应用于在中国北京收集的季节性颗粒物浓度数据，产生有意义的本地重要性措施。这里介绍的方法可以在drforest Python包中找到。
2021-03-24 stat.ME
Dimensionality reduction to maximize prediction generalization capability
RIKEN Center for Brain Science（理化学研究所脑科学中心）；The University of Tokyo（东京大学）
时间序列预测的泛化仍然是机器学习中的一个重要的开放问题，其中早期的方法具有较大的泛化误差或局部极小值。我们开发了一个分析可解的，无监督的学习计划，提取预测未来的输入，称为预测主成分分析（PredPCA）的信息量最大的组件。我们的方案可以有效地去除不可预测的噪声，并通过凸优化最小化测试预测误差。数学分析表明，提供足够的训练样本和足够的高维观测，PredPCA可以渐近地识别隐藏状态，系统参数和典型的非线性生成过程的维数，具有全局收敛性保证。我们演示了使用顺序视觉输入，包括手的数字，旋转的3D对象，和自然场景的PredPCA的性能。它可靠地估计不同的隐藏状态，并预测以前看不见的测试输入数据的未来结果，完全基于噪声观测。PredPCA的简单架构和低计算成本是非常可取的神经形态硬件。
2022-01-20 cs.CV cs.LG stat.ML
Testing predictor contributions in sufficient dimension reduction
我们开发的假设没有影响的回归中选择的预测，而不假设一个模型的条件分布的响应给定的预测。预测效应不需要局限于均值函数，也不需要进行平滑。一般的方法是基于充分的降维，其思想是用低维版本代替预测向量，而不会损失回归的信息的损失。使用切片逆回归方法的详细开发。
2004-06-25 math.ST stat.TH
Graph reduction with spectral and cut guarantees
我们能在不显著改变图的基本性质的情况下减小图的大小吗？图约简问题由此接近从限制谱近似的角度来看，用于图稀疏化的谱相似性度量的修改。这种选择的动机是观察到限制近似进行强大的频谱和切割保证，它意味着近似结果的无监督学习问题依赖于频谱嵌入。然后重点介绍了粗化-最常见的图约简类型。在限制相似意义下，得到了一个小图逼近一个大图的充分条件。这些发现产生了近线性算法，与标准和先进的图形简化方法相比，发现粗糙的图形质量提高，往往是一个很大的利润，而不牺牲速度。
2018-12-29 cs.DS stat.ML
Sufficient reductions in regression with mixed predictors
大多数数据集包括对连续变量和分类变量的测量。在回归和分类统计文献中，对高维混合预测变量的建模受到了有限的关注。本文研究了基于高维混合连续二元预测的一般回归问题。目的是找到混合预测变量向量的低维函数，该函数包含响应的混合预测变量中的所有建模信息，可以是连续的或分类的。我们提出的方法确定足够的减少逆转回归和建模的混合预测条件的响应。我们推导出最大似然估计的充分减少，渐近测试的尺寸，和正则化的估计，同时实现变量（特征）的选择和降维（特征提取）。我们研究所提出的方法的性能，并通过仿真和实际数据的例子与其他方法进行比较。
2021-10-25 math.ST stat.TH
Estimating sufficient reductions of the predictors in abundant high-dimensional regressions
本文研究了当样本量和预测变量数在不同的排列中增长时，一类高维回归充分降维方法的渐近行为。结果表明，这些方法是一致的，在各种设置，特别是在丰富的回归，其中大多数预测贡献一些信息的响应，和甲骨文率是可能的。仿真结果支持理论结论。
2012-05-30 math.ST stat.TH
Bridging linearity-based and kernel-based sufficient dimension reduction
在统计学文献中，充分的降维（SDR）方法以及非线性扩展已经引起了很多兴趣。在本说明中，我们使用有关度量空间和正定函数的经典结果将线性SDR过程与其非线性对应过程联系起来。
2020-10-28 math.ST stat.ME stat.TH
On sufficient dimension reduction via principal asymmetric least squares
在本文中，我们引入主非对称最小二乘（PALS）作为一个统一的框架，线性和非线性的充分降维。经典的方法，如切片逆回归（Li，1991）和主支持向量机（Li，Artemiou和Li，2011）可能在异方差存在的情况下表现不佳，而我们的建议通过综合不同的预期水平来解决这一限制。通过大量的数值研究，我们证明了优越的性能PALS的计算时间和估计精度。对于线性充分降维的PALS的渐近分析，我们开发了新的工具来计算非Lipschitz函数的期望的导数。
2020-02-12 math.ST stat.ME stat.TH
Coordinate-independent sparse sufficient dimension reduction and variable selection
回归分析中的充分降维（SDR）方法，即在不损失信息的损失的前提下，用最小的线性组合代替原始预测变量，从而降低回归维数，在预测变量数目较大时非常有用。标准的SDR方法受到影响，因为估计的线性组合通常由所有原始预测因子组成，因此很难解释。在本文中，我们提出了一个统一的方法-坐标无关稀疏估计（CISE），可以同时实现稀疏足够的降维和筛选出不相关的和冗余的变量有效。CISE是面向子空间的，在这个意义上，它结合了一个坐标独立的惩罚项与广泛的一系列基于模型和无模型的SDR方法。这导致了一个格拉斯曼流形最优化问题，并提出了一个快速算法。在温和的条件下，基于流形理论和技术，可以证明，CISE将执行渐近以及如果真正的无关预测是已知的，这被称为预言性质。仿真研究和一个实际数据的例子证明了所提出的方法的有效性和效率。
2012-11-14 math.ST stat.TH
Conditional Variance Estimator for Sufficient Dimension Reduction
条件方差估计（CVE）是一种新的充分降维（SDR）方法，适用于具有连续预测变量和连接函数的可加误差回归。它是在预测变量可以被低维投影代替而不丢失信息的假设下运行的。与大多数基于矩的充分降维方法相比，条件方差估计是完全数据驱动的，不需要限制性线性和恒定方差条件，并且不基于逆回归。证明了CVE是一致的，其目标函数是一致收敛的。CVE优于平均方差估计，（MAVE），它的主要竞争对手，在几个模拟设置，保持在其他人的水平，而它总是优于通常的逆回归基于线性SDR方法，如切片逆回归。
2021-02-17 math.ST stat.ME stat.TH
Efficient estimation in sufficient dimension reduction
我们开发了一个有效的估计过程，用于识别和估计中心子空间。利用一种新的参数化方法，将中心子空间的识别问题转化为半参数模型中有限维参数的估计问题。这种转换使我们能够得到一个有效的估计，达到最佳的半参数效率界。由此产生的有效估计可以穷举估计中心子空间，而不施加任何分布假设。我们提出的有效估计还提供了一种可能性，使推断的参数，唯一地确定中心子空间。我们进行模拟研究和实际数据分析，以证明有限样本的性能与现有的几种方法相比。
2013-04-02 math.ST stat.TH
Sufficient dimension reduction based on an ensemble of minimum average variance estimators
我们引入了一类降维估计的基础上的合奏的最小平均方差估计的功能，表征中心子空间，如特征函数，Box-Cox变换和小波基。该方法不对预报因子施加限制条件，对中心子空间进行穷举估计，并具有与最小平均方差估计相同的收敛速度。它们灵活且易于实施，并允许重复使用可用样品，从而提高准确性。它们以统一的形式适用于单变量和多变量响应。我们建立了这些估计的一致性和收敛速度，以及确定顺序的交叉验证准则的一致性。我们比较了集成估计与其他估计在各种各样的模型，并建立其称职的表现。
2012-03-15 math.ST stat.TH
Sufficient dimension reduction for regression with spatially correlated errors: application to prediction
本文针对空间相关高维数据预测问题，提出基于充分降维的方法，在逆回归中引入可分离空间协方差模型和空间自回归误差模型，推导最大似然估计量并结合非参数前向回归进行预测，通过模拟和实际数据验证了其有效性。
2025-02-04 math.ST stat.ME stat.TH
Distributed estimation of principal support vector machines for sufficient dimension reduction
East China Normal University（华东师范大学）
主支持向量机方法（Li等人，2011）是一个强大的工具，充分的降维，取代原来的预测与他们的低维线性组合，而不会丢失信息。然而，主支持向量机方法的计算负担限制了其在海量数据中的应用。为了解决这个问题，我们在本文中提出了两个分布式估计算法的快速实现时，样本量是大的。这两种分布充分降维估计量具有与合并所有数据相同的统计效率，为它们在大规模数据集上的应用提供了严格的统计保证。这两种分布式算法进一步适用于主加权支持向量机（Shin等人，2016）用于在二进制分类中充分的降维。我们提出的方法的统计精度和计算复杂性进行了检查，通过全面的模拟研究和实际数据应用超过60万个样本。
2019-11-28 cs.LG math.ST stat.ML
Belted and Ensembled Neural Network for Linear and Nonlinear Sufficient Dimension Reduction
Department of Statistics, The Pennsylvania State University（统计学系，宾夕法尼亚州立大学）
本文提出带状集成神经网络（BENN）统一框架，通过窄带层和响应变换集成实现线性和非线性充分降维，兼顾条件分布与均值，计算高效，克服传统方法矩阵求逆瓶颈。
2025-06-20 cs.LG math.ST stat.ML
On Sharpened Convergence Rate of Generalized Sliced Inverse Regression for Nonlinear Sufficient Dimension Reduction
研究广义切片逆回归（GSIR）收敛速度，在附加特征值衰减率和平滑条件下建立改进收敛速度，能接近\(n^{-1/3}\)，优于之前的\(n^{-1/4}\)，还可用于更一般设置。
2026-07-07 math.ST stat.ME stat.TH
Functional sufficient dimension reduction through distance covariance
本文提出一种基于距离协方差的函数型充分降维方法，适用于标量响应与函数型预测变量，无需估计连接函数且避免协方差算子求逆，并通过截断函数型主成分分析实现正则化，模拟和实证均显示优于现有方法。
2023-09-25 math.ST stat.TH
Subspace Ordering for Maximum Response Preservation in Sufficient Dimension Reduction
本文提出基于T统计量和F统计量的子空间排序方法，用于改进充分维度缩减中的响应保持性能。
2025-11-24 math.ST stat.ME stat.TH
Structure-Preserving Nonlinear Sufficient Dimension Reduction for Tensors
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出两种非线性张量降维方法，旨在保持张量结构并减少参数数量，提升模型简洁性和估计精度。
2025-12-23 math.ST stat.ME stat.ML
Statistical reduction before the target is known: two boundary results
University of Twente（特温特大学）；Centrum Wiskunde & Informatica (CWI)（数学与计算机科学中心）
针对数据最终用途未知时的统计约简问题，研究两类边界情形，证明了极小充分统计量为一对一映射时无平凡约简，给出自适应采样高斯流的最优样本量及下界。
2026-09-07 math.ST stat.TH
Reduction of Restricted Maximum Likelihood for Random Coefficient Models
本文利用回归方程的充分统计量改写了随机系数模型离差矩阵的限制极大似然估计。
2018-03-11 math.ST stat.ME stat.TH
Sufficient Dimension Reduction and Modeling Responses Conditioned on Covariates: An Integrated Approach via Convex Optimization
给定协变量和响应$(Y, X) \in \mathbb{R}^p \times \mathbb{R}^q$的集合的观察，充分的降维（SDR）技术旨在识别$f: \mathbb{R}^q \rightarrow \mathbb{R}^k$与$k \ll q$的映射，使得$Y|f(X)$独立于$X$。图像$f(X)$总结了影响响应$Y$的潜在大量协变量$X$中的相关信息。在许多当代环境中，除了大量$q$协变量外，响应$p$的数量也相当大。这导致了将简洁的参数化统计模型拟合到$Y|f(X)$的挑战，这是传统SDR框架中通常不解决的问题。在本文中，我们提出了一个计算上易于处理的凸松弛估计同时（a）确定一个线性降维$f(X)$的协变量，这是足够的响应，和（b）拟合几种类型的结构化低维模型-因子模型，图形模型，潜在变量图形模型-的条件分布的$Y|f(X)$。我们分析了我们的估计在高维尺度制度的一致性。我们还说明了我们的方法在新闻组数据集和金融资产价格组成的数据集上的性能。
2015-08-18 math.OC math.ST stat.ME
Learning sufficient low-dimensional structures through conditional optimal transport
研究通过条件最优传输学习充分低维结构，引入SDR - COT方法，证明线性降维一致性，用不同方式处理欧几里得和希尔伯特值响应，数值研究显示该方法在特定情况下有竞争力。
2026-07-22 math.ST stat.ME stat.TH
Contour regression: A general approach to dimension reduction
我们提出了一种新的方法，充分降维回归，估计响应中的小变化的轮廓方向的基础上。这些方向跨越与回归相关的最小空间的正交补，并且可以根据响应中的变化的两个度量来提取，从而导致简单和一般的轮廓回归（SCR和GCR）方法。与现有的足够的降维技术相比，这种基于轮廓的方法保证了详尽的估计的中心子空间下的预测分布的椭圆率和温和的额外的假设，同时保持\sqrtn -一致性和计算方便。此外，它证明了强大的偏离椭圆。我们建立人口属性SCR和GCR，和SCR的渐近性质。模拟比较性能与标准的技术，如普通最小二乘法，切片逆回归，主Hessian方向和切片平均方差估计证实了预期的理论分析的优势。我们展示了使用轮廓为基础的方法对土壤蒸发的数据集。
2005-08-16 math.ST stat.TH
Inverse Moment Methods for Sufficient Forecasting using High-Dimensional Predictors
我们考虑预测一个单一的时间序列使用大量的预测在一个可能的非线性预测函数的存在。假设预测因子通过潜在因子影响响应，我们建议首先进行因子分析，然后对估计因子进行充分的降维，以获得后续预测的降维数据。在充分降维阶段，利用方向回归和反三阶矩方法，可以捕捉到各因素对响应的非单调影响。我们还允许一个发散的因素，只施加一般规律性条件的因素的分布，避免不希望的时间可逆的因素，后者。这些使得所提出的方法从根本上比Fan et al.（2017）中的充分预测方法更适用。所提出的方法在模拟研究和预测1959年至2016年的月度宏观经济数据的实证研究中得到了证明。此外，我们的理论有助于文献的充分降维，因为它包括一个不变性的结果，路径进行充分的降维下的高维设置，而不假设稀疏性，以及相应的顺序确定过程。
2021-04-21 math.ST stat.AP stat.ME
Federated Sufficient Dimension Reduction Through High-Dimensional Sparse Sliced Inverse Regression
University of Science and Technology of China（中国科学技术大学）；Quzhou University（衢州学院）
联邦学习已经成为当今大数据时代的流行工具。它基于来自不同客户端的数据训练集中式模型，同时保持数据分散。本文首次提出了一种联邦稀疏切片逆回归算法。我们的方法可以同时估计中央降维子空间，并在联邦设置进行变量选择。通过安全、无损地构造协方差阵，将联合高维稀疏切片逆回归问题转化为凸优化问题。然后，我们使用一个线性化的交替方向方法的乘子算法估计的中心子空间。给出了确定中心子空间维数和算法超参数的贝叶斯信息准则和保持验证方法。我们建立了一个上界的统计误差率的估计下的异质设置。我们证明了我们的方法的有效性，通过模拟和现实世界中的应用。
2023-01-23 cs.LG math.ST stat.ML
An adaptive composite quantile approach to dimension reduction
充分降维[J. Amer. Statistist. Assoc.86（1991）316-342]长期以来一直是多变量非参数回归分析中的突出问题。为了揭示中心降维空间，本文提出了一种自适应复合分位数方法。与现有的方法相比，（1）它需要最少的假设，并能够揭示所有的降维方向;（2）它对离群值具有鲁棒性;（3）它是结构自适应的，因此更有效。渐近结果的证明和数值例子，包括一个真实的数据分析。
2014-08-14 math.ST stat.TH
Sufficient Covariate, Propensity Variable and Doubly Robust Estimation
从观察性研究中进行统计因果推断通常需要对可能的多维变量进行调整，其中降维至关重要。由Rosenbaum和Rubin首先引入的倾向评分是这种减少的流行方法。我们在Dawid的决策理论框架内解决因果推理，其中必须注意足够的协变量及其属性。我们研究了一个倾向变量在正态线性模型中的作用。我们研究了基于人口和基于样本的线性回归，并对多变量协变量和倾向变量进行了调整。此外，我们还研究了反应模型和倾向模型组合下的增广逆概率加权估计。在具有同方差的线性回归中，证明了倾向变量提供与多元调整相同的估计因果效应。估计的倾向变量可以但不一定比真实倾向变量产生更好的精度。增广逆概率加权估计具有双重稳健性，如果正确指定倾向模型，则可以提高精度。
2015-01-30 math.ST stat.TH
Tail inverse regression for dimension reduction with extreme response
我们认为，监督降维的问题，特别关注的极值的目标$Y\in\mathbb{R}$解释的协变量向量$X \in \mathbb{R}^p$。一般目的是定义和估计协变量空间的低维子空间上的投影，该投影足以预测目标超出高阈值的情况。我们提出了一个原始的定义尾条件独立性，符合这一目的。受切片逆回归（SIR）方法的启发，我们开发了一个新的框架（TIREX，尾逆回归极端响应），以估计一个极端的充分降维（SDR）空间的潜在更小的维度比一个经典的SDR空间。我们证明了弱收敛尾经验过程中涉及的估计过程，我们说明了模拟和真实世界的数据所提出的方法的相关性。
2023-02-24 math.ST stat.ME stat.TH
Belted Engression: Sufficient Dimension Reduction for Generative Distributional Regression
The Pennsylvania State University（宾夕法尼亚州立大学）
针对条件生成模型学习复杂协变量依赖的挑战，提出Belted Engression框架，通过嵌入结构瓶颈实现端到端压缩-生成，理论上证明SDR等价性并给出更优收敛速率，实验表明以更少参数取得更优分布预测与降维恢复。
2026-09-22 cs.AI cs.LG math.ST
Model-Agnostic and Uncertainty-Aware Dimensionality Reduction in Supervised Learning
School of Statistics and Data Science, Nankai University（南开大学统计与数据科学学院）；School of Mathematical Science, Chengdu University of Technology（成都理工大学数学科学学院）
本文提出POD框架，通过直接评估样本外预测性确定最小预测性足够的维度，实现模型无关且具有不确定性的维度约简。
2026-01-15 math.ST stat.ME stat.TH
