Counterfactual Evaluation of Slate Recommendations with Sequential Reward Interactions
Netflix；Spotify
音乐流、视频流、新闻推荐和电子商务服务的用户通常以顺序的方式参与内容。因此，提供和评估良好的推荐序列是这些服务的核心问题。先前基于重加权的反事实评估方法要么遭受高方差，要么对奖励做出强独立性假设。我们提出了一个新的反事实估计，允许顺序的相互作用，在一个渐进无偏的方式，在较低的方差的奖励。我们的方法使用图形假设的因果关系的石板重新加权的奖励在日志记录政策的方式，近似的预期总和的奖励下的目标政策。在模拟和现场推荐系统上的大量实验表明，我们的方法优于现有的方法的偏见和数据效率的顺序跟踪推荐问题。
2020-08-24 cs.IR cs.LG stat.ML
Addressing Item-Cold Start Problem in Recommendation Systems using Model Based Approach and Deep Learning
Ss. Cyril and Methodius University（圣基里尔和麦托迪大学）
传统的推荐系统依赖于过去的使用数据来生成新的推荐。这些方法无法为新用户和系统中的项目生成合理的推荐，因为缺少有关他们过去交互的信息。在本文中，我们提出了一个解决方案，成功地解决项目冷启动问题，使用基于模型的方法和深度学习的最新进展。特别地，我们使用潜在因素模型进行推荐，当无法从使用数据中获得潜在因素时，使用卷积神经网络从项目的描述中预测潜在因素。通过对可用使用数据应用矩阵因式分解获得的潜在因子被用作地面实况以训练卷积神经网络。为了创建新项的潜在因子表示，卷积神经网络使用它们的文本描述。实验结果表明，所提出的方法显着优于几个基线估计。
2017-06-18 cs.IR cs.LG stat.ML
Causality-Aware Neighborhood Methods for Recommender Systems
Fuji Xerox（富士施乐）
广告商的商业目标，如增加销售额，与建议的因果效应相一致。以往的因果效应分析采用逆倾向评分法进行因果推理。然而，IPS易于遭受高方差。匹配估计量是因果推理领域的另一个代表性方法。它不使用倾向，因此不存在上述方差问题。在这项工作中，我们将传统的邻域推荐方法与匹配估计相结合，并为推荐的因果效应开发了鲁棒的排名方法。我们的实验表明，所提出的方法在因果效应的排名指标方面优于各种基线。结果表明，所提出的方法可以实现更多的销售和用户参与比以前的广告。
2021-01-30 cs.IR cs.LG
Off-Policy Evaluation and Learning for Matching Markets
Wantedly, inc.（Wantedly公司）；Independent Researcher（独立研究者）；Cornell University（康奈尔大学）
针对匹配市场大规模双向交互导致的方差和奖励稀疏问题，本文提出结合DM、IPS、DR并引入中间标签的OPE估计器DiPS和DPR，并证明其可扩展至离线策略学习，在合成数据和真实求职平台实验中均优于现有方法。
2025-07-18 cs.IR cs.LG
Robust Geodesic Regression
Seoul National University（首尔大学）
研究了黎曼流形上数据的稳健回归问题。测地线回归是将线性回归推广到具有流形值因变量和一个或多个实值自变量的设置。现有的测地线回归工作使用平方和误差来找到解决方案，但在经典的欧几里德的情况下，最小二乘法是高度敏感的离群值。在本文中，我们使用M-型估计，包括$L_1$，Huber和Tukey双权估计，进行稳健测地回归，并描述如何计算后两者的调整参数。我们还表明，在紧凑的对称空间，所有的M型估计是极大似然估计，并认为整体的优越性的$L_1$估计的$L_2$和Huber估计的高维流形和Tukey biwight估计紧凑的高维流形。数值例子的结果，包括真实的神经影像数据的分析，证明了所提出的方法有前途的经验性质。
2022-01-25 cs.LG stat.ME stat.ML
Robust Estimators in Partly Linear Regression Models on Riemannian Manifolds
在部分线性模型下，当预测变量取值于黎曼流形上时，研究了回归参数和回归函数的一类稳健估计。我们得到了估计量的相合性和渐近正态性。此外，我们考虑了一个强大的交叉验证过程来选择平滑参数。仿真和实际数据的应用表明，我们的建议下的小样本和污染的性能。
2011-05-25 math.ST stat.TH
An Empirical Bayes Approach to Shrinkage Estimation on the Manifold of Symmetric Positive-Definite Matrices
James-Stein估计量是多元正态均值的估计量，在平方误差损失下优于极大似然估计量（MLE）。最初的工作激发了人们对开发各种问题的收缩估计器的极大兴趣。然而，流形值数据的收缩估计的研究很少。本文给出了定义在$N \times N$对称正定矩阵流形上的对数正态分布参数的收缩估计。对于这个流形，我们选择对数欧几里德度量作为它的黎曼度量，因为它易于计算并且在应用中被广泛使用。通过在损失函数中使用对数欧几里德距离，我们导出了一个解析形式的收缩估计，并证明了它在一个大类估计中是渐近最优的，包括MLE，这是数据的样本Fréchet均值。我们通过几个模拟数据实验证明了所提出的收缩估计的性能。此外，我们应用收缩估计进行统计推断扩散磁共振成像问题。
2020-10-27 math.ST stat.TH
Statistical inference for intrinsic wavelet estimators of SPD matrices in a log-Euclidean manifold
本文讨论对数欧氏流形上对称正定矩阵曲线的内禀小波估计的统计推断。该估计量保持了正定性，并具有置换等方差性，这对于协方差阵尤其重要。我们的第二代小波估计是基于平均插值，并允许相同的强大的属性，包括快速算法，已知的非参数曲线估计与小波在标准的欧几里德设置。我们工作的核心是我们的高级别小波估计在非欧几何的置信集的命题。我们得到了这个估计量的渐近正态性，包括它的渐近方差的显式表达式。这打开了大门，构建渐近置信区域，我们与我们提出的自举推理方案进行比较。详细的数值模拟证实了我们建议的推理方案的适当性。
2022-02-14 stat.ME
C-SURE: Shrinkage Estimator and Prototype Classifier for Complex-Valued Deep Learning
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；Peking University（北京大学）
James-Stein（JS）收缩估计量是一种有偏估计量，它能捕获高斯随机向量的均值，虽然它在均方误差（MSE）方面优于极大似然估计量（MLE），但在流形值数据上的推广还没有取得很大的进展。我们提出了C-SURE，一种新的Stein的无偏风险估计（SURE）的JS估计的复值数据的流形上，理论上证明了最佳的MLE。适应复值SurReal分类器的架构，我们进一步将C-SURE纳入原型卷积神经网络（CNN）分类器。我们将C-SURE与SurReal以及复值MSTAR和RadioML数据集上的实值基线进行了比较。C-SURE比SurReal更准确和鲁棒，并且对于相同的原型分类器，收缩估计器总是优于MLE。像SurReal一样，C-SURE要小得多，在MSTAR（RadioML）上的实际值基线上表现优于基线大小的1%（3%）
2020-06-22 cs.LG stat.ML
Density estimation on low-dimensional manifolds: an inflation-deflation approach
University of Bern（伯尔尼大学）；Department of Physiology（生理学系）；Bern, Switzerland（瑞士伯尔尼（注：根据要求，地址信息不应提取为机构，此处仅作原文保留说明））
标准化流是基于神经网络的通用密度估计器。然而，这种普适性是有限的：密度的支撑需要与欧几里得空间同构。在本文中，我们提出了一种新的方法来克服这一限制，而不牺牲通用性。所提出的方法通过在正常空间中添加噪声来膨胀数据流形，在这个膨胀的流形上训练NF，最后，收缩学习的密度。我们的主要结果提供了充分条件的流形和具体的选择噪声下，相应的估计是准确的。我们的方法具有与NF相同的计算复杂性，并且不需要计算逆流。我们还表明，如果嵌入维数远大于流形维数，正常空间中的噪声可以很好地近似高斯噪声。这允许使用我们的方法近似任意密度未知流形上的流形尺寸是已知的。
2022-02-01 cs.LG stat.ML
Offline A/B testing for Recommender Systems
Criteo Research（科睿唯安研究）
在A/B在线测试推荐系统的新版本之前，通常会对历史数据进行一些离线评估。我们专注于评估方法，计算可能产生这种新技术的潜在收入提升的估计值。它有助于更快地识别错误的政策，避免损失资金。这些估计器被称为反事实或偏离策略估计器。我们发现，传统的反事实估计，如上限重要性抽样和规范化的重要性抽样实验上没有令人满意的偏差方差妥协的情况下，个性化的产品推荐在线广告。我们提出了两个变体的反事实估计与不同的模型的偏见，证明是准确的，在现实世界的条件。我们提供了一个基准，这些估计显示他们的相关性与商业指标上运行在线A/B测试的商业推荐系统。
2018-01-22 cs.LG stat.ML
Strong Uniform Consistency with Rates for Kernel Density Estimators with General Kernels on Manifolds
在分析现代机器学习算法时，我们可能需要使用复杂的内核来处理内核密度估计（KDE），这些内核不是由用户设计的，甚至可能是不规则和不对称的。为了应对这一新出现的挑战，我们提供了一个强一致的一致性结果与$L^\infty$收敛速度KDE的黎曼流形与黎曼可积的内核（在周围的欧几里得空间）。我们还提供了一个$L^1$一致性结果的核密度估计的黎曼流形与Lebesgue可积核。本文所考虑的各向同性核不同于统计学中经常考虑的Vapnik-Chervonenkis类中的核。当我们应用它们来估计密度函数时，我们说明了差异。此外，我们阐述了微妙的区别时，内核设计的内在流形和周围的欧几里得空间，都可能会遇到在实践中。最后，我们证明了迷向核在欧几里得空间的子流形上是Riemann可积的充要条件。
2021-06-08 math.PR math.ST stat.ML
Minimax Rates and Improved Spectral Convergence for Multi-Manifold Clustering
University of Utah（犹他大学）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）
该研究针对多流形混合分布数据，建立了张量化拉普拉斯-贝尔特拉米算子特征对估计的极小极大率，提出的流形无关图拉普拉斯估计器改进了谱收敛速率，数值实验验证了理论结果。
2026-10-14 cs.LG stat.ML
k-Nearest neighbor density estimation on Riemannian Manifolds
本文考虑了随机变量属于黎曼流形时的k-近邻核型估计。我们研究的渐近性质，如一致性和渐近分布。仿真研究也被认为是评估的建议的性能。最后，为了说明所提出的估计的潜在应用，我们分析了两个实际的例子，其中考虑两个不同的流形。
2011-06-23 math.ST stat.TH
Debiased Off-Policy Evaluation for Recommendation Systems
Yale University（耶鲁大学）；CyberAgent, Inc.（CyberAgent公司）
评价新算法的有效方法对于改进交互式强盗和强化学习系统（如推荐系统）至关重要。A/B测试是可靠的，但耗时耗钱，而且有失败的风险。在本文中，我们开发了一种替代方法，该方法可以预测算法的性能给定的历史数据，可能已经产生了不同的算法。我们的估计量具有这样的性质，即随着样本大小$N$的增加，其预测以$\sqrt{N}$的速率在概率上收敛到反事实算法的真实性能。我们还展示了一种正确的方法来估计我们的预测方差，从而使分析师能够量化预测中的不确定性。即使分析师不知道大量潜在重要的状态变量中哪一个实际上是重要的，这些性质也是成立的。我们通过一个关于强化学习的仿真实验来验证我们的方法。最后，我们将其应用于一家大型广告公司的广告设计改进。我们发现，我们的方法产生较小的均方误差比国家的最先进的方法。
2021-08-02 cs.AI cs.LG econ.EM
Measure estimation on manifolds: an optimal transport approach
假设我们观察i.i.d.~在可能的高维空间中，靠近某个未知$d$维$\mathcal{C}^k$子流形$M$的点。我们研究的问题重建的概率分布产生的样本。在指出这个问题对于一大类标准损失（$L_p$、Hellinger、全变差等）是退化的之后，我们专注于Wasserstein损失，我们建立了一个估计，基于核密度估计，其收敛速率取决于$d$和潜在密度的规律性$s\leq k-1$，但不是在周围的尺寸。特别是，我们表明，估计是极大极小和匹配以前的速率在文献中的情况下，歧管$M$是一个$d$维立方体。还考虑了Wasserstein损失的$M$的体积测度的估计的相关问题，并给出了极小极大估计。
2022-02-11 math.ST stat.TH
Statistical Inference for Online Decision-Making: In a Contextual Bandit Setting
North Carolina State University（北卡罗来纳州立大学）
在线决策问题要求我们根据增量信息做出一系列决策。常见的解决方案通常需要学习给定上下文信息的不同行为的奖励模型，然后最大化长期奖励。了解所提出的模型是否合理，以及模型在渐近意义下的表现如何，是很有意义的。我们在线性报酬模型的情境强盗框架下研究了这个问题。采用$\varepsilon$ -贪婪策略来解决经典的探索和利用困境。利用鞅中心极限定理，证明了模型参数的在线普通最小二乘估计是渐近正态的。当线性模型被误定时，我们提出了利用逆倾向得分加权的在线加权最小二乘估计，并建立了其渐近正态性。基于参数估计的性质，我们进一步证明了样本内逆倾向加权值估计是渐近正态的。我们说明我们的结果使用模拟和应用程序的新闻文章推荐数据集从雅虎！
2020-10-14 cs.LG stat.ML
Solution manifold and Its Statistical Applications
解流形是$d$维空间中满足具有$s<d$的$s$方程组的点的集合。解流形出现在几个统计问题中，包括假设检验、曲指数族、约束混合模型、部分识别和非参数集估计。我们从理论上和算法上分析了解流形。在理论上，我们得到了五个有用的结果：光滑性定理，稳定性定理（它包含了插入估计的一致性），梯度流的收敛性，局部中心流形定理和梯度下降算法的收敛性。为了在数值上逼近解流形，我们提出了一种蒙特卡罗梯度下降算法。在似然推断的情况下，我们设计了一个流形约束最大化过程来找到流形上的最大似然估计。我们还开发了一种方法来近似解流形上定义的后验分布。
2021-12-07 cs.CG math.ST stat.CO
Off-Policy Evaluation for Recommendations with Missing-Not-At-Random Rewards
Chuo University Graduate School（中央大学研究生院）；Chuo University（中央大学）
针对日志数据中同时存在展示位置和奖励非随机缺失偏差导致OPE估计器偏差显著的问题，提出利用日志策略和奖励观测两种概率作为倾向得分的新型估计器，实验证明其在偏差增加时仍优于其他估计器。
2025-02-13 cs.LG stat.ML
Density Estimation on Manifolds with Boundary
密度估计是许多机器学习方法的重要组成部分，特别是流形学习，其中几何结构仅从数据中构建。当前密度估计文献的一个重要的实际限制是，除了在简单的线性流形的情况下，边界的位置被假定为已知的，方法还没有开发出的流形的边界。我们克服了这一限制，通过开发一个密度估计方法流形的边界，不需要任何先验知识的边界的位置。为了实现这一点，我们引入了可证明地估计边界的距离和方向的统计数据，这使我们能够应用切割和归一化边界校正。通过组合多个割和归一化估计，我们在有边界流形上引入了一个在内部和边界点具有一致偏差的相容核密度估计。
2016-01-05 math.CA math.ST stat.TH
Score Matching for Truncated Density Estimation on a Manifold
针对截断数据的密度估计问题，本文将截断得分匹配方法扩展到带边界的黎曼流形，在球面分布模拟实验和美国极端风暴实际场景中均取得优于朴素最大似然估计的效果。
2024-04-12 stat.ME stat.ML
Generative model for optimal density estimation on unknown manifold
提出一种生成模型，基于几何Whitney问题解法，在未知低维流形上实现极小极大最优密度估计，并对所有γ≥1的Hölder IPMs同时最优，实验验证优于或媲美WGAN和基于分数的模型。
2025-06-24 math.ST stat.TH
Variance-Reduced Manifold Sampling via Polynomial-Maximization Density Estimation
Department of Information, Multimedia Technologies and Design, Cherkasy State Business College（切爾卡西州商業學院信息、多媒體技術與設計系）；State Scientific Research Institute of Armament and Military Equipment Testing and Certification（武器和軍事設備測試和認證國家科學研究 institutes）；Department of Cybernetics and Applied Mathematics, Uzhhorod National University（烏茲霍羅德國家大學自動控制與應用數學系）
针对隐式定义流形上的均匀采样问题，提出一种基于多项式最大化矩估计的密度估计模块PMM-MASEM，通过门控机制在非平坦间距分布下替代传统插件估计，降低密度均方误差22-36%。
2026-05-24 cs.LG stat.ME stat.ML
Sensitivity indices for output on a Riemannian manifold
在计算机代码实验的背景下，一个复杂的输入-输出系统的灵敏度分析往往是通过排名所谓的Sobol指数。Sobol的方法的流行的一个原因依赖于简单的统计估计这些指数使用所谓的挑选和冻结的方法。在这项工作中，我们提出和研究的情况下，输出位于一个黎曼流形的灵敏度指标。这些指数是基于Cramér冯米塞斯一样的标准，考虑到输出支持的几何形状。我们提出了一个Pick-Freeze估计这些指数的基础上的$U$ -统计。这些估计的渐近性质进行了研究。此外，我们还提供并讨论了一些有趣的数值例子。
2018-10-27 math.ST stat.TH
Off-policy evaluation for learning-to-rank via interpolating the item-position model and the position-based model
Amazon Music ML（亚马逊音乐机器学习部门）；Cornell University（康奈尔大学）
工业推荐系统的一个关键需求是在将推荐策略部署到生产环境之前离线评估推荐策略的能力。不幸的是，广泛使用的政策外评估方法要么对用户的行为做出强烈的假设，这可能导致过度的偏见，要么他们做出较少的假设，并遭受较大的方差。我们通过开发一种新的估计器来解决这个问题，该估计器缓解了两种最流行的排名策略估计器的问题，即基于位置的模型和项目位置模型。特别是，新的估计，称为国际刑警组织，解决了一个潜在的错误指定的基于位置的模型的偏差，同时提供了一个适应性的偏差方差权衡相比，项目位置模型。我们提供的理论论据以及实证结果，突出了我们的新的估计方法的性能。
2022-10-15 cs.IR cs.LG stat.CO
Estimating the reach of a manifold via its convexity defect function
子流形的可达性是从点云进行流形学习和几何推断的关键正则性参数。本文将子流形的可达性与它的凸亏函数联系起来。利用凸性亏损函数的稳定性，以及一些新的界限和最近的子流形估计Aamari和Levrard [安。47 177-204（2019）]，给出了可达性的估计。在C^k模型上得到了一致的期望损失界，并给出了估计到达率的极大极小率的下界.在C^3和C^4的情况下，估计量几乎达到了这些比率，差距由对数因子给出。
2021-03-26 cs.CG math.DG math.ST
Huber means on Riemannian manifolds
本文提出黎曼流形上的Huber均值，融合平方与绝对损失以兼顾稳健性和效率，建立其存在唯一性条件、一致性及中心极限定理，并构建稳健检验与置信区域，在重尾分布下优于Frechet均值。
2025-08-19 math.ST stat.ME stat.TH
Dynamic Tensor Recommender Systems
推荐系统已被广泛用于娱乐业、商业营销和生物医学行业。除了作为一种无监督学习方法提供基于偏好的建议之外，它还被证明在销售预测，产品介绍和其他生产相关业务中非常有用。由于一些消费者和企业需要对未来的预算、劳动力和供应链协调进行推荐或预测，因此用于精确预测的动态推荐系统变得非常必要。在这篇文章中，我们提出了一种新的推荐方法，即动态张量推荐系统（DTRS），其目的是特别是在预测未来的推荐。该方法利用时间的张量值函数来整合时间和上下文信息，并通过多项式样条近似来创建用于时间张量因式分解的时变系数模型。所提出的方法的主要优点包括竞争性的未来推荐预测和有效的预测区间估计。在理论上，我们建立了张量分解的收敛速度和样条系数估计的渐近正态性。该方法适用于模拟和IRI营销数据。数值研究表明，所提出的方法优于现有的方法在未来的时间预测。
2020-03-12 stat.ME
OCP: Orthogonal Constrained Projection for Sparse Scaling in Industrial Commodity Recommendation
JD.com Beijing China（京东北京中国）
本文提出OCP方法，通过正交约束投影优化嵌入表示，提升推荐模型的可扩展性和泛化能力，实验证明其在大规模部署中有效提升UCXR和GMV。
2026-03-19 cs.LG
Estimation under cross-classified sampling with application to a childhood survey
交叉分类抽样设计包括从二维总体中抽取样本，每个维度独立。这种设计通常用于消费价格指数调查，最近在法国ELFE调查中也被用于抽取婴儿样本，方法是将产妇单位样本和天数样本交叉。我们建议推导出这种抽样设计的一般估计理论。我们认为霍维茨-汤普森估计的总，并表明，交叉分类设计通常会导致损失的效率相比，广泛的两阶段设计。我们得到了Horvitz-Thompson估计量的渐近分布和几个无偏方差估计量。针对可能出现负值的问题，提出了简化的非负方差估计，并在超总体模型下研究了它们的偏差。建议的估计量进行了比较，模拟数据的总数和比率。本文还介绍了ELFE调查实际数据的应用，并提出了一些建议。补充材料可在网上查阅。
2015-11-02 math.ST stat.ME stat.TH
Harmonic Map Regression: Rate-Optimal Nonparametric Estimation on Manifolds with Topological Recovery
University at Buffalo（布法罗大学）
本文提出调和映射回归方法，通过狄利克雷能量惩罚实现流形上非参数估计，揭示拓扑恢复现象，推导出Sobolev阶s的最小最大速率，并在多个流形上验证理论有效性。
2026-04-10 math.ST stat.ME stat.TH
Level set and density estimation on manifolds
研究了光滑流形M \subsetR^d上随机向量X的密度f的水平集L_f（λ）的估计问题.为此，我们引入了一个基于核的估计器f^n，h，这是[45]中提出的一个稍微修改的版本，并证明了它的a.s.一致收敛性。然后，我们提出了Lf（λ）的两个估计，第一个是一个插件：Lf ^n，h（λ），它被证明是a.s.如果Lf（λ）不满足M的边界，则Hausdorff距离和测度距离是一致的.第二种方法假设Lf（λ）是r-凸的，并利用Lf ^n，h（λ）的r-凸包进行估计。我们的建议的性能说明通过一些模拟的例子。在一个真实的数据示例中，我们分析了强风和中等风的强度和方向。
2021-03-28 math.ST stat.OT stat.TH
Fused Density Estimation: Theory and Methods
本文介绍几何网络上的非参数密度估计方法。我们定义融合密度估计的解决方案，总变差正则化最大似然密度估计问题。我们提供了理论支持融合密度估计证明平方Hellinger收敛速度的估计达到了极大极小的限制在单变量密度的对数有界的变化。我们减少原来的变分配方，以将其转化为一个易于处理的，有限维二次规划。由于几何网络上的随机变量是单变量情况的简单推广，因此该方法也为单变量密度估计提供了一个有用的工具。最后，我们应用这种方法，并评估其性能的例子中的单变量和几何网络设置。我们比较不同的优化技术来解决这个问题的性能，并使用这些结果来通知融合密度估计的计算建议。
2018-12-04 math.OC stat.CO stat.ME
Asymptotic expansion of the risk of maximum likelihood estimator with respect to $α$-divergence as a measure of the difficulty of specifying a parametric model -- with detailed proof
对于一个给定的参数概率模型，我们考虑了极大似然估计关于$α$ -发散的风险，其中包括Kullback-Leibler发散，Hellinger距离和$χ^2$发散的特殊情况.渐近展开的风险是相对于样本量的顺序$n^{-2}$。展开式中的每一项都用参数概率模型所形成的黎曼流形的几何性质来表示。我们试图通过这种扩展来衡量指定模型的难度。
2018-10-11 math.ST stat.TH
Off-policy evaluation for slate recommendation
Microsoft Research, Redmond（微软研究院（雷德蒙德））；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Research, New York（微软研究院（纽约））；Microsoft, Redmond（微软（雷德蒙德））
本文研究了推荐一组有序项目的策略的评估（例如，排名）基于某些上下文-网络搜索、广告和推荐中的常见场景。我们建立在技术的组合土匪介绍一个新的实用估计，使用记录的数据来估计政策的性能。对真实世界数据的全面实证评估表明，我们的估计器在各种设置中都是准确的，包括作为学习排名任务中的子例程，在这种情况下，它可以实现有竞争力的性能。我们得出的条件下，我们的估计是无偏的-这些条件是弱于先前的slate评估-和实验证明一个较小的偏差比参数的方法，即使这些条件被违反。最后，我们的理论和实验也显示出指数节省所需的数据量相比，一般无偏估计。
2017-11-06 cs.AI cs.LG stat.ML
Score matching estimators for directional distributions
极大似然估计在已建立的方向模型中的主要问题之一是归一化常数难以估计。本文在紧致定向黎曼流形上提出了一种新的“得分匹配估计”的一般方法。重要的应用包括冯米塞斯-费舍尔，宾厄姆和联合模型的领域和相关的空间。在较弱的正则性条件下，估计量是相合的且渐近正态分布。此外，它很容易作为线性方程组的解来计算，并且不需要知道归一化常数。给出了几个例子，分析和数值，以证明其良好的性能。
2016-04-28 math.ST stat.TH
Theory and Applications of Kernel Stein's Method on Riemannian Manifolds
本文将 Stein 算子严格推广到黎曼流形，证明相应 KSD 的判别力接近欧氏情形，并分析 MKSDE 的渐近性质、检验应用及多类流形上的闭式结果。
2025-06-10 math.ST stat.TH
Local Linear Regression on Manifolds and its Geometric Interpretation
National Taiwan University（国立台湾大学）；Princeton University（普林斯顿大学）
针对高维数据位于未知低维非线性流形上的情况，提出直接降维至流形本征维数并在切平面估计上执行局部线性回归（LLR）的方法，同时分析其几何意义并用于流形学习。
2012-07-30 cs.NA math.NA math.ST
Equivariant Estimation of Fréchet Means
Fréchet平均将平均的概念推广到度量空间设置。在这项工作中，我们考虑等变估计的Fréchet平均参数模型的度量空间是黎曼流形。这种空间的几何和对称性由它的等距群编码。等距群下的等变估计量考虑了度量空间的对称性。对于某些模型，存在一个最优的同变估计量，它必然会表现得与其他常见的同变估计量一样好或更好，例如最大似然估计量或样本Fréchet均值。我们推导出这种最小风险同变估计的一般形式，并在少数情况下提供了明确的expressions.In其他模型的等距组是不是足够大的相对于分布的参数族存在一个最小风险同变估计。在这种情况下，我们引入了一个自适应等变估计，使用的数据来选择一个子模型，有一个MRE。仿真结果表明，自适应同变估计性能优于其他估计。
2021-04-07 math.ST stat.ME stat.TH
On Sharp Stochastic Zeroth Order Hessian Estimators over Riemannian Manifolds
研究了定义在$n$维完备解析黎曼流形上的函数的Hessian估计.我们引入了新的随机零阶Hessian估计使用$O (1)$功能评价。我们发现，对于一个解析实值函数$f$，我们的估计实现了一个偏差界的顺序$ O \left( γδ^2 \right) $，其中$ γ$依赖于Levi-Civita连接和功能$f$，和$δ$是有限差分步长。据我们所知，我们的结果提供了第一个偏差界的海森估计，明确地依赖于几何的基础黎曼流形。我们还研究下游计算的基础上，我们的海森估计。我们的方法的优越性是由实证评估证明。
2022-09-26 cs.LG cs.NA math.NA
Manifold-adaptive dimension estimation revisited
Wigner Research Centre for Physics（维格纳物理研究中心）；Semmelweis University（塞梅尔维斯大学）；National Institute of Clinical Neurosciences（国家临床神经科学研究所）；Péter Pázmány Catholic University（帕兹马尼·彼得天主教大学）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）；University of Pannonia（潘诺尼亚大学）
数据维度告诉我们数据的复杂性，并限制了成功的信号处理管道的结构。在这项工作中，我们重新审视和改进的流形自适应Farahmand-Szepesvári-Audibert（FSA）的尺寸估计，使其成为最好的最近邻为基础的尺寸估计。如果局部流形密度是均匀的，我们计算局部FSA估计的概率密度函数。基于概率密度函数，我们建议使用的中位数的局部估计作为一个基本的整体措施的内在维度，我们证明了这种渐近无偏估计量的优势，在以前提出的统计：模式和平均值。另外，从概率密度函数出发，我们导出了全局内禀维数的极大似然公式，如果i.i.d.保持。我们处理边缘和有限样本的影响与指数校正公式，校准超立方体数据集。我们比较了校正中值FSA估计与kNN估计的性能：极大似然（ML，Levina-Bickel）和DANCo的两种实现（R和matlab）。我们发现，校正中位数FSA估计击败ML估计，它是平等的基础上与DANCo标准的合成基准，根据平均百分比误差和错误率指标。与中位数FSA算法，我们揭示了不同的神经动力学的变化，而静息状态和癫痫发作期间。我们确定了低维动力学的大脑区域，这些区域可能是癫痫发作区的因果来源和候选者。
2020-08-10 cs.LG stat.ME stat.ML
Stochastic variance-reduced Gaussian variational inference on the Bures-Wasserstein manifold
University of Helsinki（赫尔辛基大学）
针对Bures-Wasserstein流形上变分推断中蒙特卡洛估计高方差问题，提出基于控制变量的方差缩减估计器，理论证明方差更小并改进优化界限，实验实现数量级性能提升。
2025-02-28 cs.LG stat.ML
Manifold Dimension Estimation via Local Graph Structure
School of Mathematics and Statistics, University of New South Wales（新南威尔士大学数学与统计学学院）
本文提出基于局部图结构的流形维度估计框架，通过局部PCA坐标回归引入二次嵌入和总最小二乘估计器，在合成和现实数据集上表现优异。
2026-07-20 cs.LG stat.AP stat.ML
The Data Manifold under the Microscope
University of California, Berkeley（加州大学伯克利分校）
针对深度学习理论与实践的差距，提出一个基准框架，通过扩展dSprites和COIL-20数据集并配合有限差分估计器，实现曲率、可达性和体积的近真实值估计，用于校准几何估计器和验证理论假设。
2026-06-16 cs.LG stat.ML
Non-Parametric Manifold Learning
本文提出一种基于图拉普拉斯估计的非参数流形距离估计器，给出误差上界并证明一致性，其收敛性源于Connes距离公式。
2023-05-15 math.ST stat.ML stat.TH
Estimating Dimensionality of Neural Representations from Finite Samples
Harvard University（哈佛大学）；New York University（纽约大学）；Flatiron Institute（Flatiron研究所）；Cornell Tech（康奈尔科技）
本文提出了一种偏倚校正估计器，用于从有限样本中准确估计神经表示的维度，并展示了其在生物神经记录和语言模型中的应用。
2026-03-02 cs.LG q-bio.NC stat.ML
Sampling and estimation on manifolds using the Langevin diffusion
University of Nottingham（诺丁汉大学）；Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
本文提出了一种在流形上使用兰格vin扩散进行采样和估计的方法，推导了误差界并验证了其在不同曲率流形上的实用性。
2025-04-26 cs.NA math.NA math.PR
Intrinsic dimension estimation for locally undersampled data
Università di Milano（米兰大学）；INFN（意大利国家核物理研究所）；University of Nottingham（诺丁汉大学）
高维数据在当代科学中无处不在，找到压缩它们的方法是机器学习的主要目标之一。给定一个位于高维空间（原则上是数百到数千维）的数据集，将其投影到低维流形上通常是有用的，而不会丢失信息。确定这种流形的最小维数是一个具有挑战性的问题，在文献中称为固有维数估计（IDE）。传统上，大多数IDE算法要么基于多尺度主成分分析（PCA），要么基于相关维的概念（更一般地说，基于k-最近邻距离）。这些方法受到严重的维数灾难的不同影响。特别地，现有算法中没有一个可以在极端局部欠采样机制中提供准确的ID估计，即在流形的任何局部补丁中的样本数量小于数据集的ID（或与数据集的ID相同的数量级）的极限中。在这里，我们引入了一个新的ID估计，利用流形的切线空间的简单属性来克服这些缺点。该方法基于全关联积分，突破了关联维数估计的小半径限制。我们的估计器解决了极端欠采样问题，与其他方法难以解决。基于这一认识，我们探讨了多尺度推广的算法。我们证明了它能够（i）识别数据集中的多个维度，以及（ii）提供对极端弯曲流形的ID的准确估计。特别是，我们测试的高对比度图像的全局变换生成的流形上的方法，相关的不变对象识别，并认为是最先进的ID估计的挑战。
2020-03-21 cond-mat.dis-nn cs.LG stat.ML
Robust Inference of Manifold Density and Geometry by Doubly Stochastic Scaling
Yale University（耶鲁大学）；Duke University（杜克大学）
本文研究高斯核的双重随机归一化，在高维异方差噪声下建立其集中性误差界，并据此提出鲁棒密度估计、噪声与信号幅度估计及图拉普拉斯归一化方法，在模拟和单细胞RNA测序数据中验证了其鲁棒性。
2023-07-11 cs.LG math.ST stat.ML
Minimum mean square distance estimation of a subspace
我们考虑的问题，在贝叶斯设置的子空间估计。由于我们是在格拉斯曼流形中操作，通常的方法，其中包括最小化真正的子空间$U$和它的估计$\hat{U}$之间的均方误差（MSE）可能是不够的，因为MSE不是格拉斯曼流形中的自然度量。作为替代方案，我们建议进行子空间估计，通过最小化的均方距离（MSD）之间的$U$和它的估计，其中所考虑的距离是一个自然的度量在格拉斯曼流形，即投影矩阵之间的距离。我们表明，由此产生的估计不再是后验均值的$U$，但需要计算的主特征向量的后验均值的$U U^{T}$。MMSD估计器的推导在几个说明性示例中进行，包括数据的线性高斯模型和$U$的Bingham或von Mises Fisher先验分布。在所有的情况下，后验分布推导和MMSD估计得到分析或实施通过马尔可夫链蒙特卡罗模拟方法。该方法示出，即使当样本的数量是低于$U$的维度，提供准确的估计。最后研究了高光谱图像的应用。
2011-01-18 stat.ME stat.ML
