Loss-calibrated expectation propagation for approximate Bayesian decision-making
Princeton Neuroscience Institute(普林斯顿神经科学研究所);Princeton University(普林斯顿大学)
近似贝叶斯推断方法提供了一套强大的工具,找到近似的棘手的后验分布。然而,机器学习应用程序通常涉及选择动作,在贝叶斯设置中,这些动作仅通过其对预期效用的贡献取决于后验分布。因此,越来越多的关于损失校准近似推理方法的工作试图开发对效用函数的影响敏感的后验近似。在这里,我们引入损失校准期望传播(Loss-EP),期望传播的损失校准变体。这种方法类似于标准EP,但有一个额外的因素使后验概率向更高效用的决策“倾斜”。我们展示了应用程序的高斯过程分类下的二进制效用函数与不对称的罚款假阴性和假阳性错误,并显示这种不对称性如何可以有戏剧性的后果,什么信息是“有用的”捕捉在一个近似。
2022-01-10 cs.LG stat.ML
Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification
Carnegie Mellon University(卡内基梅隆大学)
对抗鲁棒性已经成为现代机器学习应用中的基本要求。然而,迄今为止,令人惊讶的是,统计学上的理解很少。本文在\cite{schmidt2018adversarially}提出的高斯混合模型下,给出了对抗鲁棒分类系统超额风险的最优Minimax保证的第一个结果.结果以对抗信噪比(AdvSNR)表示,它将标准线性分类的类似概念推广到对抗环境。对于AdvSNR值为$r$的高斯混合,我们建立了$Θ(e^{-(\frac{1}{8}+o(1)) r^2} \frac{d}{n})$阶的超额风险下界,并设计了一个计算效率高的估计器,以实现此最佳速率。我们的结果建立在最小的假设集,同时涵盖了广泛的对抗性扰动,包括任何$p \ge 1$的$\ell_p$球。
2020-06-29 cs.LG stat.ML
Scalable GAM using sparse variational Gaussian processes
广义加性模型(GAM)是统计学家感兴趣的一类广泛使用的模型,因为它们提供了一种灵活的方法来设计线性模型之外的可解释数据模型。在这里,我们提出了一个可扩展的和良好校准的贝叶斯治疗的GAM使用高斯过程(GP),并利用最新进展的变分推理。我们使用稀疏GP来表示每个组件,并利用模型的加性结构来有效地表示组件之间的高斯后验耦合。
2018-12-28 cs.LG stat.ML
A Bayesian latent Gaussian process framework for aerodynamic uncertainty quantification
Aerospace Engineering, The Pennsylvania State University, University Park, PA 16802(航空工程,宾夕法尼亚州立大学,University Park分校,PA 16802);Aerospace Engineering and the Institute of Computational and Data Science (ICDS), The Pennsylvania State University, University Park, PA 16802(航空工程和计算与数据科学研究所(ICDS),宾夕法尼亚州立大学,University Park分校,PA 16802)
提出基于贝叶斯潜在高斯过程的校准方法,利用廉价低保真数据和稀疏测量数据预测气动系数不确定性,验证显示94.2-95.8%预测样本落在真实95%区间内。
2026-06-27 cs.LG physics.comp-ph stat.ML
Sharper Regret Bounds for Time-Varying Gaussian Process Bandits with Constant Exploration
Delft Institute of Applied Mathematics(代尔夫特应用数学研究所);Delft University of Technology(代尔夫特理工大学)
针对时变高斯过程漂移模型下的贝叶斯优化问题,提出基于每轮局部置信事件的恒定探索GP-UCB方法,推导更紧的时变最大信息增益界与期望、实际遗憾界,仿真验证了探索参数与漂移率倒数的对数依赖关系。
2026-08-20 cs.LG stat.ML
Deep Gaussian Process Proximal Policy Optimization
深度高斯过程近端策略优化通过利用深度高斯过程来近似策略和价值函数,在保持性能的同时提供校准的不确定性估计,以促进更安全有效的探索。
2025-12-19 cs.LG
Gaussian Process Molecule Property Prediction with FlowMO
STOR-i Centre for Doctoral Training(STOR-i博士培训中心);Lancaster University(兰卡斯特大学);University of Cambridge(剑桥大学)
我们介绍FlowMO:一个开源的Python库,用于高斯过程的分子性质预测。FlowMO基于GPflow和RDKit构建,使用户能够使用校准良好的不确定性估计进行预测,这是主动学习和分子设计应用的核心输出。高斯过程对于小分子数据集的建模特别有吸引力,这是许多现实世界虚拟筛选活动的一个特点,其中高质量的实验数据是稀缺的。在三个小数据集上进行的计算实验显示出与深度学习方法相当的预测性能,但具有出色的不确定性校准。
2020-10-14 cs.LG stat.ML
Variational Variance: Simple, Reliable, Calibrated Heteroscedastic Noise Variance Parameterization
Columbia University(哥伦比亚大学);New York Genome Center(纽约基因组中心)
已经观察到,当同时将神经网络映射从(随机)变量拟合到依赖高斯变量的均值和方差时,脆性优化对回归和VAE的模型似然性产生不利影响。以前的工作已经支持了优化和改进的可能性,但失败了其他基本的后验预测检查(PPC)。在PPC框架下,我们提出了测试预测均值和方差校准以及预测分布生成合理数据的能力的评论。我们发现,我们吸引人的简单的解决方案,处理异方差方差变分,充分正则化方差通过这些PPC。我们考虑了各种现有的和新的先验知识,发现我们的方法保留或优于现有的模型可能性,同时显着提高回归和VAE的参数校准和样本质量。
2020-10-30 cs.LG stat.ML
Calibrated Derivative-Process Sensitivity for Gaussian-Process Variable Selection
George Mason University(乔治梅森大学)
针对高斯过程变量选择中ARD和导数灵敏度缺乏校准规则的问题,提出学生化乘子自助法校准导数过程灵敏度,实现FDR控制,减少虚假输入,成本低。
2026-09-29 cs.LG cs.NA math.NA
Diffusion Removes Langevin's Conditioning Dependence: A Sharp Gaussian Analysis
Inria(法国国家信息与自动化研究所);École normale supérieure – PSL Research University(巴黎高等师范学院-PSL研究大学)
该研究针对高斯设定建立了扩散模型的2-Wasserstein收敛界,揭示其采样误差无额外条件数依赖,且加噪的益处源于采样阶段而非学习阶段。
2026-10-09 cs.LG stat.ML
Hierarchical Gaussian Process Models for Regression Discontinuity/Kink under Sharp and Fuzzy Designs
Texas A&M University(德州农工大学)
我们提出了非参数贝叶斯估计的因果推断利用回归不连续/扭结(RD/RK)下尖锐和模糊设计。我们的估计是基于高斯过程(GP)回归和分类。GP方法是强大的概率机器学习方法,其在导数估计和不确定性量化方面是有利的,从而促进RD/RK模型的RK估计和推断。这些估计器被扩展到具有中间贝叶斯神经网络层的分层GP模型,并且可以被表征为混合深度学习模型。蒙特卡罗模拟表明,我们的估计执行的精度,覆盖率和区间长度方面的竞争估计,有时甚至更好。层次GP模型大大改善了单层GP模型。我们应用所提出的方法来估计美国众议院选举的在职优势。我们的估计表明,在选票份额和在下次选举中获胜的可能性方面都有显着的在职优势。最后,我们提出了一个扩展,以适应协变量调整。
2022-02-28 cs.LG econ.EM stat.ML
Bayesian--AI Fusion for Epidemiological Decision Making: Calibrated Risk, Honest Uncertainty, and Hyperparameter Intelligence
Department of Statistics, Visva–Bharati University(统计系,维萨-巴哈蒂大学);S. N. Bose National Centre for Basic Sciences(S. N. Bose基础科学国家中心)
针对流行病学AI模型不确定性校准不足、贝叶斯方法难与现有AI工作流整合的问题,本文提出融合贝叶斯预测与贝叶斯超参数优化的双层框架,经多数据集验证可输出校准风险、优化模型性能,支撑流行病学决策。
2025-11-15 cs.LG stat.ML
A Fast and Calibrated Computer Model Emulator: An Empirical Bayes Approach
在计算机上实现的数学模型已经成为加速科学过程周期的驱动力。这是因为计算机模型通常比物理实验运行得更快和更经济。在这项工作中,我们开发了一种经验贝叶斯方法,使用计算机模型来预测物理量,我们假设所考虑的计算机模型需要校准,并且计算成本很高。我们提出了一个高斯过程仿真器和一个高斯过程模型的计算机模型和底层的物理过程之间的系统差异。这允许由高斯过程引起的条件分布给出的封闭形式和易于计算的预测。我们提供了一个严格的理论依据所提出的方法,通过建立后验的一致性估计的物理过程。在一个广泛的模拟研究和一个真实的数据示例中证明了该方法的计算效率。新建立的方法从实践和理论的角度加强了计算机模型的使用。
2021-07-02 stat.CO stat.ME
Simple and Effective VAE Training with Calibrated Decoders
University of Pennsylvania(宾夕法尼亚大学);UC Berkeley(加州大学伯克利分校)
变分自编码器(VAE)为复杂分布的建模提供了一种有效而简单的方法。然而,训练VAE通常需要相当大的超参数调整,以确定潜在变量保留的最佳信息量。我们研究了校准的解码器,学习解码分布的不确定性,并可以自动确定此信息量的VAE性能的影响。虽然已经提出了许多用于学习校准解码器的方法,但最近许多采用VAE的论文依赖于启发式超参数和ad-hoc修改。我们执行校准解码器的第一个全面的比较分析,并提供简单有效的VAE训练的建议。我们的分析涵盖了一系列图像和视频数据集以及几个单图像和序列VAE模型。我们进一步提出了一个简单的,但新颖的修改常用的高斯解码器,计算预测方差分析。我们观察经验,使用启发式修改是没有必要的,我们的方法。项目网站为https://orybkin.github.io/sigma-vae/
2021-07-12 cs.CV cs.LG eess.IV
Doubly Stochastic Variational Inference for Deep Gaussian Processes
高斯过程(GP)是函数逼近的一个很好的选择,因为它们灵活,对过拟合具有鲁棒性,并提供良好校准的预测不确定性。深度高斯过程(DGP)是GP的多层概括,但这些模型中的推理已被证明具有挑战性。现有的DGP模型中的推理方法假设近似后验,迫使层之间的独立性,并没有很好地在实践中工作。我们提出了一个双随机变分推断算法,它不强迫层之间的独立性。通过我们的推理方法,我们证明了DGP模型可以有效地用于大小从数百到十亿个点的数据。我们提供了强有力的经验证据表明,我们的DGP推理方案在分类和回归实践中效果良好。
2017-11-13 stat.ML
Scaled Gaussian Stochastic Process for Computer Model Calibration and Prediction
我们考虑使用实验数据校准不完美的计算机模型的问题。为了补偿计算机模型的错误指定并做出更准确的预测,通常包括差异函数并通过高斯随机过程(GaSP)进行建模。然而,单独校准的计算机模型有时与实验数据拟合得很差,因为校准参数变得不可识别。在这项工作中,我们提出了缩放高斯随机过程(S-GaSP),一种新的随机过程,弥合了两种主要方法,即$L_2$校准和GaSP校准之间的差距。结果表明,我们的方法在校准和预测方面都表现良好。一个计算上可行的方法,这个新的模型下的贝叶斯范式。与GaSP校准相比,S-GaSP校准基于校准参数的后验分布,使得校准的计算机模型本身能够很好地预测现实。模拟和真实数据的数值比较,以说明建议的S-GaSP和其他替代方法之间的连接和差异。
2018-05-03 stat.ME
Sequential Design for Simulators with Sharp Variations via Deep Gaussian Process Gradients
University College London(伦敦大学学院)
本文提出一种高效近似方法,用于计算两层深度高斯过程的梯度分布,通过局部线性化和链式法则推导出梯度均值和协方差的闭式表达式,用于快速评估梯度并量化不确定性。同时,利用梯度不确定性指导序列设计,以更准确地模拟具有尖锐变化的函数。
2026-09-29 stat.AP stat.CO stat.ME
How Deep Are Deep GPs, Really? A Sharp Threshold and a Non-Gaussian Limit for Compositional GPs
Technion, IIT(以色列理工学院);NVIDIA(英伟达)
本文研究了深度高斯过程先验在深度增长时的极限行为,识别出RBF核带宽的尖锐阈值,低于该阈值时先验收敛到非退化非高斯分布,具有非零坐标依赖。
2026-11-04 cs.AI cs.LG math.ST
Comparing Scale Parameter Estimators for Gaussian Process Interpolation with the Brownian Motion Prior: Leave-One-Out Cross Validation and Maximum Likelihood
本文从理论上比较了高斯过程回归中留一交叉验证与最大似然估计在布朗运动核尺度参数估计上的表现,证明交叉验证对更广泛的真实函数具有渐近良好校准的置信区间,并提出适应性更强的内部交叉验证方法。
2025-08-21 math.ST stat.TH
Online Sharp-Calibrated Bayesian Optimization
ELLIS Institute Finland(芬兰ELLIS研究所);Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
本文提出在线锐化校准贝叶斯优化算法,通过将超参数选择转化为约束在线学习问题,平衡高斯过程的锐度和校准,保持子线性 regrets 并在合成和现实基准中表现优异。
2026-05-11 cs.LG
Sharp optimal recovery in the two-component Gaussian Mixture Model
本文研究了二分量高斯混合模型中的聚类问题,其中对某些$Δ>0$,中心被$2Δ$分离。我们的特点是精确的相变阈值,由$$ \barΔ_n^{2} = σ^{2}\left(1 + \sqrt{1+\frac{2p}{n\log{n}}} \right)\log{n}, $$,这样的社区的完美恢复是可能的概率高,如果$Δ\ge(1+\varepsilon)\bar Δ_n$,和不可能的,如果$Δ\le (1-\varepsilon)\bar Δ_n$为任何常数$\varepsilon>0$。这意味着在临界尺寸$p^{*}=n\log{n}$处存在弯头效应。给出了相应的极大极小Hamming风险的一个非渐近下界,改进了已有的结果.据我们所知,这是捕获对$p$的正确依赖的第一个下界。我们还提出了一个最佳的,有效的和自适应的过程,是最小最大速率最优。当样本容量趋于无穷大时,率最优性的渐近性更强。我们的程序是基于劳埃德的迭代初始化的谱方法的一个变种,一个流行的聚类算法,广泛使用的从业者。数值研究证实了我们的理论发现。
2020-07-03 math.ST stat.TH
Sharp global convergence guarantees for iterative nonconvex optimization: A Gaussian process perspective
我们考虑一类具有正态分布协变量的回归模型,以及从数据拟合这些模型的相关非凸问题。我们开发了一个通用的配方,用于分析这个任务的迭代算法从随机初始化的收敛性。特别是,提供每个迭代可以被写为满足一些自然条件的凸优化问题的解决方案,我们利用高斯比较定理推导出一个确定性序列,提供尖锐的上界和下界的算法与样本分裂的错误。至关重要的是,这种确定性序列准确地捕获了算法的收敛速度和有限样本状态下的最终错误平层,并且与通常使用的“总体”序列不同,该序列是由采用无限样本限制而产生的。我们应用我们的一般框架来获得几个具体的后果参数估计流行的统计模型,包括相位恢复和混合回归。提供的样本量尺度在维度上接近线性,我们显示出尖锐的整体收敛率高阶算法的基础上交替更新和一阶算法的基础上次梯度下降。这些推论,反过来,产生多个后果,包括:(a)证明高阶算法可以比一阶算法收敛得更快(有时是超线性的),即使两者共享相同的种群更新和(b)高阶算法的超线性收敛行为的复杂性,这可能是非标准的(例如,具有指数3/2)并且对问题中的噪声水平敏感。我们补充这些结果与广泛的数值实验,这表明与我们的理论预测非常吻合。
2021-09-20 math.OC math.PR math.ST
Permutation and Grouping Methods for Sharpening Gaussian Process Approximations
Vecchia对高斯过程参数的近似似然依赖于观测值的排序方式,这可以被视为一个缺陷,因为精确似然是置换不变的。本文采取了另一种观点,即可以调整观察结果的顺序来锐化近似值。有利的是,选择的排序可以极大地改善近似,事实上,完全随机的排序通常比默认的基于坐标的排序产生更准确的近似。除了置换结果之外,还引入了近似分量的分组计算的自动方法,其结果是同时提高了近似的质量并减少了其计算负担。在常见设置中,与使用默认排序的未分组近似值相比,重新排序与分组相结合可将目标模型的库尔贝克-莱布勒散度降低80倍,并将计算时间降低2倍。这些主张得到了理论和数值结果的支持,并与其他近似进行了比较,包括锥形协方差和随机偏微分方程近似。计算的细节,包括有效地找到排序和有序最近的邻居,和剖析出线性平均参数,并使用预测和条件模拟的近似。介绍了一种时空卫星数据的应用。
2018-02-19 stat.CO stat.ME
Sharp Asymptotic Theory of Maximum Likelihood Estimation for Gaussian Processes with an RBF Kernel
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文针对高斯过程RBF核,在固定域渐近下首次完整刻画了空间方差、长度尺度和块金方差联合最大似然估计的渐近性质,包括相合性、收敛速率、联合渐近正态性及极小极大最优性。
2026-10-19 cs.LG math.PR math.ST
Countdown Regression: Sharp and Calibrated Survival Predictions
Stanford University(斯坦福大学)
使用最大似然估计(MLE)训练的模型的概率生存预测可能具有高方差,有时甚至是不可接受的高方差。在气象学领域,最大化受校准影响的锐度的范例很流行,已经通过使用超越MLE的评分规则(诸如连续排序概率评分(CRPS))来解决这个问题。在本文中,我们提出了\emph{Survival-CRPS},广义的CRPS生存预测设置,右删失和区间删失变量。我们使用两种不同的电子健康记录(EHR)数据集(STARR和MIMIC-III)评估我们对死亡率预测任务的想法,这些数据集覆盖了数百万患者,具有合适的深度神经网络架构:STARR的递归神经网络(RNN)和MIMIC-III的全连接网络(FCN)。我们在保持网络架构和数据固定的情况下比较了两种评分规则之间的结果,结果表明,与MLE训练的模型相比,使用Survival-CRPS训练的模型具有更清晰的预测分布,同时仍然保持校准。
2019-06-18 cs.LG stat.AP stat.ML
Calibrated Generalized Bayesian Inference
Monash University(莫纳什大学);Queensland University of Technology(昆士兰科技大学);University of New South Wales(新南威尔士大学)
本文提出了一种校准的广义贝叶斯推断方法,通过替代后验来实现准确的不确定性量化,适用于多种模型。
2026-03-10 stat.ME
Calibrated and Sharp Uncertainties in Deep Learning via Density Estimation
本文提出基于低维密度估计的再校准训练流程,为任意模型(含神经网络)保证分布校准,并给出正确性证明与一致收敛界,在线性和深度贝叶斯模型上提升性能。
2025-05-13 cs.LG
New Berry-Esseen bounds for parameter estimation of Gaussian processes observed at high frequency
Kuwait University(科威特大学);Baoshan University(保山学院)
本文提出了一种在高频观测下估计高斯过程参数的新方法,通过改进的Berry-Esseen界提升了估计精度。
2026-03-05 math.PR math.ST stat.TH
Beyond Pinball Loss: Quantile Methods for Calibrated Uncertainty Quantification
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
在回归设置中量化不确定性的许多方法中,指定完整的分位数函数是有吸引力的,因为分位数可以解释和评估。在所有分位数水平上预测每个输入的真实条件分位数的模型可以正确有效地表示潜在的不确定性。为了实现这一点,目前许多基于分位数的方法专注于优化所谓的弹球损失。然而,这种损失限制了适用回归模型的范围,限制了针对许多期望属性(例如校准,锐度,中心间隔)的能力,并且可能产生不良的条件分位数。在这项工作中,我们开发了新的分位数方法来解决这些缺点。特别是,我们提出的方法,可以适用于任何类别的回归模型,允许选择校准和锐度之间的权衡,优化校准的中心间隔,并产生更准确的条件分位数。我们提供了一个彻底的实验评估,我们的方法,其中包括一个高维的不确定性量化任务,在核聚变。
2021-12-09 cs.LG stat.ML
Modular Conformal Calibration
Stanford University(斯坦福大学)
必须校准不确定性估计(即,精确)和尖锐(即,信息),以便有用。这激发了各种重新校准的方法,这些方法使用保留的数据将未校准的模型转换为校准的模型。然而,现有的方法的适用性是有限的,由于他们的假设,原始模型也是一个概率模型。我们介绍了一种通用的算法,我们称之为模块共形校准(MCC)的回归重新校准。该框架允许将任何回归模型转换为校准的概率模型。MCC的模块化设计使我们能够对现有算法进行简单调整,从而实现良好的分布预测。我们还为MCC算法提供有限样本校准保证。我们的框架恢复等张重校准,共形校准,共形区间预测,这意味着我们的理论结果适用于这些方法以及。最后,我们在17个回归数据集上进行了MCC的实证研究。我们的研究结果表明,在我们的框架中设计的新算法实现了近乎完美的校准,并提高了相对于现有方法的清晰度。
2022-07-05 cs.LG stat.ML
Discrete Tokenization Unlocks Transformers for Calibrated Tabular Forecasting
该研究通过离散分词和高斯平滑技术,在表格预测中实现了优于传统梯度提升的性能,同时通过消融分析验证了架构对校准效果的重要性。
2026-03-08 cs.LG
Sharp Statistical Thresholds for Attributed Gaussian Graph Matching
Sharif University of Technology(沙斐大学);Université Paris-Saclay, CNRS, Inria Laboratoire de mathématiques d’Orsay(巴黎-萨克雷大学、CNRS、Inria或say数学实验室)
研究在高斯设定下的上下文图匹配,探讨边权重和节点特征在两个网络间的相关性,推导信息论阈值并分析精确恢复的条件,揭示结构与上下文信息交互的首次严谨表征。
2026-10-15 cs.LG stat.ML
Too Sharp, Too Sure: When Calibration Follows Curvature
Massachusetts Institute of Technology(麻省理工学院)
本文研究了校准作为训练过程中的现象,在小视觉任务中探讨校准是否可通过干预训练过程可靠获得,发现校准、曲率和边距之间存在紧密联系,并提出一种关注边距的训练目标以提升校准性能。
2026-04-22 cs.LG math.DS math.OC
Sharp Risk Bounds for Early-Stopping in Gaussian Linear Regression
Department of Computer Science, ETH Zürich(苏黎世联邦理工学院计算机科学系);Department of Statistics, University of Oxford(牛津大学统计系)
研究高维高斯线性回归中早停镜像下降法的最优风险界,基于局部高斯宽度推导出LSE的风险界扩展,提出Minkowski函数条件下的新势能构造方法,实现ESMD的minimax最优性分析。
2026-04-27 cs.LG math.ST stat.ML
Sharp Gaussian approximations for Decentralized Federated Learning
University of Chicago(芝加哥大学);University of Florida(佛罗里达大学)
本文提出两种广义Gaussian近似结果,用于局部SGD,以提供更稳健的统计保证,并通过模拟验证理论结果。
2026-05-07 cs.LG math.ST stat.ML
Sharp Stationary Gaussian Approximation for Constant-Stepsize SGD
PIT IN Corp.(PIT IN 公司)
针对常步长SGD,证明了其不变分布与高斯分布的锐利逼近,结合分块比较与收缩技术,并通过四状态例子验证下界。
2026-10-02 cs.LG math.OC
When Variance Is Not an Error Map: Calibrated Uncertainty for Radiative Gaussian Splatting in Sparse-View CT
Dundee International Institute, Central South University(中南大学邓迪国际学院);Central South University(中南大学)
研究针对辐射高斯点云在稀疏视图CT重建中缺乏可信度问题,利用透射X射线成像特性赋予其变分密度后验,通过系统校准研究表明所得不确定性能与真实误差排序相符,还剖析相关现象并指出校准后验指向剂量自适应停止规则。
2026-09-15 cs.CV cs.LG eess.IV
Towards Understanding The Calibration Benefits of Sharpness-Aware Minimization
Northwestern Polytechnical University(西北工业大学);SGIT AI Lab, State Grid Corporation of China(国网SGIT人工智能实验室);Xi’an Jiaotong University(西安交通大学);ETH Zürich(苏黎世联邦理工学院);Chinese University of Hong Kong(香港中文大学)
本文通过理论分析揭示锐度感知最小化(SAM)通过隐式最大化预测分布熵来改善模型校准,并提出变体CSAM进一步降低校准误差。
2026-06-25 cs.AI cs.LG
Orthogonal Random Features: Explicit Forms and Sharp Inequalities
Aix-Marseille University(艾克斯-马赛大学);CNRS(法国国家科学研究中心);LIS(信息科学与系统实验室)
本文分析了基于Haar正交矩阵的正交随机特征对高斯核近似的偏差与方差,给出基于归一化贝塞尔函数的显式表达式,证明其实际近似贝塞尔核,并推导出锐利指数界表明其分散性低于随机傅里叶特征。
2024-10-19 cs.LG math.PR stat.ML
Physics-Informed DeepONet Coupled with FEM for Convective Transport in Porous Media with Sharp Gaussian Sources
Department of Mathematics, Spelman College(斯帕尔曼学院数学系);Advanced Computing, Mathematics and Data Division, Pacific Northwest National Laboratory(太平洋西北国家实验室高级计算、数学与数据 division)
本研究提出FEM与物理信息DeepONet耦合的混合框架,结合自适应采样处理尖锐源梯度,在保证精度的同时大幅提升多孔介质对流传输问题的求解速度。
2025-08-27 cs.LG
Calibrated Uncertainty Quantification for Operator Learning via Conformal Prediction
California Institute of Technology(加州理工学院);NVIDIA(英伟达)
提出风险控制量子神经算子,一种无分布假设的有限样本函数校准共形预测方法,在二维达西流和三维汽车表面压力预测任务上实现校准覆盖,且三维任务中唯一达到98%目标校准百分比。
2024-02-06 cs.LG
Sharp Composition Bounds for Gaussian Differential Privacy via Edgeworth Expansion
Department of Statistics(统计系);Graduate Group in Applied Mathematics and Computational Science(应用数学与计算科学研究生组);Department of Biostatistics, Epidemiology and Informatics(生物统计学、流行病学与信息学系)
包含敏感信息的数据集通常由许多算法顺序分析。这就提出了一个基本的问题,在差分隐私的整体隐私约束如何降低下组成。为了解决这个问题,我们引入了一个家庭的分析和尖锐的隐私范围下的组成使用埃奇沃思扩展的框架内最近提出的f-差分隐私。与现有的使用中心极限定理的组合定理相比,我们的新的隐私组合下的边界获得改进的紧密性,利用改进的近似精度的埃奇沃思扩展。我们的方法是很容易实现和计算效率的任何数量的组合物。这些新的界限的优越性,证实了渐近误差分析和应用量化的整体隐私保证的噪声随机梯度下降用于训练私人深神经网络。
2020-03-25 cs.AI cs.CR cs.LG
Obtaining Calibrated Probabilities with Personalized Ranking Models
Pohang University of Science and Technology(浦项科技大学)
对于个性化的排序模型,校准好的被用户偏好的项目的概率具有很大的实用价值。虽然现有的工作在图像分类中显示出有希望的结果,但是概率校准对于个性化排名还没有太多的探索。在本文中,我们的目标是估计校准的概率有多大可能用户会喜欢一个项目。我们研究了各种参数分布,并提出了两种参数校准方法,即高斯校准和伽玛校准。每种方法都可以被看作是一个后处理函数,它将预先训练的模型的排名分数映射到校准良好的偏好概率,而不会影响推荐性能。我们还设计了无偏的经验风险最小化框架,指导校准方法从有偏的用户-项目交互数据集学习真实偏好概率。在真实世界数据集上使用各种个性化排名模型进行的广泛评估表明,所提出的校准方法和无偏经验风险最小化显著提高了校准性能。
2022-04-26 cs.AI cs.IR cs.LG
How Many Samples Are Needed to Determine Causal Direction? Sharp Minimax Bounds for Bivariate LiNGAM
该研究针对双变量LiNGAM,推导了确定因果方向所需样本量的精确极小极大边界,明确样本复杂度与边强度、非高斯性距离及尺度不确定性的关系,相关证明由GPT-5.6 Sol生成。
2026-08-18 cs.LG econ.EM math.ST