Toward the Evaluation of Large Language Models Considering Score Variance across Instruction Templates
Nara Institute of Science and Technology(奈良科学技术研究所)
针对现有评估方法忽略提示词差异导致不公平的问题,本研究提供英日跨语言数据集并提出考虑模板间分数方差的Sharpe score指标,揭示了模板高方差对LLMs公平评估的显著影响。
2024-08-22 cs.AI cs.CL cs.LG
All Sparse PCA Models Are Wrong, But Some Are Useful. Part I: Computation of Scores, Residuals and Explained Variance
University of Granada(格拉纳达大学);University of Amsterdam(阿姆斯特丹大学);Wageningen University & Research(瓦赫宁根大学及研究中心)
稀疏主成分分析(sPCA)是一种基于主成分分析(PCA)的流行矩阵因子分解方法,它将方差最大化和稀疏性与改善数据解释的最终目标相结合。当从PCA转移到sPCA时,从业者需要意识到一些影响。一个相关的问题是sPCA中的得分和负载可能不是正交的。由于这个原因,在经典PCA中使用的计算分数、残差和方差的传统方法不能直接应用于sPCA模型。这也会影响sPCA组件的可视化方式。在本文中,我们说明了这个问题的理论和数值模拟几个国家的最先进的sPCA算法,并提供适当的计算提到的不同元素。我们表明,sPCA方法在建模无噪声,稀疏数据时表现出不同的和有限的性能。在后续的论文中,我们讨论了导致这个问题的理论性质。
2019-07-09 cs.LG stat.ML
Optimal Variance Control of the Score Function Gradient Estimator for Importance Weighted Bounds
Technical University of Denmark(丹麦技术大学);University of Copenhagen(哥本哈根大学);Rigshospitalet, Copenhagen University Hospital(哥本哈根大学医院国立医院)
本文介绍了重要加权变分界(IWAE)的得分函数梯度估计的新结果。我们证明,在大的$K$(重要性样本数)的限制,可以选择控制变量,使信号噪声比(SNR)的估计增长为$\sqrt{K}$。这与标准路径梯度估计器相反,在标准路径梯度估计器中,SNR随着$1/\sqrt{K}$而减小。基于我们的理论研究结果,我们开发了一种新的控制变量,扩展到VIMCO。经验上,对于连续和离散生成模型的训练,所提出的方法产生优异的方差减小,从而导致IWAE的SNR随着$K$而增加,而不依赖于重新参数化技巧。在训练生成模型时,新的估计器与最先进的无重新参数化梯度估计器(如重新加权唤醒-睡眠(RWS)和热力学变分目标(TVO))具有竞争力。
2020-12-08 cs.LG stat.ML
Latent Target Score Matching, with an application to Simulation-Based Inference
University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);NVIDIA(英伟达)
本文提出潜在目标分数匹配方法,通过利用联合分数降低方差,提升基于模拟推断任务的分数准确性和样本质量。
2026-02-06 cs.LG
Kernel-Smoothed Scores for Denoising Diffusion: A Bias-Variance Study
Université Claude Bernard Lyon 1(克莱尔-伯纳德里昂1大学);Laboratoire SAF, ISFA, France(SAF实验室,ISFA,法国);Department of Mathematics University of Vienna, Austria(数学系,维也纳大学,奥地利);The Ohio State University, USA(俄亥俄州立大学,美国)
本文将扩散模型中的经验分数解释为真实分数的带噪版本,提出核平滑经验分数以降低方差,推导了KL散度渐近界,并揭示其等效于LED-KDE的双重正则化机制,从而有效缓解记忆现象并提升泛化能力。
2025-05-28 cs.LG math.PR stat.ML
Minimum Variance Embedded Auto-associative Kernel Extreme Learning Machine for One-class Classification
Indian Institute of Technology Indore(印度理工学院印多尔分校)
单类分类(OCC)只需要一个类的样本来训练分类器。最近,一个自联想核极端学习机开发的OCC任务。本文介绍了一种新的扩展,这种分类器通过嵌入最小方差信息在其架构,被称为VAAKELM。最小方差嵌入迫使网络输出权重集中在低方差区域,并减少类内方差。这导致更好地分离目标样本和离群值,从而提高分类器的泛化性能。该分类器遵循基于重构的OCC方法,并通过使用核极端学习机作为基础分类器来最小化重构误差。它使用重建误差的偏差来识别异常值。我们在15个小型和10个中型单类基准数据集上进行了实验,以证明所提出的分类器的效率。我们将结果与13个现有的一类分类器进行比较,考虑平均F1分数作为比较指标。实验结果表明,VAAKELM始终优于现有的分类器,使其成为一个可行的替代OCC任务。
2020-11-24 cs.LG
A Bias-Variance-Covariance Decomposition of Kernel Scores for Generative Models
German Cancer Research Center (DKFZ)(德国癌症研究中心);German Cancer Consortium (DKTK)(德国癌症联盟);Goethe University Frankfurt(法兰克福大学);Frankfurt Cancer Institute (FCI)(法兰克福癌症研究所)
针对生成模型缺乏不确定性评估理论框架的问题,提出核分数的偏差-方差-协方差分解,推导核方差与熵的无偏一致估计量,经多模态实验验证其性能优于基线且适用于闭源模型。
2024-07-10 cs.LG stat.ML
Variance Reduction for Score Functions Using Optimal Baselines
Cornell University(康奈尔大学)
许多问题涉及使用模型,这些模型学习概率分布或以某种方式包含随机性。在这样的问题中,因为计算真实的期望梯度可能是棘手的,梯度估计器被用来更新模型参数。当模型参数直接影响概率分布时,梯度估计将涉及得分函数项。本文研究基线,得分函数的方差减少技术。动机主要是由强化学习,我们推导出第一次的最佳状态相关的基线,基线的结果在梯度估计与最小方差的表达式。虽然我们表明,存在的例子中,最佳基线可能是任意优于一个价值函数基线,我们发现,价值函数基线通常执行类似的最佳基线的方差减少。此外,价值函数也可以用于收益的自举估计,从而导致额外的方差减少。我们的研究结果提供了新的见解和理由,为什么价值函数基线和广义优势估计(GAE)的工作以及在实践中。
2022-12-27 cs.LG cs.SY eess.SY
Minimising quantifier variance under prior probability shift
对于先验概率漂移下的二元患病率量化问题,我们确定了极大似然估计量的渐近方差。我们发现,它是一个函数的Brier分数的回归的类标签的功能下的测试数据集分布。这一观察结果表明,优化基本分类器的准确性,如通过Brier分数测量的,在训练数据集上有助于减少测试数据集上相关量词的方差。因此,我们还指出了基础分类器的训练标准,这意味着训练和测试数据集上的Brier分数都得到了优化。
2021-09-22 cs.LG math.ST stat.ML
Stable Target Field for Reduced Variance Score Estimation in Diffusion Models
Massachusetts Institute of Technology(麻省理工学院)
扩散模型通过反转固定的正向扩散过程来生成样本。尽管已经提供了令人印象深刻的经验结果,这些扩散模型算法可以通过减少训练目标在其去噪得分匹配目标中的方差来进一步改进。我们认为,这种方差的来源在于处理的中间噪声方差尺度,在数据中的多个模式的影响方向的反向路径。我们建议通过引入一个参考批次来解决这个问题,我们使用该批次来计算加权条件得分作为更稳定的训练目标。我们表明,该程序确实有助于在具有挑战性的中间制度,减少(的痕迹)的协方差的训练目标。新的稳定目标可以被视为降低方差的交易偏倚,其中偏倚随着参考批量的增加而消失。从经验上讲,我们表明,新的目标提高了图像质量,稳定性和训练速度的各种流行的扩散模型跨数据集与一般的ODE和离散化求解器。当与EDM结合使用时,我们的方法在无条件CIFAR-10生成任务上产生了35个网络评估的1.90的当前SOTA FID。代码可在https://github.com/Newbeeer/stf上获得
2023-02-17 cs.CV cs.LG
Building Fast, Evaluating Slow: Pipeline Choices Dominate Autointerpretability Score Variance
ETH Zürich(苏黎世联邦理工学院)
研究稀疏自动编码器可解释性得分的跨论文比较,通过多指标、多模型及方法变化轴的实验发现方法方差主导得分方差,排名不稳定,基于得分的比较可能反映管道差异,贡献评估方法以推动可解释性研究。
2026-07-23 cs.CL cs.LG
Minimum Variance Unbiased N:M Sparsity for the Neural Gradients
Habana Labs(哈巴纳实验室);Intel(英特尔);Technion(以色列理工学院)
本文提出针对神经梯度的无偏最小方差 N:M 稀疏化掩码,解决传统 MSE 最小化在梯度剪枝中失效的问题,并验证 1:2 与 2:4 稀疏化在多数训练场景下已足够,从而加速训练。
2024-06-09 cs.AI cs.LG
Markov Chain Score Ascent: A Unifying Framework of Variational Inference with Markovian Gradients
Sogang University(西江大学);University of Pennsylvania(宾夕法尼亚大学);Princeton University(普林斯顿大学)
利用随机梯度下降(SGD)最小化包含的Kullback-Leibler(KL)发散是具有挑战性的,因为其梯度被定义为后验上的积分。最近,已经提出了多种方法来运行SGD从马尔可夫链获得的有偏梯度估计。本文通过建立它们的混合率和梯度方差,首次给出了这些方法的非渐近收敛性分析。要做到这一点,我们证明,这些方法,我们统称为马尔可夫链得分上升(MCSA)的方法,可以铸造的马尔可夫链梯度下降框架的特殊情况。此外,通过利用这种新的理解,我们开发了一种新的MCSA方案,并行MCSA(pMCSA),实现了更严格的约束的梯度方差。我们证明,这种改进的理论结果转化为优越的经验性能。
2022-10-13 cs.AI cs.LG stat.ML
Finite Time Regret Bounds for Minimum Variance Control of Autoregressive Systems with Exogenous Inputs
Indian Institute of Science(印度科学学院);Texas A & M University(德克萨斯农工大学)
本文针对ARX系统自适应最小方差控制提出PIECE控制器,通过探测输入改善初始学习阶段性能,并首次给出有界噪声下$C\log T$、亚高斯噪声下$C\log^2 T$的有限时间遗憾界,仿真验证其优于现有方法。
2023-05-26 cs.LG cs.SY eess.SY
Variance Alignment Score: A Simple But Tough-to-Beat Data Selection Method for Multimodal Contrastive Learning
University of Washington(华盛顿大学);Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院)
提出方差对齐分数(VAS)作为多模态对比学习的数据选择指标,通过最大化与目标协方差矩阵的对齐来选择信息量最大的样本,结合CLIP分数在DataComp和CC12M上分别提升1.3%和2.5%的平均性能。
2024-02-03 cs.AI cs.LG
For Better or For Worse? Learning Minimum Variance Features With Label Augmentation
Duke University(杜克大学)
本研究分析标签增强(含标签平滑、Mixup)在模型训练中的作用,证明其使模型学习最小方差特征,实验表明该特性既关联图像分类基准的优异性能,也易受训练数据中低方差虚假相关性影响。
2025-02-13 cs.CV cs.LG
Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations
University of Maryland(马里兰大学)
本文通过约束泛函优化发现最小化两点零阶梯度估计器渐近方差的扰动应方向对齐梯度,提出DAP方案,理论分析其收敛性并实证验证其在特定条件下优于传统方法。
2025-10-22 cs.AI cs.LG math.OC
Connecting Score Matching, Maximum Likelihood, and Expectation-Maximization in Mixed Linear Regression
Purdue University(普渡大学)
本文研究混合线性回归中响应扩散的分数匹配,通过KL散度连接似然与EM算子,证明估计器收敛并给出梯度分解与数值验证。
2026-09-09 cs.LG stat.ML
Nearest Neighbour Score Estimators for Diffusion Generative Models
University of British Columbia(不列颠哥伦比亚大学);Inverted AI
本文提出一种基于最近邻的得分估计器,利用训练集多个样本降低方差,显著提升一致性模型的收敛速度与样本质量,并可替代扩散模型中学习网络进行概率流ODE积分。
2024-07-16 cs.CV cs.LG stat.ML
Variance reduction of diffusion model's gradients with Taylor approximation-based control variate
Technical University of Denmark(丹麦技术大学);Google Deepmind(谷歌DeepMind);University of Cambridge(剑桥大学)
针对扩散模型训练目标高方差阻碍优化的问题,通过对训练目标及其梯度进行$k$阶Taylor展开推导控制变量以缩减方差,并从理论和实证两方面验证了其有效性与影响。
2024-08-22 cs.AI cs.LG
Neural Nonlinear Shrinkage of Covariance Matrices for Minimum Variance Portfolio Optimization
College of Big Data and Internet(大数据与互联网学院);Shenzhen Research Institute of Big Data(大数据研究深圳研究所)
本文提出了一种基于神经网络的非线性协方差矩阵收缩方法,用于优化投资组合的最小方差策略,通过结合统计估计与机器学习提升风险预测精度。
2026-01-22 cs.LG eess.SP
Generalization through variance: how noise shapes inductive biases in diffusion models
Harvard Medical School(哈佛医学院)
针对扩散模型泛化机制不明的问题,本文基于DSM目标的噪声特征提出数学理论,利用路径积分方法分析其泛化现象,揭示噪声目标协方差结构对归纳偏置的影响及与特征偏置的相互作用。
2025-04-16 cond-mat.dis-nn cs.AI cs.LG
Saddle-to-Saddle Dynamics in Deep Linear Networks: Small Initialization Training, Symmetry, and Sparsity
EPFL(洛桑联邦理工学院 (EPFL))
深度线性网络(DLN)的动态特性受到初始化$θ_0$时参数方差$σ^2$的显著影响。对于宽度为$w$的DLN,我们给出了一个相变w.r.t.方差$σ^2=w^{-γ}$的缩放$γ$为$w\to\infty$:对于大方差($γ<1$),$θ_0$非常接近全局最小值但远离任何鞍点,而对于小方差($γ>1$),$θ_0$接近鞍点且远离任何全局最小值。虽然第一种情况与研究充分的NTK制度相对应,但第二种情况却不太清楚。这激发了对案例$γ\to +\infty$的研究,在该案例中,我们推测了一个鞍到鞍动态:在整个训练过程中,梯度下降访问一系列鞍的邻域,每个鞍对应于秩递增的线性映射,直到达到稀疏的全局最小值。我们支持这一猜想的前两个鞍之间的动力学定理,以及一些数值实验。
2022-01-31 cs.LG stat.ML
A Scalable Gradient-Based Optimization Framework for Sparse Minimum-Variance Portfolio Selection
School of Mathematics and Statistics(数学与统计学学院);University of New South Wales(新南威尔士大学);School of Mathematical and Physical Sciences(数学与物理科学学院);University of Technology Sydney(技术大学悉尼分校);Bayes Business School(贝叶斯商学院);City St George’s, University of London(伦敦大学城圣乔治学院);Faculty of Science and Engineering(科学与工程学院);Macquarie University(麦考瑞大学)
针对稀疏最小方差投资组合的基数约束混合整数规划求解瓶颈,提出基于 Boolean 松弛和凸凹目标连续调控的可扩展梯度优化框架。
2025-05-15 cs.LG math.OC q-fin.PM
The Decision Geometry of Covariance Estimation for the Global Minimum-Variance Portfolio under Heavy Tails
Academy for AI, Games and Media(人工智能、游戏与媒体学院)
研究重尾分布下全局最小方差组合的协方差估计问题,通过精确的遗憾恒等式和非渐近界,揭示决策遗憾仅依赖于协方差误差在组合权重上的作用,并推导出决策几何不变性。
2026-06-29 cs.LG q-fin.PM stat.ML
Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models
Tsinghua University(清华大学);Renmin University of China(中国人民大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
扩散概率模型(DPM)代表了一类功能强大的生成模型。尽管他们的成功,DPM的推理是昂贵的,因为它通常需要在数千个时间步长上进行迭代。该方法的一个关键问题是估计逆过程中各时间步的方差。在这项工作中,我们提出了一个令人惊讶的结果,无论是最佳的反向方差和相应的最佳KL分歧的一个共同点有解析形式w.r.t.其评分功能。在此基础上,我们提出了Analytic-Risk,这是一个免训练的推理框架,它使用Monte Carlo方法和预训练的基于分数的模型来估计方差和KL散度的解析形式。此外,为了纠正由基于分数的模型引起的潜在偏差,我们推导出最佳方差的上下界,并剪切估计值以获得更好的结果。从经验上讲,我们的分析算法提高了各种DPM的对数似然性,产生了高质量的样本,同时获得了20倍至80倍的速度提升。
2022-05-03 cs.LG
OMASGAN: Out-of-Distribution Minimum Anomaly Score GAN for Sample Generation on the Boundary
Cranberry-Lemon University(蔓越莓-柠檬大学)
以无监督方式训练的生成模型可以为分布外(OoD)样本设置高可能性和低重建损失。这增加了II类错误,并导致遗漏异常,从而总体上降低了异常检测(AD)性能。此外,由于异常的罕见性,AD模型表现不佳。为了解决这些限制,我们提出了OoD最小异常分数GAN(OMASGAN)。OMASGAN以负数据增强方式在估计的分布边界上生成异常样本。然后,这些样本被用于改进AD模型,从而更准确地估计底层数据分布,包括具有断开模式的多模态支持。OMASGAN通过以自监督学习方式包括在分布边界上生成的异常最小异常分数OoD样本来执行再训练。对于推理,对于AD,我们设计了一个训练器,该训练器使用生成的(阴性或阳性)或真实的(仅阳性)阴性和阳性样本进行训练。OMASGAN通过仅使用正态类数据在分布边界上生成强和对抗性OoD样本来解决异常的罕见性,有效地解决了模式坍塌。我们模型的一个关键特征是,它在其变分表示中使用任何f-发散分布度量,不要求可逆性。OMASGAN不使用特征工程,也不对数据分布做任何假设。使用留一法对图像数据进行的OMASGAN评估表明,与其他AD基准和最先进的模型相比,在MNIST和CIFAR-10数据集上,它分别实现了AUROC平均至少0.24和0.07点的改善。
2022-02-02 cs.LG stat.ML
Increasing the efficiency of randomized trial estimates via linear adjustment for a prognostic score
Unlearn.AI, Inc.(Unlearn.AI公司)
从随机实验中估计因果效应是临床研究的核心。减少这些分析中的统计不确定性是统计人员的一个重要目标。登记、既往试验和健康记录构成了标准治疗下患者历史数据的不断增长的汇编,可用于此目的。然而,历史借款的大多数方法通过牺牲严格的第一类错误率控制来实现方差的减少。在这里,我们建议使用历史数据,利用线性协变量调整,以提高试验分析的效率,而不会产生偏见。具体而言,我们根据历史数据训练预后模型,然后使用线性回归估计处理效应,同时调整试验受试者的预测结果(其预后评分)。我们证明,在一定的条件下,这种预测协变量调整过程中达到最小方差可能的一大类估计。当不满足这些条件时,预后协变量调整仍然比原始协变量调整更有效,并且效率的增益与预后模型的预测准确性的测量成比例,高于和超过与原始协变量的线性关系。我们证明了这种方法使用模拟和再分析阿尔茨海默氏症的临床试验,并观察到有意义的减少均方误差和估计方差。最后,我们提供了一个简化的渐近方差公式,可以计算这些增益的功效。当使用预后模型解释临床上现实的结果方差百分比时,样本量可减少10%至30%。
2021-12-02 cs.LG stat.ME stat.ML
A Wasserstein Minimum Velocity Approach to Learning Unnormalized Models
Tsinghua University(清华大学)
分数匹配为学习灵活的非规范化模型提供了一种有效的方法,但其可扩展性受到评估二阶导数的需求的限制。在本文中,我们提出了一个可扩展的近似一般家庭的学习目标,包括分数匹配,通过观察这些目标和Wasserstein梯度流之间的新的连接。我们目前的应用程序与承诺学习神经密度估计流形上,训练隐式变分和Wasserstein自动编码器与流形值的先验。
2020-02-18 cs.LG stat.ML
Learning Minimum Volume Sets and Anomaly Detectors from KNN Graphs
提出了一种高维数据的非参数异常检测算法。我们首先对来自$n$点标称训练数据的最近邻图的分数进行排名。然后,我们训练有限的复杂度模型来模仿这些分数的基础上的最大利润率学习排名框架。如果预测分数在$α$百分位数内,则将测试点声明为$α$ -假警报水平的异常。所得到的异常检测器被证明是渐近最优的,在任何虚警率$α$,其决策区域收敛到$α$百分位数的最小体积水平集的未知的底层密度。此外,我们测试了我们的算法的统计性能和计算效率上的一些合成和真实数据的实验。我们的研究结果表明,我们的算法优于现有的$K$ -NN基于异常检测算法,具有显着的计算节省。
2016-01-22 cs.LG stat.ML
Pathwise Gradient Variance Reduction with Control Variates in Variational Inference
The University of Melbourne(墨尔本大学);Monash University(莫纳什大学)
针对现有路径梯度控制变量方差缩减方法依赖被积函数近似、仅适用于简单变分族的局限,本研究提出将零方差控制变量应用于路径梯度估计器,仅需变分分布可采样的弱假设。
2024-10-08 cs.LG stat.CO stat.ME
VarGrad: A Low-Variance Gradient Estimator for Variational Inference
Freie Universität Berlin(柏林自由大学);BTU Cottbus-Senftenberg(科特布斯-森夫滕贝格工业大学);dida Datenschmiede GmbH(迪达数据工坊有限公司);University of Warwick(华威大学);Universität Potsdam(波茨坦大学);DeepMind(深度思维);The Alan Turing Institute(艾伦·图灵研究所)
基于留一控制变量的得分函数方法,分析了变分推断的ELBO无偏梯度估计的性质。我们表明,这种梯度估计可以得到使用一个新的损失,定义为准确的后验和变分近似,我们称之为$\textit{log-variance loss}$之间的对数比的方差。在某些条件下,对数方差损失的梯度等于(负)ELBO的梯度。我们从理论上表明,这种梯度估计,我们称之为$\textit{VarGrad}$,由于其连接的对数方差损失,表现出较低的方差比得分函数方法在某些设置中,留一控制变量系数接近最佳的。我们的经验表明,VarGrad提供了一个有利的方差与计算权衡相比,其他国家的最先进的估计离散VAE。
2020-10-29 cs.LG math.ST stat.ML
Patch Based Transformation for Minimum Variance Beamformer Image Approximation Using Delay and Sum Pipeline
Indian Institute of Technology Palakkad(帕拉卡德印度理工学院)
在最近的过去,在加速诸如最小方差无失真响应(MVDR)波束成形之类的计算繁重的波束成形算法以实现与流行的延迟求和(DAS)波束成形相当的实时性能方面已经做出了若干努力。这已经使用各种神经网络架构实现,包括全连接神经网络(FCNN)、卷积神经网络(CNN)和一般对抗网络(GANs)。然而,这些方法中的大多数都在考虑图像级损失的优化下工作,因此需要大量的数据集来确保学习波束成形的过程。在这项工作中,提出了一种基于贴片级U-Net的神经网络,其中通过U-Net架构对空间中的固定区域(例如32 x32)的延迟补偿射频(RF)贴片进行变换,并乘以DAS切趾权重,并针对与贴片的MVDR图像的相似性进行优化。所提出的方法不是将波束成形问题框定为回归问题来估计变迹权重,而是处理RF数据空间的非线性变换,其可以考虑由MVDR方法在网络参数中完成的数据驱动权重自适应。以这种方式,还观察到,通过将输入限制到补丁,模型将学习波束成形流水线作为图像非线性变换问题。
2021-10-19 cs.LG eess.SP
Heteroscedasticity of Denoising Score Matching with Generalised Smooth Noise
Monash University(莫纳什大学);Amazon(亚马逊)
该研究指出去噪得分匹配(DSM)存在固有的异方差性,推导了理想加权函数并给出实用近似方案,为各向同性高斯扩散的启发式权重提供了理论依据,在多分布和高阶得分上验证了理论。
2026-08-05 cs.LG stat.AP stat.ML
Learning Gradually Non-convex Image Priors Using Score Matching
University Hospital Bonn(波恩大学医院);Graz University of Technology(格拉茨技术大学)
在本文中,我们提出了一个统一的框架去噪得分为基础的模型的背景下,渐进的非凸能量最小化。我们表明,足够大的噪声方差,相关的负对数密度-能量-成为凸。因此,基于去噪分数的模型基本上遵循分级非凸性启发式。我们应用这个框架来学习广义领域的专家图像先验近似的联合密度的噪声图像及其相关的方差。这些先验可以很容易地被纳入到现有的优化算法求解反问题,自然实现了快速和强大的渐进非凸性机制。
2023-02-21 cs.CV cs.LG
Variance reduction properties of the reparameterization trick
University of New South Wales(新南威尔士大学);UNSW Business School(新南威尔士大学商学院)
重新参数化技巧被广泛用于变分推断,因为它比其他方法(如得分函数方法)更准确地估计变分目标的梯度。虽然在文献中有大量的经验证据表明它的成功,但很少有研究探索为什么重新参数化技巧如此有效。我们探讨这一理想化的假设下,变分近似是一个平均场高斯密度和日志的联合密度的模型参数和数据是一个二次函数,取决于变分均值。由此,我们证明了重新参数化梯度估计的边际方差小于得分函数梯度估计的边际方差。我们将理想化分析的结果应用于现实世界的例子。
2018-12-27 cs.LG stat.CO stat.ML
Control Variate Score Matching for Diffusion Models
Google DeepMind(谷歌DeepMind);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究院);Machine Learning Group, Technische Universität Berlin(柏林技术大学机器学习组);Department of Artificial Intelligence, Korea University(韩国大学人工智能系);Max-Planck Institute for Informatics(马克斯·普朗克信息研究所)
本文提出CVSI方法,通过控制变量子框架统一DSI和TSI,降低方差并提升扩散模型的样本效率。
2026-09-02 cs.LG
One-step lowest-variance selection in a Gaussian random-field model motivated by masked diffusion: Total correlation and a square root collision threshold
University of Pennsylvania(宾夕法尼亚大学)
受掩码离散扩散启发,研究高斯随机场模型单步选择,用局部相关非负分数场表示不确定性,通过距离相关高斯模型衡量所选位置相关性,建立两个互补结果,为理解相关因素对掩码离散扩散中基于置信度一步选择的影响提供基线。
2026-07-21 cs.AI cs.IT cs.LG
Mechanistic Interpretability as Statistical Estimation: A Variance Analysis
Université Grenoble Alpes, CNRS, Grenoble INP, LIG(格勒诺布尔阿尔卑斯大学、国家科学研究中心、格勒诺布尔INP、实验室LIG)
本文从统计估计角度审视机械可解释性中的电路发现,揭示因果中介分析中单输入得分的固有方差导致电路不稳定,并系统分解方差来源,倡导更严谨的实践。
2026-05-28 cs.AI cs.CL cs.LG
Agreement-Constrained Probabilistic Minimum Bayes Risk Decoding
Nara Institute of Science and Technology (NAIST)(奈良先端科学技术大学院大学);NTT, Inc.(日本电信电话株式会社)
本文提出基于共识约束的概率最小贝叶斯风险解码方法,通过知识蒸馏模型提升矩阵补全效果,从而在保持翻译质量的同时降低计算成本。
2025-12-01 cs.AI cs.CL cs.LG
Minimum Stein Discrepancy Estimators
Imperial College London(帝国理工学院);University College London(伦敦大学学院);University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
当极大似然估计不可行时,人们往往转向得分匹配,对比发散,或最小概率流,以获得易于处理的参数估计。我们提供了一个统一的角度来看,这些技术的最小斯坦差异估计,并使用这个镜头设计新的扩散核斯坦差异(DKSD)和扩散评分匹配(DSM)估计互补的优势。我们建立了DKSD和DSM估计量的相合性、渐近正态性和稳健性,然后推导了随机黎曼梯度下降算法,使其有效地优化。我们的方法的主要优势是它的灵活性,这使我们能够设计估计与所需的属性为特定的模型在手仔细选择斯坦差异。我们说明了这一优势的分数匹配,如非光滑,重尾或轻尾密度的几个具有挑战性的问题。
2022-10-06 cs.LG math.ST stat.ME
Hierarchical Risk Parity and Minimum Variance Portfolio Design on NIFTY 50 Stocks
Praxis Business School(普拉西斯商学院)
投资组合的设计与优化一直是金融领域研究者关注的一个研究领域。设计最佳投资组合是一项复杂的任务,因为它涉及到对未来股票收益和风险的准确预测,并在两者之间做出适当的权衡。本文提出了一种系统的方法来设计投资组合,使用两种算法,临界线算法,和层次风险平价算法的八个部门的印度股票市场。虽然投资组合是使用2016年1月1日至2020年12月31日的股价数据设计的,但它们是在2021年1月1日至2021年8月26日的数据上进行测试的。投资组合的回测结果表明,虽然CLA算法的性能优于训练数据,HRP算法已超过CLA算法的测试数据。
2022-02-06 cs.LG q-fin.PM
An intuitive rearranging of the Yates covariance decomposition for probabilistic verification of forecasts with the Brier score
Methods of Plasticity Research, Department of Psychology, University of Zurich(塑性研究方法、心理学系、苏黎世大学)
提出Brier评分Yates协方差分解的简单代数重排,得到三个独立非负项,揭示完美预报的最优条件。
2026-06-23 cs.LG stat.AP stat.ME
Differentiable Optimization of Similarity Scores Between Models and Brains
MIT(麻省理工学院);NYU(纽约大学);HIH Tübingen(蒂宾根高等卫生研究所)
本文提出通过对相似性度量进行可微优化来直接最大化分数,发现高相似性分数并不保证编码任务相关信息,且不存在一致的好分数阈值,并揭示了不同度量对主成分方差的敏感性差异及其允许范围。
2024-12-27 cs.LG q-bio.NC