Unveiling the Potential of Robustness in Selecting Conditional Average Treatment Effect Estimators
The Hong Kong Polytechnic University(香港理工大学);City University of Hong Kong(香港城市大学)
针对现有CATE估计器选择方法需拟合nuisance参数、未聚焦鲁棒性选择的问题,本文提出无nuisance依赖的分布鲁棒指标DRM,可有效选出对协变量偏移、隐藏混杂引发的分布偏移鲁棒的CATE估计器。
2024-10-31 cs.AI cs.LG econ.EM
The Adaptive $τ$-Lasso: Robustness and Oracle Properties
本文提出自适应 $τ$-Lasso 估计器,通过引入自适应 $\ell_1$-范数惩罚项处理高维污染数据,证明了其具备神谕性质与稳健性,在预测和变量选择上表现优异。
2025-04-29 cs.LG eess.SP stat.ML
Non-Parametric Probabilistic Robustness: A Conservative Risk Estimator under Unknown Perturbation Distributions
WMG, University of Warwick, Coventry, United Kingdom(沃里克大学商学院,沃里克,英国);Wuhan University, Wuhan, China(武汉大学,武汉,中国)
提出非参数概率鲁棒性(NPPR)度量,通过从数据中学习扰动分布,在分布不确定性下实现保守的概率鲁棒性估计,并基于高斯混合模型开发估计器。
2026-05-29 cs.CV cs.LG
$γ$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a Robust Divergence Estimator
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心)
近似贝叶斯计算(ABC)是一种无似然性的推理方法,已在各种应用中采用。然而,如果数据差异度量选择不当,ABC可能对离群值敏感。在本文中,我们建议使用最近邻为基础的$γ$ -分歧估计作为数据差异的措施。我们表明,我们的估计具有一个合适的理论鲁棒性的属性称为降序属性。此外,我们的估计享有各种理想的属性,如高灵活性,渐近无偏性,几乎必然收敛,线性时间的计算复杂度。通过实验,我们证明了我们的方法实现了显着更高的鲁棒性比现有的差异措施。
2021-03-05 cs.LG stat.CO stat.ME
Debiased Nonparametric Regression for Statistical Inference and Distributionally Robustness
The University of Tokyo(东京大学)
本文提出一种无模型的非参数回归去偏方法,通过加入估计条件期望残差的校正项,使估计量在温和条件下具备风险收敛与渐近正态性,从而支持统计推断并提升协变量偏移下的鲁棒性。
2025-03-17 cs.LG econ.EM math.ST
A Permutation-based Model for Crowd Labeling: Optimal Estimation and Robustness
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校)
随着众包平台和大规模数据集的出现,聚合和去噪众包标记数据的任务变得越来越重要。我们提出了一个基于置换的人群标记数据模型,这是一个显着的推广经典Dawid-Skene模型,并引入了一个新的误差度量,通过它来比较不同的估计。我们推导出全局极小极大速率的置换为基础的模型,是尖锐的对数因子,并匹配的极小极大下界下得到的更简单的Dawid-Skene模型。然后,我们设计了两个计算效率高的估计:WAN估计的设置,其中工人的能力方面的排序是近似已知的,和OBI-WAN估计,这是未知的。对于每一个这些估计,我们提供了非渐近界的性能。我们对真实世界的众包数据进行了合成模拟和实验,实验结果证实了我们的理论研究结果。
2021-01-10 cs.AI cs.IT cs.LG
Robust Kernel Density Estimation
University of Michigan(密歇根大学)
我们提出了一种非参数密度估计的方法,表现出鲁棒性的污染的训练样本。该方法通过将传统的核密度估计器(KDE)与经典的$M$估计的思想相结合来实现鲁棒性。我们解释的KDE的基础上的径向,半正定内核作为一个样本均值在相关的再生核希尔伯特空间。由于样本均值对异常值敏感,我们通过$M$ -估计对其进行鲁棒估计,得到鲁棒核密度估计(RKDE)。一个RKDE可以有效地计算通过内核化迭代重加权最小二乘(IRWLS)算法。给出了核化IRWLS收敛于$M$ -估计目标函数全局极小的充要条件。RKDE的鲁棒性证明了一个代表定理,影响函数,密度估计和异常检测的实验结果。
2011-09-06 cs.LG stat.ME stat.ML
A Closer Look at Robustness to L-infinity and Spatial Perturbations and their Composition
University of Waterloo(滑铁卢大学)
在对抗机器学习中,流行的$\ell_\infty$威胁模型一直是以前许多工作的重点。虽然这种不可感知性的数学定义成功地捕获了模型应该具有鲁棒性的无限加性图像变换集,但这只是所有变换的子集,这些变换使图像的语义标签保持不变。事实上,以前的工作也考虑了空间攻击以及其他语义转换的鲁棒性,但是,设计防御方法对空间和$\ell_{\infty}$扰动的组成仍然相对不足。在下文中,我们将提高对这种很少研究的成分设置的理解。我们从理论上证明,在一个简单的统计设置中,没有线性分类器可以实现超过微不足道的精度对复合对手,说明其困难。然后,我们研究如何国家的最先进的$\ell_{\infty}$防御可以适应这种新的威胁模型,并研究其对组合攻击的性能。我们发现我们新提出的TRADES $_{\text{All}}$策略是所有策略中表现最强的。通过分析不同大小RT变换的Logit Lipschitz常数,我们发现TRADES $_{\text{All}}$在有和没有$\ell_\infty$扰动的情况下,在很宽的RT变换范围内保持稳定.
2022-10-05 cs.CR cs.LG
REDistill: Robust Estimator Distillation for Balancing Robustness and Efficiency
Department of Cybernetics FEE, Czech Technical University(控制系(FEE)捷克技术大学)
REDistill通过引入幂分歧损失,改进了知识蒸馏中教师噪声的处理,提高了学生模型的准确性和泛化能力。
2026-02-04 cs.CV cs.LG
Statistical and Computational Tradeoffs in Stochastic Composite Likelihood
Georgia Institute of Technology(佐治亚理工学院)
最大似然估计往往是有限的实际使用,由于密集的计算,他们需要。我们提出了一个家庭的替代估计,最大化的复合似然函数的随机变化。每个估计器以不同的方式解决计算准确性权衡,并且它们加在一起跨越了计算准确性权衡解决方案的连续范围。我们证明了估计的一致性,提供公式,其渐近方差,统计鲁棒性,和计算复杂性。我们讨论的背景下,玻尔兹曼机和条件随机场的实验结果。理论和实验研究表明,当计算资源不足时,估计器的有效性。他们还表明,在某些情况下,降低计算复杂性与鲁棒性,从而提高统计精度。
2010-03-02 cs.LG
Adversarial Robustness of Nonparametric Regression
University of Minnesota(明尼苏达大学)
本文研究非参数回归在输入数据被对抗性破坏时的鲁棒性,证明光滑样条估计器在适当正则化下能容忍o(n)个样本被破坏,且其可容忍破坏数达到最优。
2025-10-24 cs.LG
Improving the Robustness of Adversarial Attacks Using an Affine-Invariant Gradient Estimator
Shanghai Jiao Tong University(上海交通大学);OPPO Research Institute(OPPO研究院);Tsinghua University(清华大学)
随着人工智能的设计者试图智胜黑客,双方都在继续磨练人工智能固有的弱点。人工智能的深度神经网络(DNN)是根据特定的数据统计分布设计和训练的,它仍然容易受到违反DNN统计预测假设的欺骗性输入的影响。然而,在被送入神经网络之前,大多数现有的对抗性示例在应用于仿射变换时无法保持恶意功能。出于实际目的,维护恶意功能是衡量对抗攻击鲁棒性的一个重要指标。为了帮助DNN学习更彻底地防御攻击,我们提出了一种仿射不变的对抗攻击,它可以在仿射变换上始终如一地产生更强大的对抗示例。为了提高效率,我们建议解开目前的仿射变换策略,从欧几里德几何坐标平面的几何平移,旋转和膨胀,我们重新制定后两个极坐标。然后,我们通过将原始图像的梯度与导出的核进行卷积来构造仿射不变的梯度估计器,该估计器可以与任何基于梯度的攻击方法相结合。在ImageNet上进行的大量实验,包括物理条件下的一些实验,表明与其他最先进的方法相比,我们的方法可以显着提高对抗示例的仿射不变性,并且作为副产品,提高对抗示例的可移植性。
2022-04-22 cs.CV cs.LG
Finite sample properties of parametric MMD estimation: robustness to misspecification and dependence
CNRS(法国国家科学研究中心);ESSEC Business School(埃塞克商学院)
针对统计学通用估计问题,本文基于MMD最小距离估计器证明其对数据相关性和异常值的鲁棒性,完成SGD算法理论研究并通过数值模拟验证,同时修正已发表版本中命题4.4的证明错误。
2025-02-13 cs.LG math.ST stat.CO
Factual Confidence of LLMs: on Reliability and Robustness of Current Estimators
Universitat Pompeu Fabra(庞培法布拉大学);AWS AI Labs(亚马逊云科技人工智能实验室)
针对LLMs回答事实性不可靠问题,本文综述并实证比较了现有事实置信度估计器,提出公平比较实验框架,发现训练后的隐藏状态探针最可靠,同时指出LLMs置信度在语义等价输入间不稳定,需提升参数化知识稳定性。
2024-06-19 cs.CL cs.LG
Tricking the Hashing Trick: A Tight Lower Bound on the Robustness of CountSketch to Adaptive Inputs
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学);UC Berkeley(加州大学伯克利分校)
CountSketch和Feature Hashing(“hashing trick”)是流行的随机降维方法,支持恢复$\ell_2$ -重命中者(键$i$,其中$v_i^2 > ε\|\boldsymbol{v}\|_2^2$)和近似内积。当输入是{ \em非自适应}(不依赖于先前的输出)时,应用于大小为$O(\ell/ε)$的草图的经典估计器对于在$\ell$中呈指数的查询数量是准确的。然而,当输入是自适应的时,可以在使用经典估计器的$O(\ell)$查询之后构造对抗输入,并且最知名的鲁棒估计器仅支持$\tilde{O}(\ell^2)$查询。在这项工作中,我们表明,这种二次依赖是在某种意义上固有的:我们设计了一个攻击后,$O(\ell^2)$查询产生一个对抗性的输入向量,其草图是高度偏见。我们的攻击使用“自然”非自适应输入(只有最终的对抗输入是自适应选择的),并普遍适用于任何正确的估计,包括攻击者未知的估计。在这一点上,我们暴露了这种基本方法的内在脆弱性。
2022-08-28 cs.CR cs.DS cs.LG
Characterizing Data Point Vulnerability via Average-Case Robustness
Harvard University(哈佛大学)
针对对抗鲁棒性二元判定无法刻画脆弱程度的问题,本文提出多类分类器平均情形鲁棒性的首批解析估计器,可高效准确识别脆弱数据点并量化鲁棒性偏差。
2024-07-08 cs.LG
Compositional World Knowledge leads to High Utility Synthetic data
Michigan State University(密歇根州立大学)
针对组合偏移下机器学习系统鲁棒性差的问题,提出CoInD方法通过最小化Fisher散度强制条件独立性生成忠实合成数据,在CelebA组合偏移任务上取得最优最差组准确率。
2025-06-16 cs.LG
Reasons for the Superiority of Stochastic Estimators over Deterministic Ones: Robustness, Consistency and Perceptual Quality
Faculty of Computer Science, Technion(以色列理工学院计算机科学学院);Faculty of Electrical and Computer Engineering, Technion(以色列理工学院电气与计算机工程学院)
该研究揭示随机复原算法相较确定性算法的额外根本优势,证明高感知质量且输入一致的复原算法需为随机后验采样器,且随机模型抗对抗攻击的鲁棒性对感知质量影响小,还能提升输出多样性,为随机复原方法发展提供依据。
2023-07-26 cs.CV cs.LG eess.IV
AugMax: Adversarial Composition of Random Augmentations for Robust Training
University of Texas at Austin(德克萨斯大学奥斯汀分校);NVIDIA(英伟达);Arizona State University(亚利桑那州立大学);California Institute of Technology(加州理工学院)
数据增强是提高深度神经网络(DNN)鲁棒性的一种简单而有效的方法。多样性和硬度是数据增强实现鲁棒性的两个互补维度。例如,AugMix探索了一组不同增强的随机组合,以增强更广泛的覆盖范围,而对抗性训练则生成对抗性的硬样本来发现弱点。出于这一动机,我们提出了一个数据增强框架,称为AugMax,统一的多样性和硬度的两个方面。AugMax首先随机采样多个增强算子,然后学习所选算子的对抗混合。作为一种更强大的数据增强形式,AugMax导致显著增强的输入分布,这使得模型训练更具挑战性。为了解决这个问题,我们进一步设计了一个被称为DuBIN(Dual-Batch-and-Instance Normalization)的解纠缠规范化模块,该模块可以解纠缠AugMax产生的实例特征异质性。实验表明,AugMax-DuBIN显著提高了分布外鲁棒性,在CIFAR 10-C、CIFAR 100-C、Tiny ImageNet-C和ImageNet-C上的性能分别优于现有技术3.03%、3.49%、1.82%和0.71%。代码和预训练模型可在https://github.com/VITA-Group/AugMax上找到。
2022-01-01 cs.CV cs.LG
Reduce, Reuse, Recycle: Categories for Compositional Reinforcement Learning
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);The University of Iowa(爱荷华大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文利用范畴论将马尔可夫决策过程中的复杂任务分解为子任务,以降低维度、改善奖励结构并增强鲁棒性,实验证明该方法能在机器人手臂任务中实现技能的减少、重用与循环。
2025-03-11 cs.AI cs.LG cs.SY