The Clever Hans Effect in Unsupervised Learning
Technische Universität Berlin(柏林工业大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);Aignostics(艾格诺斯蒂克斯公司);Freie Universität Berlin(柏林自由大学);Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所);Korea University(高丽大学);Max-Planck Institute for Informatics(马克斯·普朗克信息学研究所);Google Deepmind(谷歌DeepMind)
本文利用专门的可解释 AI 方法并结合理论分析,首次证明无监督学习中广泛存在聪明汉斯效应,指出归纳偏置是主要成因,并揭示相关应用风险与稳健化方向。
2024-08-15 cs.AI cs.LG stat.ML
Information-Theoretic Understanding of Population Risk Improvement with Model Compression
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University at Buffalo, the State University of New York(纽约州立大学布法罗分校)
我们通过研究模型压缩下泛化误差的降低和经验风险的增加之间的权衡,证明了模型压缩可以提高预训练模型的群体风险。我们首先证明,模型压缩减少了信息理论界的泛化误差,这允许解释模型压缩作为一种正则化技术,以避免过度拟合。然后,我们用率失真理论描述了模型压缩的经验风险的增加。这些结果意味着,如果泛化误差的减少超过经验风险的增加,则模型压缩可以改善总体风险。我们通过一个线性回归的例子表明,由于模型压缩,这种人口风险的降低确实是可能的。我们的理论结果进一步表明,Hessian加权$K$ -均值聚类压缩方法可以通过正则化聚类中心之间的距离来改进。我们提供了神经网络的实验来支持我们的理论主张。
2019-01-27 cs.IT cs.LG math.IT
Risk minimization by median-of-means tournaments
我们考虑经典的统计学习/回归问题,当一个真实的随机变量Y的值要根据另一个随机变量X的观测值来预测时。给定一个函数类F和一个(X,Y)的独立副本样本,需要从F中选择一个函数f,使得f(X)在均方意义上尽可能地逼近Y。我们引入了一个新的程序,所谓的平均值的比赛,实现最小的假设下的准确性和信心之间的最佳权衡,特别是优于基于经验风险最小化的经典方法。
2016-08-02 math.ST stat.TH
Risk factor aggregation and stress testing
本研究针对压力测试中风险因子范围有限的问题,通过适配无监督学习的PCA和自编码器降维技术生成多维度聚合风险因子,且方法具备可解释性,可推广至其他相关领域。
2023-10-06 q-fin.RM stat.ML
Risk-Sensitive Reinforcement Learning: Near-Optimal Risk-Sample Tradeoff in Regret
Cornell University(康奈尔大学);Princeton University(普林斯顿大学);Northwestern University(西北大学)
研究了具有未知转移核的情景马尔可夫决策过程中的风险敏感强化学习,目标是在指数效用的风险度量下优化总报酬.我们提出了两个可证明有效的无模型算法,风险敏感值迭代(RSVI)和风险敏感Q学习(RSQ)。这些算法在面对不确定性时实现了一种风险敏感的乐观主义,它适应于风险寻求和风险规避的探索模式。我们证明了RSVI得到一个$\tilde{O}\big(λ(|β| H^2) \cdot \sqrt{H^{3} S^{2}AT} \big)$后悔,而RSQ得到一个$\tilde{O}\big(λ(|β| H^2) \cdot \sqrt{H^{4} SAT} \big)$后悔,其中$λ(u) = (e^{3u}-1)/u$为$u>0$ .在上文中,$β$是指数效用函数的风险参数,$S$是状态的数量,$A$是动作的数量,$T$是时间步的总数,以及$H$是事件长度。在另一方面,我们建立了一个遗憾的下限表明,$|β|$和$H$的指数依赖性是不可避免的任何算法与$\tilde{O}(\sqrt{T})$遗憾(即使当风险目标是在同一规模的原始奖励),从而证明了所提出的算法的近最优性。我们的研究结果表明,将风险意识纳入强化学习需要在$|β|$和$H$指数成本,这量化了风险敏感性(与任意不确定性相关)和样本效率(与认知不确定性相关)之间的基本权衡。据我们所知,这是第一次对具有指数效用的风险敏感强化学习进行后悔…
2020-06-22 cs.LG math.OC stat.ML
Thompson Sampling Algorithms for Mean-Variance Bandits
Institute of Operations Research and Analytics, National University of Singapore(新加坡国立大学运筹学与分析研究所);Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程系);Department of Mathematics, National University of Singapore(新加坡国立大学数学系)
多臂强盗(MAB)问题是一个经典的学习任务,它体现了探索与开发的权衡。但是,标准制剂未考虑{ \em风险}。在在线决策系统中,风险是首要关注的问题。在这方面,均值-方差风险度量是最常见的目标函数之一。在MAB问题的背景下,现有的均值-方差优化算法对奖励分布有不切实际的假设。我们开发了均值方差MAB的汤普森采样式算法,并提供了更少的假设高斯和伯努利土匪全面的遗憾分析。我们的算法实现了最著名的遗憾界的均值方差MABs,也达到了信息理论界在某些参数制度。实证模拟表明,我们的算法显着优于现有的基于LCB的算法的所有风险容忍度。
2020-08-03 cs.IT cs.LG math.IT
Analyzing statistical and computational tradeoffs of estimation procedures
最近数据的数量和维度的爆炸性增长加剧了对计算和统计效率的谨慎权衡的需求,以便推理既易于处理又有意义。我们提出了一个框架,提供了一个明确的机会,从业者指定多少统计风险,他们愿意接受一个给定的计算成本,并导致任何给定的推理问题的理论风险计算前沿。我们说明了风险和计算之间的权衡,并说明了在三个不同的设置前沿。首先,我们推导出分析形式的风险估计参数的经典设置的均值和方差估计正态分布的数据和更一般的设置参数的指数家庭。第二个例子集中在计算约束的Hodges-Lehmann估计。最后,我们与风险评估提前终止迭代矩阵求逆算法的背景下,线性回归。
2015-06-25 stat.CO stat.ML
Fundamental Tradeoffs in Distributionally Adversarial Training
University of Southern California(南加州大学);Adobe Research(奥多比研究院)
对抗性训练是提高模型对对抗性扰动的鲁棒性的最有效技术之一。然而,这种方法对模型的全部影响还没有得到很好的理解。例如,虽然对抗性训练可以降低对抗性风险(对对手的预测误差),但有时会增加标准风险(当没有对手时的泛化误差)。更重要的是,这种行为受到学习问题的各种元素的影响,包括训练数据的大小和质量,输入中对抗性扰动的具体形式,模型过度参数化和对手的力量等。在本文中,我们专注于\emph{distribution perturbing}对手的框架,其中对手可以改变测试分布在附近的训练数据分布。通过分布之间的Wasserstein距离定义邻域,并且邻域的半径是对手操纵能力的度量。我们研究了标准风险和对抗风险之间的权衡,并推导出帕累托最优权衡,在特定类别的模型中,在无限数据限制下,特征维度保持固定。我们考虑三种学习设置:1)线性模型类的回归; 2)高斯混合数据模型下的二元分类,线性分类器类; 3)随机特征模型类的回归(可以等效地表示为具有随机第一层权重的两层神经网络)。我们发现,标准和对抗风险之间的权衡表现在所有三种设置。我们进一步描述了Pareto最优的权衡曲线,并讨论了各种因素,如特征相关性,对手的力量或两层神经网络的宽度将如何影响这种权衡。
2021-01-15 cs.LG math.ST stat.ML
Patient-Oriented Unsupervised Learning to Unlock Patterns of Multimorbidity Associated with Stroke using Primary Care Electronic Health Records
本研究利用无监督聚类方法分析初级保健EHR,揭示了中风患者多病共存模式的异质性,强调了常规风险因素及心理健康在复杂多病共存中的重要性,为构建更高效的以患者为导向的医疗模式提供了依据。
2024-01-03 stat.AP
Factors affecting the COVID-19 risk in the US counties: an innovative approach by combining unsupervised and supervised learning
Texas A&M University(德克萨斯A&M大学);Oklahoma State University(俄克拉荷马州立大学)
COVID-19疾病传播迅速,在中国确诊首例阳性病例近三个月后,冠状病毒开始在美国各地传播。一些州和县报告了大量的阳性病例和死亡病例,而一些州和县报告了较低的COVID-19相关病例和死亡率。本文以县级为单位,分析了可能影响COVID-19感染风险和死亡率的因素。一个创新的方法,通过使用K-均值聚类和几个分类模型,以确定最关键的因素。结果显示,平均气温、贫困人口百分比、肥胖成年人百分比、气压、人口密度、风速、经度和未参保人口百分比是最重要的属性
2021-12-05 cs.LG stat.ML
Saddlepoints in Unsupervised Least Squares
本文揭示了深度自动编码神经网络背景下无监督最小二乘的风险状况。我们正式建立了无监督最小二乘和主流形之间的等价关系。此链接提供了对均方误差下自动编码的风险前景的洞察,特别是所有非平凡的临界点都是鞍点。寻找鞍点本身是困难的,过完全自动编码带来了额外的挑战,鞍点是退化的。在此背景下,我们讨论了自动编码器的正则化,特别是瓶颈,去噪和收缩自动编码,并提出了一种新的优化策略,可以被定义为特定形式的收缩正则化。
2021-04-11 cs.LG stat.ML
Unsupervised Risk Estimation Using Only Conditional Independence Structure
Stanford University(斯坦福大学)
我们展示了如何估计模型的测试误差从未标记的数据,分布非常不同的训练分布,而假设只有一定的条件独立性之间保留训练和测试。我们不需要假设最优预测器在训练和测试之间是相同的,或者真实分布位于任何参数族中。我们还可以有效地区分误差估计,以执行无监督的判别学习。我们的技术工具是矩量法,它允许我们在没有完全指定的模型的情况下利用条件独立性。我们的框架包括一个大家庭的损失,包括日志和指数损失,并扩展到结构化的输出设置,如隐马尔可夫模型。
2016-06-16 cs.AI cs.LG stat.ML
Quantifying the Risk-Return Tradeoff in Forecasting
Université du Québec à Montréal(蒙特利尔大学)
本文通过金融风险调整指标评估预测可靠性,引入Edge Ratio衡量模型独特预测价值,分析宏观经济预测中不同方法的风险收益表现。
2026-05-10 econ.EM q-fin.PM stat.ML
Leveraging Deep Stein's Unbiased Risk Estimator for Unsupervised X-ray Denoising
Information Technology University(信息技术大学);University of Toronto(多伦多大学)
在众多旨在抑制医学图像中噪声流行的技术中,基于深度学习的方法表现出最大的希望。然而,这些基于深度学习的去噪器的一个关键限制是需要高质量的无噪声地面实况图像,这在许多医学成像应用(例如X射线)中难以获得。为了规避这个问题,我们利用最近提出的方法[7],该方法结合了Stein的无偏风险估计(SURE)来训练深度卷积神经网络,而不需要去噪的地面真实X射线数据。我们的实验结果表明,基于SURE的方法去噪X射线图像的有效性。
2018-11-29 cs.CV cs.LG stat.ML
Evaluating unsupervised disentangled representation learning for genomic discovery and disease risk prediction
Google Research(谷歌研究院)
本研究在遗传关联研究背景下评估多种无监督解耦表示学习方法,发现FactorVAE和beta-VAE相比标准方法能提升基因组发现与疾病风险预测效果,且FactorVAE超参数鲁棒性更强。
2023-07-17 cs.LG q-bio.GN stat.ML
U-aggregation: Unsupervised Aggregation of Multiple Learning Algorithms
Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院)
针对真实场景中缺乏标签难以选择最佳模型的问题,提出无监督聚合方法U-aggregation,通过方差稳定与稀疏信号恢复整合多个预训练模型,有效提升了新人群预测的稳健性。
2025-01-30 cs.LG stat.ML
On the Provable Advantage of Unsupervised Pretraining
Princeton University(普林斯顿大学)
无监督预训练使用大量未标记数据学习有用的表示,以促进下游任务的学习,是现代大规模机器学习系统的关键组成部分。尽管它取得了巨大的经验成功,但对无监督预训练为什么通常有帮助的严格理论理解仍然相当有限-大多数现有的结果仅限于具有专门结构假设的无监督预训练的特定方法或方法。本文研究了一个通用的框架,其中的无监督表示学习任务指定的一个抽象类的潜在变量模型$Φ$和下游任务指定的一类预测函数$Ψ$。我们考虑使用极大似然估计(MLE)进行无监督预训练和经验风险最小化(ERM)学习下游任务的自然方法。我们证明了,在一个温和的“信息”的条件下,我们的算法实现了额外的风险$\tilde{\mathcal{O}}(\sqrt{\mathcal{C}_Φ/m} + \sqrt{\mathcal{C}_Ψ/n})$的下游任务,其中$\mathcal{C}_Φ, \mathcal{C}_Ψ$是复杂性措施的功能类$Φ, Ψ$,和$m, n$的未标记和标记的数据的数量分别。与仅使用标记数据执行监督学习所实现的$\tilde{\mathcal{O}}(\sqrt{\mathcal{C}_{Φ\circ Ψ}/n})$的基线相比,我们的结果严格显示了$m \gg n$和$\mathcal{C}_{Φ\circ Ψ} > \mathcal{C}_Ψ$时无监督预训练的好处。本文进一步表明,我们的通用框架涵盖了广泛的无监督预…
2023-03-02 cs.LG math.ST stat.ML
Compression-Based Regularization with an Application to Multi-Task Learning
Facultad de Ingeniería - Universidad de Buenos Aires(布宜诺斯艾利斯大学工程学院);CSC-CONICET(阿根廷国家科学与技术研究理事会计算科学中心);CentraleSupélec(巴黎中央理工-高等电力学院);CNRS(法国国家科学研究中心);Université Paris-Sud(巴黎南大学)
本文从信息论的角度研究了一个基于以下原则的学习问题:给定数据集中的任何规律性都可以用来从数据中提取紧凑特征,即,使用比完全描述数据本身所需的更少的位,以便构建相关内容的有意义的表示(多个标签)。我们首先介绍了噪声有损源编码范式与对数损失保真度标准,它提供了基本的权衡之间的\emph{cross-entropy loss}(平均风险)和信息率的功能(模型复杂性)。我们的方法允许信息理论制定的\emph{multi-task learning}(MTL)的问题,这是一个监督的学习框架中,几个相关的任务的预测模型共同学习,从共同的表示,以实现更好的泛化性能。然后,我们提出了一个迭代算法计算的最佳权衡和它的全局收敛性证明了一些条件成立。该算法的一个重要特性是,它提供了一个自然的保护措施,防止过拟合,因为它最大限度地减少了平均风险,同时考虑到模型复杂性引起的惩罚。值得注意的是,实证结果表明,存在一个最佳的信息率最小化的\emph{excess risk},这取决于可用的训练数据的性质和数量。层次文本分类的应用程序也进行了研究,扩展以前的作品。
2017-11-19 cs.LG stat.ML
Safe Meta-Policy Design with Risk Control
Heinz College of Information Systems and Public Policy, Carnegie Mellon University(卡内基梅隆大学海因茨信息系统与公共政策学院);Harvard Business School(哈佛商学院)
本文提出一种离线元策略设计方法,在预期风险更新次数预算下最大化累积价值,通过动态规划选择更新调度,并揭示信噪比驱动更新频率与风险分配,实验验证了性能-风险权衡。
2026-10-08 cs.LG math.OC stat.ML