Nonlinear discretizations and Newton's method: characterizing stationary points of regression objectives
Smead Aerospace Engineering Sciences University of Colorado(斯梅德航空航天工程科学大学)
本文研究神经网络训练中二阶方法的失效现象,发现使用精确Hessian会导致训练失败,并借此揭示非线性离散化几何与损失景观驻点分布,质疑局部极小值普遍存在的传统观点。
2025-10-13 cs.LG
Sparse Linear Regression and Lattice Problems
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文通过格问题的归约证明了稀疏线性回归在平均情形下对所有高效算法的困难性,并进一步表明即使在良态高斯设计矩阵的不可识别区域,输出好的解也是困难的。
2025-02-05 cs.LG stat.ML
Characterizing Overfitting in Kernel Ridgeless Regression Through the Eigenspectrum
University of Basel(巴塞尔大学);McMaster University(麦克马斯特大学);Vector Institute(矢量研究院);UniDistance Suisse(瑞士远程大学)
推导核矩阵条件数新界限以改进KRR测试误差界限,证明次高斯设计下温和与灾难性过拟合现象,并指出特征独立性的关键作用。
2024-05-29 cs.LG stat.ML
Towards a General Framework for Predicting and Explaining the Hardness of Graph-based Combinatorial Optimization Problems using Machine Learning and Association Rule Mining
School of Computational Science and Engineering(计算科学与工程学院);DeGroote School of Business(德格罗特商学院)
本文提出GCO-HPIF框架,通过机器学习和关联规则挖掘预测和解释基于图的组合优化问题的难度,展示了其在预测准确性和解释有效性上的优异表现。
2025-12-24 cs.LG math.CO
Characterizing the Generalization Error of Random Feature Regression with Arbitrary Data-Augmentation
Qube Research & Technologies(Qube研究与技术);École Polytechnique(巴黎政治学院)
本文研究了数据增强在比例 regime 中对监督回归方法的正则化效应,通过仅依赖真实数据的总体量及增强方案的一阶和二阶统计量,精确表征了测试误差。结果适用于不规范特征映射和仅训练最后一层的网络架构。
2026-05-11 cs.LG math.ST stat.ML
Characterizing Evolution in Expectation-Maximization Estimates for Overspecified Mixed Linear Regression
本文研究了在过指定混合线性回归中期望最大化算法的收敛性,揭示了不同初始猜测下参数收敛的理论边界,并探讨了信噪比对结果的影响。
2026-03-06 cs.LG
Geometric Signatures of Reasoning: A Spectral Perspective on Task Hardness
Northeastern University(东北大学);University of Southern California(南加州大学);Google Research(谷歌研究院)
通过分析Transformer隐藏状态空间中思维链轨迹的谱、位置和运动学几何特征,提出有效维度d_ρ衡量轨迹复杂度,发现平坦特征谱对应更难任务,并利用运动学特征在生成早期预测答案正确性。
2026-11-10 cs.LG
Approximation Schemes for ReLU Regression
University of Wisconsin, Madison(威斯康星大学麦迪逊分校);University of Texas at Austin(得克萨斯大学奥斯汀分校);University of Southern California(南加利福尼亚大学)
我们考虑了ReLU回归的基本问题,其目标是输出最佳拟合的ReLU,相对于从一些未知分布中提取的平方损失。我们给出了这个问题的第一个有效的常数因子近似算法,假设底层分布满足一些弱的集中和反集中条件(包括,例如,所有的对数凹分布)。这解决了Goel等人的主要开放问题,他证明了ReLU回归的任何精确算法(直到加性$ε$)的硬度结果。使用更复杂的技术,我们可以改善我们的结果,并获得多项式时间的近似方案的任何亚高斯分布。鉴于上述硬度结果,这些保证不能得到实质性的改善。我们的主要见解是一个新的表征代理损失的非凸激活。虽然以前的工作已经建立了单调激活的凸代理的存在,我们表明,基本分布的属性实际上诱导强凸的损失,使我们能够将全局最小激活的周参数。
2020-09-28 cs.DS cs.LG stat.ML
Regularized Modal Regression on Markov-dependent Observations: A Theoretical Assessment
Xi’an Jiaotong University(西安交通大学);Huazhong Agriculture University(华中农业大学)
模态回归是一种广泛使用的回归协议,由于其对离群值和重尾噪声的鲁棒性,在统计和机器学习社区中得到了广泛的研究。理解模态回归的理论行为是学习理论的基础。尽管在表征其统计特性方面取得了重大进展,但大多数结果都是基于样本独立且相同分布(i.i.d.)的假设,这对于现实世界的应用来说限制太多。本文研究了正则化模态回归(RMR)在一个重要的依赖结构-马尔可夫依赖下的统计性质。具体地说,我们在适当的条件下建立了RMR估计的上界,并给出了一个明确的学习率。我们的研究结果表明,马尔可夫依赖的方式,将通过一个乘法因子依赖于潜在的马尔可夫链的谱间隙的折扣的样本量的推广误差的影响。这一结果揭示了一个新的光表征的理论基础稳健回归。
2022-03-13 cs.LG stat.ML
Adaptive Multiple-Arm Identification
Indiana University at Bloomington(印第安纳大学伯明顿分校);New York University(纽约大学)
研究了随机$n$ -武装强盗博弈中具有最高期望回报的$K$武器的选择问题.该问题具有广泛的应用,例如,A/B测试、众包、仿真优化。我们的目标是开发一个PAC算法,它的概率至少为$1-δ$,确定一组$K$武器的总遗憾最多$ε$。\cite{Zhou:14}中首次引入了多臂识别的总后悔的概念,它被定义为所选择的一组臂与最佳$K$臂之间的平均期望回报之差。相比之下,\cite{Zhou:14},只提供独立于实例的样本的复杂性,我们引入了一个新的硬度参数来表征任何给定的实例的难度。我们进一步开发了两种算法,并建立了相应的样本复杂度的硬度参数。导出的样本复杂度可以显着小于国家的最先进的结果为一大类的实例和匹配的实例独立的下限高达$\log(ε^{-1})$因素在最坏的情况下。我们还证明了一个下界的结果表明,额外的$\log(ε^{-1})$是必要的实例依赖的算法使用引入的硬度参数。
2017-06-04 cs.LG
Multi-Task Learning for Metal Alloy Property Prediction: An Empirical Study of Negative Transfer and Mitigation Strategies
Department of Electrical and Computer Engineering, Korea University, Seoul 02841, Republic of Korea(电气与计算机工程系,韩国大学,首尔)
本研究通过金属合金数据集发现多任务学习在属性预测中存在负迁移问题,提出通过梯度投影与标签平滑策略缓解,支持不同物理机制需定制优化策略的假说。
2026-10-26 cs.LG
A Characterization of List Regression
Stanford University(斯坦福大学)
本文提出 $k$-OIG 维度和 $k$-fat-shattering 维度,分别刻画了可实现和不可知 $k$-列表回归的 PAC 样本复杂度,将列表学习从分类扩展至回归。
2025-03-04 cs.DS cs.LG stat.ML
Characterizing Datapoints via Second-Split Forgetting
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for AI(博世人工智能中心)
研究样本硬度的研究人员越来越关注神经网络在整个训练过程中学习和忘记样本的动力学。从这些动态中衍生出的流行指标包括:(i)样本首次被正确分类的时间;(ii)在训练过程中预测翻转的次数;以及(iii)如果它们被坚持,它们的预测是否翻转。然而,这些指标并不能区分由于不同原因而难以区分的示例,例如稀有亚群中的成员资格,被错误标记或属于复杂亚群。在本文中,我们提出了$second$ - $split$ $forgetting$ $time$(SSFT),一个补充的度量,跟踪历元(如果有的话)后,一个原始的训练样本被遗忘,因为网络是微调随机举行的分区的数据。在多个基准数据集和模式,我们证明,$mislabeled$的例子被遗忘得很快,和看似$rare$的例子被遗忘相对较慢。相比之下,只考虑第一次分裂学习动态的指标很难区分两者。在大的学习率下,SSFT往往在架构、优化器和随机种子之间是鲁棒的。从实践的角度来看,SSFT可以(i)帮助识别错误标记的样本,删除这些样本可以提高泛化能力;(ii)提供有关故障模式的见解。通过对超参数化线性模型的理论分析,我们可以深入了解所观察到的现象是如何产生的。复制我们实验的代码可以在这里找到:https://github.com/pratyushmaini/ssft
2022-10-26 cs.LG
Distributional Hardness Against Preconditioned Lasso via Erasure-Robust Designs
MIT(麻省理工学院);Stanford(斯坦福大学);UCLA(加州大学洛杉矶分校)
人们普遍认为病态高斯随机设计的稀疏线性回归表现出统计/计算差距,但令人惊讶的是,这种信念的正式证据很少,即使是在限制类算法的例子中也很难。最近的工作表明,对于某些协方差矩阵,大类的预处理Lasso程序可证明不能成功的多项式稀疏信号与次线性数量的样本。然而,这个下限只表明,对于每个预处理器,至少存在一个信号,它无法成功恢复。这留下了一种可能性,例如,尝试多个不同的预处理器可以解决每个稀疏线性回归问题。在这项工作中,我们证明了一个更强的下界,克服了这个问题。对于一个适当的协方差矩阵,我们构建一个单一的信号分布,任何可逆预处理的Lasso程序失败的概率很高,除非它收到一个线性数量的样本。令人惊讶的是,在我们的下限的核心是一个新的积极的结果,在压缩传感。我们表明,标准的稀疏随机设计具有很高的概率强大的对抗性测量擦除,在这个意义上说,如果$b$测量被删除,那么所有,但$O(b)$的坐标的信号仍然是信息理论上可识别的。据我们所知,这是第一次在压缩感知中研究任意稀疏信号在擦除下的部分可恢复性。
2022-03-05 cs.DS cs.IT cs.LG
Dimensionality Reduction for Tukey Regression
IBM Research - Almaden(IBM阿尔马登研究中心);Carnegie Mellon University(卡内基梅隆大学)
给出了过约束Tukey回归问题的第一种降维方法。Tukey损失函数$\|y\|_M = \sum_i M(y_i)$对于小于规定阈值$τ$的残留误差$y_i$具有$M(y_i) \approx |y_i|^p$,但是对于误差$|y_i| > τ$ $M(y_i)$变为常数。我们的结果依赖于一个新的结构结果,证明建设性的,表明任何$d$维子空间$L \subset \mathbb{R}^n$,有一个固定的有界大小的坐标子集包含,对于每个$y \in L$,所有的大坐标,相对于Tukey损失函数,$y$。我们的方法减少了一个给定的Tukey回归问题到一个较小的加权版本,其解决方案是一个可证明的良好的近似解的原始问题。我们的减少是快速,简单,易于实现,我们给出的实证结果证明其实用性,使用现有的启发式求解器的小版本。我们还给出了指数时间算法,可证明良好的解决方案,和硬度的结果表明,在最坏的情况下,显着的加速是不可能的。
2019-05-14 cs.DS cs.LG
Interpretable Phase Detection and Classification with Persistent Homology
University of Amsterdam(阿姆斯特丹大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们应用持久的同源性的任务,发现和表征相变,使用晶格自旋模型的统计物理工作的例子。持久性图像提供了用于进行统计任务的同调数据的有用表示。为了识别相变,对这些图像进行简单的逻辑回归对于我们考虑的模型是足够的,然后从回归的权重中读取可解释的序参量。磁化强度、阻挫和涡旋-反涡旋结构被确定为表征相变的相关特征。
2020-12-01 cond-mat.stat-mech cs.LG math.AT
Face Density as a Proxy for Data Complexity: Quantifying the Hardness of Instance Count
Department of Engineering, Universitat Pompeu Fabra(工程系,庞培法布拉大学)
本文通过控制类不平衡因素,量化了人脸密度对数据复杂性的影响,发现随着人脸数量增加,模型性能单调下降,且在不同任务中均表现出泛化能力下降的问题。
2026-04-14 cs.AI cs.CV cs.LG
Adversarial Weighting for Domain Adaptation in Regression
Michelin(米其林);EDF R&D(法国电力集团研发部)
我们提出了一种新的基于实例的方法来处理回归任务的背景下,监督领域自适应假设下的协变量偏移。在本文中开发的方法是基于这样的假设,即目标域上的任务可以有效地学习,在训练阶段通过适当的重新加权的源实例。我们引入了一种新的配方的优化目标领域自适应依赖于差异的距离表征域之间的差异,根据一个特定的任务和一类假设。为了解决这个问题,我们开发了一种对抗网络算法,它在一个前馈梯度下降中学习源加权方案和任务。我们提供了数字证据的相关性的方法对公共数据集的回归领域自适应通过可重复的实验。
2021-09-15 cs.LG stat.ML
Improving Regression Performance with Distributional Losses
University of Alberta(阿尔伯塔大学)
越来越多的证据表明,在监督学习中将目标转换为软目标可以提供相当大的性能增益。这项工作的大部分都考虑了分类,将硬0 - 1值转换为软标签-例如通过添加标签噪声,合并标签模糊性或使用蒸馏。与此同时,强化学习中的回归设置也有一些证据表明,学习分布可以提高性能。在这项工作中,我们调查的原因,这种改善,在回归设置。我们引入了一种新的分布回归损失,同样发现它显着提高了预测精度。我们研究了几个常见的假设,围绕减少过拟合和改进表示。相反,我们找到了一个备择假设的证据:这种损失更容易优化,具有更好的行为梯度,从而提高泛化能力。我们提供了理论支持,这个备择假设,通过表征这种损失的梯度的范数。
2018-06-12 cs.LG stat.ML
Group-Sparse Model Selection: Hardness and Relaxations
EPFL(洛桑联邦理工学院);MIT(麻省理工学院);University of Texas at Austin(得克萨斯大学奥斯汀分校);IIT Kharagpur(印度理工学院卡拉格普尔分校)
基于组的稀疏模型被证明有助于从比标准压缩感知少得多的测量中恢复信号的线性回归问题。这些模型的主要承诺是通过识别其组成群体来恢复“可解释”的信号。在本文中,我们建立了一个组合框架的组模型选择问题,并强调了潜在的易处理性问题。特别是,我们表明,组模型选择问题是等价于著名的NP-硬加权最大覆盖问题(WMC)。利用基于图形的理解组模型,我们描述了组结构,使正确的模型选择在多项式时间通过动态规划。此外,导致完全么模约束的群结构具有易处理的离散和凸松弛。我们还提出了一个泛化的组模型,允许组内的稀疏性,它可以用来模拟层次稀疏性。最后,我们研究了两个易于处理的模型,其中树稀疏模型的组稀疏近似的Pareto前沿,并说明我们的框架和现有的凸松弛之间的选择和计算权衡。
2015-03-04 cs.IT cs.LG math.IT
Computational-Statistical Gaps for Improper Learning in Sparse Linear Regression
ETH Zürich(苏黎世联邦理工学院)
研究稀疏线性回归中非适当学习的计算-统计间隙,通过将其归约为稀疏PCA问题并提供低度与统计查询下界,证明了高效算法至少需要约$Ω(k^2)$个样本。
2024-06-25 cs.CC cs.LG math.ST
Towards Multidimensional Textural Perception and Classification Through Whisker
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);The University of Queensland(昆士兰大学)
基于纹理的研究和设计是近年来的研究热点。基于晶须的多维表面纹理数据在文献中缺失。这些数据对于纹理表面的分类和回归中的机器人和机器感知算法至关重要。在这项研究中,我们提出了一种新的传感器设计,以获取多维纹理信息。采用扫涂法和轻涂法测量了表面织构的粗糙度和硬度。三种机器学习模型(SVM,RF和MLP)对表面纹理的粗糙度和硬度表现出出色的分类精度。我们表明,压力和加速度计的数据,收集从一个标准的加工标本使用的晶须传感器,提高了分类精度的组合。此外,我们实验验证,传感器可以分类纹理与粗糙度深度低至$2.5μm$在$90\%$或更高的精度和隔离材料的基础上,他们的粗糙度和硬度。我们提出了一种新的度量,同时考虑设计一个晶须传感器,以保证质量的纹理数据采集事先。机器学习模型的性能针对从激光传感器收集的来自同一组表面纹理的数据进行了验证。作为我们工作的一部分,我们正在向研究社区发布二维纹理数据:粗糙度和硬度。
2022-09-01 cs.CV cs.LG eess.SP
On the well-spread property and its relation to linear regression
ETH Zürich(苏黎世联邦理工学院)
我们考虑稳健的线性回归模型$\boldsymbol{y} = Xβ^* + \boldsymbolη$,其中对手不知道的设计$X \in \mathbb{R}^{n \times d}$可能会选择$\boldsymbolη$损坏所有,但(可能消失)的一部分,观察$\boldsymbol{y}$在一个任意的方式。最近的工作[dLN+21,dNS 21]已经引入了有效的算法,一致恢复的参数向量。这些算法主要依赖于设计矩阵的良好分布(如果矩阵的列跨度远离任何稀疏向量,则矩阵是良好分布的)。在本文中,我们发现,存在一个家庭的设计矩阵缺乏良好的传播,使一致恢复的参数向量在上述稳健线性回归模型是信息理论上是不可能的。我们进一步研究了证明随机矩阵良好扩展性的平均情况下的时间复杂度。我们表明,它是可以有效地证明是否一个给定的$n$ -由- $d$高斯矩阵是良好的传播,如果观察的数量是二次的环境尺寸。我们补充这一结果,显示严格的证据-在对低次多项式的下限的形式-的计算硬度时,观察的数量是$o(d^2)$的这个相同的认证问题。
2022-06-16 cs.LG stat.ML
On SGD's Failure in Practice: Characterizing and Overcoming Stalling
University of Chicago(芝加哥大学)
随机梯度下降(SGD)被广泛用于机器学习问题中以有效地执行经验风险最小化,然而,在实践中,已知SGD在达到经验风险的实际最小化之前停止。SGD失速通常归因于其对问题条件的敏感性;然而,正如我们所证明的,SGD即使应用于标准学习率具有统一条件数的简单线性回归问题也会失速。因此,在这项工作中,我们用数字证明和数学论证,失速是SGD及其变体在实践中的一个严重和通用的限制。一旦我们建立了失速问题,我们推广了一个现有的框架来对冲其影响,(1)阻止SGD及其变体失速,(2)仍然提供收敛保证,(3)使SGD及其变体更实用的最小化方法。
2017-02-07 cs.LG math.OC stat.CO
The Statistical Cost of Robust Kernel Hyperparameter Tuning
Tandon School of Engineering(坦登工程学院);New York University(纽约大学)
本文研究了对抗性噪声下主动回归核超参数调整的统计复杂性。我们考虑的问题,找到最好的插值从一类未知的超参数的内核,假设只有噪音是平方可积的。我们提供有限样本保证的问题,表征如何增加内核类的复杂性增加学习内核超参数的复杂性。对于常见的内核类(例如,平方指数内核与未知的长度尺度),我们的研究结果表明,超参数优化增加了样本的复杂性只有一个对数因子,在设置中,最佳参数是已知的提前。我们的结果是基于多重设计矩阵下线性回归的子采样保证,结合离散化核参数化的ε-net参数。
2020-06-14 cs.LG stat.ML
A Deep Learning Approach for Characterizing Major Galaxy Mergers
LERMA, Observatoire de Paris, PSL Research University, CNRS Sorbonne Universités, UPMC Univ. Paris 06(巴黎天文台LERMA实验室,巴黎文理研究大学,法国国家科学研究中心索邦大学,巴黎第六大学);Departamento de Astrofísica, Universidad de La Laguna(拉古纳大学天体物理系);Institut d’Astrophysique de Paris, Sorbonne Université CNRS(索邦大学巴黎天体物理研究所,法国国家科学研究中心);Artificial Intelligence Research Institute (IIIA-CSIC)(人工智能研究所(IIIA-CSIC));UCO/Lick Observatory, Department of Astronomy and Astrophysics University of California, Santa Cruz(加州大学圣克鲁兹分校UCO/利克天文台天文与天体物理系);DeepMind(深度思维);Instituto de Astrofísica de Canarias(加那利群岛天体物理研究所);IFCA Instituto de Fiésica de Cantabria (UC-CSIC)(坎塔布里亚物理研究所(UC-CSIC))
从观测数据中精确估计星系合并阶段是验证我们目前对星系形成理论认识的一个关键问题。为此,我们展示了一个基于CNN的回归模型,该模型能够首次使用单个图像预测相对于第一个近地点通道的合并阶段,在4亿年的时间内,中位误差为3830万年(Myrs)。该模型不使用特定的动态建模,只从模拟的合并事件中学习。我们表明,我们的模型提供了合理的估计真实的观察,近似匹配的详细的动力学建模提供的先验估计。我们提供了一个初步的可解释性分析,我们的模型,并证明校准的不确定性估计的第一步。
2021-02-09 astro-ph.GA cs.LG
Transformers Don't In-Context Learn Least Squares Regression
本文通过合成线性回归和分布外泛化实验发现,为ICL训练的transformers在提示分布偏移后无法泛化,其行为与实现OLS等算法不一致,并通过残差流谱分析揭示了预训练语料库对ICL行为的塑造作用。
2025-07-13 cs.AI cs.LG
Agentic Symbolic Search: Approximating Solutions of PDEs Beyond Hand-crafted Expressions, Meshes, and Neural Networks
National University of Singapore(新加坡国立大学)
提出ASYS框架,通过智能体将PDE理论转化为可微分符号程序,结合进化搜索和梯度优化自动发现解析形式或近似,在多个问题中生成可解释表示。
2026-11-11 cs.LG cs.NA math.NA
Isotonic regression with unknown permutations: Statistics, computation, and adaptation
Georgia Institute of Technology(佐治亚理工学院);University of Cambridge(剑桥大学)
出于多路比较数据的模型,我们考虑的问题,估计一个坐标明智的保序函数的域$[0, 1]^d$从噪声观测收集到的均匀晶格,但设计点已沿每个维度排列。虽然这个问题的单变量和双变量的版本已经得到了显着的关注,我们的重点是多变量的情况下$d \geq 3$。我们研究了极大极小风险估计(在经验$L_2$损失)和适应(量化的自适应指数)的基本限制,一个家庭的分段常数函数。我们提供了一个计算效率高的Mirsky分区估计,是最小最大最优的,同时也实现了最小的自适应指数可能的多项式时间的程序。因此,从最坏情况的角度来看,与二元情况形成鲜明对比的是,模型中的潜在排列不会在香草保序回归之上引入显著的计算困难。另一方面,适应的基本限制在有和没有未知排列的情况下是显着不同的:假设平均情况复杂性理论的硬度猜想,在前一种情况下出现了计算-计算差距。在一个互补的方向,我们表明,现有的估计自然修改未能满足至少一个最佳的最坏情况下的统计性能,计算效率,快速适应的desiderata。沿着显示我们的结果的方式,我们改进了自适应结果在特殊情况下$d = 2$和建立香草保序回归估计的一些性质,这两个可能是独立的利益。
2021-06-24 cs.IT cs.LG math.IT
Using machine learning for quantum annealing accuracy prediction
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
量子退火机,例如由D-Wave Systems,Inc.制造的装置,提供了一种方法来计算NP难问题的解决方案,可以用Ising或QUBO(二次无约束二进制优化)形式表示。虽然这样的解决方案通常具有非常高的质量,但由于当前几代量子退火机的缺陷,问题实例通常无法解决到最优。在这篇文章中,我们的目标是了解一些影响问题实例难度的因素,并使用机器学习模型来预测D-Wave 2000 Q退火机解决特定问题的准确性。我们专注于最大团问题,这是一个经典的NP-难问题,在网络分析,生物信息学和计算化学中具有重要应用。通过对基本问题特征(如图中的边数)或退火参数(如D-Wave的链强度)训练机器学习分类模型,我们能够按其对解决方案难度的贡献顺序对某些特征进行排名,并提供一个简单的决策树,可以预测问题是否可通过D-Wave 2000 Q最优解决。我们通过训练机器学习回归模型来扩展这些结果,该模型预测D-Wave发现的集团大小。
2021-05-31 cs.ET cs.LG quant-ph
Characterizing the SLOPE Trade-off: A Variational Perspective and the Donoho-Tanner Limit
University of Pennsylvania(宾夕法尼亚大学);Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
排序l1正则化已被纳入解决高维统计估计问题的许多方法中,包括线性回归中的SLOPE估计。在本文中,我们研究了这种相对较新的正则化技术如何通过表征错误发现比例(FDP)和真阳性比例(TPP)之间的最佳SLOPE权衡来改善变量选择,或者等价地,I型错误和功率之间的度量。假设一个制度的线性稀疏性和高斯随机设计下工作,我们得到了一个上界的最佳权衡SLOPE,显示其能力,打破Donoho-Tanner功率限制。从长远来看,这个限制是Lasso可能是最流行的基于l1的方法,即使在任意强的效果大小下也可以实现的最高功率。接下来,我们推导出一个严格的下界,它描述了排序的l1正则化在最佳交易的FDP关闭TPP的基本限制。最后,我们表明,在任何问题的情况下,具有一定的正则化序列的SLOPE优于套索,在这个意义上有一个较小的FDP,较大的TPP和较小的l2估计风险同时。我们的证明是基于一种新的技术,减少了变分问题的一类无限维凸优化问题和最近的结果近似消息传递理论。
2022-06-05 cs.IT cs.LG eess.SP
Global Convergence of Online Identification for Mixed Linear Regression
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
本文针对混合线性回归提出两种基于EM原理的在线辨识算法,在不依赖i.i.d.假设下证明其全局收敛,并验证聚类性能渐近达到参数已知时的水平。
2023-11-30 cs.LG cs.SY eess.SY