Bootstrap inference for quantile-based modal regression
本文提出了基于分位数回归的条件模式统一推理方法。具体来说，我们提出了估计条件模式的估计条件分位数函数的导数最小化平滑的线性分位数回归估计定义，并开发了两个自助方法，一个新的枢轴自助和非参数自助，我们的条件模式估计。建立在高维高斯近似技术，我们建立了同时从两个引导方法的条件模式的置信矩形的有效性。我们还将前面的分析扩展到协变量向量的维数随样本量增加的情况。最后，我们使用美国工资数据进行模拟实验和真实数据分析，以证明我们的推理方法的有限样本性能。
2021-04-12 math.ST stat.ME stat.TH
SIMEX Estimation in Parametric Modal Regression with Measurement Error
针对一类具有测量误差的参数模态回归模型，提出了一种估计模态回归系数的模拟外推估计方法。大样本性质的建议估计程序，包括一致性和渐近正态性，进行了深入研究。通过仿真研究，评估了该方法对潜在异常值的鲁棒性和减小由测量误差引起的偏差的有效性。
2019-10-03 stat.ME
Bandwidth selection for nonparametric modal regression
在核密度估计的基础上估计局部模式的条件密度的背景下，我们表明，现有的核密度估计开发的带宽选择方法是不适合模式估计。我们提出了两种方法来选择适合于回归设置中的模式估计的带宽。使用合成数据和现实生活中的数据集进行了数值研究，以证明所提出的方法的性能相比，几个良好的接收带宽选择方法的密度估计。
2017-11-01 stat.CO stat.ME
Integrative Factor Regression and Its Inference for Multimodal Data Analysis
多模态数据，即从同一主题收集不同类型的数据，正在迅速出现在各种各样的科学应用中。因子分析是多模态数据综合分析的常用方法，对于克服高维数和高相关性的灾难特别有用。然而，基于因子分析的多模态数据监督建模的统计推断研究却很少。在这篇文章中，我们考虑一个综合的线性回归模型，是建立在潜在的因素提取多模态数据。我们解决了三个重要的问题：如何推断一个数据模态的重要性，给定模型中的其他模态;如何推断一个模态或不同模态的变量组合的重要性;以及如何量化一个数据模态的贡献，通过拟合优度来衡量。在回答每一个问题时，我们都明确地描述了因子分析的好处和额外成本。这些问题，据我们所知，尚未得到解决，尽管广泛使用的因素分析综合多模态分析，我们的建议桥梁的一个重要差距。我们通过模拟研究我们的方法的实证性能，并进一步说明与多模态神经成像分析。
2021-03-30 math.ST stat.ME stat.TH
Parametric modal regression for right-censored positive responses
Escuela Superior Politécnica del Litoral（厄瓜多尔国立高等理工学院）；University of Connecticut（康涅狄格大学）
本文提出了一种参数模态回归框架，用于处理右截断正响应，通过重新参数化将模式与线性预测变量直接关联，并通过实证数据验证了方法的有效性。
2026-03-07 stat.CO stat.ME
Nonparametric modal regression in the presence of measurement error
在对预测器$X$上的响应$Y$进行回归的上下文中，我们考虑当$X$倾向于测量误差时，估计给定$X=x$的$Y$的分布的局部模式。我们提出了两种非参数估计方法，一种是基于估计的联合密度的$(X, Y)$存在测量误差，和其他建立在估计的条件密度的$Y$给定$X=x$使用易错数据。我们研究了每个建议的模式估计器的渐近性质，并提供实施细节，包括模式搜索和带宽选择的均值漂移算法。数值研究提出了比较所提出的方法与现有的模式估计方法开发的无错误的数据天真地适用于易出错的数据。
2016-10-27 stat.ME
Nonlinear Modal Interval Regression for Bivariate Data Analysis
Graduate School of Information Sciences, Tohoku University（东北大学大学院信息科学研究院）；Graduate School of Medical Sciences, Nagoya City University（名古屋市立大学大学院医学研究科）
提出一种非线性模态区间回归方法，通过核密度估计和平滑样条分位数损失，稳健估计条件模态区间，在数值实验和新生儿激素数据中表现出更高精度和稳定性。
2026-02-27 stat.ME
A regression model with a hidden logistic process for feature extraction from time series
提出了一种从时间序列中提取特征的新方法。这种方法包括一个特定的回归模型，其中包含一个离散的隐藏逻辑过程。通过专用期望最大化（EM）算法执行的极大似然方法估计模型参数。在期望最大化算法的内循环中，隐逻辑过程的参数使用多类迭代重加权最小二乘（IRLS）算法来估计。一个分段回归算法及其迭代变量也被认为是比较。使用模拟和真实数据的实验研究表明，所提出的方法具有良好的性能。
2013-12-25 cs.LG math.ST stat.ME
Statistical Inference for High-Dimensional Linear Regression with Blockwise Missing Data
本文针对具有块状缺失协变量和部分观测响应变量的高维线性回归模型，提出基于无偏估计方程和块状插补的高效估计器，并利用创新的投影估计方程技术构建渐近正态的去偏估计器，从而实现有效的置信区间和统计检验，在数值研究和阿尔茨海默病数据分析中优于现有方法。
2023-06-28 math.ST stat.ME stat.ML
Generalizing the log-Moyal distribution and regression models for heavy tailed loss data
灾难性损失数据具有厚尾性。然后，从业者需要能够捕获索赔数据的尾部和模态部分的模型。为此，提出了一种新的参数损失分布族，作为Bhati和Ravi（2018）的广义对数Moyal分布的伽马混合，称为广义对数Moyal Γ分布（GLMGA）。我们讨论了GLMGA的概率特性，并通过极大似然的参数的统计估计。虽然GLMGA分布是GB 2分布的一个特例，但我们证明了这种更简单的模型在大型和模态损失数据的回归建模中是有效的。以Cummins等（1990）的火灾索赔数据和中国地震损失数据为例说明了模型的适用性。
2019-12-19 stat.AP stat.ME
Conditional Density Estimation via Weighted Logistic Regressions
与条件均值作为简单的点估计相比，条件密度函数更能描述具有多峰、非对称或异方差的分布。本文通过讨论非齐次Poisson过程模型的广义密度与似然函数之间的关系，提出了一种新的参数条件密度估计方法.最大似然估计可以通过加权逻辑斯谛回归获得，并且通过组合逐块交替最大化方案和局部病例对照抽样可以显著地放松计算。我们还提供了模拟研究的说明。
2020-10-21 stat.ME stat.ML
Kernel Regression for Graph Signal Prediction in Presence of Sparse Noise
KTH Royal Institute of Technology（KTH皇家理工学院）
在稀疏噪声的存在下，我们提出了核回归预测的输出向量是光滑的一个给定的图。稀疏噪声对训练输出进行建模，训练输出被丢失的样本或大的扰动破坏。稀疏噪声的存在通过在凸代价函数中适当使用$\ell_1$ -范数以及使用$\ell_2$ -范数来处理。对于优化的成本函数，我们提出了一个迭代加权最小二乘（IRLS）的方法，是适合于内核替换或内核技巧，由于可用的封闭形式的解决方案。使用真实世界温度数据的模拟显示了我们所提出的方法的有效性，主要是针对有限大小的训练数据集。
2018-11-06 cs.LG stat.ML
Highest Probability Density Conformal Regions
本文提出一种异方差回归框架下的最高预测密度共形区域方法，利用有符号共形推断和核密度估计，在多模态目标下输出最小集合近似，在单模态目标下输出最小区间近似，并保证有限样本覆盖率。
2025-04-08 stat.CO stat.ME
A Wasserstein Minimax Framework for Mixed Linear Regression
MIT（麻省理工学院）；Weizmann Institute of Science（魏茨曼科学研究所）
多模态分布通常用于在统计学习任务中对聚类数据建模。本文研究混合线性回归（MLR）问题。我们提出了一个最佳的基于运输的框架MLR问题，Wasserstein混合线性回归（WMLR），它最小化学习和目标混合回归模型之间的瓦瑟斯坦距离。通过基于模型的对偶分析，WMLR将底层的MLR任务减少为非凸-凹极大极小优化问题，该问题可以通过梯度下降上升（GDA）算法证明求解以找到极大极小平稳点。在混合两个线性回归模型的特殊情况下，我们证明了WMLR具有全局收敛性和推广保证。我们证明了WMLR的样本复杂度与数据的维数成线性增长。最后，我们讨论了WMLR在联邦学习任务中的应用，其中训练样本由网络中的多个代理收集。与期望最大化算法不同，WMLR直接扩展到分布式、联邦学习设置。我们通过几个数值实验来支持我们的理论结果，这些实验突出了我们的框架处理混合模型联邦学习设置的能力。
2021-06-16 cs.LG math.OC stat.ML
A regression model with a hidden logistic process for signal parametrization
French National Institute for Transport and Safety Research (INRETS)（法国国家运输与安全研究所（INRETS））；Compiègne University of Technology（贡比涅技术大学）
提出了一种新的信号参数化方法，它包括一个特定的回归模型，其中包含一个离散的隐逻辑斯谛过程。通过专用期望最大化（EM）算法执行的极大似然方法估计模型参数。在期望最大化算法的内循环中，隐逻辑过程的参数使用多类迭代重加权最小二乘（IRLS）算法来估计。使用模拟和真实数据的实验研究表明，所提出的方法具有良好的性能。
2013-12-25 cs.LG stat.ME stat.ML
Linear regression for numeric symbolic variables: an ordinary least squares approach based on Wasserstein Distance
本文提出了一种模态符号数据的线性回归模型。根据符号数据分析框架中给出的定义，观察变量是直方图变量，并且使用经典的最小二乘法估计模型的参数。引入了一个适当的度量，以测量观测分布和预测分布之间的误差。特别地，提出了瓦瑟斯坦距离。利用这种度量的一些属性来预测响应变量作为其他独立直方图变量的直接线性组合。拟合优度的措施进行了讨论。实际数据的应用证实了所提出的方法。
2012-07-20 stat.ME stat.OT
Converting High-Dimensional Regression to High-Dimensional Conditional Density Estimation
在天文学和经济学等领域，对非参数条件密度估计的需求越来越大。例如，在天文学中，人们可以通过使用全条件密度而不是回归（即，条件均值）估计。更一般地说，标准回归在任何预测问题中都是不足的，其中响应的分布更复杂，具有多模态，不对称或异方差噪声。然而，目前关于高维推理的研究主要集中在回归和分类方面，而关于密度估计的研究相对滞后。在这里，我们提出了FlexCode，一个完全非参数的方法，有条件的密度估计，重新制定CDE作为一个非参数的正交系列问题，其中的膨胀系数估计回归。通过采用这种方法，可以有效地估计条件密度，而不仅仅是通过利用高维回归的成功来估计高维的期望。根据回归过程的选择，我们的方法可以适应各种具有挑战性的高维设置，数据中具有不同的结构（例如，大量的不相关分量和非线性流形结构）以及不同的数据类型（例如，函数数据、混合数据类型和样本集）。我们研究了我们所提出的方法的理论和经验性能，我们比较我们的方法与传统的条件密度估计模拟以及真实世界的数据，如光度星系数据，Twitter数据，在星系团的视线速度。
2017-04-26 stat.ME stat.ML
Kernel based regression with robust loss function via iteratively reweighted least squares
China Agricultural University（中国农业大学）
基于最小二乘核的方法由于实现简单、泛化能力强等优点，在回归问题中得到了广泛的应用。其中，最小二乘支持向量回归（LS-SVR）和极端学习机（ELM）是比较流行的技术。然而，噪声敏感性是一个主要瓶颈。为了解决这个问题，本文提出了一个广义的损失函数，称为$\ell_s$ -损失。在新的损失函数的支持下，通过用提出的$\ell_s$-loss代替LS-SVR和ELM中的$\ell_2$-loss，构造了两个基于核函数的回归器，以获得更好的噪声鲁棒性。从理论上证明了$\ell_s$ -损失的重要性质，包括鲁棒性、非对称性和渐近逼近行为.此外，迭代重加权最小二乘（IRLS）是用来优化和解释所提出的方法从加权的观点。证明了该算法的收敛性，并对鲁棒性进行了详细的分析.在人工数据集和基准数据集上的实验验证了所提方法的有效性。
2020-06-02 cs.LG stat.ML
Time series modeling by a regression approach based on a latent process
Compiègne University of Technology（贡比涅技术大学）；French National Institute for Transport and Safety Research (INRETS)（法国国家运输与安全研究所（INRETS））
时间序列用于许多领域，包括金融、工程、经济和生物信息学，通常用于表示测量随时间的变化。然后，可以使用建模技术来给出这种数据的合成表示。提出了一种新的时间序列建模方法。它包括一个回归模型，其中包含一个离散的隐藏逻辑过程，允许平滑或突然激活不同的多项式回归模型。通过专用期望最大化（EM）算法执行的极大似然方法估计模型参数。期望最大化算法的M步使用多类迭代重加权最小二乘（IRLS）算法来估计隐藏的过程参数。为了评估所提出的方法，模拟数据和真实世界的数据进行了实验研究，使用两种替代方法：异方差分段回归模型，使用基于动态规划的全局优化算法，和隐马尔可夫回归模型，其参数估计的鲍姆-韦尔奇算法。最后，在法国铁路基础设施的组件的远程监控的背景下，更特别的开关机制，所提出的方法已被应用到建模和分类的时间序列表示在开关操作过程中获得的条件测量。
2013-12-25 cs.LG math.ST stat.ME
Nonparametric Conditional Density Estimation in a High-Dimensional Regression Setting
在某些应用中（例如，在宇宙学和经济学中），回归E[Z|由于f（z）的多模态和不对称性，x]不足以表示预测因子x和响应Z之间的关联|x）;使用全密度而不是单点估计可以在随后的分析中产生更少的偏差。到目前为止，还没有有效的方法来估计f（z| x）当x表示高维复杂数据时。本文提出了f（z）的一个新的非参数估计|x），其适应x中的稀疏（低维）结构。通过直接展开f（z| x）在基于核的算子的本征函数中，我们避免了高维的张量积以及估计密度的比率。我们的基函数与底层数据分布正交，允许快速实现和调整参数。我们得到的收敛速度，并表明该方法适应的内在尺寸的数据。我们还证明了系列方法的有效性的图像，光谱和应用光度红移估计星系。
2016-04-02 stat.ME
A Statistical Learning Approach to Modal Regression
本文从统计学习的角度系统地研究了非参数模态回归问题。最初的动机是追求的最大相关熵准则为基础的回归（MCCR）的理论理解，我们的研究表明，MCCR与趋于零的尺度参数基本上是模态回归。我们证明了非参数模态回归问题可以通过经典的经验风险最小化来逼近。一些努力，然后开发一个框架，分析和实现模态回归。例如，描述了模态回归函数，明确定义了模态回归风险并刻画了其\textit{Bayes}规则;为了便于计算，引入了替代模态回归风险，我们称之为泛化风险。在理论方面，对超模态回归风险、超泛化风险、函数估计误差以及三者之间的关系进行了严格的研究。结果表明，在温和的条件下，在模态回归中可以追求函数估计的一致性和收敛性，就像在香草回归协议中一样，例如均值回归，中位数回归和分位数回归。然而，它在稳健性方面优于这些回归模型，如我们的研究从重新下降的M估计的角度所示。这与MCCR在鲁棒性方面的优点相吻合，并反过来解释了MCCR的优点。在实际应用方面，讨论了模态回归的实现问题，包括计算算法和调整参数的选择。模态回归的数值评估也进行了实证验证我们的发现。
2020-01-17 math.ST stat.ME stat.ML
Linear Recursive Feature Machines provably recover low-rank matrices
Harvard University（哈佛大学）；Broad Institute of MIT and Harvard（布罗德研究所）；Halıcıoğlu Data Science Institute, UC San Diego（加州大学圣迭戈分校哈勒西奥卢数据科学研究所）；University of Washington（华盛顿大学）
本研究为递归特征机（RFM）在过参数化问题中的降维机制提供了首个理论保证，证明线性RFM推广了IRLS算法，并提出一种无SVD且可扩展至数百万缺失条目的高效实现，在稀疏回归和低秩补全任务中优于标准IRLS和深度线性网络。
2024-01-09 cs.LG stat.ML
Nonparametric modal regression
模态回归估计给定$X=x$的$Y$分布的局部模态，而不是通常的回归意义上的平均值，因此可以揭示通常回归方法遗漏的重要结构。本文研究了一种简单的非参数模态回归方法，基于$Y$和$X$联合分布的核密度估计（KDE）。我们推导出这种方法的渐近误差界，并提出了构造置信集和预测集的技术。后者用于选择基础KDE的平滑带宽。模态回归背后的思想与许多其他方法有关，例如混合回归和密度岭估计，我们也讨论了这些联系。
2016-03-30 math.ST stat.ME stat.ML
An implicit function learning approach for parametric modal regression
Univ. of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究院）；Vector Institute（向量研究所）；Univ. of Toronto（多伦多大学）
对于多值函数-例如当给定输入的目标上的条件分布是多模态时-标准回归方法并不总是可取的，因为它们提供了条件均值。模态回归算法通过找到条件模式来解决这个问题。然而，大多数方法都是非参数方法，因此很难扩展。此外，参数逼近器，如神经网络，有助于学习输入和目标之间的复杂关系。在这项工作中，我们提出了一个参数模态回归算法。我们使用隐函数定理来开发一个目标，用于学习输入和目标上的联合函数。我们在几个合成问题上经验性地证明了我们的方法（i）可以学习多值函数并产生条件模式，（ii）可以很好地扩展到高维输入，（iii）甚至可以更有效地处理某些单峰问题，特别是高频函数。我们证明了我们的方法在现实世界的模态回归问题和两个常规回归数据集上具有竞争力。
2020-10-29 cs.LG stat.ML
Regularized Modal Regression on Markov-dependent Observations: A Theoretical Assessment
Xi’an Jiaotong University（西安交通大学）；Huazhong Agriculture University（华中农业大学）
模态回归是一种广泛使用的回归协议，由于其对离群值和重尾噪声的鲁棒性，在统计和机器学习社区中得到了广泛的研究。理解模态回归的理论行为是学习理论的基础。尽管在表征其统计特性方面取得了重大进展，但大多数结果都是基于样本独立且相同分布（i.i.d.）的假设，这对于现实世界的应用来说限制太多。本文研究了正则化模态回归（RMR）在一个重要的依赖结构-马尔可夫依赖下的统计性质。具体地说，我们在适当的条件下建立了RMR估计的上界，并给出了一个明确的学习率。我们的研究结果表明，马尔可夫依赖的方式，将通过一个乘法因子依赖于潜在的马尔可夫链的谱间隙的折扣的样本量的推广误差的影响。这一结果揭示了一个新的光表征的理论基础稳健回归。
2022-03-13 cs.LG stat.ML
Testing-driven Variable Selection in Bayesian Modal Regression
Department of Statistics, University of South Carolina（南卡罗来纳大学统计学系）；Division of Epidemiology, Biostatistics, and Environmental Health Sciences, School of Public Health, University of Memphis（孟菲斯大学公共卫生学院流行病学与生物统计学系）
本研究针对厚尾响应变量，在贝叶斯众数回归框架下提出结合期望最大化算法与检验统计量的变量选择方法，可在非高斯误差下有效识别重要协变量，并已应用于两类遗传相关数据集分析。
2025-10-27 cs.LG stat.CO stat.ME
Conformal Calibration for Multi-Modal Regression with Missing Modalities
University of Lausanne（洛桑大学）；HEC Lausanne（洛桑高等商学院）；BegooAI（贝古人工智能公司）
针对多模态回归中模态缺失或分歧导致预测区间难校准的问题，提出感知模态的共形校准层，在多组实验中提升了区间性能，尤其在模态缺失时恢复了覆盖率。
2026-08-11 cs.LG stat.ME stat.ML
Latent Gaussian Process Regression
University of Bristol（布里斯托大学）；University of Bath（巴斯大学）
我们介绍了潜在的高斯过程回归，这是一个潜在的变量扩展允许非平稳多模态过程使用GP建模。该方法是建立在扩展的输入空间的回归问题的潜变量，用于调制的协方差函数的训练数据。我们展示了我们的方法可以用来模拟多模态和非平稳过程。我们在一组合成数据上验证了该方法，并提供了来自运动捕捉和地质统计学的真实数据的结果。
2017-09-16 cs.LG stat.ML
Modal Analysis of Spatiotemporal Data via Multivariate Gaussian Process Regression
The Pennsylvania State University（宾夕法尼亚州立大学）
针对数据稀缺和不规则采样问题，提出基于多元高斯过程回归（MVGPR）的模态分析技术，通过精心设计的核结构关联线性动力学，在多类数据基准测试中展现出优于DMD和SPOD的潜力。
2024-03-19 cs.LG math.DS math.SP
Differentially Private Nonparametric Modal Learning with Applications to Regression and Clustering
The Ohio State University（俄亥俄州立大学）
该研究提出差分隐私非参数模态学习方法DP-GRAMS，实现多峰分布密度模态的高概率恢复，扩展出DP-PMS回归与DP-GRAMS-C聚类方法，在合成及真实数据上展现良好隐私-效用权衡。
2026-08-03 cs.LG math.ST stat.ME
Kernel Regression with Infinite-Width Neural Networks on Millions of Examples
Google Research（谷歌研究院）；University of Cambridge（剑桥大学）
神经内核在不同的非标准数据模式上大大提高了性能，但需要更多的计算，这在以前将其应用限制在较小的数据集上。在这项工作中，我们通过在许多GPU上大规模并行计算来解决这个问题。我们将其与分布式预处理共轭梯度算法相结合，以实现大规模的核回归（即多达500万个示例）。使用这种方法，我们研究了CIFAR-5 m数据集的几个神经内核在多个数量级上的标度律。使用数据增强将原始CIFAR-10训练数据集扩展20倍，我们获得了91.2%的测试准确度（纯核方法的SotA）。此外，我们还在其他数据模式上探索神经内核，获得了与SotA方法竞争的蛋白质和小分子预测任务的结果。
2023-03-09 cs.CV cs.LG stat.ML
Multivariate Smoothing via the Fourier Integral Theorem and Fourier Kernel
从傅里叶积分定理出发，给出了多元函数的自然蒙特卡罗估计，包括密度、混合密度、转移密度、回归函数，以及多元密度函数的模式搜索（模式回归）.收敛速率被建立，并且在许多情况下，提供优于当前标准估计器的速率，诸如基于核的那些，包括核密度估计器和核回归函数。数值例子。
2020-12-28 math.ST stat.ME stat.ML
A Monotone Single-Index Modal Regression Powered by Deep Neural Networks for Non-Gaussian Periodontal Data
Wake Forest University（维克森林大学）；Gauss Labs（高斯实验室）；George Mason University（乔治梅森大学）；Virginia Commonwealth University（弗吉尼亚联邦大学）
本文提出一种基于深度神经网络的单调单指标模态回归框架，结合两段尺度Student-t分布与单调性约束神经网络，用于分析偏态重尾的牙周探诊深度数据，实现稳健估计并保持临床可解释性。
2026-09-09 stat.ME stat.ML
Optimal Kernel for Kernel-Based Modal Statistical Methods
Kyoto University（京都大学）
本文研究核函数对基于核的众数估计、回归与聚类精度的影响，并在按符号变化次数定义的核类中证明了配合最优带宽可最小化渐近误差准则的多元最优核。
2023-04-20 cs.LG stat.ML
Collaborative Uncertainty Benefits Multi-Agent Multi-Modal Trajectory Forecasting
Shanghai Jiao Tong University（上海交通大学）；University of Southern California（南加州大学）；School of Mechanical Engineering, Nanjing University of Science and Technology（南京理工大学机械工程学院）
本文提出协作不确定性（CU）概念及CU感知回归框架，作为插件模块帮助SOTA多智能体多模态轨迹预测系统估计不确定性、排序并选择最优预测，在多个基准上稳定提升性能。
2025-03-11 cs.CV stat.ML
AdapDISCOM: An Adaptive Sparse Regression Method for High-Dimensional Multimodal Data With Block-Wise Missingness and Measurement Errors
Institut national de la recherche scientifique (INRS)（国家科学研究研究所）；Université du Québec à Chicoutimi (UQAC)（魁北克大学希库蒂米分校）；McGill University（麦吉尔大学）；The Neuro (Montreal Neurological Institute-Hospital)（蒙特利尔神经学研究所/医院）；Douglas Hospital Research Centre（道格拉斯医院研究中心）
AdapDISCOM通过自适应稀疏回归方法，有效应对高维多模态数据中的块状缺失和测量误差问题，提升预测性能和生物标志物选择的可靠性。
2026-02-04 stat.ME stat.ML
Fully Bayesian Logistic Regression with Hyper-Lasso Priors for High-dimensional Feature Selection
高维特征选择出现在现代科学的许多领域。例如，在基因组研究中，我们希望找到可以用于将不同类别的组织（例如癌症和正常组织）与在某些组织细胞中活跃（表达）的数万个基因分开的基因。为此，我们希望用大量的特征（也称为变量，预测因子）来拟合回归和分类模型。在过去的十年中，惩罚似然方法拟合回归模型的基础上hyper-LASSO惩罚受到越来越多的关注，在文献中。然而，使用马尔可夫链蒙特卡罗（MCMC）的完全贝叶斯方法在文献中仍然缺乏发展。本文介绍了一种基于超LASSO先验（非凸罚）的逻辑斯谛回归模型严重多模态后验的MCMC（fully Bayesian）学习方法。我们的MCMC算法使用哈密顿蒙特卡罗在一个限制性吉布斯抽样框架，我们称我们的方法贝叶斯逻辑斯谛回归与超LASSO（BLRHL）先验。我们已经使用模拟研究和真实数据分析，以证明超LASSO先验的优越性能，并探讨了超LASSO先验的选择沉重和规模的问题。
2018-05-12 stat.CO stat.ME stat.ML
A physics-informed operator regression framework for extracting data-driven continuum models
Sandia National Laboratories（桑迪亚国家实验室）
深度学习在发现数据驱动模型方面的应用需要谨慎地应用归纳偏差，以获得准确和鲁棒的物理描述。我们在这里提出了一个框架，发现连续模型，从高保真分子模拟数据。我们的方法应用了一个神经网络参数化的管理物理模态空间，允许微分算子的表征，同时提供的结构，可用于施加相关的对称性，各向同性和守恒形式的偏见。我们证明了我们的框架的有效性，各种物理，包括本地和非本地的扩散过程和单相和多相流。对于流动物理，我们证明了这种方法导致一个学习算子，概括为系统的特征不包括在训练集中，如可变的颗粒大小，密度和浓度。
2020-09-25 cs.LG cs.NA math.NA
