varbvs: Fast Variable Selection for Large-scale Regression
我们介绍了varbvs，一套功能编写的R和MATLAB的回归分析的大规模数据集使用贝叶斯变量选择方法。我们已经开发了数值优化算法的基础上变分逼近方法，使其可行的贝叶斯变量选择非常大的数据集。通过全基因组关联研究的例子，我们证明了varbvs可以很好地扩展到具有数十万个变量和数千个样本的数据集，并且具有便于快速数据分析的功能。而且，varbvs允许广泛的模型定制，这可以用于将外部信息合并到分析中。我们希望，一个易于使用的界面和强大的，可扩展的算法后计算的组合将鼓励更广泛地使用贝叶斯变量选择领域的应用统计学和计算生物学。最新的R和MATLAB源代码可以在Github（https：//github.com/pcarbo/varbvs）下载，R包可以从CRAN（https：//cran.r-project.org/package=varbvs）安装。
2017-09-19 q-bio.QM stat.CO
auton-survival: an Open-Source Package for Regression, Counterfactual Estimation, Evaluation and Phenotyping with Censored Time-to-Event Data
Carnegie Mellon University（卡内基梅隆大学）
机器学习在医疗保健中的应用通常需要处理时间到事件的预测任务，包括不良事件、再次住院或死亡的预测。由于失访，此类结局通常会被删失。标准的机器学习方法不能直接应用于具有删失结果的数据集。在本文中，我们介绍了auton-survival，一个开源的工具库，用于简化审查事件发生时间或生存数据的工作。自动生存包括生存回归工具、在存在域转移的情况下的调整、反事实估计、用于风险分层的表型、评估以及治疗效果的估计。通过使用SEER肿瘤发病率数据的一个大子集的真实案例研究，我们证明了自动生存的能力，以快速支持数据科学家回答复杂的健康和流行病学问题。
2022-08-03 cs.LG cs.MS stat.ML
UBL: an R package for Utility-based Learning
FCUP - LIAAD/INESC Tec（波尔图大学理学院 - LIAAD/INESC Tec）；University of Porto（波尔图大学）
本文档描述了R包UBL，它允许使用几种方法来处理基于效用的学习问题。假设非统一成本和/或收益的分类和回归问题对预测分析任务构成了严重挑战。在气象学、金融、医学、生态学等方面，必须考虑到有关用户偏好偏差的特定领域信息，以提高模型的预测性能。为了解决这个问题，研究界提出了大量的分类和回归任务的技术。UBL包的主要目标是通过提供一组在R环境中处理这类问题的方法来促进基于效用的预测分析任务。它是一个通用的工具，提供了处理回归和分类（二进制和多类）任务的机制。此外，UBL软件包允许用户指定他的领域偏好，但它也提供了一些自动的方法，试图推断出这些偏好偏见的领域，考虑一些常见的已知设置。
2016-07-12 cs.LG cs.MS stat.ML
ERFit: Entropic Regression Fit Matlab Package, for Data-Driven System Identification of Underlying Dynamic Equations
Clarkson University（克拉克森大学）；Department of Electrical and Computer Engineering, Clarkson University（克拉克森大学电气与计算机工程系）
数据驱动的稀疏系统辨识已成为科学和工程中广泛问题的通用框架。这是一个在应用机器学习和人工智能算法中越来越重要的问题。在这项工作中，我们开发了熵回归软件包（ERFit），稀疏系统辨识使用熵回归方法的MATLAB软件包。该代码需要最少的监督，具有广泛的选项，使其易于适应科学和工程中的不同问题。ERFit可在https://github.com/almomaa/ERFit-Package上获得
2020-10-06 cs.CL math.DS stat.CO
bartMachine: Machine Learning with Bayesian Additive Regression Trees
我们在R中提出了一个新的包，实现了贝叶斯加性回归树（BART）。该软件包引入了许多新的功能，数据分析使用BART，如变量选择，相互作用检测，模型诊断图，纳入缺失数据和能力，以保存树为未来的预测。它比当前的R实现快得多，并行化，并且能够处理大样本量和高维数据。
2014-11-24 cs.LG stat.ML
PRTree: An R Package for Probabilistic Regression Trees with Built-in Missing Data Handling
PPGEst - UFRGS（PPGEst - 南里奥格兰德联邦大学）
该研究发布了R包PRTree，可拟合概率回归树，支持直接处理含缺失值的数据集，提供统一的R接口实现模型相关功能，并用示例说明其使用方法。
2026-08-10 stat.ME stat.ML
SPQR: An R Package for Semi-Parametric Density and Quantile Regression
我们开发了一个R包SPQR，它实现了Xu和Reich（2021）中的半参数分位数回归（SPQR）方法。该方法首先使用单调样条拟合灵活的密度回归模型，其权重使用人工神经网络建模为数据相关函数。随后，条件密度和分位数过程的估计都可以得到。与许多假设线性模型的分位数回归方法不同，SPQR允许协变量和响应分布之间的几乎任何关系，包括非线性效应和不同分位数水平上的不同效应。为了提高SPQR的可解释性和透明度，Apley和Zhu（2020）开发的模型不可知统计用于估计和可视化协变量效应及其对分位数函数的相对重要性。在本文中，我们将详细介绍如何在SPQR中实现此框架，并通过模拟和真实数据示例说明如何在实践中使用此包。
2022-10-26 stat.CO stat.ME stat.ML
ggRandomForests: Visually Exploring a Random Forest for Regression
随机森林[Breiman：2001]（RF）是一种完全非参数统计方法，不需要对协变量与响应的关系进行分布假设。RF是一种强大的非线性技术，通过拟合树的集合来稳定模型估计值，从而优化预测精度。randomForestSRC包（http：//cran.r-project.org/package=randomForestSRC）是Breiman随机森林的生存、回归和分类问题的统一处理。预测精度使RF参数模型的一个有吸引力的替代品，虽然复杂性和可解释性的森林阻碍了更广泛的应用的方法。我们引入了ggRandomForests包（http：//cran.r-project.org/package=ggRandomForests），用于直观地理解使用randomForestSRC包在R中生长的随机森林模型。这个小插曲是一个使用ggRandomForests包和randomForestSRC包来构建和后处理回归随机森林的教程。在本教程中，我们将探索MASS包中提供的波士顿住房数据的随机森林模型。我们生长了一个随机森林进行回归，并演示了如何在确定变量关联、相互作用以及响应如何依赖于模型中的预测变量时使用ggRandomForests。本教程演示了许多ggRandomForests函数的设计和使用，以及如何修改和自定义生成的ggplot 2图形对象。ggRandomForests包的开发版本可以在Gi…
2015-02-13 stat.CO stat.ML
BARMPy: Bayesian Additive Regression Models Python Package
本文介绍 Python 包 barmpy，将 BARN 实现为兼容 SciKit-Learn、支持交叉验证并配有文档与教程的通用贝叶斯加性回归基线库。
2024-04-06 stat.CO stat.ML
c-lasso -- a Python package for constrained sparse and robust regression and classification
我们介绍了c-lasso，一个Python包，它支持稀疏和鲁棒的线性回归和线性等式约束分类。假设基础的统计正演模型具有以下形式：\[ y = X β+ σε\qquad \textrm{subject to} \qquad Cβ=0 \]这里，$X \in \mathbb{R}^{n\times d}$是给定的设计矩阵，矢量$y \in \mathbb{R}^{n}$是连续或二进制响应矢量。矩阵$C$是一般约束矩阵。矢量$β\in \mathbb{R}^{d}$包含未知系数，而$σ$包含未知比例。突出的用例是具有组成数据$X$的（稀疏）对数对比回归，需要约束$1_d^T β= 0$（Aitchion和Bacon-Shone 1984）和广义套索，广义套索是所述问题的特殊情况（参见例如（James，Paulson和Rusmevichientong 2020），示例3）。c-lasso包提供用于推断未知系数和尺度的估计器（即，透视M-估计（Combettes和Müller 2020 a））的形式\[ \min_{β\in \mathbb{R}^d, σ\in \mathbb{R}_{0}} f\left(Xβ- y,σ \right) + λ\left\lVert β\right\rVert_1 \qquad \textrm{subject to} \qquad Cβ= 0 \]的几个…
2020-11-02 cs.MS math.OC stat.CO
genriesz: A Python Package for Automatic Debiased Machine Learning with Generalized Riesz Regression
genriesz是一个基于广义里斯茨回归的Python包，通过自动去偏机器学习实现因果参数的高效估计。
2026-02-19 cs.LG econ.EM math.ST
SoftBart: Soft Bayesian Additive Regression Trees
贝叶斯加性回归树（BART）模型作为一种通用的非参数建模技术，近年来受到越来越多的关注。BART将现代机器学习技术的灵活性与贝叶斯推断的原则性不确定性量化相结合，它已被证明是唯一适合解决许多科学领域（包括医学和社会科学）中常见的高噪声问题的方法。本文介绍了用于拟合Linero和Yang（2018）的Soft BART算法的SoftBart包。除了改进其他BART软件包的预测性能外，该软件包的主要目标是促进将BART纳入更大的模型中，使其成为贝叶斯统计研究人员的理想选择。我展示了如何使用这个包进行标准预测任务，以及如何将BART模型嵌入到更大的模型中;我通过使用SoftBart实现非参数概率单位回归模型、半参数变系数模型和部分线性模型来说明。
2022-10-28 stat.CO stat.ME stat.ML
Calibrated Multivariate Regression with Application to Neural Semantic Basis Discovery
Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出了一种校正多元回归方法CMR，用于拟合高维多元回归模型。与现有的方法相比，CMR校准正则化的每个回归任务的噪声水平，使它同时获得改进的有限样本性能和调谐不敏感性。从理论上给出了CMR在参数估计中达到最优收敛速度的充分条件。在计算上，我们提出了一个有效的平滑近端梯度算法的最坏情况下的数值收敛速度$\cO(1/ε)$，其中$ε$是一个预先指定的精度的目标函数值。我们进行了彻底的数值模拟，以说明CMR始终优于其他高维多元回归方法。我们还应用CMR来解决大脑活动预测问题，并发现它与人类专家创建的手工模型一样具有竞争力。实现所提出的方法的R包\texttt{camel}可在综合R存档网络\url{http://cran.r-project.org/web/packages/camel/}上获得。
2016-07-28 cs.LG stat.ML
L0Learn: A Scalable Package for Sparse Learning using L0 Regularization
Google Research（谷歌研究院）；Massachusetts Institute of Technology（麻省理工学院）
本研究推出开源包L0Learn，基于坐标下降和局部组合优化实现可扩展的$\u2113_0$正则化稀疏学习，支持百万级特征问题，性能对标前沿工具，提供R和Python接口。
2023-06-09 cs.LG cs.MS stat.CO
Graph-Sparse Logistic Regression
MIT Biological Engineering（麻省理工学院生物工程系）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们介绍了图稀疏逻辑回归，一种新的算法分类的情况下，支持应该是稀疏的，但连接在一个图。我们验证了该算法对合成数据和基准测试，它对L1正则化逻辑回归。然后，我们探索我们的技术在生物信息学背景下的蛋白质组学数据的相互作用图。我们公开了所有的实验代码，并将GSLR作为开源软件包提供。
2017-12-15 cs.LG stat.ML
SuSi: Supervised Self-Organizing Maps for Regression and Classification in Python
Institute of Photogrammetry and Remote Sensing, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院摄影测量与遥感研究所）
在许多研究领域，现有数据集的大小差异很大。因此，需要非常适合这些不同数据集的机器学习技术。一种可能的技术是自组织映射（SOM），一种人工神经网络，到目前为止，在机器学习领域表现较弱。SOM的独特之处在于输出神经元之间的邻域关系。这种关系提高了小数据集的泛化能力。SOM主要应用于无监督学习，很少有研究将SOM作为监督学习方法。此外，对于机器学习标准和广泛使用的程序设计语言Python，没有合适的SOM包可用。在本文中，我们介绍了免费提供的监督自组织映射（SuSi）Python包，它可以执行监督回归和分类。SuSi的实现相对于底层数学描述。然后，我们提出了第一次评估的SOM的回归和分类数据集从两个不同领域的地理空间图像分析。尽管处于开发的早期阶段，但SuSi框架表现良好，其特点是训练和测试数据集之间只有很小的性能差异。SuSi框架与现有Python和R包的比较表明了SuSi框架的重要性。在今后的工作中，将对SuSi框架进行扩展、优化和升级，例如使用工具，以更好地理解和可视化输入数据以及处理缺失和不完整的数据。
2020-01-08 cs.CV cs.LG stat.ML
FBMS: An R Package for Flexible Bayesian Model Selection and Model Averaging
Stockholm University（斯德哥尔摩大学）；University of Oslo（奥斯陆大学）；NMBU（挪威生命科学大学）
本研究推出R包FBMS，核心采用高效MJMCMC算法优化贝叶斯广义线性模型的多峰后验混合，还提供GMJMCMC算法支持非线性特征生成与贝叶斯广义非线性模型估计，可适配多种复杂回归建模场景。
2025-08-31 cs.LG stat.AP stat.CO
bamlss: A Lego Toolbox for Flexible Bayesian Regression (and Beyond)
Universität Innsbruck（因斯布鲁克大学）
本文推出R语言包bamlss，以模块化乐高积木式设计整合分布、回归项、估计器等组件，支持灵活的贝叶斯加性模型构建与高效推断，填补了相关软件的功能空白。
2019-09-25 cs.LG stat.CO stat.ME
OGBoost: A Python Package for Ordinal Gradient Boosting
本文提出与 scikit-learn 兼容的 Python 包 OGBoost，利用潜变量框架和坐标下降联合优化回归函数与阈值，实现支持异构基学习器、交叉验证早停及潜值排序的序数梯度提升。
2025-02-19 stat.CO stat.ML
ecpc: An R-package for generic co-data models for high-dimensional prediction
高维预测考虑的是变量多于样本的数据。一般的研究目标是找到最好的预测或选择变量。通过利用共同数据形式的先验信息，提供不是关于样本而是关于变量的补充数据，可以改进结果。我们考虑自适应岭惩罚广义线性和Cox模型，其中变量特定的岭惩罚适应于协数据，以给予先验更重要的变量更多的权重。R-package ecpc最初容纳了各种可能的多个协数据源，包括分类协数据，即变量组和连续协数据。然而，连续的协数据是通过自适应离散化处理的，这可能会导致建模效率低下和信息丢失。在这里，我们提出了一个扩展的方法和通用的协同数据模型的软件，特别是连续的协同数据。在此基础上建立了一个经典的线性回归模型，对协数据的先验方差权重进行回归。协数据变量，然后估计经验贝叶斯矩估计。将估计过程置于经典回归框架中后，扩展到广义加性和形状约束的协数据模型是简单的。此外，我们展示了如何脊罚款可能转化为弹性网罚款与R-包挤压。在模拟研究中，我们首先比较了不同的协数据模型的连续协数据从扩展到原来的方法。其次，我们比较了变量选择方法与其他变量选择方法的性能。此外，我们演示了整个文件中的几个例子中使用的包。
2022-05-16 stat.ME stat.ML
Discrete-time Competing-Risks Regression with or without Penalization
本文提出一种离散时间竞争风险生存分析的新估计方法，可无缝结合正则化回归与特征筛选，并通过模拟和重症监护病房住院时长实例验证其有效性。
2025-02-05 stat.ME stat.ML
