Current state and prospects of R-packages for the design of experiments
重新运行一个实验通常是昂贵的,在某些情况下,由于资源有限,是不可能的;因此,实验的设计在提高实验数据的质量中起着至关重要的作用。在本文中,我们描述的R-软件包的设计实验,通过探索性数据分析的包下载,包元数据,并与其他主题的特征比较的现状。我们观察到,试验设计在实践中似乎是充分制造的一小部分包,和试验设计的发展往往发生在筒仓。我们还讨论了广泛使用的R软件包在试验设计领域的接口设计,并讨论了他们的未来前景,在实践中推进该领域。
2022-12-14 stat.CO stat.OT
grangersearch: An R Package for Exhaustive Granger Causality Testing with Tidyverse Integration
Ionian University(爱奥尼亚大学)
grangersearch是一个集成Tidyverse的R包,用于多时间序列的全面格兰杰因果检验,提供自动滞后优化和可视化功能,适用于探索性因果分析。
2026-01-04 stat.CO stat.ML
Temporal and Spatial Independent Component Analysis for fMRI data sets embedded in a R package
对于功能磁共振成像(fMRI)数据集的统计分析,我们提出了一种基于独立成分分析(ICA)的数据驱动的方法,在新版本的AnalyzeFMRI R包中实现。对于空间维度远大于时间维度的fMRI数据集,空间独立分量分析是目前普遍提出的一种易于处理的方法。然而,对于一些神经科学应用,可以假设源信号的时间独立性和时间ICA成为一个有吸引力的探索技术。在这项工作中,我们使用一个经典的线性代数的结果,确保时间ICA的易处理性。我们报告了几个实验的合成数据和真实的MRI数据集,证明了我们的R包的潜在利益。
2010-12-01 physics.med-ph stat.AP stat.CO
scikit-fda: A Python Package for Functional Data Analysis
Universidad Autónoma de Madrid(马德里自治大学)
scikit-fda是一个遵循scikit-learn接口的Python函数型数据分析软件包,提供表示、预处理和探索性分析工具,并以BSD许可证开源发布。
2023-06-22 cs.LG cs.MS stat.CO
GWmodel: an R Package for Exploring Spatial Heterogeneity using Geographically Weighted Models
空间统计学是一门不断发展的学科,为自然科学和社会科学的广泛学科提供重要的分析技术。在R包GW模型中,我们引入了来自空间统计学的一个特定分支的技术,称为地理加权(GW)模型。GW模型适用于某些全球模型无法很好地描述数据的情况,但在某些空间区域,适当的局部校准可以提供更好的描述。该方法使用移动窗口加权技术,在目标位置发现局部模型。输出映射到数据空间异质性的性质提供了一个有用的探索工具。GW模型包括:GW汇总统计、GW主成分分析、GW回归、带局部岭补偿的GW回归和用于预测的GW回归;其中一些以基本和稳健的形式提供。
2014-03-17 stat.AP
Extending the saemix package for R to fit non Gaussian outcomes
Université Paris Cité(巴黎西岱大学);Université Sorbonne Paris Nord(北索邦大学);Inserm, IAME(法国国家健康与医学研究院,IAME实验室);Université Paris-Saclay(巴黎萨克雷大学);INRAE, MaIAGE(法国国家农业、食品与环境研究所,MaIAGE实验室);Ecole Polytechnique(巴黎综合理工学院)
本文扩展了R中的saemix包,使其能够处理非高斯数据,通过SAEM算法提高模型拟合能力,并应用于二元和生存类型数据。
2026-03-03 stat.CO stat.ME
DeBaCl: A Python Package for Interactive DEnsity-BAsed CLustering
Carnegie Mellon University(卡内基梅隆大学)
Hartigan(1975)的水平集树方法提供了一种基于概率的、高度可解释的数据集聚类行为编码。通过将数据模式的层次结构表示为密度估计器的水平集的树状图,这种方法为探索性分析和聚类提供了许多优点,特别是对于复杂和高维数据。存在几个R包的水平集树估计,但其实际用途是有限的计算效率低,缺乏交互式图形功能,从理论的角度来看,依赖于渐近近似。为了让实践者更容易地捕捉水平集树的优点,我们编写了Python包DeBaCl用于基于密度的聚类。在这篇文章中,我们将说明如何DeBaCl的水平集树估计可以用于困难的聚类任务和交互式图形数据分析。该软件包旨在通过提高计算效率和高度的用户定制来促进水平集树的实际使用。此外,DeBaCl中实现的灵活算法具有有限的样本精度,正如最近的密度聚类文献所证明的那样。最后,我们展示了水平集树框架可以很容易地扩展到处理功能数据。
2013-07-30 cs.LG stat.ME stat.ML
Interactive graphics for functional data analyses
虽然最常见的功能数据分析都有既定的图形,但为每个数据集和分析生成这些图形可能既麻烦又耗时。通常,可视化的障碍抑制了有用的探索性数据分析,并阻止了方法的直觉发展及其对特定数据集的应用。开发refund.shiny包是为了解决几个最常见的函数数据分析的这些问题。在进行分析之后,plot_shiny()函数用于生成一个交互式可视化环境,其中包含几个不同的图形,其中许多图形会根据用户输入进行更新。这些可视化减少了探索性分析的负担,可以作为向非统计人员传达结果的有用工具。
2016-02-12 stat.OT
Comprehensive Feature-Based Landscape Analysis of Continuous and Constrained Optimization Problems Using the R-Package flacco
从优化算法组合中选择性能最佳的优化器通常是一项困难而复杂的任务。更糟糕的是,如果底层功能是未知的,即,所谓的黑盒问题和函数评估被认为是昂贵的。在连续单目标优化问题的情况下,探索性景观分析(ELA)-一种复杂而有效的方法,用于在实际执行优化任务之前通过数值来表征此类问题的景观-是有利的。不幸的是,到目前为止,同时计算多个ELA特征是相当复杂的,因为相应的代码已经分布在多个平台上,或者至少分布在这些平台内的几个包中。本文对现有的ELA方法进行了广泛的总结,并介绍了flashboard,一个用于连续和约束优化问题的基于特征的景观分析的R包。虽然它的功能既不能解决优化问题本身,也不能解决相关的“算法选择问题(ASP)”,但它通过在单个平台上提供广泛的ELA功能集合,甚至在单个软件包中,可以轻松访问ASP的基本成分。此外,flashboard提供了多种可视化技术,增强了对其中一些数字特征的理解,从而使某些景观属性更容易理解。最重要的是,我们将介绍该软件包的内置,以及Web托管,因此独立于平台的图形用户界面(GUI),这有助于使用该软件包-特别是对于不熟悉R的人来说-使其成为一个非常方便的工具箱,用于连续单目标优化问题的算法选择。
2017-08-17 stat.ML
An exact test for significance of clusters in binary data
特征矩阵数据的无监督聚类是进行探索性数据分析和实验数据质量控制不可缺少的技术。然而,聚类很难以客观的方式评估统计意义。我们证明了一个公式的样本集的大小的分布,出人口的固定大小,显示一个给定的签名,条件的边缘(频率)的每个单独的功能,包括签名。由此产生的“精确检验的巧合”是广泛适用于任何二进制数据的集群的客观评估。我们还提出了一个软件包实现的测试,一套计算验证的主要定理,和集群发现使用形式概念分析的补充工具。
2021-09-29 math.ST stat.TH
ggskewboxplots: Enhanced Boxplots for Skewed Data in R
Eskisehir Technical University(埃斯基谢希尔科技大学)
本文提出ggskewboxplots包,通过整合多种稳健且考虑偏斜性的箱线图变体,改进对偏斜数据的可视化分析,提升异常值检测的准确性。
2025-11-21 stat.AP stat.ME
Cross-Validated Loss-Based Covariance Matrix Estimator Selection in High Dimensions
针对高维协方差矩阵估计量选择问题,提出基于交叉验证损失的通用损失函数类,建立有限样本风险界与渐近最优性条件,并通过模拟和单细胞数据验证,提供cvCovEst R包实现。
2022-05-06 stat.ME
General Latent Feature Models for Heterogeneous Datasets
潜在特征建模允许捕获负责生成一组对象的观察属性的潜在结构。它通常用于预测新的感兴趣值或原始数据中缺失的信息,以及执行数据探索性分析。然而,虽然有大量的文献对同质数据集的潜在特征模型,其中描述每个对象的所有属性都是相同的(连续或离散)的性质,有一个异构数据库的潜在特征建模的工作缺乏。本文介绍了一种适用于异构数据集的通用贝叶斯非参数潜在特征模型,其中描述每个对象的属性可以是离散变量、连续变量或混合变量。该模型提出了几个重要的属性。首先,它考虑了异构数据,同时保持共轭模型的属性,这使我们能够在线性时间内推断模型的对象和属性的数量。其次,它的贝叶斯非参数性质允许我们从数据中自动推断模型的复杂性,即,捕获数据中的潜在结构所需的特征数量。第三,模型中的潜在特征是二值变量,便于在数据探索性分析中对所获得的潜在特征进行解释。我们通过在几个真实数据集上解决预测和数据分析任务来展示所提出模型的灵活性。此外,GLFM的软件包是公开的,供其他研究人员使用和改进。
2018-03-08 stat.ML
baker: An R package for Nested Partially-Latent Class Models
本文描述和说明了面包师R包的功能。该软件包估计一套嵌套的部分潜伏类模型(NPLCM)的多变量二进制响应下观察到的病例对照设计。贝克包允许研究人员灵活地估计人口水平的类患病率和类成员的个别情况下的后验概率。估计是通过调用跨平台的自动贝叶斯推断软件JAGS,通过一个包装器R功能,解析模型规格和数据输入。baker包提供了许多有用的特性,包括数据摄取、探索性数据分析、模型诊断、广泛的绘图和可视化选项,促进了从业者和领域科学家之间的交流。包功能和工作流程说明使用模拟和真实的数据集。软件包URL:https://github.com/zhenkewu/baker
2022-02-23 stat.AP stat.CO stat.ME
Sirius: Visualization of Mixed Features as a Mutual Information Network Graph
跨学科的数据科学家越来越需要探索性分析工具,用于具有大量混合数据类型(定量连续和离散分类)特征的数据集。我们介绍了天狼星,一种新的可视化软件包,研究人员探索混合数据类型之间的特征关系,使用互信息。特征关系的可视化有助于数据科学家在开发预测建模管道之前找到特征之间有意义的依赖关系,这可以为下游分析提供信息,例如特征选择,特征提取和潜在代理变量的早期检测。Sirius使用信息论方法,支持异构数据集(由连续和离散数据类型组成)的网络可视化,并提供用户界面,用于探索具有局部显著互信息分数的特征对。互信息算法和二元图表类型是基于数据类型配对(连续-连续、离散-离散和离散-连续)分配的。我们展示了如何使用这个工具的任务,如假设确认,识别预测功能,特征提取的建议,或数据异常的早期预警。本文件所附网址为https://sirius.universalities.com/。所有代码和补充材料都可以在https://osf.io/pdm9r/上访问。
2022-08-13 cs.IR stat.AP
Bambi: A simple interface for fitting Bayesian linear models in Python
近年来,贝叶斯统计方法在许多研究领域和工业应用中的普及程度急剧增加。这是各种方法进步的结果,更快,更便宜的硬件以及新软件工具的开发。在这里,我们介绍了一个名为Bambi(贝叶斯模型构建接口)的开源Python包,它构建在PyMC概率编程框架和ArviZ包之上,用于贝叶斯模型的探索性分析。Bambi使用类似于R中的公式符号,使指定复杂的广义线性层次模型变得容易。我们展示了小鹿斑比的多功能性和易用性与几个例子跨越一系列常见的统计模型,包括多元回归,逻辑斯谛回归,混合效应建模与交叉组的具体影响。此外,我们还讨论了自动先验是如何构建的。最后,我们总结了我们对Bambi未来发展的计划。
2022-01-11 stat.CO
A Mathematical Framework and Software Implementation for Uncertainty Visualisation
Monash University(蒙纳士大学)
针对随机变量可视化缺失的问题,提出将可视化视为连续函数的数学框架,通过分解可视化函数并重新定义不适定部分,保证探索性数据分析的灵活性和连续映射定理的统计合理性,并在R包ggdibbler中实现。
2026-06-24 stat.AP
A Journey from Wild to Textbook Data to Reproducibly Refresh the Wages Data from the National Longitudinal Survey of Youth Database
教科书数据对于教授统计学和数据科学方法至关重要,因为它们是干净的,允许教师专注于方法论。理想情况下,教科书数据集定期刷新,特别是当它们是从正在进行的数据收集中获取的子集时。使用当代数据进行教学也很重要,以灌输这种方法在今天是相关的。本文描述了刷新教科书数据集的工资,从全国青年纵向调查(NLSY 79)在20世纪90年代初提取的考验和磨难。这些数据对于教学建模和纵向数据的探索性分析是有用的。NLSY 79的子集,包括工资数据,可以在许多教科书和研究文章的补充文件中找到。NLSY 79数据库一直持续更新到2018年,因此可以获得新记录。在这里,我们描述了我们刷新工资数据的过程,并记录了这个过程,以便将来可以定期更新数据。我们的旅程是艰难的,因为从原始数据到工资教科书子集所采取的步骤和决定尚未明确阐述。我们一直在努力为其他人提供一个可复制的工作流程,这也希望能激发更多的尝试来更新教学数据。三个新的数据集和生成它们的代码在名为'yowie'的开源R包中提供。
2022-05-13 stat.OT
Flow-based Algorithms for Improving Clusters: A Unifying Framework, Software, and Performance
University of Waterloo(滑铁卢大学);Purdue University(普渡大学);ICSI(国际计算机科学研究所);University of California at Berkeley(加州大学伯克利分校)
聚类向量空间中的点或图中的节点是统计数据分析中普遍存在的基本方法,通常用于探索性数据分析。在实践中,通常感兴趣的是“细化”或“改进”通过某些其他方法获得的给定聚类。在这次调查中,我们专注于这个集群改进问题的原则算法。许多这样的集群改进算法是基于流的方法,我们的意思是,在操作上,他们需要解决一系列的最大流问题(通常是隐式的)修改的数据图。这些聚类改进算法在理论和实践上都很强大,但在社区发现、局部图聚类、半监督学习等问题上并没有得到广泛应用。缺乏对真实世界数据的详细数值实验来证明它们的有用性。我们的目标是解决这些问题。为此,我们将引导读者了解如何实现和应用这些强大的算法的整个过程。我们提出了一个统一的分式规划优化框架,使我们能够以一种简单的方式提取所有这些算法的关键组成部分。同时也指出了相关方法之间的异同。通过分式编程框架查看这些聚类改进算法,为未来的算法开发提出了方向。最后,我们在我们的LocalGraphClustering Python包中开发了这些算法的有效实现,并进行了大量的数值实验,以证明这些方法在社交网络和基于图像的数据图上的性能。
2022-02-02 cs.LG cs.SI stat.ML