Reproducing Kernels and New Approaches in Compositional Data Analysis
University of Georgia(佐治亚大学);Korea Advanced Institute of Science and Technology(韩国科学技术院)
组成数据,如人类肠道微生物组,由非负变量组成,其仅与其他变量的相对值可用。分析人类肠道微生物组等组成数据需要仔细处理数据的几何形状。对组成数据的一个常见的几何理解是通过一个规则的单纯形。大多数现有的方法依赖于对数比或幂变换来克服固有的单纯几何。在这项工作中,基于一个关键的观察,组成的数据是射影的性质,并在射影和球面几何之间的内在联系,我们重新解释的组成域的商拓扑的球modded由一个组的行动。这种重新解释使我们能够理解的功能空间上的组成域方面的领域,并使用球谐函数理论与反射群的作用,以构建一个组成再生核希尔伯特空间(RKHS)。这种结构的RKHS的成分数据将广泛开辟研究途径,为未来的方法发展。特别是,成熟的内核嵌入方法,现在可以引入到成分数据分析。复合RKHS的多项式性质具有理论和计算上的优点。所提出的理论框架的广泛适用性的例子与非参数密度估计和核指数族的组成数据。
2022-05-02 cs.LG math.ST stat.ML
Primal path algorithm for compositional data analysis
University of Seoul(首尔大学);Seoul National University(首尔国立大学);Kyonggi University(庆熙大学)
与典型的多元数据相比,组合数据具有两个独特的特征:观察值是非负的,它们的被加数正好是1。为了反映这些特征,通常使用具有线性约束的特定正则化回归模型。然而,线性约束引起额外的计算时间,这在高维情况下变得严重。因此,我们提出了一个有效的解决方案路径算法的$l_1$正则化回归与成分数据。该算法,然后扩展到一个分类模型与成分预测。我们还将其计算速度与先前开发的算法进行了比较,并将所提出的算法应用于分析人类肠道微生物组数据。
2018-12-21 cs.LG stat.ML
Extending compositional data analysis from a graph signal processing perspective
Institute of Statistics and Mathematical Methods in Economics(统计与经济数学方法研究所);TU Wien(维也纳技术大学)
传统的成分数据分析方法考虑所有不同变量对之间的对数比,这些变量具有相同的权重,通常以聚合贡献的形式。这在已知关系仅存在于非常特定的变量(例如~)之间的上下文中没有意义对于代谢组学途径),而对于其它对,不存在关系。在图论中对关系的存在或不存在进行建模,其中顶点表示变量,连接表示关系。本文将成分数据分析与图形信号处理相结合,并将艾奇逊几何扩展到只有选定的对数比才能被考虑的环境中。所提出的框架保留了尺度不变性和成分一致性的理想属性。很容易进行包括绝对信息的附加扩展。生物信息学和地球化学的例子强调了这种方法与成分数据分析的标准方法相比的有用性。
2022-01-25 cs.LG stat.AP stat.ME
Higher-Order Block Term Decomposition for Spatially Folded fMRI Data
University of Athens(雅典大学);Computer Technology Institute & Press “Diophantus” (CTI)(计算机技术研究所与迪奥凡图斯出版社);University of Piraeus(比雷埃夫斯大学);LIBRA MLI Ltd(LIBRA MLI有限公司)
本文提出高阶块项分解用于分析空间折叠的fMRI数据,以提高空间维度的利用效率,通过4或5阶张量建模提升数据处理能力。
2016-07-15 cs.NA math.NA stat.ML
Geometry-preserving and interpretable dimension reduction for compositional data
University of Michigan(密歇根大学);KAIST(韩国科学技术院)
针对高维成分数据的单形约束和零膨胀问题,提出一种保几何降维框架,将高维成分直接映射到低维单形,实现可解释的软合并与双可视化,并基于核方法估计中心成分子空间,证明估计与目标子空间不同维度下的一致性。
2026-06-01 math.ST stat.AP stat.ME
Data Augmentation for Compositional Data: Advancing Predictive Models of the Microbiome
Columbia University(哥伦比亚大学)
数据增强在现代机器学习管道中起着关键作用。虽然在计算机视觉和自然语言处理的背景下已经研究了许多增强策略,但对其他数据模式知之甚少。我们的工作将数据增强的成功扩展到组合数据,即,单值数据,这在人类微生物组的背景下特别感兴趣。从成分数据分析的关键原则,如艾奇逊几何的单纯形和子成分,我们定义了新的增强策略,这种数据形式。将我们的数据增强到标准的监督学习管道中,可以在各种标准基准数据集上获得一致的性能增益。特别是,我们为关键疾病预测任务(包括结直肠癌、2型糖尿病和克罗恩病)设定了新的最先进技术。此外,我们的数据扩充使我们能够定义一种新的对比学习模型,该模型改进了以前用于微生物组组成数据的表示学习方法。我们的代码可在https://github.com/cunningham-lab/AugCoDa上获得。
2022-05-20 cs.LG stat.ML
DeepCoDA: personalized interpretability for compositional health data
Deakin University(迪肯大学)
可解释性允许领域专家直接评估模型的相关性和可靠性,这是一种提供保证并建立信任的实践。在医疗环境中,可解释的模型应该涉及相关的生物机制,而不受数据预处理等技术因素的影响。我们将个性化可解释性定义为样本特定特征属性的度量,并将其视为精确健康模型证明其结论的最低要求。一些健康数据,特别是高通量测序实验产生的数据,存在细微差别,影响了精确的健康模型及其解释。这些数据是组合的,这意味着每个特征都有条件地依赖于所有其他特征。我们提出了深度组成数据分析(DeepCoDA)框架,将精确的健康建模扩展到高维组成数据,并通过患者特定的权重提供个性化的可解释性。我们的架构在25个真实世界的数据集上保持了最先进的性能,同时为组合数据生成个性化和完全一致的解释。
2020-06-16 cs.AI cs.LG stat.ML
Compositional Generalization from First Principles
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);Max-Planck-Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文从数据生成过程的组合性出发,提出仅依赖训练分布支撑集与模型架构的充分条件,并通过真实场景与实验验证,为组合泛化建立第一性原理理论框架。
2023-07-10 cs.LG stat.ML
Measuring Compositional Generalization: A Comprehensive Method on Realistic Data
Google Research(谷歌研究院)
最先进的机器学习方法表现出有限的合成泛化。与此同时,缺乏全面衡量这一能力的现实基准,这使得寻找和评估改进之处具有挑战性。我们引入了一种新的方法,系统地构建这样的基准,通过最大限度地提高复合发散,同时保证小原子之间的分歧训练和测试集,我们定量比较这种方法与其他方法创建组合泛化基准。我们提出了一个大的和现实的自然语言问答数据集,根据这种方法构建,我们用它来分析组合泛化能力的三个机器学习架构。我们发现,他们未能概括成分,有一个令人惊讶的强大的负相关性之间的复合分歧和准确性。我们还演示了如何使用我们的方法在现有的SCAN数据集之上创建新的组合性基准,这证实了这些发现。
2020-06-25 cs.CL cs.LG stat.ML
Compositional Generation for Long-Horizon Coupled PDEs
本文提出仅用解耦数据训练扩散模型,推理时组合生成耦合PDE长时程轨迹,验证了组合策略的可行性,并引入v参数化与对称组合方案提升精度。
2025-10-23 cs.LG stat.ML
Enhancing Compositional Generalization via Compositional Feature Alignment
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);William and Mary(威廉玛丽学院)
针对多域多类场景下模型组合泛化能力不足的问题,提出组合特征对齐(CFA)两阶段微调方法,通过正交线性头与冻结微调,在CG-Bench上提升CLIP和DINOv2的泛化性能。
2024-05-22 cs.CV cs.LG stat.ML
The Scattering Compositional Learner: Discovering Objects, Attributes, Relationships in Analogical Reasoning
University of Toronto(多伦多大学);Vector Institute(Vector研究所)
在这项工作中,我们专注于类比推理任务,包含丰富的组成结构,乌鸦的进步矩阵(RPM)。为了发现数据的组合结构,我们提出了分散组合学习器(SCL),一种按顺序组成神经网络的架构。我们的SCL在两个RPM数据集上实现了最先进的性能,与之前的最先进技术相比,Balanced-RAVEN和PGM的相对改进分别为48.7%和26.4%。我们还表明,我们的模型发现了对象属性的组成表示(例如,形状、颜色、大小),以及它们的关系(例如,进步,联盟)。我们还发现,成分表示使SCL显着更强大的测试时域移位,并大大提高了zero-shot推广到以前看不见的类比。
2020-07-08 cs.AI cs.LG cs.LO
Instrumental Variable Estimation for Compositional Treatments
Helmholtz Munich(亥姆霍兹慕尼黑中心);TUM School of Computation, Information and Technology, Technical University of Munich(慕尼黑工业大学计算、信息与技术学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Ludwig-Maximilian University(路德维希-马克西米利安大学);Center for Computational Mathematics, Flatiron Institute(弗拉蒂伦研究所计算数学中心)
针对成分性数据作为处理变量的因果推断,提出工具变量估计框架,强调干预视角的陷阱,并开发考虑成分空间结构的多变量回归方法,在合成与真实微生物组数据上验证其优势与局限。
2024-05-28 cs.LG q-bio.QM stat.AP
Estimation for Compositional Data using Measurements from Nonlinear Systems using Artificial Neural Networks
Schlumberger(斯伦贝谢)
我们的目标是通过一个未知的系统,估计逆的原始系统的训练集后,从其输出响应估计未知的成分输入。所提出的方法,使用人工神经网络(ANN)可以竞争的线性系统,凸优化理论适用的最佳界限,并展示了有前途的结果,为非线性系统反演。我们通过设计许多不同类型的非线性系统进行了广泛的实验。
2020-01-24 cs.LG cs.NE math.OC
Measuring Compositionality in Representation Learning
University of California, Berkeley(加州大学伯克利分校)
许多机器学习算法用向量嵌入或离散代码表示输入数据。当输入呈现出组合结构(例如,从子程序的部分或过程构建的对象)时,很自然地会问这种组合结构是否反映在输入的学习表示中。虽然语言中的组合性的评估在语言学和邻近领域中受到了极大的关注,但机器学习文献缺乏用于在更一般(例如,向量值)表示空间中产生组合结构的分级测量的通用工具。我们描述了一个程序,通过测量如何以及真实的代表生产模型可以近似的模型,明确组成的推断代表性原语的集合进行评估的组合性。我们使用的程序,以提供正式和经验的组成结构在各种设置的特征,探索组合性和学习动态,人类的判断,表征相似性和泛化之间的关系。
2019-04-06 cs.CL cs.LG stat.ML
The Physics of Data and Tasks: Theories of Locality and Compositionality in Deep Learning
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文从物理视角研究深度学习,探讨数据与任务的局域性和组合性结构,解释高维学习悖论,并定量分析其对泛化性能的影响。
2025-10-07 cond-mat.dis-nn cond-mat.stat-mech cs.LG