On Coresets for Support Vector Machines
University of Haifa(海法大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
针对大数据和流媒体应用中的大规模支持向量机(SVM)训练问题,提出了一种高效的核心集构造算法。核心集是原始数据点的一个小的、有代表性的子集,使得在核心集上训练的模型与在原始数据集上训练的模型具有可证明的竞争力。由于核心集的大小通常比原始集小得多,因此我们的预处理然后训练方案在训练SVM模型时有可能导致显着的加速。我们证明了上下限的coreset的大小需要获得小的数据摘要的SVM问题。作为一个必然的结果,我们表明,我们的算法可以用来扩展任何现成的SVM求解器的适用性流,分布式和动态数据设置。我们评估我们的算法在现实世界和合成数据集的性能。我们的实验结果证实了我们的算法的理论性能良好,并证明了其在加速SVM训练的实际有效性。
2020-02-15 cs.LG stat.ML
Discrepancy, Coresets, and Sketches in Machine Learning
Amazon(亚马逊)
本文定义了函数族的类差异概念。它表明,低差异类承认小的离线和流coresets。我们提供了一般的技术来界定类差异的机器学习问题。作为一般技术的推论,我们绑定了逻辑回归的差异(以及因此的核心复杂性),sigmoid激活损失,矩阵协方差,核密度和点积或平方距离的任何解析函数。我们的结果证明了上述问题的ε-近似O(sqrt{d}/sqrt)大小的核心集的存在性.这解决了长期存在的开放问题的核心复杂性高斯核密度估计。我们提供了两个相关但独立的结果。首先,广泛使用的合并和减少技巧的指数改进,为任何低差异问题提供改进的流草图。第二,一个非常简单的确定性算法,用于找到任何半正定核的低差异序列(因此coresets)。本文建立了类差异,核心复杂性,可学习性和流算法之间的一些明确的联系。
2019-06-11 cs.DS cs.LG stat.ML
Machine Learning and the Future of Bayesian Computation
Duke University(杜克大学);University of British Columbia(不列颠哥伦比亚大学);University of Notre Dame(圣母大学);University of Iowa(爱荷华大学)
本文针对 MCMC 在高维、大规模贝叶斯后验计算中的计算瓶颈,综述利用机器学习改进后验推断的方向,并梳理 normalizing flows、Bayesian coresets、分布式推断与变分推断等路径。
2023-04-21 cs.LG stat.ML
Robust and Fully-Dynamic Coreset for Continuous-and-Bounded Learning (With Outliers) Problems
University of Science and Technology of China(中国科学技术大学);ByteDance AI Lab(字节跳动人工智能实验室)
在许多机器学习任务中,处理大规模数据的常见方法是构建小摘要,{ \em e.g.} coreset,它可以有效地表示原始输入。然而,现实世界的数据集通常包含离群值,并且大多数现有的coreset构造方法对离群值没有弹性(特别是,离群值可以由对抗性攻击者在空间中任意定位)。在本文中,我们提出了一种新的鲁棒coreset方法,用于{ \em continuous-and-bounded learning}问题(具有离群值),其中包括机器学习中广泛的流行优化目标,{ \em e.g.}逻辑回归和$ k $ -均值聚类。此外,我们的鲁棒coreset可以有效地保持在全动态环境中。据我们所知,这是第一个强大的和完全动态的coreset建设方法,这些优化问题。另一个亮点是,我们的核心集大小可以取决于参数空间的双倍维数,而不是目标函数的VC维数,这可能非常大,甚至难以计算。最后,我们在真实世界的数据集上进行实验,以评估我们提出的鲁棒coreset方法的有效性。
2022-01-21 cs.DS cs.LG stat.ML
Coresets for Data-efficient Training of Machine Learning Models
University of California, Los Angeles(加州大学洛杉矶分校);University of Washington(华盛顿大学);Stanford University(斯坦福大学)
增量梯度(IG)方法,如随机梯度下降及其变体,通常用于机器学习中的大规模优化。尽管持续的努力,使IG方法更有效的数据,它仍然是一个悬而未决的问题,如何选择一个训练数据子集,可以在理论上和实际上执行与完整的数据集。在这里,我们开发CRAIG,一种方法来选择一个加权子集(或核心集)的训练数据,密切估计全梯度最大化的子模块功能。我们证明,应用IG到这个子集是保证收敛到(近)最优解的收敛速度相同的IG凸优化。因此,CRAIG实现了与子集大小成反比的加速。据我们所知,这是第一个严格的方法,用于一般机器学习模型的数据有效训练。我们大量的实验表明,CRAIG在实现几乎相同的解决方案的同时,将各种IG方法的速度提高了6倍,用于逻辑回归,3倍用于训练深度神经网络。
2020-11-16 cs.AI cs.LG stat.ML
Coreset selection for the Sinkhorn divergence and generic smooth divergences
University of Washington(华盛顿大学)
该研究提出CO2算法,通过函数泰勒展开将通用光滑散度下的核心集选择转化为最大均值差异最小化,应用于Sinkhorn散度可实现多对数级采样点的近似保证,还揭示了核心集选择与经典统计方法的关联。
2025-05-20 cs.LG stat.ML
A Novel Sequential Coreset Method for Gradient Descent Algorithms
University of Science and Technology of China(中国科学技术大学)
梯度下降算法可以解决机器学习中出现的各种优化问题,如何有效地压缩大规模数据集以降低计算复杂性是该领域的核心问题。{ \em Coreset}是一种流行的数据压缩技术,之前已对其进行了广泛研究。然而,大多数现有的coreset方法是依赖于问题,不能作为一个通用的工具,更广泛的应用。一个关键的障碍是,他们往往依赖于伪维数和总的灵敏度界限,可以是非常高的或难以获得。本文基于梯度下降算法的“局部性"特性,提出了一种新的框架,称为”顺序核心集“,有效地避免了这些障碍。此外,我们的方法是特别适合于稀疏优化的coreset大小可以进一步减少到只有poly-dimensionally依赖于尺寸。实验结果表明,该方法与基准算法相比,可以节省大量的运行时间。
2022-10-08 cs.LG stat.ML
Introduction to Coresets: Accurate Coresets
University of Haifa(海法大学)
输入集的核心集(coreset或core-set)是它的小总和,这样对于给定的问题族(模型,分类器,损失函数),在核心集上解决一个问题作为其输入,可证明产生与在原始(完整)集上解决相同问题相同的结果。在过去的十年中,核心集构造算法已经被提出用于机器/深度学习、计算机视觉、图形学、数据库和理论计算机科学中的许多基本问题。这篇介绍性的论文是根据(通常是非专家,但也是同事)的要求写的,这些要求涉及许多不一致的coreset定义,缺乏可用的源代码,需要来自不同领域的深入理论背景,以及使初学者难以应用coreset并开发新的论文的密集论文。本文提供了民间传说,经典和简单的结果,包括一步一步的证明和数字,为最简单的(准确的)coreset非常基本的问题,如:向量和,最小封闭球,SVD/ PCA和线性回归。然而,我们没有发现他们的大部分建设在文献中。此外,我们希望将它们放在一起回顾的背景下,将有助于读者掌握现代的结果,通常扩展和推广这些基本的观察。专家们可能会喜欢将现有结果联系起来的统一符号和比较表。所有提出的算法都提供了带有示例脚本的开放源代码,以演示其实际用途,并支持比数学更熟悉编程的读者。
2019-10-19 cs.CG cs.LG stat.ML
Data-Dependent Coresets for Compressing Neural Networks with Applications to Generalization Bounds
Massachusetts Institute of Technology(麻省理工学院);University of Haifa(海法大学)
我们提出了一种有效的基于核集的神经网络压缩算法,该算法以可证明地近似网络输出的方式稀疏化训练的全连接神经网络的参数。我们的方法是基于一个重要性采样计划,明智地定义了一个采样分布的神经网络参数,并作为一个结果,保留高重要性的参数,而丢弃冗余的。我们利用一种新的,经验的概念的敏感性和扩展传统的coreset建设的压缩参数的应用。我们的理论分析为最终压缩网络的大小和准确性提供了保证,并给出了泛化界限,这可能会为神经网络的泛化属性提供新的见解。我们证明了我们的算法在各种神经网络配置和现实世界的数据集的实际有效性。
2019-05-18 cs.DS cs.LG stat.ML
Uncovering Coresets for Classification With Multi-Objective Evolutionary Algorithms
Politecnico di Torino(都灵理工大学);INRAE(法国国家农业食品与环境研究院);Université Paris-Saclay(巴黎萨克雷大学)
核心集是训练集的一个子集,使用它,机器学习算法获得的性能与在整个原始数据上训练时的性能相似。Coreset的发现是一个积极和开放的研究方向,因为它可以提高算法的训练速度,并可能帮助人类理解结果。在前人工作的基础上,提出了一种新的方法:对候选紧身胸衣进行迭代优化,添加和删除样本。由于限制训练规模和结果质量之间存在明显的权衡,使用多目标进化算法同时最小化集合中的点的数量和分类误差。非平凡基准测试的实验结果表明,所提出的方法是能够提供的结果,允许分类器,以获得更低的错误和更好的能力概括看不见的数据比国家的最先进的核心发现技术。
2020-02-20 cs.LG cs.NE stat.ML
On Coresets for Regularized Loss Minimization
RelationalAI(RelationalAI公司);UC Merced(加州大学默塞德分校);Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
我们设计和数学分析基于采样的正则化损失最小化问题的算法,这些算法可以在流行的大数据计算模型中实现,其中对数据的访问以某种方式受到限制。我们的主要结果是,如果正则化的效果不成为可以忽略不计的规范的假设规模,并作为数据规模,那么一个均匀的样本适度的大小是具有高概率的coreset。在损失函数是逻辑回归或软边缘支持向量机的情况下,并且正则化器是常见的推荐选择之一,该结果意味着大小为$O(d \sqrt{n})$的均匀样本很有可能是$\Re^d$中$n$点的核心集。我们将这个上界与两个下界进行对比。第一个下界表明我们对均匀抽样的分析是严格的;也就是说,较小的均匀样本可能不是核心集。第二个下限表明,在某种意义上,均匀采样接近最佳,因为通常不存在明显较小的核心集。
2019-05-31 cs.LG stat.ML
The Power of Few: Accelerating and Enhancing Data Reweighting with Coreset Selection
Michigan State University(密歇根州立大学)
针对大模型训练计算成本过高的问题,提出一种利用核心集选择进行数据重加权的新方法,通过最小化异常值影响并将权重传播至全量数据,有效平衡了计算效率与模型准确率。
2024-05-30 cs.LG stat.ML
Small coresets via negative dependence: DPPs, linear statistics, and concentration
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);National University of Singapore(新加坡国立大学);Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会)
本文针对DPP基核心集基数是否优于独立采样核心集的开放问题,将核心集损失视为线性统计量,推导了涵盖非对称核的更优集中不等式,证明DPP核心集效果更优,还拓展了向量值目标的核心集研究。
2024-11-01 cs.LG math.PR stat.ML
Sharing Models or Coresets: A Study based on Membership Inference Attack
Pennsylvania State University(宾夕法尼亚州立大学);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);Army Research Laboratory(陆军研究实验室)
分布式机器学习通常旨在基于分布式数据训练全局模型,而无需将所有数据收集到集中位置,其中已经提出了两种不同的方法:收集和聚合本地模型(联邦学习)以及收集和训练代表性数据摘要(coreset)。虽然由于不共享原始数据,每种方法都在一定程度上保护了数据隐私,但在试图从共享信息中推断原始数据的复杂攻击下,保护的确切程度尚不清楚。我们提出了两种方法之间的目标模型的准确性,通信成本和数据隐私方面的第一个比较,其中最后一个是衡量一个国家的最先进的攻击策略称为成员推断攻击的准确性。我们的实验量化了每种方法的准确性-隐私性-成本权衡,并揭示了一个可用于指导模型训练过程设计的重要比较。
2020-07-06 cs.LG stat.ML
A Deterministic Nonsmooth Frank Wolfe Algorithm with Coreset Guarantees
University of Wisconsin Madison(威斯康星大学麦迪逊分校)
本文提出一种适用于非光滑凸优化问题的Frank-Wolfe算法,提供收敛性界并展示其在多个机器学习问题中的压缩集结果,算法在不依赖输入规模的情况下提供近似解。
2017-08-22 cs.NA math.NA math.OC
Practical bounds on the error of Bayesian posterior approximations: A nonasymptotic approach
Harvard T. H. Chan School of Public Health(哈佛大学陈曾熙公共卫生学院);University of Oxford(牛津大学);University of British Columbia(不列颠哥伦比亚大学);MIT(麻省理工学院)
贝叶斯推断通常需要计算后验分布的近似值。近似贝叶斯推理算法的一个重要要求是输出高精度的后验均值和不确定性估计。经典的蒙特卡罗方法,特别是马尔可夫链蒙特卡罗,仍然是近似贝叶斯推理的黄金标准,因为它们具有强大的有限样本理论和可靠的收敛诊断。然而,替代方法,这是更可扩展的或适用于不能使用马尔可夫链蒙特卡罗的问题,缺乏相同的有限数据逼近论和工具,以评估其准确性。在这项工作中,我们开发了一种灵活的新方法来界定可扩展推理算法的平均误差和不确定性估计。我们的策略是控制Wasserstein距离的估计误差,然后通过Fisher距离的广义概念来约束Wasserstein距离。不像计算Wasserstein距离,它需要访问归一化的后验分布,Fisher距离是易于计算的,因为它只需要访问对数后验密度的梯度。我们证明了我们的Fisher距离方法的有用性,推导出的拉普拉斯近似和希尔伯特coresets的Wasserstein错误的界限。我们预期我们的方法将适用于许多其他的近似推理方法,如集成拉普拉斯近似,变分推理和近似贝叶斯计算
2018-10-01 cs.LG math.ST stat.CO
Sampling Bias Correction for Supervised Machine Learning: A Bayesian Inference Approach with Practical Applications
Local Maximum Labs(Local Maximum实验室)
给定一个有监督的机器学习问题,其中训练集受到已知的采样偏差的影响,如何训练模型来拟合原始数据集?我们通过贝叶斯推断框架,通过改变后验分布来解释抽样函数。然后,我们将此解决方案应用于二进制逻辑斯谛回归,并讨论了数据集可能会受到故意的样本偏差,如标签不平衡的情况。这种技术广泛适用于大数据的统计推断,从医学科学到图像识别再到营销。熟悉它将为从业者提供工具,以改进从数据收集到模型选择的推理管道。
2022-03-15 cs.LG stat.ML
Scalable Learning of Multivariate Distributions via Coresets
Lamarr Institute for ML & AI, TU Dortmund(拉马尔人工智能与机器学习研究所,多特蒙德技术大学);Scientific Computing Center, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院科学计算中心);Department of Statistics, TU Dortmund(多特蒙德技术大学统计学系)
本文提出一种新的聚类集构造方法,用于多变量条件变换模型,以提高其可扩展性和训练效率,通过重要性抽样实现数据缩减,确保对数似然在乘法误差范围内,适用于复杂分布和非线性关系的场景。
2026-03-20 cs.DS cs.LG stat.CO
Data Summarization via Bilevel Optimization
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院)
海量数据集的可用性不断提高,给机器学习带来了一系列挑战。其中最突出的是需要在硬件或人力资源限制下学习模型。在这种资源受限的环境中,一种简单而强大的方法是对数据的小子集进行操作。核心集是数据的加权子集,为优化目标提供近似保证。然而,现有的coreset构造是高度特定于模型的,并且限于简单的模型,例如线性回归、逻辑回归和$k$均值。在这项工作中,我们提出了一个通用的核心建设框架,制定核心选择基数约束的双层优化问题。与现有的方法相比,我们的框架不需要模型特定的适应,并适用于任何二次可微模型,包括神经网络。我们展示了我们的框架在各种环境下对各种模型的有效性,包括在线训练非凸模型和批量主动学习。
2021-09-26 cs.LG stat.ML
Distributionally Robust Coreset Selection under Covariate Shift
Nagoya University(名古屋大学);RIKEN(理化学研究所);Nagoya Institute of Technology(名古屋工业大学);DENSO CORPORATION(电装公司)
针对部署阶段协变量分布未知且可能偏移的问题,提出DRCS,通过最小化最坏情形测试误差上界估计选择鲁棒核心集,并验证其在凸模型及近似深度学习中的有效性。
2025-02-18 cs.LG stat.ML
Beyond Worst-Case Coreset Bounds for $k$-Clustering via Determinantal Sampling
National University of Singapore(新加坡国立大学);Indian Institute of Technology Bombay(印度理工学院孟买分校)
针对聚类中的coreset构建,提出基于行列式点过程的行列式采样框架,在温和数据分布假设下,将coreset大小对1/ε的依赖指数降至小于2,突破最坏情况ε⁻²下界,并在实验中优于现有方法。
2026-09-09 cs.LG math.PR stat.ML
Fair Wasserstein Coresets
Operations Research Center, Massachusetts Institute of Technology(麻省理工学院运筹学中心);J.P.Morgan AI Research(摩根大通人工智能研究院)
针对大规模数据下游学习的公平性问题,提出公平Wasserstein核心集方法,通过多数最小化算法兼顾Wasserstein距离最小化与人口均等,在合成与真实数据上实现了有竞争力的公平性-效用权衡,还可降低大语言模型预测偏差。
2024-10-29 cs.CY cs.LG stat.ML
Practical Solutions for Machine Learning Safety in Autonomous Vehicles
Texas A&M University(得克萨斯农工大学);NVIDIA(英伟达)
自动驾驶汽车依靠机器学习来解决感知和运动规划方面的挑战性任务。然而,汽车软件安全标准尚未完全发展,以解决机器学习安全性的挑战,如可解释性,验证和性能限制。在本文中,我们回顾和组织实用的机器学习安全技术,可以补充自动驾驶汽车中基于机器学习的软件的工程安全。我们的组织将安全策略映射到最先进的机器学习技术,以增强机器学习算法的可靠性和安全性。我们还讨论了自动驾驶汽车中机器学习组件的安全限制和用户体验方面。
2019-12-20 cs.LG stat.ML
Pymc-learn: Practical Probabilistic Machine Learning in Python
Haystax Technology(Haystax科技公司)
$\textit{Pymc-learn}$是一个Python包,为监督和无监督机器学习提供了各种最先进的概率模型。它受到$\textit{scikit-learn}$的启发,专注于将概率机器学习带给非专业人士。它使用模仿$\textit{scikit-learn}$的通用高级语言。重点放在易用性、生产力、灵活性、性能、文档和与$\textit{scikit-learn}$一致的API上。它依赖于$\textit{scikit-learn}$和$\textit{pymc3}$,并在新的BSD-3许可证下分发,鼓励学术界和工业界使用它。源代码、二进制文件和文档可在http://github.com/pymc-learn/pymc-learn上获得。
2018-10-31 cs.LG stat.ML
Continuous Integration of Machine Learning Models with ease.ml/ci: Towards a Rigorous Yet Practical Treatment
ETH Zurich(苏黎世联邦理工学院);Alibaba Group(阿里巴巴集团);Huawei Technologies(华为技术有限公司);Modulos AG(莫杜洛斯股份公司);Microsoft Research(微软研究院)
持续集成是现代软件工程实践中系统地管理系统开发的生存周期的一个必不可少的步骤。开发一个机器学习模型没有区别--它是一个具有生存周期的工程过程,包括设计、实现、调优、测试和部署。然而,大多数(如果不是全部的话)现有的持续集成引擎不支持机器学习作为一等公民。在本文中,我们提出了ease.ml/ci,据我们所知,第一个连续集成系统的机器学习。构建ease.ml/ci的挑战在于提供严格的保证,例如,具有0.999可靠性的单精度点误差容限,具有实际量的标记工作,例如,每次测试2K个标签。我们设计了一个域特定的语言,允许用户指定的集成条件与可靠性的约束,并开发简单的新颖的优化,可以降低所需的标签的数量高达两个数量级的测试条件普遍使用在实际生产系统。
2019-03-01 cs.LG stat.ML
AttriGuard: A Practical Defense Against Attribute Inference Attacks via Adversarial Machine Learning
各种web和移动应用中的用户容易受到属性推断攻击,其中攻击者利用机器学习分类器来推断目标用户的私有属性(例如,位置、性取向、政治观点)从其公共数据(例如,评级分数、页面喜欢)。现有的防御利用基于公共数据和属性之间的相关性的博弈论或逻辑学。这些防御措施并不实用。具体而言,博弈论防御需要解决棘手的优化问题,而基于相关性的防御会导致用户公共数据的大量效用损失。在本文中,我们提出了AttriGuard,一个实用的防御属性推理攻击。AttriGuard在计算上是易处理的,并且具有小的效用损失。我们的AttriGuard分两个阶段工作。假设我们的目标是保护用户的私有属性。在第一阶段,对于属性的每个值,我们找到一个最小的噪声,这样如果我们将噪声添加到用户的公共数据中,那么攻击者的分类器很可能推断出用户的属性值。我们通过适应对抗性机器学习中现有的逃避攻击来找到最小噪声。在第二阶段中,我们根据一定的概率分布对一个属性值进行采样,并将第一阶段中发现的相应噪声添加到用户的公共数据中。我们将寻找概率分布公式化为求解约束凸优化问题。我们广泛评估AttriGuard,并使用真实世界的数据集将其与现有方法进行比较。我们的研究结果表明,AttriGuard大大优于现有的方法。我们的工作是第一个表明规避攻击可以作为隐私保护的防御技术。
2020-04-13 cs.CR stat.ML
Explainable Online Validation of Machine Learning Models for Practical Applications
University of Tübingen(图宾根大学);Liebherr-Elektronik GmbH(利勃海尔电子有限公司);Scheidt MessTechnik(沙伊特测量技术公司)
我们提出了一个重新制定的回归和分类,其目的是验证结果的机器学习算法。我们的重新制定简化了原来的问题,并验证了机器学习算法使用的训练数据的结果。由于机器学习算法的验证必须始终是可解释的,我们执行我们的实验与kNN算法以及与基于条件概率的算法,这是在这项工作中提出的。为了评估我们的方法,三个公开的数据集,三个分类和两个回归问题进行了评估。所提出的算法的基础上的条件概率也是在线的能力,只需要一小部分的内存相比,kNN算法。
2021-01-17 cs.AI cs.CV cs.LG
Practical Marketplace Optimization at Uber Using Causally-Informed Machine Learning
Uber Technologies, Inc(优步科技公司)
针对Uber市场杠杆预算分配挑战,提出基于S-Learner深度学习估计器与张量B样条回归的端到端机器学习优化流程,利用ADMM和内点法求解高维优化,大幅提升资源分配效率。
2024-07-26 cs.LG stat.ML
Machine learning-based clinical prediction modeling -- A practical guide for clinicians
RWTH University Aachen(亚琛工业大学);University Hospital Zurich(苏黎世大学医院)
在新兴的大数据时代,更大的可用临床数据集和计算进步引发了对基于机器学习的方法的极大兴趣。与机器学习或人工智能相关的手稿数量在过去几年中呈指数级增长。随着分析机器学习工具可供临床医生使用,临床医生、研究人员、评审员和编辑越来越需要理解关键概念并意识到分析陷阱,即使是作为其临床领域的专家,有时也会发现自己没有足够的能力来评估机器学习方法。在第一部分中,我们解释了机器学习的一般原理,以及成功的基于机器学习的预测建模所需的分析步骤-这是本系列的重点。在进一步的章节中,我们回顾了恢复,过拟合和模型泛化的重要性以及特征减少和选择(第二部分),模型评估策略,报告和讨论常见的警告和其他重要问题(第三部分),以及提供分类(第四部分)和回归建模(第五部分)的实用指南,以及完整的编码管道。需要方法的严谨性和清晰度以及对机器学习方法的内部工作的潜在推理的理解,否则预测应用尽管是强大的分析工具,但并不被很好地接受到临床常规中。展望未来,机器学习和人工智能塑造并影响着包括神经外科领域在内的各个学科的现代医学。
2020-06-23 cs.CY cs.LG stat.ML
Machine learning the first stage in 2SLS: Practical guidance from bias decomposition and simulation
Tacoma Power(塔科马电力公司);University of Oregon(俄勒冈大学);IZA Bonn(波恩劳动研究所)
该研究针对机器学习辅助2SLS第一阶段缺乏实践指导的问题,通过偏差分解与模拟分析,发现线性ML方法适配性好,非线性ML方法易导致第二阶段估计出现超过内生OLS的显著偏差。
2025-05-19 cs.LG econ.EM stat.AP
Application of Machine Learning to Predict the Risk of Alzheimer's Disease: An Accurate and Practical Solution for Early Diagnostics
Institute for Applied Computational Science, Harvard John A. Paulson School of Engineering and Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院应用计算科学研究所)
阿尔茨海默病(AD)破坏了500多万美国人的认知能力,并对医疗保健系统造成了巨大的压力。本文提出了一种用于AD发展的机器学习预测模型,该模型无需医学成像,并且具有更少的临床访问和测试,希望更早和更便宜的诊断。早期诊断可能对任何药物或医疗治疗的有效性至关重要。我们的模型使用来自两项著名研究的人口统计学,生物标志物和认知测试数据进行训练和验证:阿尔茨海默病神经成像倡议(ADNI)和澳大利亚成像,衰老的生物标志物生活方式旗舰研究(AIBL)。我们系统地探讨了不同的机器学习模型,预处理方法和特征选择技术。性能最好的模型在预测AD方面表现出超过90%的准确率和召回率,并且结果在ADNI的子研究和独立的AIBL研究中推广。我们还证明,这些结果对于减少每次就诊的临床就诊或检查次数是稳健的。使用元分类算法和纵向数据分析,我们能够产生一个“精益”的诊断协议,只有3个测试和4个临床访问,可以预测阿尔茨海默氏症的发展与87%的准确率和79%的召回。这项新的工作可以被改编成一个实用的早期诊断工具,用于预测阿尔茨海默氏症的发展,最大限度地提高准确性,同时最大限度地减少必要的诊断测试和临床访问的数量。
2020-06-02 cs.LG q-bio.QM stat.ML