The worst of both worlds: A comparative analysis of errors in learning from data in psychology and machine learning
Northwestern University(西北大学);Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学);Microsoft Research(微软研究院)
最近关于机器学习(ML)正面临再现性和复制危机的争论表明,ML研究中的一些已发表的声明不能从表面上看。这些担忧激发了对影响社会和医学科学的复制危机的类比。他们还激发了对因果推理和预测建模的统计方法的整合的呼吁。更深入地了解监督ML研究中的再现性问题与实验科学中的复制危机的共同点,可以正确看待新的问题,并帮助研究人员避免“两个世界中最糟糕的”,即ML研究人员开始从解释性建模中借用方法,而不了解它们的局限性,反之亦然。我们贡献了一个比较分析的关注归纳学习,出现在因果归因的心理学与预测建模,以ML为例。我们确定了在改革讨论中重新出现的主题,如过度依赖渐近理论和对真实世界数据生成过程的不可信信念。我们认为,在这两个领域中,来自学习的主张都隐含在所研究的特定环境之外(例如,输入数据集或主题样本、建模实现等)但是由于学习管道中未公开的方差源而常常不可能反驳。特别是,ML中承认的错误暴露了长期以来的信念,即使用巨大的数据集优化预测准确性可以免除人们必须考虑真实的数据生成过程或正式表示性能声明中的不确定性。最后,我们讨论了错误来源被误诊时产生的风险,以及承认人类归纳偏见在学习和改革中的作用的必要性。
2022-06-02 cs.LG
Comparison of Microservice Call Rate Predictions for Replication in the Cloud
Alpen-Adria-Universität Klagenfurt(阿尔卑斯-亚得里亚大学克拉根福分校);Azad University, Science and Research Branch, Tehran(阿扎德大学德黑兰科学与研究分校);SINTEF AS(挪威SINTEF公司);OsloMet - Oslo Metropolitan University(奥斯陆城市大学)
比较LR、MLP和GBR三种机器学习模型在阿里巴巴微服务轨迹上预测微服务调用率以估计可扩展性需求的表现,发现GBR在误差上更优且预测副本数接近实际值。
2023-10-29 cs.AI cs.DC cs.LG
A Scalable and Efficient Iterative Method for Copying Machine Learning Classifiers
Universitat Ramon Llull, ESADE(拉蒙·柳利大学ESADE商学院);Universitat de Barcelona(巴塞罗那大学)
通过复制的差异复制是指使用具有增强的特征和属性的另一个模型复制机器学习模型的决策行为的过程。当外部约束限制工业预测系统的性能时,该过程是相关的。在这种情况下,复制能够在适应新需求的同时保留原始预测能力。以前的研究主要集中在复制的单通道实现上。本文介绍了一种新颖的顺序方法,该方法可显著减少训练或维护副本所需的计算资源量,从而降低在生产中使用机器学习模型的公司的维护成本。通过合成和真实世界数据集的实验证明了顺序方法的有效性,在保持或提高准确性的同时,显着减少了时间和资源。
2023-02-07 cs.LG
Partial differential equation regularization for supervised machine learning
本文概述了回归和分类的监督机器学习问题。主题包括:核方法、通过随机梯度下降进行训练、深度学习架构、分类损失、统计学习理论和维度独立的泛化界限。介绍了深度学习示例中的隐式正则化,包括数据增强、对抗性训练和加性噪声。这些方法被重新定义为显式梯度正则化。
2019-10-03 cs.LG math.AP stat.ML
Bayesian Differential Privacy for Machine Learning
Artificial Intelligence Lab, Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院人工智能实验室)
传统的差分隐私与数据分布无关。然而,这与现代机器学习环境并不匹配,其中模型是在特定数据上训练的。因此,在ML中实现有意义的隐私保证通常会过度降低准确性。我们提出贝叶斯差分隐私(BDP),它考虑到数据的分布,提供更实际的隐私保障。我们还得到了一个一般的隐私会计方法下BDP,著名的时刻会计师的基础上。我们的实验表明,在经典的机器学习数据集,如MNIST和CIFAR-10,分布样本享有显着更强的隐私保证比DP假设,而模型保持高分类精度。
2020-08-19 cs.CR cs.LG stat.ML
Reproducibility in machine learning for medical imaging
Sorbonne Université(索邦大学);Institut du Cerveau - Paris Brain Institute - ICM(巴黎脑科学院);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Inserm(法国国家健康与医学研究院);AP-HP(巴黎公共医疗救助机构);Hôpital de la Pitié-Salpêtrière(巴黎硝石库慈善医院);University of Twente(特文特大学)
复制是科学的基石,因为复制发现是它们成为知识的过程。人们普遍认为,许多科学领域正在经历一场再现性危机。这导致了各种指南的出版,以提高研究的可重复性。本章旨在为医学成像机器学习领域的研究人员介绍再现性。我们首先区分不同类型的再现性。对于每一个,我们的目标是定义它,在描述的要求,以实现它,并在讨论其效用。本章最后讨论了可重复性的好处,并呼吁对这一概念及其在研究实践中的实施采取非教条式的方法。
2022-09-12 cs.CV cs.LG q-bio.OT
Machine Learning of Linear Differential Equations using Gaussian Processes
Division of Applied Mathematics, Brown University(应用数学系,布朗大学)
本文利用概率机器学习最新进展,通过高斯过程先验发现参数化的线性守恒律方程,包括常微分、偏微分、积分微分及分数阶算子。
2017-01-10 cs.LG cs.NA math.NA
Differential Machine Learning
Danske Bank(丹斯克银行);Superfly Analytics
差分机器学习在金融衍生品的风险管理背景下将自动伴随差分(AAD)与现代机器学习(ML)相结合。我们引入了新的算法,用于训练快速,准确的定价和风险近似,在线,实时,收敛保证。我们的机器适用于任意衍生工具或交易账簿,在基础市场变量的任意随机模型下。它有效地解决了衍生品风险报告和资本计算的计算瓶颈。差分ML是监督学习的一般扩展,其中ML模型不仅在输入和标签的示例上训练,而且在标签与输入的差分上训练。它也适用于金融以外的许多情况,其中高质量的一阶衍生品wrt训练输入可用。例如,物理学中的应用可以利用第一原理中已知的微分来更有效地学习函数近似。在金融领域,AAD以显著的效率计算路径微分,因此差分ML算法提供了非常有效的定价和风险近似。我们可以在对封闭式解决方案来说过于复杂的模型中进行快速分析,提取复杂交易和交易账簿的风险因素,并有效地计算风险管理指标,例如跨大量场景的报告,对冲策略的回测和模拟,或XVA,CCR,FRTB或SIMM-MVA等法规。TensorFlow实现可在https://github.com/differential-machine-learning上获得
2020-09-30 cs.LG q-fin.CP
A Survey on Differential Privacy with Machine Learning and Future Outlook
University of Dayton(戴顿大学)
如今,机器学习模型和应用已经变得越来越普遍。随着机器学习模型的开发和使用的快速增长,对隐私的关注也在上升。因此,有合法的需要来保护数据免受泄漏和任何攻击。可用于保护机器学习模型免受任何攻击和漏洞的最强大和最流行的隐私模型之一是差分隐私(DP)。DP是对隐私的严格而严格的定义,它可以保证对手无法可靠地预测数据集中是否包含特定的参与者。它的工作原理是向数据注入噪声,无论是输入、输出、地面真值标签、目标函数,还是梯度,以减轻隐私问题并保护数据。为此,这篇调查论文提出了不同的私有机器学习算法,分为两大类(传统机器学习模型与深度学习模型)。最后展望了机器学习算法在差分隐私保护中的应用前景。
2022-11-19 cs.CR cs.LG
Parametric Numerical Integration with (Differential) Machine Learning
CITIC Research center(CITIC研究中心);Department of Mathematics, University of A Coruña(数学系,阿维拉大学)
本文提出了一种基于微分学习的方法,用于求解参数积分,通过结合导数信息提升求解精度和效率,适用于统计函数、切比雪夫展开和微分方程积分等多种问题。
2025-12-12 cs.LG cs.NA math.NA
Differential Privacy and Machine Learning: a Survey and Review
机器学习的目标是从数据中提取有用的信息,同时通过隐藏信息来保护隐私。因此,似乎很难调和这些相互竞争的利益。然而,在挖掘敏感数据时,它们通常必须平衡。例如,医学研究代表了一个重要的应用,其中需要提取有用的信息并保护患者隐私。解决冲突的方法之一是提取整个人口的一般特征,而不披露个人的私人信息。在本文中,我们考虑差分隐私,最流行和最强大的隐私定义之一。我们探讨机器学习和差分隐私之间的相互作用,即隐私保护机器学习算法和基于学习的数据发布机制。我们还描述了一些理论结果,解决了什么可以学到的差异私人和上界的损失函数的差异私人算法。最后,我们提出了一些开放的问题,包括如何将公共数据,如何处理丢失的数据在私人数据集,以及是否,作为观察到的样本的数量增长任意大,差分私人机器学习算法可以实现在没有成本的效用相比,相应的非差分私人算法。
2014-12-24 cs.CR cs.DB cs.LG
Auditing Differentially Private Machine Learning: How Private is Private SGD?
Khoury College of Computer Sciences, Northeastern University(东北大学胡里计算机科学学院)
我们调查差异私有SGD在实践中是否比其最先进的分析所保证的更好的隐私。我们通过新颖的数据投毒攻击来实现这一点,我们表明这与现实的隐私攻击相对应。虽然先前的工作(Ma等人,arXiv 2019)提出了差分隐私和数据投毒之间的这种联系,作为对数据投毒的防御,我们将其用作理解特定机制隐私的工具是新的。更一般地说,我们的工作采取了定量的,实证的方法来理解的隐私提供的具体实现的差异隐私算法,我们相信有可能补充和影响差分隐私的分析工作。
2020-06-13 cs.CR cs.LG
Mathematics of Differential Machine Learning in Derivative Pricing and Hedging
University of Copenhagen(哥本哈根大学)
本文通过严格数学框架提出金融微分机器学习算法,为衍生品定价与对冲中的数据驱动模型提供统一理论基础,并证明该方法在当前背景下的最优性。
2024-05-02 cs.LG q-fin.CP q-fin.MF
Differential Privacy in Machine Learning: A Survey from Symbolic AI to LLMs
Department of Computer Science and Artificial Intelligence, University of Granada(计算机科学与人工智能系,格拉纳达大学)
本文综述了差分隐私在机器学习中的应用,从符号AI到大语言模型,探讨了隐私保护方法及评估技术。
2026-03-11 cs.AI cs.CR cs.LG
AI Poincaré 2.0: Machine Learning Conservation Laws from Differential Equations
Massachusetts Institute of Technology(麻省理工学院);Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校)
我们提出了一个机器学习算法,发现守恒定律的微分方程,无论是数值(参数化为神经网络)和符号,确保其功能的独立性(线性独立性的非线性推广)。我们的独立模块可以被看作是奇异值分解的非线性推广。我们的方法可以很容易地处理守恒律的归纳偏差。我们用三体问题、KdV方程和非线性薛定谔方程的例子进行了验证。
2022-10-30 astro-ph.EP cs.LG nlin.SI