Denoising ESG: quantifying data uncertainty from missing data with Machine Learning and prediction intervals
Intesa Sanpaolo S.P.A.(裕信银行)
本文针对ESG数据集缺失导致评级不一致的问题,应用多种机器学习插补策略并结合预测区间量化不确定性,证明概率模型能更好理解ESG评分并降低错误评级风险,从而提升评级可靠性。
2024-07-29 cs.LG
Quantifying Aleatoric and Epistemic Uncertainty in Machine Learning: Are Conditional Entropy and Mutual Information Appropriate Measures?
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文质疑了机器学习中用条件熵和互信息分别量化偶然性和认知不确定性的做法,指出其理论不协调性及总不确定性加性分解的问题,并通过计算机视觉实验验证了这些发现。
2023-06-25 cs.LG
Quantifying Uncertainty with Probabilistic Machine Learning Modeling in Wireless Sensing
Amazon Lab126(亚马逊Lab126)
近年来,机器学习技术在无线通信领域的应用得到了巨大的发展,特别是在无线传感领域。然而,围绕ML模型的推理可靠性以及与其预测相关的不确定性的问题从未得到正确的回答或沟通。这本身就对这些机器学习系统的透明度提出了很多问题。开发具有概率建模的ML系统可以很容易地解决这个问题,其中可以量化不确定性,无论它是来自数据(不可约误差或随机不确定性)还是来自模型本身(可约或认知不确定性)。本文详细描述了这些类型的不确定性量化背后的想法,并使用基于WiFi信道状态信息(CSI)的运动/非运动情况下的感测的真实示例来演示不确定性建模。这项工作将作为一个模板,不仅用于WiFi传感,而且用于大多数无线传感应用,从WiFi到利用AI/ML模型的基于毫米波雷达的传感,对预测的不确定性进行建模。
2022-10-12 cs.AI cs.LG eess.SP
Good Practice Guide for quantifying uncertainties for machine learning models applied to photoplethysmography signals
该指南介绍QUMPHY项目,针对以可穿戴设备PPG信号为输入的机器学习及不确定性量化问题,给出适用模型类型、量化方法实施与结果验证指导,描述六个基准问题及相关数据集,还有辅助软件及伦理考量,最后总结并提建议。
2026-07-23 cs.LG
Towards Quantifying the Carbon Emissions of Differentially Private Machine Learning
Carnegie Mellon University(卡内基梅隆大学);Manipal Institute of Technology(马尼帕尔理工学院);Bharati Vidyapeeth’s College of Engineering(巴拉蒂维迪亚佩思工程学院);Purdue University(普渡大学);The National Renewable Energy Laboratory(美国国家可再生能源实验室)
近年来,利用大规模数据集的机器学习技术已经取得了显著的性能。差分隐私通过添加噪声为这种学习算法提供了强隐私保证。差分隐私的代价通常是降低的模型精度和降低的收敛速度。本文研究了差分隐私对学习算法的影响,无论是较长的运行时间或失败的实验方面的碳足迹。通过广泛的实验,提供了进一步的指导,以选择噪音水平,可以达到理想的隐私水平和减少碳排放之间的平衡。
2021-07-14 cs.CR cs.LG
Quantifying the Carbon Emissions of Machine Learning
Element AI;Mila(米拉);Université de Montréal(蒙特利尔大学);Polytechnique Montréal(蒙特利尔高等理工学院);CIRAIG
从环境的角度来看,训练神经网络有几个关键方面对它排放的碳量有重大影响。这些因素包括:用于训练的服务器的位置和它使用的能量网格、训练过程的长度,以及甚至进行训练的硬件的品牌和型号。为了近似这些排放,我们提出了我们的机器学习排放计算器,这是一个让我们的社区更好地了解训练ML模型对环境影响的工具。我们在此工具中解释了上述因素,以及个人从业者和组织可以采取的减少碳排放的具体行动。
2019-11-04 cs.CY cs.LG
Towards Identifying and Managing Sources of Uncertainty in AI and Machine Learning Models - An Overview
量化和管理数据驱动模型(如人工智能和机器学习方法提供的模型)时出现的不确定性至关重要。本白皮书简要介绍了识别和量化数据驱动组件的不确定性来源以及分析其影响的方法的最新技术水平。
2018-11-28 cs.LG stat.ML
Quantifying Unknown Quantum Entanglement via a Hybrid Quantum-Classical Machine Learning Framework
Tsinghua University(清华大学);Yanqi Lake Beijing Institute of Mathematical Sciences and Applications(北京雁栖湖应用数学研究院)
本文提出混合量子-经典机器学习框架,通过训练最优局域测量生成关联数据,实现与基于矩方法相当的未知量子纠缠量化性能,表明近期量子设备上可行。
2022-04-25 cs.LG quant-ph
Quantifying Inherent Randomness in Machine Learning Algorithms
Wells Fargo(富国银行)
大多数机器学习(ML)算法都有几个随机元素,它们的性能受到这些随机性来源的影响。本文使用实证研究系统地研究了两个来源的影响:模型训练中的随机性和将数据集划分为训练和测试子集的随机性。我们量化并比较了以下ML算法的预测性能变化幅度:随机森林(RF),梯度提升机(GBM)和前馈神经网络(FFNN)。在不同的算法中,与基于树的方法相比,模型训练中的随机性导致FFNN的变化更大。这是可以预期的,因为FFNN具有更多的随机元素,这些元素是其模型初始化和训练的一部分。我们还发现,与模型训练的固有随机性相比,数据集的随机分裂会导致更高的变化。如果原始数据集具有相当大的异质性,则数据分割的变化可能是一个主要问题。关键词:模型训练,复制,变异
2022-06-24 cs.LG stat.ML
Quantifying and Explaining Machine Learning Uncertainty in Predictive Process Monitoring: An Operations Research Perspective
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Saarland University(萨尔兰大学)
本文从运筹学视角提出多阶段机器学习方法,结合分位数回归森林与SHAP解释预测性流程监控中的不确定性,并通过真实生产计划案例验证其决策优化价值。
2023-04-13 cs.AI cs.LG math.OC
Quantifying Correlations of Machine Learning Models
Munich RE(慕尼黑再保险公司);Hartford Steam Boiler(哈特福德蒸汽锅炉公司)
本文通过真实数据模拟三种场景,量化多个机器学习模型错误间的相关性,发现共享算法、数据集或基础模型会显著放大聚合风险,并呼吁制定有效缓解策略。
2025-02-06 cs.LG cs.NA math.NA
Quantifying machine learning-induced overdiagnosis in sepsis
The University of Melbourne(墨尔本大学)
早期诊断技术的普及,包括自我监测系统和可穿戴设备,加上这些技术在大部分健康人群中的应用,可能会大大加剧过度诊断的问题。这可能导致不必要的后果,如超负荷的医疗保健系统和过度治疗,对健康的个人有潜在的危害。机器学习工具的出现有助于诊断-同时有望快速和更个性化的患者管理和筛查-可能有助于解决这个问题。过度诊断的识别通常是事后的,并在长时间(从几年到几十年)和昂贵的随机对照试验后得到证实。在本文中,我们提出了一种创新的方法,使我们能够在预测模型开发过程中先发制人地检测潜在的过度诊断病例。该方法基于从预测模型和聚类医疗轨迹获得的标签的组合,使用成人败血症作为测试案例。这是量化机器学习引起的过度诊断的第一次尝试之一,我们相信这将成为进一步发展的平台,为安全部署计算诊断工具提供指导。
2021-07-03 cs.LG
ML Privacy Meter: Aiding Regulatory Compliance by Quantifying the Privacy Risks of Machine Learning
National University of Singapore(新加坡国立大学)
当使用敏感数据构建机器学习模型时,组织应确保在此类系统中处理的数据得到充分保护。对于涉及个人数据机器学习的项目,GDPR第35条要求其执行数据保护影响评估(DPIA)。除了通过安全漏洞非法访问数据的威胁外,机器学习模型还通过模型预测和参数间接揭示数据,从而对数据构成额外的隐私风险。信息专员办公室(英国)和国家标准与技术研究所(美国)发布的指南强调了模型数据面临的威胁,并建议组织考虑和估计这些风险,以遵守数据保护法规。因此,迫切需要一种可以量化模型数据隐私风险的工具。在本文中,我们专注于这种间接泄漏的训练数据从机器学习模型。我们提出了ML Privacy Meter,这是一个可以通过最先进的成员推断攻击技术量化模型数据隐私风险的工具。我们讨论了该工具如何帮助从业者在部署机器学习模型时遵守数据保护法规。
2020-07-18 cs.CR cs.LG
Quantifying Uncertainty for Machine Learning Based Diagnostic
SLAC National Accelerator Laboratory(SLAC国家加速器实验室);University of Oxford(牛津大学)
虚拟诊断(VD)是一种深度学习工具,可用于预测诊断输出。VD在测量输出是侵入性的、有限的、昂贵的或有损坏输出的风险的系统中特别有用。给定一个预测,有必要传达该预测的可靠性。这被称为预测的“不确定性量化”。在本文中,我们使用集成方法和分位数回归神经网络,探索不同的方法来创建和分析预测的不确定性的实验数据从直线加速器相干光源在SLAC。我们的目标是准确和自信地预测电流分布或纵向相空间图像的电子束。在不确定性下做出明智决策的能力对于在安全关键系统(如粒子加速器)上可靠部署深度学习工具至关重要。
2021-07-29 cs.LG physics.acc-ph
Quantifying Distribution Shifts and Uncertainties for Enhanced Model Robustness in Machine Learning Applications
Norwegian University of Science and Technology(挪威科技大学)
本文利用范德瓦尔斯方程生成合成数据,并通过 KL 散度、Jensen-Shannon 距离和 Mahalanobis 距离等统计度量量化分布偏移与不确定性,提出以插值/外推区域判断作为增强模型鲁棒性和泛化能力的互补方法。
2024-05-03 cs.LG stat.ML
Static Malware Detection & Subterfuge: Quantifying the Robustness of Machine Learning and Current Anti-Virus
Laboratory for Physical Sciences(物理科学实验室);Booz Allen Hamilton(博思艾伦咨询公司);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);U.S. Army(美国陆军)
随着基于机器学习(ML)的恶意软件检测系统变得越来越普遍,有必要量化与当今广泛使用的更传统的反病毒(AV)系统相比的优势。建立一个商定的测试集来对纯分类性能的恶意软件检测系统进行基准测试是不切实际的。相反,我们通过创建一种新的测试方法来解决这个问题,在这种方法中,我们评估了一组已知的良性和恶意文件在执行对抗性修改时的性能变化。性能的变化与规避技术相结合,然后量化系统对该方法的鲁棒性。通过这些实验,我们能够以可量化的方式展示纯粹基于ML的系统在检测试图通过修改逃避的恶意软件方面如何比AV产品更强大,但在面对新的攻击时可能会更慢。
2018-06-12 cs.CR cs.LG stat.ML
Machine Learning Enhances Algorithms for Quantifying Non-Equilibrium Dynamics in Correlation Spectroscopy Experiments to Reach Frame-Rate-Limited Time Resolution
Brookhaven National Laboratory(布鲁克海文国家实验室)
分析非平衡态动力学的X射线光子相关谱(XPCS)数据通常需要对强度-强度相关函数的年龄区域进行手动分箱。这导致时间分辨率的损失和量化动态的参数的系统误差的累积,特别是在具有相当大的噪声的情况下。此外,具有高数据收集率的实验产生了对自动化在线分析的需求,其中手动分箱是不可能的。在这里,我们将去噪自动编码器模型集成到非平衡两次强度相关函数的分析算法中。该模型可以应用于任意大小的输入。降噪允许提取表征样本动态的参数,其时间分辨率仅受帧速率限制。它不仅提高了数据的定量使用,而且还为分析工作流程的自动化创造了潜力。各种方法的不确定性量化和扩展的异常检测模型进行了讨论。
2022-01-17 cond-mat.mtrl-sci cs.LG eess.SP
Quantifying the Plausibility of Context Reliance in Neural Machine Translation
Center for Language and Cognition (CLCG), University of Groningen(格罗宁根大学语言与认知中心(CLCG));Dept. of Cognitive Science and Artificial Intelligence (CSAI), Tilburg University(蒂尔堡大学认知科学与人工智能系(CSAI))
本文提出PECoRe框架,利用模型内部机制对比识别上下文敏感词元并关联线索,量化机器翻译中上下文使用的合理性,并与人工标注比较。
2024-03-13 cs.AI cs.CL cs.HC
Towards Sustainable SecureML: Quantifying Carbon Footprint of Adversarial Machine Learning
School of Computing, Southern Illinois University(南伊利诺伊大学计算机学院);Secure and Trustworthy Intelligent Systems (SHIELD) Lab(安全与可信智能系统实验室)
本文首次研究对抗机器学习的碳足迹,提出鲁棒性碳权衡指数(RCTI)以量化模型鲁棒性与碳排放之间的权衡关系,并通过逃避攻击实验验证其有效性。
2024-03-27 cs.CR cs.LG
Model Monitoring and Robustness of In-Use Machine Learning Models: Quantifying Data Distribution Shifts Using Population Stability Index
Ford Motor Company(福特汽车公司)
安全第一。满足和维护人工智能(AI)和机器学习(ML)模型稳健性的行业安全标准需要持续监控故障和性能下降。深度学习模型广泛用于工业应用,例如,计算机视觉,但是它们的性能对环境变化的敏感性(例如,噪声)产品上的\emph{after deployment},现在是众所周知的。一个主要的挑战是检测发生的数据分布偏移,比较以下内容:AI和ML模型的{ \bf(i)}开发阶段,即,训练/确认/测试,至产品的{ \bf(ii)}部署阶段(即,即使在环境中“测试”之后。我们专注于与自动驾驶相关的计算机视觉示例,旨在检测由于向图像添加噪声而发生的偏移。我们使用的人口稳定性指数(PSI)作为衡量的存在和强度的转变,我们的实证实验结果显示了一个很有前途的潜力PSI。我们进一步讨论了模型监控和鲁棒性的多个方面,需要分析\emph{simultaneously},以实现行业安全标准的鲁棒性。我们提出的需要和研究方向对\emph{categorizations}的问题类和例子,需要监测的鲁棒性,并提出挑战和未来的工作指针从\emph{practical}的角度来看。
2023-02-01 cs.LG
ML-EcoLyzer: Quantifying the Environmental Cost of Machine Learning Inference Across Frameworks and Hardware
本文提出ML-EcoLyzer工具,用于量化不同框架和硬件下机器学习推断的环境成本,通过评估碳排放、能耗、热耗和水耗,揭示量化对环境可持续性的影响。
2025-11-10 cs.AI cs.CV cs.HC
Applications of Machine Learning Methods to Quantifying Phenotypic Traits that Distinguish the Wild Type from the Mutant Arabidopsis Thaliana Seedlings during Root Gravitropism
后基因组研究涉及在筛选生物体基因组的特定功能或成为基因工程的目标以获得所需生物特征的潜力方面的挑战性问题。野生型和突变体的“表型分析”是许多个体耗时且昂贵的努力。本文是一个初步的进展报告,在研究影响植物生长和发育的植物基因-蛋白质网络所需的表型步骤(成像,信息学和数据分析)的大规模自动化研究。我们的研究结果破坏了植物根系对环境条件突然变化的动态响应模式中隐含的表型性状的意义,例如根尖对重力矢量的突然重新定向。除了常见的形态学特征之外,还包括动态特征,这在设计鲁棒且准确的机器学习方法以自动化典型的表型分型场景(即,区分野生型与突变体)方面得到了回报。
2010-08-31 cs.CE cs.LG q-bio.GN
Morphology Decoder: A Machine Learning Guided 3D Vision Quantifying Heterogenous Rock Permeability for Planetary Surveillance and Robotic Functions
渗透率对天然流体的流动特性具有主要影响。晶格玻尔兹曼模拟器从纳米和纳米网络确定渗透率。该模拟器拥有数百万的流体动力学计算,其累积的误差和高消耗的计算能力。为了有效地和一致地预测渗透率,我们提出了一个形态解码器,并行和串行流重建的机器学习分割的非均质白垩纪纹理从三维微计算机断层扫描和核磁共振图像。对于3D视觉,我们引入可测量体积作为新的监督分割,其中一组唯一的体素强度对应于晶粒和孔喉尺寸。形态解码器以一种新颖的方式区分和聚集形态边界以产生渗透性。形态学解码方法包括五个新的过程,这些新的过程是:(1)几何3D渗透性,(2)机器学习引导的岩石形态3D属性识别,(3)渗透性的3D图像属性集成模型,(4)MRI渗透性成像器,(5)形态学解码器(集成其他四个新过程的过程)。
2022-01-05 cs.CV cs.LG eess.IV
Quantifying the Complexity of Standard Benchmarking Datasets for Long-Term Human Trajectory Prediction
Fraunhofer IOSB, Ettlingen, Fraunhofer Institute of Optronics, System Technologies and Image Exploitation(弗劳恩霍夫光电、系统技术与图像评估研究所)
量化轨迹数据集复杂性的方法仍然是基准人类轨迹预测模型中缺失的一部分。为了更好地理解轨迹预测任务的复杂性并遵循直觉,即更复杂的数据集包含更多的信息,提出了一种用于从基于原型的数据集表示量化数据集中包含的信息量的方法。通过首先采用非平凡的空间序列对齐来获得数据集表示,这使得随后的学习矢量量化(LVQ)阶段成为可能。对几个人体轨迹预测基准测试数据集进行了大规模的复杂性分析,然后简要讨论了人体轨迹预测和基准测试的指示。
2021-05-20 cs.CV cs.LG
Quantifying the Prediction Uncertainty of Machine Learning Models for Individual Data
TEL AVIV UNIVERSITY(特拉维夫大学);The Iby and Aladar Fleischman Faculty of Engineering(伊比和阿拉达尔·弗莱施曼工程学院)
针对经验风险最小化依赖训练测试分布相似假设的局限,研究探究预测归一化最大似然方法的可学习性,证明其能提升模型性能鲁棒性,且在多项任务上取得最优置信度度量效果。
2024-12-10 cs.IT cs.LG math.IT
Quantifying Interpretability and Trust in Machine Learning Systems
Amazon Research(亚马逊研究院)
机器学习(ML)模型的决策已经变得无处不在。信任这些决定需要理解算法如何处理它们。因此,ML的可解释性方法是一个活跃的研究焦点。在这种情况下,一个核心问题是,可解释性方法的质量以及对ML预测的信任都很难衡量。然而,评价、比较和提高信任和可解释性需要量化的措施。在这里,我们提出了一个定量的衡量质量的可解释性方法。在此基础上,我们推导出ML决策中信任的定量度量。基于以前的工作,我们建议使用人类复制ML模型预测的信息传送率来衡量对算法决策的直观理解。我们从众包实验中提供了经验证据,表明所提出的度量标准可以有力地区分可解释性方法。所提出的指标还证明了可解释性对于机器学习辅助人类决策的价值:在我们的实验中,提供解释的注释任务的生产率提高了一倍以上。然而,公正的人类判断对医生、法官、决策者和其他人来说至关重要。在这里,我们导出了一个信任度量,用于识别人类决策何时过度偏向ML预测。我们的研究结果补充了现有的定性工作的信任和可解释性的量化措施,可以作为目标,进一步改善在这一领域的研究方法。
2019-01-20 cs.LG stat.ML
Quantifying and Predicting Residential Building Flexibility Using Machine Learning Methods
Colorado School of Mines(科罗拉多矿业学院)
针对住宅建筑灵活性量化与预测不足的问题,本文提出功率和能量灵活性指标,并比较多种机器学习模型,发现LSTM在24小时功率灵活性预测中表现最佳。
2024-03-04 cs.LG cs.SY eess.SY
Quantifying Itch and its Impact on Sleep Using Machine Learning and Radio Signals
Massachusetts Institute of Technology(麻省理工学院);University of Pennsylvania(宾夕法尼亚大学);Emerald Innovations Inc.(翡翠创新公司);Washington University School of Medicine(华盛顿大学医学院);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
本文提出结合AI与家用无线电信号的非接触式方法,在一个月临床研究中准确识别抓挠并量化其与睡眠效率下降和入睡潜伏期延长的显著关联。
2025-01-09 cs.AI cs.CY cs.LG
From Displacements to Distributions: A Machine-Learning Enabled Framework for Quantifying Uncertainties in Parameters of Computational Models
University of Colorado Denver(科罗拉多大学丹佛分校);Aalto University(阿尔托大学)
本研究结合数据一致性框架与学习不确定性量化量框架,通过新增鲁棒滤波、时序迭代逆求解等模块,实现工程系统建模中两类不确定性的量化,并通过理论分析与制造场景示例验证了方法的有效性。
2024-03-04 cs.LG stat.ML
Quantifying Model Complexity via Functional Decomposition for Better Post-Hoc Interpretability
LMU Munich(慕尼黑大学)
可以采用诸如部分依赖图的事后模型不可知解释方法来解释复杂的机器学习模型。尽管这些解释方法可以应用于模型的复杂性,但如果模型太复杂,特别是w.r.t.,它们可能会产生误导和冗长的结果。功能交互。为了量化任意机器学习模型的复杂性,我们提出了基于功能分解的模型不可知复杂性度量:使用的特征数量,交互强度和主效应复杂性。我们表明,事后解释的模型,最大限度地减少了三个措施是更可靠和紧凑。此外,我们展示了这些措施的应用程序中的多目标优化方法,同时最大限度地减少损失和复杂性。
2019-09-23 cs.LG stat.ML
Quantifying Transparency of Machine Learning Systems through Analysis of Contributions
Crime and Security Research Institute, Cardiff University(卡迪夫大学犯罪与安全研究所);IBM TJ Watson Research Center(IBM托马斯·J·沃森研究中心)
越来越多的机器学习(ML)模型被采用和部署到商业、医疗保健和其他组织流程中,将导致开发模型的工程师和研究人员与模型的用户和其他利益相关者(如监管机构或审计人员)之间的脱节。这种脱节是不可避免的,因为模型开始被使用多年,或者通过用户社区或商业市场在第三方之间共享,用户将越来越难以持续洞察创建模型的各方的适用性,或者用于训练模型的数据。这可能会成为问题,特别是在条例发生变化,曾经可以接受的标准变得过时,或者数据来源不可信,可能被认为是有意或无意地有偏见或损坏的情况下。在本文中,我们提出了一种方法,用于获得一个可量化的指标,该指标能够对用于生成ML模型和其他数据资产的流程管道的透明度进行排名,以便用户,审计员和其他利益相关者可以获得信心,他们将能够验证和信任他们依赖于其业务运营的系统中的数据源和人类贡献者。计算透明度指标的方法,以及可用于判断系统贡献可见度的标准类型,通过一个示例场景进行解释和说明。
2019-07-08 cs.LG cs.SE
One Size Does Not Fit All: Quantifying and Exposing the Accuracy-Latency Trade-off in Machine Learning Cloud Service APIs via Tolerance Tiers
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Harvard University(哈佛大学);IBM Research(IBM研究院)
当今的云服务架构遵循“一刀切”的部署策略,其中向最终用户提供相同的服务版本实例化。然而,消费者是广泛的,不同的应用程序有不同的准确性和响应能力的要求,这正如我们所证明的,使“一刀切”的方法在实践中效率低下。我们使用一个生产级的语音识别引擎,它为数千名用户提供服务,以及一个基于开源计算机视觉的系统,来解释我们的观点。为了克服“一刀切”方法的局限性,我们建议使用Tolerance Tiers,其中每个MLaaS层都公开一个准确性/响应特性,消费者可以通过编程方式选择一个层。我们评估了我们关于基于CPU的自动语音识别(ASR)引擎和部署在CPU和GPU上的用于图像分类的尖端神经网络的提案。结果表明,我们提出的方法提供了一个MLaaS云服务架构,可以由最终API用户或消费者调整,以优于传统的“一刀切”的方法。
2019-06-26 cs.CV cs.LG cs.PF
Quantifying the Occult: A Comparative Study of Hindu and Buddhist Deities Using Machine Learning Methods
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
本研究提出双矩阵计算架构,量化196位印度教与佛教密宗神祇的形态与神学差异,验证“图像伪装”并建模“Atin效应”,揭示跨传统密宗对应关系。
2026-09-24 cs.CY cs.LG
Modelling and Quantifying Membership Information Leakage in Machine Learning
University of Melbourne(墨尔本大学);Macquarie University(麦考瑞大学)
机器学习模型已被证明易受成员推断攻击的攻击,即,推断个人数据是否被用于训练模型。缺乏对这些攻击成功的因素的理解激发了使用信息理论对成员信息泄漏进行建模以及调查可以减少成员信息泄漏的机器学习模型和训练算法的属性的需要。我们使用条件互信息泄漏来测量训练机器学习模型中关于训练数据集中个体存在的信息泄漏量。我们设计了一个上限,这种措施的信息泄漏使用Kullback-Leibler分歧,更适合于数值计算。我们证明了Kullback-Leibler成员信息泄漏和假设测试对手检查特定数据记录是否属于机器学习模型的训练数据集的成功概率之间的直接关系。我们证明了互信息泄漏是训练数据集大小和正则化权重的递减函数。我们还证明,如果机器学习模型(定义在相对于模型参数的适应度的导数方面)的灵敏度高,则可能泄漏更多的成员信息。这表明,与具有较少自由度的简单模型相比,复杂模型(如深度神经网络)更容易受到成员推断攻击的影响。我们发现,当使用高斯$(ε,δ)$-差分私有加性噪声时,通过$\mathcal{O}(\log^{1/2}(δ^{-1})ε^{-1})$减少了成员信息泄漏量。
2020-04-28 cs.CR cs.IT cs.LG
Blind-Spot Mass: A Good-Turing Framework for Quantifying Deployment Coverage Risk in Machine Learning Systems
University of Maryland, Baltimore County (UMBC)(马里兰大学巴尔的摩县分校);Massachusetts Institute of Technology(麻省理工学院);Ambient Scientific Inc(Ambient Scientific公司)
本文提出盲区质量框架,用于量化机器学习系统部署覆盖风险,通过Good-Turing方法估计概率质量,识别关键风险区域,为工业实践提供数据收集和约束优化指导。
2026-04-06 cs.LG stat.ML
Quantifying the Online Long-Term Interest in Research
越来越多的研究文章在多个在线平台上共享。虽然这些文章的学术影响已经被广泛研究,但由研究文章在网上分享的时间长短决定的在线兴趣仍然不清楚。了解一篇研究文章在网上被提及的时间对研究人员来说可能是有价值的信息。在本文中,我们分析了用户分享和/或讨论学术文章的多个社交媒体平台。我们根据1920年至2016年出版日期的年度在线提及次数为论文建立了三个集群。使用这三个集群中每个集群的在线社交媒体指标,我们构建了机器学习模型来预测研究文章的长期在线兴趣。我们用两种不同的方法解决了预测任务:回归和分类。对于回归方法,多层感知器模型表现最好,对于分类方法,基于树的模型表现优于其他模型。我们发现,旧文章在经济学和工业背景下最明显(即,专利)。相比之下,最近发表的文章在研究平台上最为明显(即,Mendeley)其次是社交媒体平台(即,Twitter)。
2022-09-13 cs.AI cs.DL cs.IR
A Statistical and Machine Learning Framework for Quantifying Offensive Impact in Professional Box Lacrosse
本研究利用1,006次投篮数据,通过逻辑回归、随机森林等模型评估xG框架,发现上下文基线随机森林最优,并探索了xPV作为探索性指标,为职业长曲棍球进攻影响力提供初步案例研究。
2026-09-09 cs.LG
Comparing Explanation Methods for Traditional Machine Learning Models Part 1: An Overview of Current Methods and Quantifying Their Disagreement
Cooperative Institute for Severe and High-Impact Weather Research and Operations, University of Oklahoma(俄克拉荷马大学强天气与高影响天气合作研究所);NOAA/OAR/National Severe Storms Laboratory(美国国家海洋和大气管理局/海洋与大气研究办公室/国家强风暴实验室);School of Meteorology, University of Oklahoma(俄克拉荷马大学气象学院);School of Computer Science, University of Oklahoma(俄克拉荷马大学计算机学院);Verisk Analytics Incorporated(Verisk分析公司)
随着人们对解释机器学习(ML)模型的兴趣越来越大,这两部分研究的第一部分综合了最近关于解释ML模型全局和局部方面的方法的研究。本研究区分可解释性与可解释性,局部与全局可解释性,以及特征重要性与特征相关性。我们演示和可视化不同的解释方法,如何解释它们,并提供一个完整的Python包(scikit-explain),以允许未来的研究人员探索这些产品。我们还强调了功能排名和功能效应的解释方法之间经常出现的分歧,并为处理这些分歧提供了实用的建议。我们使用ML模型开发的恶劣天气预测和冰点以下路面温度预测,概括不同的解释方法的行为。对于特征排名,在顶部特征的集合上存在实质上更多的一致性(例如,平均而言,两种方法在前10个特征中的6个上一致)比在具体排名上一致(平均而言,两种方法仅在前10个特征的集合中的2-3个特征的排名上一致)。另一方面,只要相空间采样良好,不同方法得到的两条特征效应曲线具有很高的一致性。最后,一个鲜为人知的方法,树解释器,被发现与SHAP的功能效果,并广泛使用的随机森林在地球科学和计算方便的树解释器,我们建议在未来的研究中进行探索。
2022-11-16 cs.AI cs.LG physics.ao-ph
Comparing Explanation Methods for Traditional Machine Learning Models Part 2: Quantifying Model Explainability Faithfulness and Improvements with Dimensionality Reduction
Cooperative Institute for Severe and High-Impact Weather Research and Operations, University of Oklahoma(俄克拉荷马大学强天气与高影响天气合作研究所);University of Oklahoma(俄克拉荷马大学);NOAA/OAR/National Severe Storms Laboratory(美国国家海洋和大气管理局/海洋与大气研究办公室/国家强风暴实验室);Verisk Analytics Incorporated(Verisk分析公司);NSF AI Institute for Research on Trustworthy AI in Weather, Climate, and Coastal Oceanography(美国国家科学基金会天气、气候与沿海海洋学可信人工智能研究人工智能研究所)
机器学习(ML)模型在大气科学界越来越常见,具有广泛的应用。为了使用户能够理解ML模型已经学到了什么,ML可解释性已经成为一个活跃的研究领域。在这个两部分研究的第一部分中,我们描述了几种可解释性方法,并证明了不同方法的特征排名可能彼此不一致。然而,目前还不清楚这种分歧是否由于某些方法在分配重要性方面不那么忠实而被夸大了。在本文中,“忠实性”或“保真度”是指所分配的特征重要性与特征对模型性能的贡献之间的对应关系。在本研究中,我们使用多种方法来评估特征排序方法的可信度。考虑到解释方法对特征相关性的敏感性,我们还量化了相关特征受限后可解释性忠诚度的提高程度。在降维之前,特征相关性方法[例如,SHAP、LIME、ALE方差和逻辑回归(LR)系数]通常比排列重要性方法更忠实,这是由于相关特征的负面影响。当相关特征减少后,传统的排列重要性方法成为最可靠的方法。此外,排名不确定性(即,通过不同的排序方法分配给特征的排序的扩展)被减小了2-10倍,并且排除较不忠实的特征排序方法进一步减小了它。这项研究是第一个量化的改善,可解释性从限制相关的功能和了解不同的可解释性方法的相对保真度。
2022-11-18 cs.AI cs.LG physics.ao-ph
On the use of adversarial validation for quantifying dissimilarity in geospatial machine learning prediction
Faculty of Geo-Information Science and Earth Observation (ITC), University of Twente(特温特大学地球观测与地理信息学院(ITC))
本文提出基于对抗验证的DAV方法,用于在0-100%区间内量化地理空间机器学习中样本与预测位置的特征空间不相似性,并通过实验揭示不同CV方法在不同不相似性水平下的评估准确性变化规律。
2025-02-08 cs.LG
Condition Monitoring with Machine Learning: A Data-Driven Framework for Quantifying Wind Turbine Energy Loss
Institute of Computer Science(计算机科学研究所);Aalborg University(奥尔堡大学)
本研究提出一种基于SCADA数据的风电机组状态监测机器学习框架,通过预处理分离正常运行数据以估算年能量损失,可有效检测性能退化,助力降低维护成本与停机经济影响。
2025-06-16 cs.LG cs.SY eess.SY
Quantifying Learning Guarantees for Convex but Inconsistent Surrogates
NRU HSE(高等经济大学);MILA(米拉魁北克人工智能研究所);DIRO(蒙特利尔大学);Skoltech(斯科尔科沃科技学院)
研究了基于最小化凸代理的机器学习方法的一致性性质。我们扩展了Osokin et al.(2017)最近的框架,用于对不一致代理的情况下的一致性属性进行定量分析。我们的关键技术贡献在于一个新的下限的校准函数的二次代理,这是不平凡的(不总是零)不一致的情况下。新的界限允许量化设置的不一致性水平,并显示如何使用不一致的代理学习可以保证样本的复杂性和优化难度。我们将我们的理论应用于两个具体案例:具有树结构损失的多类分类和具有平均精度损失的排名。结果表明,近似计算的权衡所造成的不一致的代理人和他们的潜在利益。
2019-01-09 cs.AI cs.LG stat.ML
Quantifying disparities in intimate partner violence: a machine learning method to correct for underreporting
MIT(麻省理工学院);Johns Hopkins University School of Medicine(约翰斯·霍普金斯大学医学院);Cornell Tech(康奈尔科技校区);Weill Cornell Medical College(威尔康奈尔医学院)
本文基于正例-未标注学习提出漏报疾病相对患病率估计方法,仅依赖协变量偏移假设,并在合成与真实数据上验证其准确性和稳健性。
2023-12-08 cs.CY cs.LG
Quantifying Long Range Dependence in Language and User Behavior to improve RNNs
Google Research(谷歌研究院)
描述时序依赖模式是理解时序数据统计特性的关键步骤。长程相关性(LRD)-指长程相关性以幂律衰减,而不是以指数形式衰减。距离-需要一套不同的工具来对序列数据的潜在动态进行建模。虽然它已被广泛承认,LRD存在于语言建模和顺序推荐,在相应的顺序数据集中的LRD的量还没有量化的可扩展的和模型独立的方式。我们提出了一个原则性的估计程序的LRD在序列数据集的基础上建立LRD理论的实值时间序列,并将其应用到序列的符号与百万项目规模的字典。在我们的测量中,该程序可靠地估计了用户在撰写维基百科文章和与YouTube互动时的行为中的LRD。我们进一步表明,测量LRD更好地通知建模决策,特别是对于RNN,其捕获LRD的能力仍然是一个活跃的研究领域。定量测量为新的进化循环神经网络(EvolutiveRNN)设计提供了信息,从而以一小部分计算成本在语言理解和顺序推荐任务上获得了最先进的结果。
2019-05-23 cs.LG stat.ML
Quantifying Relevance in Learning and Inference
The Abdus Salam International Centre for Theoretical Physics(阿卜杜勒·萨拉姆国际理论物理中心);Kavli Institute for Systems Neuroscience and Centre for Neural Computation(卡弗里系统神经科学研究所与神经计算中心);Norwegian University of Science and Technology(挪威科技大学)
学习是智能行为的一个显著特征。高通量实验数据和大数据有望为细胞、大脑或我们的社会等复杂系统打开新的窗口。然而,人工智能和机器学习令人困惑的成功表明,我们对学习的概念理解仍然很差。这些应用将统计推断推向了未知的领域,在这些领域中,数据是高维和稀缺的,并且关于“真实”模型的先验信息即使不是完全缺失也是稀缺的。在这里,我们回顾了最近的进展,理解学习的基础上,“相关性”的概念。正如我们在这里定义的那样,相关性量化了数据集或学习机的内部表示在数据的生成模型上包含的信息量。这使得我们一方面可以定义最大信息量的样本,另一方面可以定义最优的学习机器。这些是样本和机器的理想极限,在给定的分辨率(或压缩水平)下,包含关于未知生成过程的最大信息量。这两个理想的限制都表现出统计意义上的关键特征:最大信息样本的特征是幂律频率分布(统计临界性)和最佳学习机器的极大的敏感性。分辨率(即压缩)和相关性之间的折衷将噪声表示的机制与有损压缩的机制区分开。这些是分开的一个特殊点,其特征在于齐普夫定律统计。这将遵守齐普夫定律的样本识别为最压缩的无损表示,其在最大相关性的意义上是最优的。最佳学习机器的临界性表现为能级的指数简并,这导致了不寻常的热力学性质。
2022-02-01 cond-mat.dis-nn cs.LG physics.data-an
Quantifying Gate Contribution in Quantum Feature Maps for Scalable Circuit Optimization
Data Science and Big Data Lab, Pablo de Olavide University(数据科学与大数据实验室,波尔塔兰大学);Department of Computer Science, University of Seville(计算机科学系,塞维利亚大学)
本文提出GATE方法,通过门重要性指数优化量子特征映射,减少噪声和退相干影响,提升模型效率与准确性。
2026-03-20 cs.LG
Fostering Trust and Quantifying Value of AI and ML
Workday(工作day公司)
本文针对AI与ML信任缺乏量化标准的问题,分析了提供商与用户间的信任动态,提出了一套计算信任分数的框架和指标,用于客观衡量ML系统的可信度及长期行为,助力提升产品价值。
2024-07-08 cs.CY cs.LG
A non-intrusive machine learning framework for debiasing long-time coarse resolution climate simulations and quantifying rare events statistics
Massachusetts Institute of Technology(麻省理工学院);Pacific Northwest National Laboratory(太平洋西北国家实验室)
提出非侵入式神经网络校正框架,结合向参考数据逼近的粗模拟训练,以校正混沌气候动力学并量化超出训练期重现期的极端事件。
2024-02-28 cs.LG physics.ao-ph
What Should LLMs Forget? Quantifying Personal Data in LLMs for Right-to-Be-Forgotten Requests
TU Berlin(柏林技术大学)
本文提出WikiMem数据集和模型无关指标,通过校准负对数似然量化LLMs中个体事实关联,为被遗忘权请求动态构建遗忘集奠定基础。
2025-07-15 cs.CL cs.CY cs.LG
Quantifying Human Bias and Knowledge to guide ML models during Training
Purdue University(普渡大学)
本文讨论了一种基于众包的方法,我们设计来量化数据集的不同属性在确定分类问题的结果中的重要性。这种由人类提供的启发式算法充当机器学习模型的初始权重种子,并在梯度下降过程中引导模型达到更好的最优。通常在处理数据时,处理倾斜的数据集并不罕见,这些数据集过度表示某些类的项目,而未充分表示其余的项目。倾斜数据集可能会导致模型出现不可预见的问题,例如学习有偏函数或过拟合。监督学习中的传统数据增强技术包括过采样和使用合成数据进行训练。我们引入了一种实验方法来处理这种不平衡的数据集,包括人类在训练过程中。我们要求人类对数据集特征的重要性进行排名,并通过排名聚合来确定模型的初始权重偏差。我们证明了集体人类偏见可以让ML模型学习关于真实人群的见解,而不是有偏见的样本。在本文中,我们使用两个等级聚合方法Kemeny Young和马尔可夫链聚合器来量化人类对特征重要性的看法。这项工作主要在两个ML模型上测试人类知识对二进制分类(流行与不流行)问题的有效性:深度神经网络和支持向量机。这种方法将人类视为弱学习者,并依赖于聚合来抵消个体偏见和领域不熟悉。
2022-11-19 cs.HC cs.LG
Quantifying Confounding Bias in Neuroimaging Datasets with Causal Inference
LMU München(慕尼黑大学)
神经成像数据集的规模不断增长,以解决日益复杂的医学问题。然而,即使是今天最大的数据集也太小,无法训练复杂的机器学习模型。一个潜在的解决方案是通过合并来自多个数据集的扫描来增加样本量。在这项工作中,我们结合了来自15项研究的12,207次MRI扫描,并表明由于在训练数据中引入了各种类型的偏差,简单的合并通常是不明智的。首先,我们系统地定义这些偏见。其次,我们通过实验证明扫描可以正确地分配到各自的数据集,准确率为73.3%,从而检测偏差。最后,我们建议通过使用因果推理在单个数据集中量化混淆和因果关系的程度来区分因果和混淆因素。我们通过找到最简单的图模型在柯尔莫哥洛夫复杂度方面实现这一点。由于Kolmogorov复杂性不能直接计算,我们采用最小描述长度来近似它。我们的经验表明,我们的方法是能够估计合理的因果关系,从真正的神经影像数据。
2019-07-09 cs.CV cs.LG eess.IV
Quantifying intra-tumoral genetic heterogeneity of glioblastoma toward precision medicine using MRI and a data-inclusive machine learning algorithm
Georgia Institute of Technology(佐治亚理工学院);Columbia University Medical Center(哥伦比亚大学医学中心);Mayo Clinic Arizona(妙佑医疗国际亚利桑那分院);Barrow Neurological Institute - St. Joseph’s Hospital and Medical Center(巴罗神经学研究所 - 圣约瑟夫医院和医疗中心);University of Naples “Federico II”(那不勒斯“费德里科二世”大学)
该研究提出弱监督序数支持向量机(WSO-SVM),利用MRI非侵入性预测胶质母细胞瘤患者肿瘤内区域基因改变,为个体化精准医疗提供可视化依据。
2023-12-30 cs.CV cs.LG math.OC