A Statistical Approach to Estimating Sample Size of Machine Learning Models
Deakin Applied Artificial Intelligence Initiative, Deakin University(迪肯大学应用人工智能计划)
针对机器学习模型样本量确定困难的问题,提出用局部线性表示近似非线性模型并评估局部统计功效来估计样本量的框架。
2026-09-10 cs.AI cs.LG
Finding the Optimal Vocabulary Size for Neural Machine Translation
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
我们将神经机器翻译(NMT)作为自回归环境中的分类任务,并分析了分类和自回归组件的局限性。众所周知,分类器在训练期间具有平衡的类分布时表现更好。由于语言的Zipfian性质导致不平衡的类,我们探讨它对NMT的影响。我们分析了不同词汇量对NMT性能的影响,并揭示了为什么某些词汇量比其他词汇量更好的解释。
2020-10-05 cs.CL cs.LG stat.ML
Estimation of Electronic Band Gap Energy From Material Properties Using Machine Learning
National Institute of Science Education and Research(印度国家科学教育与研究所);School of Physical Sciences(物理科学学院);School of Computer Sciences(计算机科学学院)
本研究提出无需DFT预计算与材料结构信息的机器学习模型,通过数据集聚类提升回归与分类性能,并构建兼顾两类任务的新评估方案,可基于实验可测性质快速估算材料带隙能,优于传统DFT方法。
2024-03-08 cond-mat.mtrl-sci cs.LG
Bridging the Perceptual-Statistical Gap in Dysarthria Assessment: Why Machine Learning Still Falls Short
Samsung Research \& Development Institute Bengaluru, India\ .
本文剖析构音障碍自动评估中机器学习与人类专家性能差距的根源,提出“感知-统计差距”概念,并给出特征、预训练、多模态等策略及临床导向的评估方案。
2025-10-25 cs.LG eess.AS
Machine learning fairness notions: Bridging the gap with real-world applications
Université du Québec à Montréal(魁北克大学蒙特利尔分校);Higher Colleges of Technology(高等技术学院);Inria(法国国家信息与自动化研究所);Ecole Polytechnique(巴黎综合理工学院);IPP(巴黎理工学院)
公平性是保证机器学习(ML)预测系统不歧视特定个人或整个亚群体(特别是少数群体)的重要要求。鉴于看待公平概念固有的主观性,文献中引入了几个公平概念。本文是一份调查,通过大量的例子和场景来说明公平概念之间的微妙之处。此外,与文献中的其他调查不同,它解决了这样一个问题:哪种公平概念最适合给定的现实世界场景,为什么?我们试图回答这个问题包括:(1)识别现实世界场景中与公平相关的特征集,(2)分析每个公平概念的行为,然后(3)拟合这两个元素,以在每个特定设置中推荐最合适的公平概念。结果总结在一个决策图中,从业者和政策制定者可以使用该图来浏览相对较大的ML目录。
2022-06-07 cs.AI cs.CY cs.LG
Modeling Electric Vehicle Car-Following Behavior: Classical vs Machine Learning Approach
Electrical and Computer Engineering, The University of Alabama in Huntsville, Huntsville, AL, USA(电气与计算机工程系,阿拉巴马大学亨茨维尔分校)
本研究对比经典跟驰模型与随机森林回归器在电动汽车跟驰行为建模中的表现,基于真实跟车数据标定参数,发现随机森林模型在各间隙工况下准确性均优于物理模型,可为EV交通仿真与混合交通分析提供支撑。
2025-10-28 cs.AI cs.LG
Bridging the reality gap in quantum devices with physics-aware machine learning
University of Oxford(牛津大学);University of Basel(巴塞尔大学)
本文提出一种融合物理模型、深度学习、高斯随机场与贝叶斯推断的物理感知机器学习方法,从电子输运数据中推断纳米器件无序势,并在 AlGaAs/GaAs 量子点器件上验证了其对双量子点区域栅极电压的预测能力。
2021-11-22 cond-mat.mes-hall cs.LG
Topological gap protocol based machine learning optimization of Majorana hybrid wires
Institut für Theoretische Physik, Universität Leipzig(莱比锡大学理论物理研究所)
本文针对 Majorana 纳米线中无序破坏拓扑相、降低器件良率的问题,提出受拓扑能隙协议启发、基于非局域电导测量的优化度量,并用机器学习调控栅极阵列以可靠补偿强无序。
2023-05-25 cond-mat.mes-hall cs.LG
Position Paper: Bridging the Gap Between Machine Learning and Sensitivity Analysis
Ludwig-Maximilians-Universität in Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);The University of Arizona(亚利桑那大学)
该立场论文提出机器学习可解释性属于敏感性分析范畴,阐述了ML过程适配SA的逻辑、现有ML解释方法与该视角的关联及SA技术在ML中的应用可能,呼吁以统一SA视角看待ML解释并重视相关领域成果。
2024-09-10 cs.LG
Decreasing the size of the Restricted Boltzmann machine
Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所)
我们提出了一种方法,以减少限制玻尔兹曼机的隐藏单元的数量,同时避免降低的Kullback-Leibler发散测量的性能。然后,我们证明了我们的算法,使用数值模拟。
2018-12-12 cs.LG stat.ML
Sample size determination for machine learning in medical research
School of Medical Sciences, Universiti Sains Malaysia(马来西亚理科大学医学院)
本文针对医学机器学习研究缺乏样本量确定指南的问题,提出了一种先确定测试集样本量,再确定训练集和总样本量的方法。
2025-03-04 cs.LG stat.ME
Respecting Transfer Gap in Knowledge Distillation
Columbia University(哥伦比亚大学);Damo Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学)
知识蒸馏(KD)本质上是将教师模型的行为,例如,网络响应,到一个学生模型。网络响应作为额外的监督来制定机器域,它使用从人类域收集的数据作为传输集。传统的KD方法持有一个基本假设,即在人类领域和机器领域收集的数据都是独立同分布的(IID)。我们指出,这种天真的假设是不切实际的,确实有一个转移差距的两个域之间。虽然差距为学生模型提供了来自机器领域的外部知识,但不平衡的教师知识会使我们错误地估计在非IID转移集上每个样本从教师转移到学生的量。为了应对这一挑战,我们提出了逆概率加权蒸馏(IPWD),它估计属于机器域的训练样本的倾向得分,并分配其倒数来补偿代表性不足的样本。在CIFAR-100和ImageNet上的实验证明了IPWD对两级蒸馏和一级自蒸馏的有效性。
2022-10-23 cs.AI cs.CV cs.LG
Novel hybrid protein scaffold gap filling using weighted machine learning ensemble, beam search, and mass-constrained reranking
American International University-Bangladesh(美国国际大学-孟加拉国分校);City University(城市大学)
提出一种混合机器学习与质量约束重排序框架,结合加权集成、束搜索及同源检索,在已知缺口大小和质量条件下实现高准确率的蛋白质支架缺口填充。
2026-09-09 cs.LG q-bio.BM
Bridging the Gap between Training and Inference for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent Inc(腾讯公司);Worcester Polytechnic Institute(伍斯特理工学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
神经机器翻译以预测下一个词为条件,按顺序生成目标词。在训练时,它使用地面真值词作为上下文进行预测,而在推理时,它必须从头开始生成整个序列。这种被馈送上下文的差异导致路径之间的误差累积。此外,单词级训练需要在生成的序列和地面真值序列之间进行严格匹配,这导致对不同但合理的翻译的过度校正。在本文中,我们解决这些问题的采样上下文的话,不仅从地面真值序列,而且从预测序列的模型在训练过程中,其中预测序列是选择一个最佳的水平。在汉语-英语和WMT'14英语-德语翻译任务上的实验结果表明,该方法可以在多个数据集上取得显着的改进。
2019-06-17 cs.CL cs.LG stat.ML
Machine Learning vs Statistical Methods for Time Series Forecasting: Size Matters
INESC TEC(INESC技术研究所);University of Porto(波尔图大学);Dalhousie University(达尔豪斯大学)
时间序列预测是当前最活跃的研究课题之一。机器学习方法已经越来越多地被采用来解决这些预测任务。然而,在最近的一项工作中,这些方法被证明系统地呈现出相对于简单统计方法较低的预测性能。在这项工作中,我们反对这些结果。我们表明,这些都是有效的,只有在一个非常低的样本量。使用学习曲线方法,我们的研究结果表明,随着样本量的增长,机器学习方法提高了它们的相对预测性能。复制实验的代码可在https://github.com/vcerqueira/MLforForecasting上获得。
2019-09-29 cs.LG stat.ML
Bridging the Gap: Machine Learning to Resolve Improperly Modeled Dynamics
Colby College(科尔比学院);University of Pennsylvania(宾夕法尼亚大学);Montclair State University(蒙特克莱尔州立大学)
我们提出了一个数据驱动的建模策略,以克服不正确的建模动态系统表现出复杂的时空行为。我们提出了一个深度学习框架来解决系统的真实动态与系统模型给出的动态之间的差异,该模型要么描述不准确,要么描述不充分。我们的机器学习策略利用从不正确的系统模型生成的数据和来自实际系统的观测数据来创建神经网络,以对实际系统的动态进行建模。我们评估所提出的框架,从三个越来越复杂的动力系统获得的数值解。我们的研究结果表明,我们的系统能够学习一个数据驱动的模型,提供准确的估计系统状态在以前未观察到的区域以及未来的状态。我们的结果显示了最先进的机器学习框架在估计系统真实动态的准确先验方面的强大能力,该先验可用于有限范围内的预测。
2020-08-23 cs.LG
Cheetah: Bridging the Gap Between Machine Learning and Particle Accelerator Physics with High-Speed, Differentiable Simulations
Deutsches Elektronen-Synchrotron DESY(德国电子同步加速器研究所);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Hamburg University of Technology(汉堡工业大学)
本文提出基于PyTorch的高速可微分线性束流动力学代码Cheetah,通过大幅降低计算时间实现大数据集快速收集与梯度优化,并展示其在强化学习、束线调谐等五个示例中的应用,以促进机器学习在加速器物理中的集成。
2024-01-11 cs.AI cs.LG physics.acc-ph
Tree-Based Machine Learning Methods For Vehicle Insurance Claims Size Prediction
University of Geneva(日内瓦大学);Hawassa University(哈瓦萨大学)
车辆保险索赔规模预测需要有效处理这些索赔的方法。机器学习(ML)是解决这一问题的方法之一。基于树的集成学习算法是一种高效且应用广泛的机器学习方法。本研究考虑了车辆保险提供商如何在其公司中采用ML方法,并探讨了如何将这些模型应用于保险大数据。我们利用各种基于树的ML方法,如装袋,随机森林,和梯度提升,以确定预测变量在预测索赔规模中的相对重要性,并探索索赔规模和预测变量之间的关系。此外,我们评估和比较这些模型的性能。结果表明,基于树的集成方法优于经典的最小二乘法。关键词:理赔额预测;机器学习;树型集成方法;车辆保险。
2023-02-21 cs.LG stat.AP
Machine learning on small size samples: A synthetic knowledge synthesis
University of Maribor(马里博尔大学);Semantika
随着几乎所有人类活动的数字化日益复杂,越来越重要的技术之一是人工智能,更确切地说是机器学习尽管我们生活在一个几乎所有东西都以数字方式存储的大数据世界中,但在许多现实世界中,研究人员面临着小数据样本。本研究的目的是回答以下研究问题:什么是机器学习中的小数据问题以及如何解决这个问题?我们的文献计量学研究表明,关于使用小数据集的研究出版物数量呈积极趋势,处理小数据集问题的研究社区大幅增长,表明研究领域正在走向更高的成熟度。尽管开展了显著的国际合作,但人们注意到,区域研究文献的编制集中在经济较发达的国家。
2021-03-01 cs.AI cs.LG
Gap Safe Screening Rules for Fast Training of Robust Support Vector Machines under Feature Noise
Can Tho University(芹苴大学)
本文提出在特征噪声下快速训练鲁棒支持向量机的间隙安全筛选规则,通过非标准结构的鲁棒模型分析,减少训练复杂度并加速优化,实验显示显著降低训练时间且保持分类精度。
2026-03-26 cs.LG math.OC
Using Machine Learning Methods for Automation of Size Grid Building and Management
Ghent University(根特大学);Levi Strauss & Co. Europe(李维斯公司欧洲分公司)
本研究针对服装企业尺码表人工构建管理的高负荷问题,采用机器学习分类模型实现尺码表构建与管理自动化,聚焦SKU对应特定尺码的场景,有望降低相关团队工作量。
2023-06-16 cs.LG
Mind the Gap: On Bridging the Semantic Gap between Machine Learning and Information Security
Sandia National Laboratories(桑迪亚国家实验室);New Mexico Tech(新墨西哥理工学院)
尽管机器学习(ML)有潜力学习恶意软件的行为,检测新的恶意软件样本,并显着提高信息安全(InfoSec),我们看到很少,如果有的话,高影响力的ML技术在部署的系统,尽管在公开文献中有多个成功的报道。我们假设ML在InfoSec中产生高影响的失败根源于两个社区之间的脱节,这可以通过语义差距来证明-可执行文件描述方式的差异(例如,从数据中提取的数据和特征)。具体来说,ML使用的当前数据集和表示不适合学习可执行文件的行为,并且与InfoSec社区使用的数据集和表示有很大不同。在本文中,我们调查了现有的用于通过ML算法对恶意软件进行分类的数据集以及从数据中提取的特征。我们注意到:1)当前提取的特征集主要是语法的,而不是行为的,2)数据集通常包含极端的样本,产生容易区分类别的数据集,以及3)数据集提供在现实世界系统中遇到的数据的显著不同的表示。ML要想在InfoSec社区中产生更大的影响,就需要对数据(包括特征和标签)进行更改,以弥合当前的语义差距。作为实现更多行为分析的第一步,我们使用与恶意软件家族相关的开源威胁报告为现有恶意软件数据集标记行为特征。这种行为标记将分析从识别意图(例如,好与坏)或恶意软件家族成员关系改变为分析可执行文件表现出哪些行为。我们提供注释,希望能激发未来数据的改进,进一步弥合ML和InfoSec社区之间的语义差距。
2020-05-04 cs.CR cs.LG stat.ML
Building Concise Logical Patterns by Constraining Tsetlin Machine Clause Size
NORCE Norwegian Research Centre(NORCE挪威研究中心);DNV Norway(挪威DNV集团);University of Agder(阿格德尔大学)
Tsetlin机(TM)是一种基于逻辑的机器学习方法,具有透明和硬件友好的关键优势。虽然TM在越来越多的应用程序中达到或超过了深度学习的准确性,但大型子句池往往会产生具有许多文字的子句(长子句)。因此,它们变得不那么容易解释。此外,较长的子句增加了子句逻辑在硬件中的切换活动,消耗更多的功率。本文介绍了一种新的TM学习的变体-子句大小约束TM(CSC-TM)-其中可以设置一个软约束的子句大小。一旦子句包含的文字数量超过约束所允许的数量,它就开始排除文字。因此,过大的子句只会暂时出现。为了评估CSC-TM,我们进行分类,聚类和回归实验的表格数据,自然语言文本,图像和棋盘游戏。我们的研究结果表明,CSC-TM保持准确性与多达80倍的文字。事实上,准确性随着TREC、IMDb和BBC体育的更短条款而增加。在准确性达到峰值后,随着子句大小接近单个字面值,准确性会缓慢下降。最后,我们分析CSC-TM的功耗,并得出新的收敛性能。
2023-01-19 cs.AI cs.LG cs.LO
DMC4ML: Data Movement Complexity for Machine Learning
本文提出DMC4ML,通过抽象内存层次上的渐近符号分析,衡量Transformer、空间卷积和FFT的数据移动成本,并指导算法参数选择。
2023-12-22 cs.LG cs.SY eess.SY
A New Perspective for Understanding Generalization Gap of Deep Neural Networks Trained with Large Batch Sizes
Spire Global(斯派尔全球);Post Luxembourg(卢森堡邮政);University of Luxembourg(卢森堡大学)
深度神经网络(DNN)通常使用各种形式的小批量梯度下降算法来优化。小批量梯度下降的一个主要动机是,通过适当选择的批量大小,可以最佳地利用(包括并行化)可用的计算资源进行快速模型训练。然而,许多作品报告了当训练批量大小增加超过一定限度时,模型泛化能力的逐渐丧失。这是一个通常被称为泛化差距的场景。虽然一些工作提出了不同的方法来缓解推广差距的问题,一个统一的解释理解推广差距仍然缺乏文献。这一点尤其重要,因为最近的研究发现,针对泛化缺口问题提出的几种解决方案,如学习率缩放和增加训练预算,并没有真正解决这个问题。因此,本文的主要论述是调查并提供新的视角,以研究大批量训练的DNN的泛化损失来源。我们的分析表明,大的训练批量会导致单元激活(即输出)张量的近秩损失增加,从而影响模型优化和泛化。使用CIFAR-10、CIFAR-100、Fashion-MNIST和MNIST数据集对流行的DNN模型(如VGG-16、残差网络(ResNet-56)和LeNet-5)进行了广泛的实验验证。
2022-10-21 cs.CV cs.LG
Bayesian Sample Size Determination of Vibration Signals in Machine Learning Approach to Fault Diagnosis of Roller Bearings
VIT University(韦洛尔理工大学)
数据集的样本量确定是一个重要的统计过程,用于分析数据以达到最佳准确度并使用最少的计算工作。这一过程的应用是可信的,在每一个领域,处理大数据集和高计算工作。本研究使用贝叶斯分析确定的最小样本量的振动信号被认为是使用预定义的参数,如逆标准概率和可接受的误差幅度的轴承故障诊断。为此,本文提出了确定样本量的解析公式。轴承的故障诊断是使用机器学习方法,使用基于熵的J48算法。下面的方法将帮助参与故障诊断的研究人员确定最小样本量进行分析,以获得良好的统计稳定性和精度。
2014-02-25 cs.LG stat.ML
Support vector machine and its bias correction in high-dimension, low-sample-size settings
University of Tsukuba(筑波大学)
在本文中,我们考虑的支持向量机(SVM)在高维,低样本量(HDLSS)设置的渐近性质。我们表明,硬利润率线性支持向量机具有一致性的属性,在某些严重的条件下,当维数趋于无穷大时,误分类率趋于零。我们发现,支持向量机是非常有偏见的HDLSS设置和它的性能直接受到影响的偏见。为了克服这些困难,我们提出了一个偏差校正支持向量机(BC-SVM)。我们表明,BC-SVM在HDLSS设置提供了更好的性能。我们还讨论了支持向量机在多类HDLSS设置。最后,我们在实际数据分析中检查分类器的性能。
2017-02-26 cs.LG stat.ML
Machine Learning approaches to do size based reasoning on Retail Shelf objects to classify product variants
ParallelDots, Inc.(ParallelDots公司)
用于分析零售货架上的产品图像的机器学习方法数量激增。基于深度学习的计算机视觉方法可用于检测零售货架上的产品,然后对其进行分类。然而,有不同尺寸的产品变体,它们在视觉上看起来完全相同,区分它们的方法是查看它们与货架上其他产品的相对尺寸。这使得单独使用计算机视觉算法从彼此中破译基于大小的变体的过程是不切实际的。在这项工作中,我们提出的方法来确定产品的尺寸变化作为一个下游任务的对象检测器提取产品从货架和分类器,确定产品品牌。产品变体确定是根据分类器预测的边界框和品牌的大小,将产品变体分配给品牌产品的任务。虽然基于梯度提升的方法对于其表面清晰和明显的产品工作良好,但是对于产品不规则堆叠的情况,提出了噪声调节神经网络方法。
2021-10-07 cs.CV cs.LG
Bridging the Semantic Gap in Virtual Machine Introspection and Forensic Memory Analysis
University of Passau(帕绍大学);Reykjavik University(雷克雅未克大学)
本文研究利用元数据、特征工程和机器学习弥合虚拟机自省与取证内存分析中的语义鸿沟,以 OpenSSH 为用例并在超 1 TB 的物理内存转储数据集上验证,所有方法 F1-Score 均超过 80%。
2025-03-07 cs.CR cs.LG
Accurate predictive model of band gap with selected important features based on explainable machine learning
Toyota Central R&D Labs., Inc.(丰田中央研究开发实验室)
本文提出基于可解释机器学习的简化模型,通过选取重要特征提升预测精度,减少计算成本,增强材料发现模型的可信度。
2026-04-23 cond-mat.mtrl-sci cs.LG
Is your batch size the problem? Revisiting the Adam-SGD gap in language modeling
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ELLIS Institute(ELLIS研究所);Tübingen AI Center(图宾根人工智能中心)
本研究重新审视语言建模中Adam与SGD的优化器性能差距,通过全面调优的Transformer实验发现小批次下带动量的SGD调优后性能可接近Adam,并基于随机微分方程模型提出批次大小影响训练动态的新见解。
2025-06-14 cs.LG math.OC
DYNAMIX: RL-based Adaptive Batch Size Optimization in Distributed Machine Learning Systems
Case Western Reserve University(凯斯西储大学);Shanghai Jiao Tong University(上海交通大学)
DYNAMIX利用强化学习(PPO)自适应优化分布式训练中的批大小,无需系统建模,在多种环境下提升准确率最高6.3%,减少训练时间46%,并具备良好的可扩展性与策略迁移能力。
2025-10-09 cs.DC cs.LG