Macroscopic Traffic Flow Modeling with Physics Regularized Gaussian Process: A New Insight into Machine Learning Applications
University of Utah(犹他大学)
尽管近年来机器学习(ML)技术在交通流建模中得到了广泛的应用,但这些数据驱动的方法在数据集较小或有噪声的情况下往往无法达到准确性。为了解决这个问题,本研究提出了一种新的建模框架,命名为物理正则化机器学习(PRML),编码经典的交通流模型(称为物理模型)到ML架构和正则化ML训练过程。更具体地说,随机物理正则化高斯过程(PRGP)模型的开发和贝叶斯推断算法被用来估计的平均值和核的PRGP。基于宏观交通流模型的物理正则化器也被开发,以增加通过阴影GP和增强的潜在力模型的估计被用来编码到随机过程的物理知识。基于后验正则化推理框架,一个有效的随机最优化算法也被开发,以最大化系统似然的证据下界。为了证明所提出的模型的有效性,本文进行了实证研究的一个真实世界的数据集,这是从一个延伸的I-15高速公路,犹他州。结果表明,新的PRGP模型在估计精度和输入鲁棒性方面优于以往的兼容方法,如校准的纯物理模型和纯机器学习方法。
2020-02-06 cs.LG stat.ML
MLMOD: Machine Learning Methods for Data-Driven Modeling in LAMMPS
University of California Santa Barbara(加州大学圣巴巴拉分校)
MLMOD是一个软件包,将神经网络等机器学习方法整合到LAMMPS微观力学和分子动力学模拟中,用于学习系统动力学、相互作用及特征的数据驱动模型。
2023-10-21 cond-mat.mes-hall cond-mat.soft cs.LG
Causal hybrid modeling with double machine learning
Image Processing Laboratory(图像处理实验室);Universitat de València(瓦伦西亚大学);Max Planck Institute for Biogeochemistry(马克斯·普朗克生物地球化学研究所)
本文提出用双重机器学习(DML)进行因果混合建模,通过地球科学中二氧化碳通量问题验证其在估计因果参数、避免等效性和正则化偏差方面优于端到端深度神经网络,并强调明确因果图应作为最佳实践。
2024-04-04 cs.LG stat.ME
Linear, Machine Learning and Probabilistic Approaches for Time Series Analysis
Ivan Franko National University of Lviv(利沃夫伊万·弗兰科国立大学)
在本文中,我们研究了时间序列建模的不同方法。介绍了线性模型、ARIMA算法、XGBoost机器学习算法的预测方法。显示了不同模型组合的结果。对于概率建模的方法,使用Copula和贝叶斯推断被认为是。
2017-02-26 cs.LG stat.AP stat.ME
When Machine Learning Meets Multiscale Modeling in Chemical Reactions
Tsinghua(清华大学);Minjiang University(闽江学院)
由于化学反应本身的复杂性和非线性,传统的机器学习算法直接应用于化学反应过程会面临很多困难。本文通过两个生物学背景的具体实例,说明了多尺度建模的核心思想如何帮助机器学习大大降低计算成本,以及机器学习算法如何在时间尺度分离的系统中自动进行模型约简。我们的研究强调了在化学反应研究中集成机器学习算法和多尺度建模的必要性和有效性。
2020-06-01 cs.LG q-bio.MN
An Overview of Machine Learning Techniques for Radiowave Propagation Modeling
我们给出了一个概述的无线电波传播的建模,基于机器学习算法的最新发展。我们将模型的输入和输出规范以及架构确定为与机器学习驱动的传播模型相关的主要挑战。相关的论文进行了讨论和分类的基础上,他们对每一个这些挑战的方法。重点是在这个充满希望和迅速发展的领域提出的前景和开放的问题。
2021-01-28 cs.LG eess.SP
BPMN4sML: A BPMN Extension for Serverless Machine Learning. Technology Independent and Interoperable Modeling of Machine Learning Workflows and their Serverless Deployment Orchestration
Tilburg University(蒂尔堡大学);Eindhoven University of Technology(埃因霍温理工大学);Jheronimus Academy of Data Science(耶罗尼米斯数据科学学院)
机器学习(ML)继续渗透到学术界、工业界和社会的各个层面。尽管取得了成功,但仍然缺乏以一致和连贯的方式捕获和表示机器学习工作流的心理框架。例如,事实上的流程建模标准,业务流程模型和表示法(BPMN),由对象管理组管理,被广泛接受和应用。然而,它缺乏具体的支持来表示机器学习工作流。此外,用于部署机器学习解决方案的异构工具的数量很容易使从业者不堪重负。需要进行研究以调整从建模到部署ML工作流的过程。我们分析了机器学习工作流及其无服务器部署的基于标准的概念建模的需求。面对ML工作流的一致性和连贯性建模在技术独立和互操作的方式方面的缺点,我们扩展了BPMN的元对象设施(MOF)元模型和相应的符号,并引入BPMN4sML(BPMN无服务器机器学习)。我们的扩展BPMN4sML遵循对象管理组(OMG)为BPMN引用的相同大纲。我们进一步解决部署中的异构性,提出了一个概念映射,使用TOSCA将BPMN4sML模型转换为相应的部署模型。BPMN4sML允许对整个机器学习生命周期中各种粒度和复杂性的机器学习工作流进行技术独立和可互操作的建模。它有助于实现共享和标准化的语言来传达ML解决方案。此外,它还迈出了第一步,通过TOSCA将ML工作流模型图转换为相应的部署模型,以实现无服务器部署。
2022-08-02 cs.LG cs.SE
Replication Study: Enhancing Hydrological Modeling with Physics-Guided Machine Learning
Shahrood University of Technology(沙鲁德理工大学);Islamic Azad University of Mashhad(马什哈德伊斯兰阿扎德大学)
本文复现并验证了一种物理信息机器学习水文模型,通过融合概念模型的过程知识与ML算法,在Anandapur子流域的月径流和实际蒸散发预测中优于传统方法,并确保物理一致性。
2024-02-21 cs.LG
Pairing Conceptual Modeling with Machine Learning
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Saarland University(萨尔大学);J. Mack Robinson College of Business, Georgia State University(佐治亚州立大学J·麦克·罗宾逊商学院)
概念建模和机器学习一直被认为是重要的研究领域。随着人们越来越重视为商业和其他应用程序数字化和处理大量数据,考虑这些研究领域如何相互补充将是有益的。为了了解它们如何配对,我们提供了机器学习基础和开发周期的概述。然后,我们研究如何将概念建模应用于机器学习,并提出了一个框架,将概念建模纳入数据科学项目。该框架是通过将其应用到医疗保健应用程序来说明的。对于反向配对,机器学习可以通过文本和规则挖掘以及知识图谱来影响概念建模。以这种方式将概念建模和机器学习配对应该有助于为未来的研究奠定基础。
2021-07-15 cs.AI cs.LG cs.SE
Domain Knowledge in Artificial Intelligence: Using Conceptual Modeling to Increase Machine Learning Accuracy and Explainability
本文提出基于概念建模的CMML方法,将领域知识融入机器学习数据准备,并通过两个真实问题验证其能提升模型性能与可解释性。
2025-06-25 cs.HC cs.LG
World Machine: Towards Generative World Modeling for Time-Series
Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学);Universidade Estadual Paulista (UNESP)(保罗斯州立大学)
提出基于Transformer的潜在状态架构World Machine,用于时间序列生成式世界建模,在合成数据集Toy1D上验证了其超越传统Transformer的能力。
2026-05-21 cs.LG
Machine Learning Regression based Single Event Transient Modeling Method for Circuit-Level Simulation
Xidian University(西安电子科技大学)
提出了一种新的基于机器学习回归的单粒子瞬态建模方法。该方法不需要考虑复杂的物理机制,能够得到合理、准确的模型。通过TCAD仿真得到了SMIC 130 nm体CMOS在不同条件下(如不同LET和不同漏偏置电压)的SET电流数据。采用多层前馈神经网络对TCAD仿真数据进行学习,建立SET脉冲电流模型。TCAD仿真结果验证了该模型的有效性。在Cadence Spectre电路仿真器中将训练好的SET脉冲电流模型作为Verilog-A电流源实现,并以一个具有5个扇出端的反相器为例,验证了所提出的SET脉冲电流模型用于电路级单粒子效应(SEE)仿真的可行性和合理性。
2021-05-22 cs.LG
A Hybrid Science-Guided Machine Learning Approach for Modeling and Optimizing Chemical Processes
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学)
这项研究提出了一个广泛的角度混合过程建模和优化相结合的科学知识和数据分析在生物加工和化学工程与科学指导的机器学习(SGML)的方法。我们将方法分为两大类。第一种是指基于数据的ML模型补充并使基于科学的第一原理模型在预测中更准确的情况,第二种对应于科学知识有助于使ML模型在科学上更一致的情况。我们提出了一个详细的审查有关的混合SGML方法的科学和工程文献,并提出了一个系统的分类混合SGML模型。为了应用ML改进基于科学的模型,我们提出了直接串行和并行混合建模及其组合,逆建模,降阶建模,量化过程中的不确定性,甚至发现过程模型的控制方程的子类别的论述。为了应用科学原理来改进ML模型,我们讨论了科学指导的设计,学习和改进的子类别。对于每个子类别,我们确定其要求,优点和局限性,连同其已发表的和潜在的应用领域在生物加工和化学engineering.We还提出了几个例子来说明不同的混合SGML方法建模聚合物过程。
2022-01-25 cs.LG
Molecular modeling with machine-learned universal potential functions
Accutar Biotechnology Inc.(Accutar Biotechnology 公司)
分子模拟是药物发现中的一个重要课题。几十年的研究已经导致了高质量的可扩展分子力场的发展。在本文中,我们表明,神经网络可以用来训练一个通用的逼近能量势函数。通过将一个完全自动化的训练过程,我们已经能够训练光滑,可微,预测的大规模晶体结构的潜在功能。还进行了各种测试,以显示机器学习模型的优越性和多功能性。
2021-04-19 cs.LG q-bio.QM
EpiLearn: A Python Library for Machine Learning in Epidemic Modeling
Emory University(埃默里大学)
本文介绍 Python 工具包 EpiLearn,通过统一框架、模块化设计和交互式可视化,支持基于机器学习的流行病学数据模拟、分析及预测与源头检测模型评估。
2024-09-09 cs.LG
Hybrid Machine Learning Modeling of Engineering Systems -- A Probabilistic Perspective Tested on a Multiphase Flow Modeling Case Study
Norwegian University of Science and Technology (NTNU)(挪威科技大学(NTNU))
为了以安全可靠的方式操作过程工程系统,预测模型通常用于决策。在许多情况下,这些是旨在准确描述过程的机械第一原理模型。在实践中,这些模型的参数需要根据当前的工艺条件进行调整。如果条件发生变化(这在实践中很常见),模型就会变得不准确,需要重新调整。在本文中,我们提出了一个混合建模机器学习框架,允许调整第一原理模型,使用两种不同类型的贝叶斯神经网络的过程条件。我们的方法不仅估计的第一原理模型参数的期望值,但也量化这些估计的不确定性。这种混合机器学习建模的方法在文献中还没有很好的描述,所以我们相信本文将提供一个额外的角度,可以考虑混合机器学习建模的物理系统。作为一个例子,我们选择了一个多相管流过程,我们构建了一个三相稳态模型的基础上的漂移通量的方法,可用于建模的石油和天然气生产系统的管道和井的流动行为,或没有神经网络调整。在模拟结果中,我们展示了如何不确定性估计的混合模型可以用来做出更好的操作决策。
2022-05-18 cs.LG stat.ML
Integrating Machine Learning with Physics-Based Modeling
Princeton University(普林斯顿大学)
机器学习是一个非常强大的工具,可以大大提高我们进行科学研究的能力。然而,在这成为现实之前,需要解决许多问题。本文重点关注一个引起广泛兴趣的特定问题:我们如何将机器学习与基于物理的建模集成,以开发新的可解释且真正可靠的物理模型?在介绍了一般准则之后,我们讨论了开发基于机器学习的物理模型的两个最重要的问题:施加物理约束和获得最佳数据集。我们还为现代机器学习成功背后的根本原因提供了一个简单而直观的解释,并介绍了将机器学习与基于物理的建模相结合所需的并发机器学习框架。以分子动力学和动力学方程的矩封闭为例说明了所讨论的主要问题。最后,我们对这种整合将把我们带到哪里,以及在机器学习成功整合到科学建模中之后,新的前沿将在哪里进行了一般性的讨论。
2020-06-04 cs.LG cs.NA math.NA
Ensemble Machine Learning Methods for Modeling COVID19 Deaths
California Institute of Technology(加州理工学院)
使用机器学习和流行病学方法的混合,我们提出了一种新的数据驱动的方法来预测美国县级COVID-19死亡人数。该模型更完整地描述了每日死亡分布,输出分位数估计值而不是平均死亡人数,其中模型的目标是最大限度地减少《纽约时报》冠状病毒县数据集报告的死亡人数的弹球损失。由此产生的分位数估计准确预测死亡人数在个别县一级的可变长度的预测期,该方法概括以及在不同的预测期长度。我们在加州理工学院举办的建模竞赛中从50多个团队中脱颖而出,我们的总体数据与最好的COVID-19建模系统(均方根误差)相比具有竞争力。
2020-10-04 cs.LG stat.ML
TSKAN: Interpretable Machine Learning for QoE modeling over Time Series Data
提出TSKAN,结合Kolmogorov-Arnold网络与频域特征,在时间序列数据上实现可解释的QoE建模,提升预测精度并保持模型透明性。
2025-09-24 cs.LG cs.NI
Integrating Electrochemical Modeling with Machine Learning for Lithium-Ion Batteries
University of Kansas(堪萨斯大学);University of California, Berkeley(加州大学伯克利分校)
锂离子电池(LiBs)的数学建模是先进电池管理的核心挑战。本文提出了一种新的方法,将基于物理的模型与机器学习相结合,以实现LiB的高精度建模。这种方法独特地提出将物理模型的动态状态通知机器学习模型,从而实现物理学和机器学习之间的深度集成。我们提出了两个混合物理机器学习模型的基础上的方法,它混合了一个单粒子模型与热动力学(SPMT)与前馈神经网络(FNN)进行物理知情的学习LiB的动态行为。所提出的模型是相对简约的结构,可以提供相当大的预测精度,即使在高C率,如广泛的模拟。
2021-07-23 cs.LG cs.SY eess.SY
Designing Machine Learning Pipeline Toolkit for AutoML Surrogate Modeling Optimization
IBM Research(IBM研究院)
机器学习中的流水线优化问题需要同时优化流水线结构和其元件的参数自适应。有一个优雅的方式来表达这些结构,可以帮助减少管理和分析其性能的复杂性,以及不同的优化策略的选择。考虑到这些问题,我们创建了AutoMLPipeline(AMLP)工具包,它可以使用简单的表达式来创建和评估复杂的机器学习管道结构。我们使用AMLP来找到最佳的管道签名,对它们进行数据挖掘,并使用这些数据挖掘的功能来加速学习和预测。我们在AMLP中使用代理建模制定了一个两阶段的管道优化,它在不到5分钟的AMLP计算时间内以4小时的时间预算优于其他AutoML方法。
2021-07-14 cs.AI cs.LG
From Things' Modeling Language (ThingML) to Things' Machine Learning (ThingML2)
Technical University of Munich(慕尼黑工业大学);Software AG(Software AG公司)
在本文中,我们说明了如何增强现有的最先进的建模语言和工具的物联网(IoT),称为ThingML,支持机器学习的建模水平。为此,我们扩展了ThingML的领域特定语言(DSL)及其代码生成框架。我们的DSL允许人们定义负责执行数据分析的事物。此外,我们的代码生成器可以自动生成Java和Python的完整实现。生成的Python代码负责数据分析,并采用机器学习库的API,如Keras,Tensorflow和Scikit Learn。我们的原型在Github上作为开源软件提供。
2020-09-22 cs.LG cs.SE
Similarities and Differences between Machine Learning and Traditional Advanced Statistical Modeling in Healthcare Analytics
Symphony Health, a division of Icon, plc(Icon 公司旗下的 Symphony Health);The University of Maine(缅因大学);Grand Canyon University(大峡谷大学)
数据科学家和统计学家在确定解决分析挑战的最佳方法(机器学习或统计建模)时往往意见不一。然而,机器学习和统计建模在分析战场的不同方面更像是表亲而不是对手。在这两种方法之间作出选择,或在某些情况下同时使用这两种方法,是基于要解决的问题和所需的结果,以及可供使用的数据和分析的情况。机器学习和统计建模是互补的,基于类似的数学原理,但只是在整体分析知识库中使用不同的工具。确定主要方法应基于待解决的问题以及经验证据,如数据的大小和完整性、变量的数量、假设或缺乏假设,以及预测或因果关系等预期结果。优秀的分析师和数据科学家应该精通这两种技术及其正确的应用,从而为正确的项目使用正确的工具来实现预期的结果。
2022-01-07 cs.LG stat.ML
CyberLearning: Effectiveness Analysis of Machine Learning Security Modeling to Detect Cyber-Anomalies and Multi-Attacks
Chittagong University of Engineering & Technology(吉大港工程与技术大学);Swinburne University of Technology(斯威本科技大学)
检测网络异常和攻击正在成为网络安全领域日益关注的问题。人工智能的知识,特别是机器学习技术可以用来解决这些问题。然而,基于学习的安全模型的有效性可能会因安全功能和数据特征而异。在本文中,我们提出了“CyberLearning”,一个基于机器学习的网络安全建模与相关特征选择,并对各种基于机器学习的安全模型的有效性进行了全面的实证分析。在我们的网络学习建模中,我们考虑了用于检测异常的二进制分类模型,以及用于各种类型网络攻击的多类分类模型。为了建立安全模型,我们首先使用流行的十种机器学习分类技术,例如朴素贝叶斯、逻辑回归、随机梯度下降、K-最近邻、支持向量机、决策树、随机森林、自适应提升、极限梯度提升以及线性判别分析。在此基础上,提出了基于人工神经网络的多隐藏层安全模型.这些基于学习的安全模型的有效性进行了检查,利用两个最流行的安全数据集,UNSW-NB 15和NSL-KDD进行了一系列的实验。总的来说,本文旨在通过我们在网络安全背景下的实验分析和发现,为数据驱动的安全建模提供参考。
2021-03-28 cs.CR cs.LG
Machine learning for advancing low-temperature plasma modeling and simulation
Kiel University(基尔大学);Stanford University(斯坦福大学);Ruhr University Bochum(波鸿鲁尔大学)
该综述梳理了机器学习在低温等离子体建模与仿真领域的研究进展,按四大板块讨论相关案例,并展望了跨学科借鉴下数据驱动方法对该领域的潜在推动作用。
2023-12-14 cs.LG physics.plasm-ph
Modeling Scalability of Distributed Machine Learning
Hewlett Packard Laboratories(惠普实验室)
当今的机器学习是计算密集型的,并且处理大量数据。它以分布式方式实现,以解决这些可伸缩性问题。这项工作在多个计算节点上并行进行。通常很难提前估计有多少节点用于特定的工作负载。我们提出了一个简单的框架,估计分布式机器学习算法的可扩展性。我们衡量的可扩展性的加速算法实现更多的节点。我们提出了梯度下降和图形模型推理的时间复杂度模型。我们通过深度学习训练和信念传播的实验来验证我们的模型。该框架用于研究Apache Spark中机器学习算法的可扩展性。
2017-03-25 cs.DC cs.LG
Modeling Activity Tracker Data Using Deep Boltzmann Machines
University of Freiburg(弗莱堡大学)
商业活动跟踪器将成为健康研究中的一个重要工具,因为它在普通人群中的可用性越来越高。相应的大量大部分未标记的数据对统计建模方法构成了挑战。为了研究深度学习方法用于无监督学习的可行性,我们使用深度玻尔兹曼机(DBMs)检查了Fitbit活动跟踪器的每周使用模式。该方法特别适合于通过潜变量对复杂的联合分布进行建模。我们还选择了这个特定的程序,因为它是一种生成方法,即,可以生成人工样本来探索所学习的结构。我们描述了如何对数据进行预处理,以与二进制DBMs兼容。结果显示了两种不同的使用模式,其中一组在周一和周二经常使用跟踪器,而另一组在整个星期都使用跟踪器。该示例性结果表明DBM是可行的,并且可以用于对活动跟踪器数据进行建模。
2018-02-28 cs.LG stat.ML
Measuring and modeling the motor system with machine learning
EPFL, Swiss Federal Institute of Technology, Lausanne(洛桑联邦理工学院)
机器学习在理解电机系统方面的应用有望在如何收集、测量和分析数据方面带来一场革命。运动科学领域已经优雅地结合了理论和工程原理来指导实验工作,在这篇评论中,我们讨论了机器学习日益增长的用途:从姿势估计、运动学分析、降维和闭环反馈,到它在理解神经相关性和解开感觉运动系统中的用途。我们还给出了我们的观点,在新的途径,无标记的运动捕捉结合生物力学建模和神经网络可能是一个新的平台,假设驱动的研究。
2021-03-22 cs.CV cs.LG q-bio.QM
Modeling Documents with Deep Boltzmann Machines
University of Toronto(多伦多大学)
我们介绍了一个深度玻尔兹曼机模型,适用于建模和提取潜在的语义表示,从一个大型的非结构化的文档集合。我们克服了明显的困难,训练DBM与明智的参数绑定。该参数绑定实现了有效的预训练算法和辅助推理的状态初始化方案。该模型可以像标准的受限玻尔兹曼机一样有效地训练。我们的实验表明,该模型分配更好的日志概率看不见的数据比复制Softmax模型。从我们的模型中提取的特征在文档检索和文档分类任务上优于LDA,Replicated Softmax和DocNADE模型。
2013-09-26 cs.IR cs.LG stat.ML
On Using Retrained and Incremental Machine Learning for Modeling Performance of Adaptable Software: An Empirical Comparison
Nottingham Trent University(诺丁汉特伦特大学)
考虑到可适应软件系统的复杂性不断增加,以及它们通常隐藏的内部信息(例如,软件在公共云中运行),基于机器学习的性能建模已经获得了评估、理解和预测软件性能的动力,这有助于更好地了解自适应。随着性能数据在软件运行期间的积累,更新性能模型变得必要。为此,有两种传统的建模方法:重新训练的建模总是丢弃旧模型并使用所有可用数据重新训练新模型;或者增量建模保留现有模型并使用一个新到达的数据样本对其进行调整。通常,基于机器学习的自适应软件性能建模的文献根据一般信念选择这些方法中的任一种,但它们提供的证据或参考不足以证明它们的选择。本文是第一个全面的实证研究报告,研究两种建模方法下的不同领域的适应性软件,5个性能指标,8个学习算法和设置,涵盖了1,360个不同的条件。我们的研究结果挑战了一般的信念,这被证明是只有部分正确的,并揭示了一些重要的,统计上显着的因素,往往被忽视,在现有的工作,提供基于证据的见解的选择。
2019-03-25 cs.LG cs.SE
Modeling Market States with Clustering and State Machines
Grupo de Neurocomputación Biológica, Departamento de Ingeniería Informática, Escuela Politécnica Superior, Universidad Autónoma de Madrid(生物神经计算组、工程学院信息系、高等理工大学、马德里自治大学)
本研究提出一种基于聚类和可解释概率状态机的金融市场建模框架,通过多时间维度动量和风险特征聚类识别市场状态,构建的状态机生成的收益分布在捕捉收益统计特性上优于传统方法,且鲁棒性良好。
2025-10-01 cs.CE cs.LG
Modeling Generalization in Machine Learning: A Methodological and Computational Study
Cambridge University(剑桥大学);Politecnico di Torino(都灵理工大学);Université Paris-Saclay(巴黎萨克雷大学);INRAE(法国国家农业食品与环境研究院)
随着机器学习越来越多地为公众所用,理论问题正在转变为紧迫的实际问题。可能,最相关的问题之一是评估我们对信任机器学习预测的信心。在许多现实世界的情况下,最重要的是估计机器学习算法的泛化能力,即,根据目标问题的特征,对未知数据进行准确预测。在这项工作中,我们进行了109个公开的分类数据集的荟萃分析,建模机器学习泛化作为各种数据集特征的函数,范围从样本数量的内在维度,从类的功能偏度评估测试样本落在训练集的凸包之外的$F1$。实验结果证明了使用训练数据的凸包的概念在评估机器学习泛化中的相关性,通过强调内插和外推预测之间的差异。除了几个可预测的相关性,我们观察到出乎意料的弱关联之间的泛化能力的机器学习模型和所有指标的维度,从而挑战的共同假设,\textit{curse of dimensionality}可能会损害泛化机器学习。
2020-06-28 cs.LG stat.ML
ThingML+ Augmenting Model-Driven Software Engineering for the Internet of Things with Machine Learning
Technical University of Munich(慕尼黑工业大学);Software AG(Software AG公司)
在本文中,我们提出了目前的研究项目ML-Quadrat,其目的是扩展的方法,建模语言和工具支持的ThingML -物联网/CPS的开源建模工具-以解决物联网应用程序的机器学习的需求。目前,ThingML提供了一种建模语言和工具支持,用于对系统的组件、通信接口以及行为进行建模。后者是通过状态机完成的。然而,我们认为,在许多情况下,物联网/CPS服务涉及系统组件和物理过程,其行为没有得到很好的理解,以便使用状态机进行建模。因此,通常是数据驱动的方法,它可以根据观察到的数据进行推断,例如,使用机器学习是优选的。为此,ML-Quadrat在建模级别(建模语言的语法和语义)和代码生成器级别上将必要的机器学习概念集成到ThingML中。我们计划支持两个目标平台,用于有关流处理和复杂事件处理的代码生成,即Apache SAMOA和Apama。
2020-09-22 cs.LG cs.SE
A Deep Incremental Boltzmann Machine for Modeling Context in Robots
Middle East Technical University(中东技术大学);University of Helsinki(赫尔辛基大学)
上下文是机器人在具有挑战性的环境中尽可能适应的基本能力。尽管有许多上下文建模工作,但它们假定了固定的结构和上下文数量。在本文中,我们提出了一个增量深度模型,扩展限制玻尔兹曼机。我们的模型每次获取一个场景,并在必要时逐渐扩展上下文模型,通过添加新的上下文或新的上下文层来形成层次结构。我们展示了一个场景分类基准,我们的方法收敛到一个很好的估计场景的上下文,并执行更好的或在几个任务相比,其他增量模型或非增量模型。
2018-03-02 cs.LG cs.RO
Towards Modeling Data Quality and Machine Learning Model Performance
University of Cincinnati(辛辛那提大学)
该研究提出量化数据不确定性与噪声对机器学习模型影响的新模型,定义DDR指标并通过合成数据实验验证其可结合准确率曲线衡量模型性能。
2024-12-08 cs.AI cs.LG
Calibrating for Class Weights by Modeling Machine Learning
New York University(纽约大学);Northwestern University(西北大学);Louisiana State University(路易斯安那州立大学)
一个研究较多的问题是由机器学习算法提供的置信度分数被校准到地面真实概率的程度。我们的出发点是,校准似乎与类加权不兼容,这是一种在一个类不太常见(类不平衡)或希望实现某些外部目标(成本敏感学习)时经常采用的技术。我们提供了一个基于模型的解释,这种不兼容性,并使用我们的拟人模型来生成一个简单的方法,从一个算法,是由于类加权误校准恢复的可能性。我们在Rajpurkar,Irvin,Zhu等人(2017)的二元肺炎检测任务中验证了这种方法。
2022-07-31 cs.LG econ.TH
MLSYSIM: First-Principles Infrastructure Modeling for Machine Learning Systems
Harvard University(哈佛大学)
研究机器学习系统基础设施建模问题,提出MLSYSIM框架,基于供需抽象,通过可组合模型和求解器,实现亚秒级设计空间探索,确定约束并合成硬件规格。
2026-07-07 cs.DC cs.LG
Modeling chaotic Lorenz ODE System using Scientific Machine Learning
Acko;Vizuara AI Labs(Vizuara AI实验室);Massachusetts Institute of Technology(麻省理工学院);Purdue University(普渡大学)
针对气候建模数据不足的问题,该研究将科学机器学习方法融入基础天气模型,结合物理模型可解释性与神经网络算力,以低数据量实现高精度混沌气候系统建模,推动气候建模向物理信息驱动决策转变。
2024-10-09 cs.AI cs.LG
A Cutting Mechanics-based Machine Learning Modeling Method to Discover Governing Equations of Machining Dynamics
University of Tennessee Knoxville(田纳西大学诺克斯维尔分校);Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出了一种基于切削力学的机器学习方法,用于从噪声数据中发现切削动力学的 governing equations,通过结合已知物理和数据中的未知物理,实现自动模型发现。
2025-01-20 cs.CE cs.LG
Challenges and opportunities for machine learning in multiscale computational modeling
University of Virginia(弗吉尼亚大学);University of Iowa(爱荷华大学)
许多机械工程应用需要多尺度计算建模和仿真。然而,解决复杂的多尺度系统仍然计算繁重,由于高维的解决方案空间。最近,机器学习(ML)已经成为一种很有前途的解决方案,可以作为传统数值方法的替代,加速或增强。开创性的工作已经证明,ML提供的解决方案,以控制系统的方程与那些使用直接数值方法获得的精度相当,但具有显着更快的计算速度。这些高速,高保真的估计可以通过提供一个更好的初始解决方案,传统的求解器,促进复杂的多尺度系统的解决方案。本文提供了一个关于使用ML进行复杂的多尺度建模和仿真的机会和挑战的视角。我们首先概述了当前用于模拟多尺度系统的最先进的ML方法,并强调了一些具有里程碑意义的发展。接下来,我们讨论了ML在多尺度计算建模中面临的挑战,例如数据和离散化依赖性,可解释性,以及数据共享和协作平台开发。最后,我们提出了未来几个潜在的研究方向。
2023-03-22 cs.CE cs.LG
COSMO: Contextualized Scene Modeling with Boltzmann Machines
Middle East Technical University(中东技术大学)
场景建模对于机器人感知、推理和操纵环境中的物体是非常重要的。在本文中,我们适应和扩展玻尔兹曼机(BM)的上下文场景建模。尽管关于这个主题有很多模型,但我们是第一个将对象、关系和启示汇集在一个高能力的生成模型中的模型。为此,我们引入了一个混合版本的BM,其中关系和启示被引入到模型中的共享,三方连接。此外,我们贡献了一个数据集的关系估计和建模研究。我们评估我们的方法比较对象估计,上下文外的目标检测,关系估计和启示估计任务的几个基线。此外,为了说明模型的生成能力,我们展示了模型能够生成的几个示例场景。
2018-12-19 cs.CV cs.LG cs.RO
Performance and Power Modeling and Prediction Using MuMMI and Ten Machine Learning Methods
Argonne National Laboratory(阿贡国家实验室);University of Chicago(芝加哥大学);Illinois Institute of Technology(伊利诺伊理工学院)
在本文中,我们使用建模和预测工具MuMMI(多媒体建模基础设施)和十个机器学习方法来建模和预测性能和功率,并比较它们的预测出错率。我们使用的容错线性代数代码和容错热分布代码进行我们的建模和预测研究的克雷XC 40 θ和IBM BG/Q米拉在阿贡国家实验室和英特尔Haswell集群谢泼德在桑迪亚国家实验室。我们的实验结果表明,使用MuMMI的性能和功耗的预测出错率在大多数情况下小于10%。基于运行时,节点功率,CPU功率和内存功率的模型,我们确定与应用程序特性和目标体系结构相关的潜在优化工作的最重要的性能计数器,我们预测潜在优化的理论结果。当我们比较使用MuMMI与使用10种机器学习方法的预测准确度时,我们观察到MuMMI不仅在性能和功耗方面都有更准确的预测,而且还展示了性能计数器如何影响性能和功耗模型。这提供了一些关于如何微调应用程序和/或系统以提高能效的见解。
2020-11-12 cs.LG cs.PF
Improving generalization of machine learning-identified biomarkers with causal modeling: an investigation into immune receptor diagnostics
University of Oslo(奥斯陆大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Oslo University Hospital(奥斯陆大学医院)
该研究探讨了实验设计因素对机器学习诊断泛化能力的影响,以适应性免疫受体库(AIRRs)为例,通过模拟说明因果建模如何识别变量间稳定关系并指导调整人群间差异,从而提升生物标志物的鲁棒性。
2023-04-03 cs.LG q-bio.QM
Species Distribution Modeling for Machine Learning Practitioners: A Review
California Institute of Technology(加州理工学院);Yale University(耶鲁大学)
保护科学依赖于对特定生态系统中发生的事情的准确理解。有多少物种生活在那里?人口的构成是什么?这是如何随着时间的推移而变化的?物种分布模型(Species Distribution Modeling,SDM)是一种用于预测物种分布的空间模式(有时也包括时间模式)的建模方法,在过去的几年里,人们对应用强大的机器学习工具来解决生态学中具有挑战性的问题产生了浓厚的兴趣。尽管SDM具有相当大的重要性,但它却很少受到计算机科学界的关注。我们在这项工作中的目标是为计算机科学家提供必要的背景,阅读SDM文献和开发生态上有用的ML为基础的SDM算法。特别是,我们将介绍关键的SDM概念和术语,回顾标准模型,讨论数据可用性,并强调技术挑战和陷阱。
2021-07-03 cs.LG stat.AP
A Survey on Machine Learning Applied to Dynamic Physical Systems
本调查是关于物理建模和机器学习交叉领域的最新进展。我们专注于非线性系统的建模,更接近电动机。综述了电动机运行中的控制和故障检测技术。
2020-09-28 cs.LG cs.NE
MALM: Mixing Augmented Language Modeling for Zero-Shot Machine Translation
BITS Pilani(博拉理工学院)
大型预训练语言模型为NLP带来了显著的进步。预训练和微调在文本处理的任务中提供了最先进的性能。数据增强技术也有助于在低资源或零资源任务上构建最先进的模型。过去的许多工作都试图学习一个单一的多语种机器翻译模型的zero-shot翻译。虽然这些翻译模型产生了正确的翻译,但主要的挑战是这些模型产生了错误的语言用于zero-shot翻译。这项工作和它的结果表明,提示条件大模型不遭受小康目标语言的错误,即由于翻译错误的语言所产生的错误。我们实证证明了自监督预训练和数据增强对于zero-shot多语言机器翻译的有效性。
2022-10-01 cs.CL cs.LG
chemmodlab: A Cheminformatics Modeling Laboratory for Fitting and Assessing Machine Learning Models
chemmodlab的目标是简化R中许多机器学习模型的拟合和评估管道,使研究人员能够轻松比较新模型的效用。虽然专注于实施已被化学信息学领域专家接受的模型拟合和评估方法,但chemmodlab中的所有方法都对机器学习社区具有广泛的实用性。chemmodlab包含几个评估实用程序,包括一个构建累积曲线的绘图函数和一个计算许多性能度量的函数。chemmodlab最新颖的功能是通过多重比较相似性图来呈现许多机器学习模型的统计学显著性能差异。使用重复k折交叉验证评估差异,其中区组增加精密度并应用多重性调整。
2018-07-12 cs.LG q-bio.QM stat.ML
SLEM: Machine Learning for Path Modeling and Causal Inference with Super Learner Equation Modeling
Institute of Psychology, University of Lausanne(洛桑大学心理研究所)
针对结构方程模型因线性假设导致函数设定错误的问题,提出集成机器学习的 Super Learner Equation Modeling 路径建模技术,实现一致无偏的因果效应估计,在非线性关系中优于 SEM。
2024-01-05 cs.LG stat.AP stat.ML
Using Machine Learning to Guide Cognitive Modeling: A Case Study in Moral Reasoning
Princeton University(普林斯顿大学)
大规模的行为数据集使研究人员能够使用复杂的机器学习算法来更好地预测人类行为,但这种预测能力的提高并不总是能够更好地理解相关行为。在本文中,我们概述了一个数据驱动的迭代过程,允许认知科学家使用机器学习来生成既可解释又准确的模型。我们在道德决策领域展示了这种方法,标准的实验方法通常会确定影响人类判断的相关原则,但未能将这些发现推广到“现实世界”中,将这些原则置于冲突中。最近发布的道德机器数据集使我们能够建立一个强大的模型,可以预测这些冲突的结果,同时保持足够简单,以解释人类决策背后的基础。
2019-05-10 cs.AI cs.CY cs.LG
Generative modeling using evolved quantum Boltzmann machines
School of Electrical and Computer Engineering, Cornell University(电气与计算机工程学院,康奈尔大学)
本文提出了一种训练量子玻尔兹曼机进行Born规则生成建模的方法,结合了变分表示和梯度估计器,并展示了四种混合算法及其收敛保证。
2025-12-02 cs.LG math.OC quant-ph
Modeling reverse thinking for machine learning
School of Computer Science and Engineering, South China University of Technology, China(华南理工大学计算机科学与工程学院)
人类的惯性思维模式可以通过学习形成,然后应用于以后快速解决类似问题。然而,当问题有很大的不同时,惯性思维通常会给出肯定不完美的解决方案。在这种情况下,人们会运用创造性思维,如逆向思维来解决问题。类似地,机器学习方法也通过从大量数据中学习知识来形成惯性思维方案。然而,当试验数据相差悬殊时,所形成的惯性思维模式必然会产生误差。这种惯性思维称为错觉惯性思维。由于所有的机器学习方法都没有考虑错觉惯性思维,本文提出了一种利用逆向思维来纠正错觉惯性思维的新方法,增加了机器学习方法的泛化能力。基准数据集上的实验结果被用来验证所提出的方法。
2018-03-01 cs.AI cs.LG stat.ML
Machine Learning Workflows in Climate Modeling: Design Patterns and Insights from Case Studies
Department of Statistics, Columbia University(统计学系,哥伦比亚大学);NSF STC Learning the Earth with AI and Physics (LEAP)(NSF STC 学习地球与人工智能和物理(LEAP));Data Science Institute, Columbia University(数据科学研究所,哥伦比亚大学);Jet Propulsion Laboratory, California Institute of Technology(喷气推进实验室,加州理工学院);Department of Applied Physics and Applied Mathematics, Columbia University(应用物理与应用数学系,哥伦比亚大学)
本文通过分析气候建模领域的机器学习应用案例,综合多类项目的工作流设计模式,提出保障科学机器学习严谨性的框架,以降低该交叉领域的跨学科合作门槛。
2025-09-30 cs.LG physics.ao-ph stat.AP
Modeling Stated Preference for Mobility-on-Demand Transit: A Comparison of Machine Learning and Logit Models
Georgia Institute of Technology(佐治亚理工学院);University of Michigan(密歇根大学)
Logit模型通常用于研究个人旅行行为,即,以预测出行方式选择,并获得对出行者偏好的行为洞察。最近,一些研究已经将机器学习应用于对出行模式选择进行建模,并且报告了比传统的logit模型更高的样本外预测准确性(例如,多项式logit)。然而,很少有研究集中在比较机器学习与logit模型的可解释性。换句话说,如何从高性能的“黑箱”机器学习模型中获取行为洞察力在旅行行为建模领域仍然是一个悬而未决的问题。本文旨在通过研究logit和机器学习模型在出行方式选择建模的模型开发、评估和行为解释方面的关键相似点和差异,对这两种方法进行全面比较。为了补充理论讨论,本文还实证评估了这两种方法的国家偏好调查数据的一种新型的交通系统集成高频固定路线服务和乘车外包。结果表明,机器学习可以产生比logit模型显著更高的预测精度。此外,机器学习和logit模型在行为解释的许多方面基本一致。此外,机器学习可以自动捕捉输入特征和选择结果之间的非线性关系。最后指出,结合机器学习和传统统计方法的思想,开发精细化的出行行为模型具有巨大的潜力,并提出了一些新的研究方向。
2019-04-01 cs.AI cs.LG stat.AP
Efficient Climate Simulation via Machine Learning Method
Tsinghua University(清华大学)
结合数据驱动技术和数值方法的混合模式是一个新兴的和有前途的研究方向,有效的气候模拟。然而,以前的作品缺乏实用的平台,使开发混合建模具有挑战性的编程问题。此外,缺乏标准的数据集和评估指标可能会妨碍研究人员在统一的条件下全面比较各种算法。为了解决这些问题,我们提出了一个名为NeuroClim的框架,用于在真实世界场景下进行混合建模,这是一个模拟我们生活的真实气候的基本设置。NeuroClim由三部分组成:(1)平台。我们开发了一个用户友好的平台NeuroGCM有效地开发混合建模在气候模拟。(2)数据集。我们为混合建模中的数据驱动方法提供了一个开源数据集。我们研究数据的特征,即,非均匀性和刚性,揭示了气候模拟数据回归的困难;(3)指标。我们提出了一种定量评估混合建模的方法,包括机器学习模型的逼近能力和模拟过程中的稳定性。我们相信,NeuroClim允许研究人员在没有高水平气候相关专业知识的情况下工作,只专注于机器学习算法设计,这将加速人工智能-气候交叉领域的混合建模研究。代码和数据在https://github.com/x-w19/NeuroClim上发布。
2022-08-15 cs.AI cs.LG physics.ao-ph