MPP: Model Performance Predictor
ParallelM（ParallelM（平行M）公司）
操作是机器学习管道部署领域的一个关键挑战，涉及实时预测质量的监控和管理。通常，像准确性、RMSE等指标，用于跟踪部署中模型的性能。但是，由于没有标签，这些指标无法在生产中计算。我们建议使用ML算法，模型性能预测器（MPP），来跟踪部署中模型的性能。我们认为，这样的指标的合奏可以用来创建一个分数，代表在生产中的预测质量。这反过来又促进了ML警报的制定和定制，可以由运营团队升级到数据科学团队。这样的分数可以自动监控并实现大规模的ML部署。
2019-02-22 cs.LG stat.ML
Monitoring and explainability of models in production
Seldon Technologies Ltd（Seldon科技有限公司）
机器学习生命周期延伸到部署阶段之外。监控已部署的模型对于持续提供高质量的支持机器学习的服务至关重要。关键领域包括模型性能和数据监测，使用统计技术检测离群值和数据漂移，并提供历史预测的解释。我们讨论了在每个领域成功实施解决方案所面临的挑战，并提供了一些使用开源工具的生产就绪解决方案的最新示例。
2020-07-13 cs.LG stat.ML
A Global Multi-Unit Calibration as a Method for Large Scale IoT Particulate Matter Monitoring Systems Deployments
针对低成本物联网颗粒物监测系统校准成本高的问题，提出一种零迁移样本的全局校准方法，基于有限单元现场数据和机器学习，适用于同类型所有单元，性能媲美最先进方法，可大幅降低成本并支持大规模部署。
2023-10-27 cs.LG
Lessons from Usable ML Deployments and Application to Wind Turbine Monitoring
MIT（麻省理工学院）；ScottishPower Renewables（苏格兰电力可再生能源公司）
本文总结了可用机器学习部署的三条经验教训，并将其应用于风力涡轮机监测任务，以辅助刹车片故障决策，展示其在可再生能源领域的实际价值。
2023-12-05 cs.LG
Machine Learning Methods for Monitoring of Quasi-Periodic Traffic in Massive IoT Networks
Aalborg University（奥尔堡大学）
大规模物联网（IoT）部署的核心问题之一是监控大量链路的状态。通过链路传输的业务的不规则性加剧了这个问题，因为业务的不规则性可以伪装成链路故障，反之亦然。在这项工作中，我们提出了一个流量模型的物联网设备运行准周期性的应用程序，我们提出了监督和无监督的机器学习方法来监测网络性能的物联网部署与准周期性的报告，如智能计量，环境监测和农业监测。无监督方法基于Lomb-Scargle周期图，这是天文学家开发的一种方法，用于估计不均匀采样时间序列的谱密度。
2020-02-27 cs.LG cs.NI
Defensive Perception: Estimation and Monitoring of Neural Network Performance under Deployment
ZF Friedrichshafen AG（采埃孚股份公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对自动驾驶语义分割网络部署中的域漂移风险，提出基于 Monte Carlo Dropout 认知不确定性的防御性感知包络，实现性能估计、监测告警与安全触发。
2023-08-11 cs.AI cs.CV cs.LG
Deep Single Models vs. Ensembles: Insights for a Fast Deployment of Parking Monitoring Systems
Pontifícia Universidade Católica do Paraná（巴拉那天主教大学）；Universidade Federal do Paraná（巴拉那联邦大学）
本文研究跨场景即用型停车监控框架，通过多数据集、深度架构、融合与集成实验，证明在多样化公开数据上训练的单一模型无需目标场地标注即可达到95%准确率。
2023-09-28 cs.CV cs.LG
Adaptive machine learning strategies for network calibration of IoT smart air quality monitoring devices
ENEA（意大利国家新技术、能源与环境机构）
空气质量多传感器系统（AQMS）是一种基于低成本化学微传感器阵列的物联网设备，最近已经证明能够提供相对准确的空气污染物定量估计。它们的可用性允许部署无处不在的空气质量监测（AQM）网络，这将解决影响AQ监管监测系统（AQRMS）当前网络的地理稀疏问题。不幸的是，由于包括传感器中毒或老化、非目标气体干扰、缺乏制造可重复性等在内的几个技术问题的负面影响，它们的精度在长期的现场部署中显示出有限性。先验概率分布的季节性变化，可观察和隐藏的上下文变量（即不可观察的干扰物）挑战现场数据驱动的校准模型，这些模型的短期到中期性能最近引起了城市当局和监测机构的注意。在这项工作中，我们解决这个非平稳的框架与自适应学习策略，以延长多传感器校准模型的有效性，使连续学习。分析了不同网络和节点间重校准情况下相关参数的影响。因此，结果是有用的普及部署，旨在永久高分辨率AQ映射在城市的情况下，以及使用AQMS作为AQRMS备份系统提供数据时，AQRMS数据不可用，由于故障或定期maintainance。
2020-03-24 cs.LG eess.SP stat.ML
Sequential statistical inference for Large Language Models: Representation, validity, and monitoring
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院工业与系统工程系）
本文提出将序贯统计推断应用于大语言模型可信赖性，围绕表示、有效性和监控三个任务展开，将LLM交互视为依赖随机过程，提供不确定性保证并检测行为变化。
2026-05-30 cs.LG
Reliably Detecting Model Failures in Deployment Without Labels
本文研究无标签下检测模型失效的问题，提出基于预测模型分歧的监控算法D3M，以区分恶化与非恶化分布偏移，在标准基准和真实内科数据集上验证其有效性，可作为高风险机器学习流水线的警报机制。
2025-11-04 cs.LG
ML Health: Fitness Tracking for Production Models
ParallelM
在生产环境中部署机器学习（ML）算法已经发现了新的挑战，例如在没有标签的情况下监控和管理模型的实时预测质量。然而，这种跟踪对于防止错误预测导致的灾难性业务结果至关重要。这些部署的规模使得手动监控变得难以为继，因此必须使用自动化技术来跟踪和发出警报。我们提出了一个框架ML Health，用于跟踪在没有标签的情况下ML模型预测性能的潜在下降。该框架采用诊断方法生成警报，以供进一步调查。我们开发了一种这样的方法来监控潜在的问题时，生产数据模式不匹配的训练数据分布。我们证明了我们的方法在检测不匹配数据集的问题时比标准的“距离度量”（如RMSE，KL-Divergence和Wasserstein）性能更好。最后，我们提出了一个工作系统，它结合了ML Health方法来监控和管理现实的完整生产ML生命周期内的ML部署。
2019-02-07 cs.LG stat.ML
Deep Learning and Its Applications to Machine Health Monitoring: A Survey
自2006年以来，深度学习（DL）已成为一个快速发展的研究方向，重新定义了对象识别、图像分割、语音识别和机器翻译等广泛领域的最新性能。在现代制造系统中，由于低成本传感器的广泛部署及其与互联网的连接，数据驱动的机器健康监测越来越受欢迎。同时，深度学习为处理和分析这些大机械数据提供了有用的工具。本文的主要目的是回顾和总结深度学习在机器健康监测方面的新兴研究工作。在简要介绍了深度学习技术的基础上，主要从以下几个方面综述了深度学习在机器健康监测系统中的应用：自动编码器（AE）及其变体、受限玻尔兹曼机及其变体（包括深度信念网络（DBN）和深度玻尔兹曼机（DBM））、卷积神经网络（CNN）和递归神经网络（RNN）。最后，讨论了基于动态联盟的机器健康监测方法的发展趋势。
2016-12-16 cs.LG stat.ML
LatentAudit: Real-Time White-Box Faithfulness Monitoring for Retrieval-Augmented Generation with Verifiable Deployment
Binjiang Institute of Zhejiang University（浙江大学滨江研究院）；Communication University of Zhejiang（浙江传媒学院）；Zhejiang University（浙江大学）
LatentAudit通过分析生成器中间层激活来实时监控RAG系统的可信度，无需额外模型，且在多个基准测试中表现出高准确率和低延迟，支持公开验证。
2026-04-07 cs.AI cs.LG
DUPLE: An Intelligent Cross-Deployment Recognition Framework for Fiber-Optic Perimeter Security under Scarce Target Labels
College of Smart Materials（智能材料学院）；Future Energy, Fiber-Optic Research Center, Fudan University, Shanghai 200433, China（未来能源、光纤研究中心、复旦大学、上海200433, 中国）；School of Software, Northwestern Polytechnical University, Xi'an 710129, China（软件学院、西北工业大学、西安710129, 中国）；Sichuan Fujinan Technology Co., Ltd., Chengdu 611400, China（四川傅南科技有限公司、成都611400, 中国）；School of Computer Science, Northwestern Polytechnical University, Xi'an 710129, China（计算机学院、西北工业大学、西安710129, 中国）
本文提出DUPLE框架，通过联合利用时频域特征和样本统计信息，提升分布式光纤传感跨部署识别的准确性和稳定性。
2026-06-23 cs.AI cs.LG stat.ML
Model Monitoring and Robustness of In-Use Machine Learning Models: Quantifying Data Distribution Shifts Using Population Stability Index
Ford Motor Company（福特汽车公司）
安全第一。满足和维护人工智能（AI）和机器学习（ML）模型稳健性的行业安全标准需要持续监控故障和性能下降。深度学习模型广泛用于工业应用，例如，计算机视觉，但是它们的性能对环境变化的敏感性（例如，噪声）产品上的\emph{after deployment}，现在是众所周知的。一个主要的挑战是检测发生的数据分布偏移，比较以下内容：AI和ML模型的{ \bf（i）}开发阶段，即，训练/确认/测试，至产品的{ \bf（ii）}部署阶段（即，即使在环境中“测试”之后。我们专注于与自动驾驶相关的计算机视觉示例，旨在检测由于向图像添加噪声而发生的偏移。我们使用的人口稳定性指数（PSI）作为衡量的存在和强度的转变，我们的实证实验结果显示了一个很有前途的潜力PSI。我们进一步讨论了模型监控和鲁棒性的多个方面，需要分析\emph{simultaneously}，以实现行业安全标准的鲁棒性。我们提出的需要和研究方向对\emph{categorizations}的问题类和例子，需要监测的鲁棒性，并提出挑战和未来的工作指针从\emph{practical}的角度来看。
2023-02-01 cs.LG
Neuromorphic Continual Learning for Sequential Deployment of Nuclear Plant Monitoring Systems
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at El Paso（德克萨斯大学埃尔帕索分校）；National Center for Supercomputing Applications（国家超级计算应用中心）
本文提出基于脉冲神经网络的持续学习异常检测系统，解决核工业控制系统中多子系统连续部署的持续学习与能量效率问题，通过异步传感器融合与混合EWC+Replay方法实现高精度检测。
2026-04-13 cs.AI cs.LG cs.NE
Trust-Aware Predictive Emissions Monitoring for Gas Turbine Fleets with Limited Labelled Data
School of Natural and Computing Sciences University of Aberdeen（自然与计算科学学院 布拉德福德大学）；School of Computing Sciences University of East Anglia（计算科学学院 东安格利亚大学）；Siemens Energy Industrial Turbomachinery Ltd.（西门子能源工业涡轮机有限公司）；Department of Physics and Technology UiT The Arctic University of Norway（物理与技术系 UiT 北极大学）
提出一种信任感知概率框架，结合多头循环预测模型、置信度估计、集成不确定性量化、辅助特征预测、特征空间距离分析和运行范围诊断，在少量标注数据下实现机群级NOx预测，并提供可解释的逐样本信任分数以指示未标注涡轮机的预测可靠性。
2026-06-04 cs.LG
Control and Monitoring of Artificial Intelligence Algorithms
本文强调AI模型部署后的治理与监控，解释数据漂移和概念漂移概念，并介绍评估模型随时间性能变化的指标。
2023-07-24 cs.AI cs.LG
A Real-Time Tsetlin Machine-based Non-intrusive Load Monitoring System on MCUs
本文提出基于Tsetlin机的NILM框架，解决传统NILM难在MCU部署的问题，在REDD数据集上实现高分类精度，模型体积小、推理延迟低，适配MCU嵌入式应用。
2026-08-28 cs.LG
Model-Based Runtime Monitoring with Interactive Imitation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对现有交互式模仿学习方法需持续人工监督的问题，提出基于模型的运行时监控算法，通过学习隐空间动力学模型与故障分类器提前预测故障，减少人工工作量并提升任务成功率。
2023-10-26 cs.AI cs.LG cs.RO
Automating the Training and Deployment of Models in MLOps by Integrating Systems with Machine Learning
Northeastern University（东北大学）；New York University（纽约大学）；Zheiiang University（浙江大学）；Trine University（特里恩大学）
该研究聚焦MLOps领域的模型训练与部署痛点，提出将系统与机器学习集成的方案，涵盖自动化训练、版本控制、CI/CD集成、部署后监控等关键环节，并结合Netflix实践给出落地策略，为企业优化MLOps流程提供参考。
2024-05-16 cs.LG cs.SE
ConvexECG: Lightweight and Explainable Neural Networks for Personalized, Continuous Cardiac Monitoring
Stanford University（斯坦福大学）
ConvexECG通过凸重构两层ReLU网络，从单导联重建六导联心电图，在25名患者数据上达到与大型网络相当的精度且计算开销更低，适用于实时低资源监测。
2024-09-19 cs.LG eess.SP math.OC
Redundancy Analysis and Mitigation for Machine Learning-Based Process Monitoring of Additive Manufacturing
McGill University（麦吉尔大学）
本文定义了基于机器学习的增材制造过程监测中的样本级、特征级和模型级冗余，并提出多级冗余缓解（MLRM）框架，通过数据配准、降尺度等方法系统减少冗余，显著降低延迟、错误率与存储需求，确立冗余分析为高效监测的关键。
2025-04-30 cs.CE cs.LG eess.SP
Who supervises the supervisor? Model monitoring in production using deep feature embeddings with applications to workpiece inspection
Fabforce GmbH & Co. KG（Fabforce 有限两合公司）
状态监测和工件检测的自动化在保持制造过程的高质量和高产量方面起着至关重要的作用。为此，最近机器学习发展的兴起导致了自主过程监督领域的巨大改进。然而，这些模型变得越复杂和强大，它们通常也就越不透明和不可解释。主要挑战之一是监控这些机器学习系统的实时部署，并在遇到可能影响模型性能的事件时发出警报。特别地，监督分类器通常是在底层数据分布的平稳性假设下构建的。例如，在一组材料表面缺陷上训练的视觉检测系统通常不适应或甚至不识别数据分布的逐渐变化-被称为"数据漂移"的问题-例如新类型的表面缺陷的出现。这又可能导致有害的误预测，例如，来自新缺陷类别的样本被分类为无缺陷。为此，期望提供分类器性能的实时跟踪，以告知关于附加错误类别的推定开始以及关于分类器重新训练的人工干预的必要性。在这里，我们提出了一个无监督的框架，它作用于有监督的分类系统之上，从而利用其内部的深度特征表示作为代理来跟踪部署过程中数据分布的变化，从而预测分类器性能的下降。
2022-01-17 cs.CV cs.LG
AI-Driven Forecasting and Monitoring of Urban Water System
Texas A&M University - Corpus Christi（德克萨斯A&M大学-科珀斯克里斯蒂分校）；The AIII Lab（AIII实验室）
本研究提出集成AI与远程传感器的框架，利用稀疏传感器和HydroNet模型，通过边缘感知消息传递与水力模拟，实现地下管道泄漏的精准预测与监测。
2025-10-08 cs.AI cs.LG
An Efficient Framework for Monitoring Subgroup Performance of Machine Learning Systems
RMIT University（皇家墨尔本理工大学）
部署后监控机器学习系统对于确保系统的可靠性至关重要。特别重要的是跨所有数据子组（子群体）监测机器学习系统的性能的问题。在实践中，这个过程可能非常昂贵，因为数据子组的数量随着输入特征的数量呈指数级增长，并且标记数据以评估每个子组的性能的过程是昂贵的。在本文中，我们提出了一个有效的框架，监测子群性能的机器学习系统。具体来说，我们的目标是使用有限数量的标记数据找到性能最差的数据子组。我们在数学上将此问题表示为具有昂贵的黑箱目标函数的优化问题，然后建议使用贝叶斯优化来解决此问题。我们在各种真实世界数据集和机器学习系统上的实验结果表明，我们提出的框架可以有效地检索性能最差的数据子组。
2022-12-16 cs.AI cs.LG
A Low-Cost IoT Device for Environmental Monitoring and Embedded Solar Forecasting with On-Device Incremental Learning
Universidad Autónoma de Guadalajara（瓜达拉哈拉自治大学）；Ulm University（乌尔姆大学）；Ulm University of Applied Sciences（乌尔姆应用科技大学）
该研究开发了一款成本约65美元的物联网设备，集成多传感器，采用混合架构结合云外训练与设备端增量学习，经现场部署验证，其太阳能预测精度优于气候学基准，可实现低成本分布式环境监测与太阳能预测。
2026-08-18 cs.LG eess.SP
GetNetUPAM: Ecologically Informed Nested Cross-Validation and Noise-Robust Attention for Marine Bioacoustic Monitoring
University of California, San Diego（加州大学圣地亚哥分校）
提出GetNetUPAM框架，通过分层嵌套交叉验证保持生态异质性，并集成CBAM空间注意力的ARPA-N网络，在高噪声低信噪比条件下实现鲁棒泛化，在零训练区域将误报率降低约10倍。
2026-06-12 cs.AI cs.CV cs.IR
Lessons Learned from Deploying Adaptive Machine Learning Agents with Limited Data for Real-time Cell Culture Process Monitoring
Complex Adaptive Systems Laboratory, The Data Science Institute, University of Technology Sydney, NSW 2007, Australia（复杂适应系统实验室，数据科学研究所，新南威尔士大学悉尼分校）
本研究针对细胞培养过程监测数据有限和过程可变的问题，对比三种ML方法在拉曼光谱代谢物预测中的表现，明确了各方法适用场景，强调模型在线更新的重要性并验证了混合专家框架的效用，为生物制造环境ML部署提供策略参考。
2025-08-29 cs.LG q-bio.QM
Performance Monitoring of Proton Exchange Membrane Water Electrolyzer by Transformers-Based Machine Learning Model
Bosch Research & Technology Center（博世研发与技术中心）
本文提出了一种基于变压器的机器学习框架，用于在正常运行过程中进行虚拟电化学表征，通过编码器-解码器结构对极化曲线进行重构，实现了对质子交换膜水电解器状态健康度的连续监控。
2026-05-18 cs.LG eess.SP
Overton: A Data System for Monitoring and Improving Machine-Learned Products
Apple（苹果公司）
我们描述了一个名为Overton的系统，其主要设计目标是支持工程师构建，监控和改进生产机器学习系统。工程师面临的主要挑战是监控细粒度的质量，诊断复杂应用中的错误，以及处理矛盾或不完整的监督数据。Overton通过提供一组新颖的高级声明性抽象，使模型构造、部署和监视的生存周期自动化。Overton的愿景是将开发人员转移到这些更高级别的任务上，而不是更低级别的机器学习任务。事实上，使用Overton，工程师可以构建基于深度学习的应用程序，而无需在TensorFlow等框架中编写任何代码。一年多来，Overton一直用于生产，以支持近实时应用和后台处理中的多种应用。在这段时间里，基于Overton的应用程序已经用多种语言回答了数十亿次查询，处理了数万亿条记录，与生产系统相比，错误减少了1.7-2.9倍。
2019-09-07 cs.CL cs.DB cs.LG
Label-Efficient Monitoring of Classification Models via Stratified Importance Sampling
Amazon（亚马逊）
本文提出基于分层重要性采样的方法，以提高分类模型监控的标注效率和性能。
2026-01-29 cs.LG stat.AP
Joint inversion of Time-Lapse Surface Gravity and Seismic Data for Monitoring of 3D CO$_2$ Plumes via Deep Learning
Rice University（莱斯大学）；TotalEnergies EP Research and Technology USA（道达尔能源美国勘探与生产研究技术公司）
本研究提出基于深度学习的全三维时移地表重力与地震数据联合反演方法，用于地下CO$_2$羽流监测，相比单模态反演提升了重建与分割效果，为CO$_2$封存监测提供有效工具。
2023-09-24 cs.CV cs.LG physics.geo-ph
Safe AI for health and beyond -- Monitoring to transform a health service
本文研究医疗机器学习模型发布后的性能维护问题，提出通过持续监测与更新基础设施应对临床环境变化，并以乳腺癌预后和神经退行性疾病分层两个场景验证。
2023-06-06 cs.AI cs.LG
Drifter: Efficient Online Feature Monitoring for Improved Data Integrity in Large-Scale Recommendation Systems
Outbrain Inc.（Outbrain公司）
本文提出高效轻量级在线特征监控系统 Drifter，结合稀疏数据在线特征排序与异常检测，以极低资源开销实现大规模推荐系统中的实时漂移检测、根因分析和数据质量保障。
2023-09-21 cs.IR cs.LG
SepsisAI Orchestrator: A Containerized and Scalable Platform for Deploying AI Models and Real-Time Monitoring in Early Sepsis Detection
School of Systems Engineering and Computing, University of Valle（系统工程与计算学院，山谷大学）；Digital Medicine Unit, Balgrist University Hospital（数字医学单元，巴尔格里斯大学医院）；Nucleus-AI Research（核芯AI研究所）
本文提出SepsisAI-Orchestrator平台，通过整合HL7 FHIR启发的临床文档架构（CDA）预处理、NoSQL存储、容器化LightGBM分类器和Streamlit临床仪表板，解决了早期败血症检测中AI模型部署的挑战，并通过负载测试展示了U型扩展行为。
2026-05-21 cs.AI cs.DC cs.LG
FedHome: Cloud-Edge based Personalized Federated Learning for In-Home Health Monitoring
Sun Yat-sen University（中山大学）；Arizona State University（亚利桑那州立大学）
家庭健康监测已经引起了全世界老龄化人口的极大关注。随着物联网（IoT）设备访问的丰富用户健康数据和机器学习的最新发展，智能医疗已经看到了许多成功的故事。然而，现有的家庭健康监测方法没有充分关注用户数据隐私，因此远未准备好进行大规模的实际部署。在本文中，我们提出了FedHome，一种新的基于云边缘的联邦学习框架，用于家庭健康监测，它从网络边缘的多个家庭学习云中的共享全局模型，并通过将用户数据保存在本地来实现数据隐私保护。为了应对用户监测数据中固有的不平衡和非IID分布，我们设计了一个生成式卷积自动编码器（GCAE），其目的是通过使用用户个人数据生成的类平衡数据集来改进模型，从而实现准确和个性化的健康监测。此外，GCAE是轻量级的，可以在云和边缘之间传输，这有助于降低FedHome中联邦学习的通信成本。基于真实人类活动识别数据跟踪的广泛实验证实，FedHome显著优于现有的广泛采用的方法。
2020-12-14 cs.AI cs.DC cs.LG
