Explainable Artificial Intelligence for Customer Churn Prediction in Telecommunications: A Framework for CRM Integration
本文针对电信客户流失预测中模型不透明导致的CRM集成缺口，测试四种分类器并结合SHAP、LIME提供可解释性，提出四层CRM集成架构，预计可降低流失率3.3-5.3个百分点、节省19.9万-31.9万美元。
2026-08-28 cs.AI cs.LG
Deep Learning in Customer Churn Prediction: Unsupervised Feature Learning on Abstract Company Independent Feature Vectors
Framed Data Inc（Framed Data 公司）；New York University（纽约大学）；Data Science Institute at Lancaster University（兰卡斯特大学数据科学研究所）
随着公司加大留住客户的力度，能够提前准确预测客户是否会在可预见的未来流失，这对任何营销团队来说都是一个非常强大的工具。本文深入阐述了深度学习在流失预测问题中的应用。使用抽象的特征向量，可以在任何基于订阅的公司的用户事件日志中生成，本文证明，通过使用深度神经网络的固有属性（以无监督的方式学习次要特征），完整的管道可以应用于任何基于订阅的公司，具有非常好的流失预测性能。此外，本文中记录的研究是为Framed Data（一家为其他公司提供流失预测服务的公司）与英国兰开斯特大学数据科学研究所合作进行的。本文是Framed Data的知识产权。
2017-03-10 cs.LG stat.ML
Predictive Dual Smoothing for Column Generation
KU Leuven（鲁汶大学）；TU Delft（代尔夫特理工大学）；Cornell Tech（康奈尔科技校区）
针对列生成中对偶振荡导致的收敛慢问题，提出预测性对偶平滑，用学习预测的未来对偶引导定价，实验表明大幅减少列数和时间。
2026-09-29 cs.AI cs.LG
Reducing cross-sample prediction churn in scientific machine learning
Helmholtz-Zentrum Berlin für Materialien und Energie GmbH（柏林材料与能源研究中心）；Helmholtz Institute for Polymers in Energy Applications Jena（耶拿聚合物能源应用赫尔姆霍茨研究所）；Laboratory of Organic and Macromolecular Chemistry (IOMC)（有机与大分子化学实验室）；Center for Energy and Environmental Chemistry Jena（耶拿能源与环境化学中心）；Jena Center for Soft Matter (JCSM)（耶拿软物质研究中心）
研究发现，科学机器学习模型在不同训练数据下预测结果存在显著差异，提出K-bootstrap bagging和twin-bootstrap方法有效降低此差异。
2026-05-13 cond-mat.mtrl-sci cs.LG physics.chem-ph
Data-Driven Telecom Marketing Optimization: A Machine Learning-Based Churn Prediction and Customer Segmentation Framework
研究电信公司客户流失问题，提出集成机器学习流失预测、客户细分及定制营销和ROI策略的数据驱动框架，用特定数据集训练调整模型，划分客户聚类并设计策略，经实验验证该框架比单独流失预测能产生更优营销决策。
2026-07-14 cs.LG
A Rolling-Window Framework for Churn Prediction and Behavioral Driver Identification
Information and Computer Science Department, King Fahd University of Petroleum and Minerals（国王法赫德石油和矿物大学信息与计算机科学系）；Interdisciplinary Research Center for Smart Mobility and Logistics (IRC-SML), King Fahd University of Petroleum and Minerals（智能交通与物流交叉研究中心（IRC-SML），国王法赫德石油和矿物大学）；SDAIA–KFUPM Joint Research Center for Artificial Intelligence, King Fahd University of Petroleum and Minerals（SDAIA-KFUPM人工智能联合研究中心，国王法赫德石油和矿物大学）
提出基于滚动行为窗口的流失预测框架，在非契约服务环境中实现连续风险评估，特征模型准确率87.6%、ROC-AUC 0.94，序列模型召回率96.1%。
2026-06-04 cs.LG
Customers Churn Prediction in Financial Institution Using Artificial Neural Network
University of Ibadan（伊巴丹大学）
在这项研究中，使用多层感知器的人工神经网络架构的预测模型，以预测客户流失的金融机构。以前的研究使用监督机器学习分类器，如逻辑回归，决策树，支持向量机，K-最近邻，和随机森林。这些分类器需要人力来执行特征工程，这导致过度指定和不完整的特征选择。因此，本研究提出一个模型，以消除在数据预处理阶段的人工特征工程。5万名客户？数据是从尼日利亚一家主要金融机构的数据库中提取的。多层感知器模型是用python程序设计语言建立的，并使用了两种过拟合技术（Dropout和L2正则化）。在python中完成的实现与Neuro solution infinity软件中的另一个模型进行了比较。结果表明，人工神经网络软件开发（Python）的性能与从Neuro Solution Infinity软件获得的性能相当。准确率分别为97.53%和97.4%，ROC曲线分别为0.89和0.85。
2019-12-23 cs.LG stat.ML
Customer churn prediction in telecom using machine learning and social network analysis in big data platform
客户流失是一个主要问题，也是大公司最关心的问题之一。由于对公司收入的直接影响，特别是在电信领域，公司正在寻求开发预测潜在客户流失的方法。因此，找到增加客户流失的因素，采取必要的行动，以减少这种流失是很重要的。我们的工作的主要贡献是开发一个流失预测模型，帮助电信运营商预测谁是最有可能受到流失的客户。该模型在大数据平台上运用机器学习技术，为特征的设计和选择提供了一种新的方法。为了衡量模型的性能，采用曲线下面积（AUC）标准度量，得到的AUC值为93.3%。另一个主要贡献是通过提取社会网络分析（SNA）特征，在预测模型中使用客户社会网络。SNA的使用使模型的性能相对于AUC标准从84%提高到93.3%。该模型是通过Spark环境准备和测试的，通过转换SyriaTel电信公司提供的大原始数据创建了一个大型数据集。该数据集包含9个月内的所有客户信息，并用于在SyriaTel对系统进行训练、测试和评估。该模型实验了四种算法：决策树、随机森林、梯度提升机器树“GBM”和极端梯度提升“XGBOOST”。然而，最好的结果是通过应用XGBOOST算法。将该算法用于流失预测模型的分类。
2019-04-01 cs.CY cs.DC cs.LG
Classifying variety of customer's online engagement for churn prediction with mixed-penalty logistic regression
利用大数据分析消费者行为可以为客户关系管理（CRM）中防止客户流失（流失）提供有效的决策工具。关注具有影响客户异质性的几种不同类别因素的CRM数据集（即，自助服务渠道的使用、服务持续时间和对营销行动的响应），我们提供了基于机器学习方法的客户流失率的新预测分析，该方法通过添加混合惩罚项来增强逻辑斯谛回归的分类。提出的惩罚性逻辑斯谛回归可以防止处理大数据时的过拟合，并在平衡中位数（绝对值）和均值（平方值）正则化的成本时最小化损失函数。我们展示了所提出的方法的分析特性及其在本研究中的计算优势。此外，我们研究了所提出的方法的性能与CRM数据集（具有大量的功能）在不同的设置下，有效地消除干扰（1）最不重要的功能和（2）敏感性从少数（流失）类。我们的实证结果证实了所提出的方法的预期性能完全符合常见的分类标准（即，准确度、精确度和召回率）来评估机器学习方法。
2021-07-13 cs.LG econ.EM stat.ML
e-Profits: A Business-Aligned Evaluation Metric for Profit-Sensitive Customer Churn Prediction
ADAPT Centre（ADAPT中心）；Faculty of Business, Technological University Dublin（技术大学都柏林商学院）；Department of Computer Science and Information Technology, University College Cork, Ireland（科克大学计算机科学与信息技术系）
e-Profits是一种基于客户终身价值、保留概率和干预成本的业务对齐评估指标，用于改进利润敏感客户流失预测模型的评估。
2026-01-14 cs.LG
Practical Bayesian Inference for Speech SNNs: Uncertainty and Loss-Landscape Smoothing
Idiap Research Institute（Idiap 研究所）
本文研究了贝叶斯学习对语音SNNs预测景观的影响，通过改进变分在线牛顿方法实现损失景观平滑，实验显示在负对数似然和Brier分数上表现提升。
2026-04-09 cs.AI cs.LG
Estimating defection in subscription-type markets: empirical analysis from the scholarly publishing industry
UWE Bristol（西英格兰大学布里斯托分校）
我们提出了第一个实证研究，在学术出版业的客户流失预测。该研究探讨了我们提出的方法预测客户订阅数据超过6.5年，这是由一个主要的学术出版商提供。我们探讨订阅型市场的背景下，客户的背叛和建模，并提供这种市场的商业模式的分析，以及这些如何影响学术出版业务。所提出的预测方法试图提供推断客户的叛逃的可能性的基础上，他们重新采样的使用提供商资源-在这种情况下，内容下载的数量和频率。我们表明，这种方法可以是准确的，以及独特的有用的企业对企业的背景下，与学术出版的商业模式有相似之处。这项工作的主要发现表明，虽然所有的预测模型检查，特别是集成方法的机器学习，实现了相当准确的预测流失，近一年的时间，这可以进一步实现，即使是特定的行为属性，可以关联到每个客户流失的概率被忽略。允许从最少的可能数据高度准确地推断流失。我们表明，重新采样的基础上客户使用的资源超过订阅时间的模型流失是一个更好的（简化）的方法比考虑高粒度时，往往可以避免消费行为。
2022-11-18 cs.AI cs.CE cs.LG
Neighborhood Smoothing for Calibration
Faculty of Data and Decision Sciences（数据与决策科学学院）；Technion（以色列理工学院）
本文提出图平滑作为训练时校准的一般原则，通过惩罚相邻样本预测分布的Jensen-Shannon散度来改善神经网络校准，并在多个基准上验证了其与事后校准互补的有效性。
2026-10-08 cs.LG
Self-Distillation as Instance-Specific Label Smoothing
Cornell University（康奈尔大学）；Cornell Univerisity（康奈尔大学）
最近的研究表明，多代自升华可以提高泛化能力。尽管这一有趣的观察，增强的原因仍然知之甚少。在本文中，我们首先通过实验证明，多代自蒸馏的性能提高部分与教师预测的多样性增加有关。考虑到这一点，我们为师生培训提供了一种新的解释，即摊销MAP估计，这样教师预测就可以实现特定于实例的正则化。我们的框架使我们能够从理论上将自蒸馏与标签平滑联系起来，标签平滑是一种常用的技术，可以规范预测不确定性，并表明除了预测不确定性之外，预测多样性的重要性。我们目前的实验结果使用多个数据集和神经网络架构，总体上，证明预测多样性的效用。最后，我们提出了一种新的特定于实例的标签平滑技术，该技术可以促进预测多样性，而无需单独训练的教师模型。我们提供了一个实证评估所提出的方法，我们发现，往往优于经典的标签平滑。
2020-10-22 cs.LG stat.ML
Improving Predictive Confidence in Medical Imaging via Online Label Smoothing
Institute of Engineering & Management, Kolkata（加尔各答工程与管理学院）
本研究提出在线标签平滑（OLS）动态调整软标签，在RadImageNet数据集上通过三种架构验证，显著提升分类准确率与特征嵌入质量，增强模型校准，助力医学影像可信AI。
2025-10-22 cs.CV cs.LG
Robust Predictive Modeling Under Unseen Data Distribution Shifts: A Methodological Commentary
Hong Kong University of Science and Technology（香港科技大学）；University of Notre Dame（圣母大学）
本文通过实际客户流失案例，指出训练与测试数据分布不一致的问题，并探讨领域泛化方法，提出采用不确定性意识的预测建模方法以提升模型鲁棒性。
2026-03-27 cs.LG
Does label smoothing mitigate label noise?
Google Research（谷歌研究院）
标签平滑通常用于训练深度学习模型，其中独热训练标签与统一标签向量混合。根据经验，平滑已被证明可以提高预测性能和模型校准。在本文中，我们研究标签平滑是否也是有效的一种手段，应对标签噪声。虽然标签平滑显然放大了这个问题-相当于注入对称噪声的标签-我们展示了它如何涉及到一个一般家庭的损失校正技术的标签噪声文献。建立在这个连接，我们表明，标签平滑是有竞争力的标签噪声下的损失校正。此外，我们表明，当从噪声数据中提取模型时，教师的标签平滑是有益的;这与最近的无噪声问题研究结果相反，并进一步阐明了标签平滑有益的设置。
2020-03-05 cs.LG stat.ML
Propagating Variational Model Uncertainty for Bioacoustic Call Label Smoothing
Imperial College London（伦敦帝国理工学院）；University of Kent（肯特大学）；University of Augsburg（奥格斯堡大学）
我们专注于使用贝叶斯神经网络计算的预测不确定性信号来指导模型正在训练的同一任务中的学习。我们不选择昂贵的权重蒙特卡洛采样，而是以端到端的方式传播近似隐藏方差，通过对ResNet的变分贝叶斯适应，注意力和挤压和激励块，以便识别对损失值计算贡献较小的数据样本。因此，我们提出了不确定性感知，数据特定的标签平滑，平滑概率取决于这种认知的不确定性。我们表明，通过明确使用的认知不确定性的损失计算，变分模型导致改进的预测和校准性能。这种核心机器学习方法在野生动物叫声检测中得到了例证，该方法来自通过动物自然栖息地中的被动声学监测设备进行的音频记录，其未来目标是以值得信赖的方式自动化大规模注释。
2022-10-19 cs.LG cs.SD eess.AS
Computation-Aware Kalman Filtering and Smoothing
Tübingen AI Center, University of Tübingen（蒂宾根人工智能中心，蒂宾根大学）；Columbia University（哥伦比亚大学）；University of Southampton（南安普顿大学）
针对高维高斯-马尔可夫模型中卡尔曼滤波与平滑的扩展性瓶颈，提出一种计算感知的无矩阵迭代概率数值方法，利用GPU加速实现计算成本与预测不确定性之间的可调权衡，并在大规模气候数据集上验证了其可扩展性。
2025-03-12 cs.LG cs.NA math.NA
Blurs Behave Like Ensembles: Spatial Smoothings to Improve Accuracy, Uncertainty, and Robustness
NAVER AI Lab（NAVER人工智能实验室）；Yonsei University（延世大学）
神经网络集成，如贝叶斯神经网络（BNN），已显示出在不确定性估计和鲁棒性领域的成功。然而，一个关键的挑战是禁止在实践中使用它们。BNN需要大量的预测来产生可靠的结果，导致计算成本显着增加。为了缓解这个问题，我们提出了空间平滑，一种在空间上集成卷积神经网络的相邻特征映射点的方法。通过简单地添加几个模糊层的模型，我们经验表明，空间平滑提高精度，不确定性估计，和鲁棒性的BNN在整个范围内的合奏大小。特别是，结合空间平滑的BNN仅用少数集合就实现了高预测性能。此外，该方法还可以应用于规范确定性神经网络，以提高性能。许多证据表明，这些改进可以归因于稳定的特征图和平滑的损失景观。此外，我们提供了一个基本的解释以前的作品-即，全球平均池，预激活，和ReLU 6-通过解决他们作为空间平滑的特殊情况。这些不仅提高了准确性，而且通过以与空间平滑相同的方式使损失景观更平滑来提高不确定性估计和鲁棒性。该代码可在https://github.com/xxxnell/spatial-smoothing上获得。
2022-07-14 cs.AI cs.CV cs.LG
Temporal Label Smoothing for Early Event Prediction
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
能够以低误报率提前预测事件发生的模型对于医学界接受决策支持系统至关重要。这个具有挑战性的任务通常被视为一个简单的二进制分类，忽略样本之间的时间依赖关系，而我们建议利用这种结构。我们首先介绍一个共同的理论框架，统一动态生存分析和早期事件预测。在对这两个领域的目标进行分析之后，我们提出了时间标签平滑（TLS），这是一种更简单但性能最好的方法，可以随着时间的推移保持预测单调性。通过将目标集中在具有更强预测信号的领域，TLS在两个大规模基准任务的所有基线上提高了性能。在临床相关指标方面的收益尤其显著，例如低误报率下的事件回忆。TLS在早期事件预测中将错过的事件数量减少到以前使用的方法的两倍。
2023-01-30 cs.LG
FedLAS: Feature-Modulated Bidirectional Label Smoothing for Neural Network Calibration
The University of Melbourne（墨尔本大学）
提出FedLAS算法，通过特征范数置信度指标和双向校准门控模块，动态调整每个样本的标签平滑程度，同时解决过自信和欠自信问题，提升神经网络校准性能。
2026-06-26 cs.AI cs.CV cs.LG
On the Sample Complexity of Imitation Learning for Smoothed Model Predictive Control
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；University of Oxford（牛津大学）
本文针对带约束系统提出基于对数障碍MPC松弛的平滑专家设计方法，证明了解析中心最优性间隙的新下界，并通过实验验证其优于随机平滑。
2024-09-03 cs.LG cs.SY eess.SY
Graph Neural Network with One-side Edge Sampling for Fraud Detection
本文提出单边边采样方法，通过预测置信度采样边以减少训练时间并缓解过平滑和过拟合问题，实验表明其在欺诈检测中表现优异。
2026-01-11 cs.AI cs.LG
Knowledge Distillation $\approx$ Label Smoothing: Fact or Fallacy?
IBM Research AI（IBM研究院人工智能）
本文通过比较模型预测置信度，重新审视知识蒸馏与标签平滑的等价性，实验表明两者在多数设置下对模型置信度影响相反，且KD中学生模型同时继承教师的知识与置信度，验证了经典的知识转移观点。
2023-10-25 cs.CL cs.LG
SmallML: Bayesian Transfer Learning for Small-Data Predictive Analytics
Independent Researcher（独立研究者）
针对中小企业因数据规模小被排除在AI之外的问题，提出贝叶斯迁移学习框架SmallML，通过三层架构实现小数据（50-200观测值）下的企业级预测精度，填补AI民主化空白。
2025-11-18 cs.LG stat.ML
ES-dRNN: A Hybrid Exponential Smoothing and Dilated Recurrent Neural Network Model for Short-Term Load Forecasting
Facebook；Czestochowa University of Technology（琴斯托霍瓦技术大学）
短期负荷预测是一个具有挑战性的问题，因为时间序列具有三种季节性模式和非线性趋势。本文提出了一种新的混合层次深度学习模型，该模型处理多个季节性，并产生点预测和预测区间（PI）。它结合了指数平滑（ES）和循环神经网络（RNN）。ES动态地提取每个单独TS的主要成分，并启用动态去季节化，这在相对较小的数据集上操作时特别有用。多层RNN配备了一种新型的扩张递归单元，旨在有效地对TS中的短期和长期依赖性进行建模。为了改进内部TS表示，从而提高模型的性能，RNN同时学习ES参数和将输入转换为预测的主映射函数。我们比较我们的方法与几个基线方法，包括经典的统计方法和机器学习（ML）的方法，对35个欧洲国家的STLF问题。实证研究清楚地表明，该模型具有较高的表达能力，解决非线性随机预测问题的TS包括多个季节性和显着的随机波动。事实上，它在准确性方面优于统计和最先进的ML模型。
2021-12-05 cs.LG cs.NE
Predicting Temporal Aspects of Movement for Predictive Replication in Fog Environments
TU Berlin（柏林工业大学）；ECDF（欧洲分布式计算中心）
本文针对雾环境中数据局部性管理问题，提出一种基于Holt-Winter指数平滑的时间预测模型，结合用户运动的序列与周期模式进行预测性复制，在真实轨迹仿真中实现冗余数据减少15%且数据可用性仅降1%。
2024-02-19 cs.DC cs.LG
Multi-dimensional Features for Prediction with Tweets
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
随着美国阿片类药物滥用的增加，在斯普林菲尔德，波士顿，福尔里弗，新贝德福德和科德角部分地区，过量相关和艾滋病毒相关死亡的重叠热点有所增加。由于包括农村社区在内的很大一部分人口活跃在社交媒体上，我们必须利用社交媒体的预测能力作为预防措施。我们探讨了微博社交媒体网站Twitter对每个国家艾滋病毒新诊断率的预测能力。虽然Twitter NLP中的趋势工作主要集中在基于文本的特征上，但我们发现多维特征构建可以显着提高主题特征对STI（性传播感染）的预测能力。通过多维特征，我们意味着不仅利用语料库的主题特征（文本），而且在特征构建中利用关于推文的基于位置的信息（县）。我们开发了新的基于文本位置的平滑特征来预测HIV的新诊断。
2019-10-15 cs.IR cs.LG
Strict baselines for Covid-19 forecasting and ML perspective for USA and Russia
MEPhI National Research Nuclear University（国立研究核大学（莫斯科工程物理学院））
目前，COVID-19的演变使研究人员能够收集两年来积累的数据集，并将其用于预测分析。反过来，这使得有可能评估更复杂的预测模型的效率潜力，包括具有不同预测范围的神经网络。在本文中，我们根据美国和俄罗斯两个国家的区域数据，对不同类型的预测COVID-19传播动态的方法进行了一致的比较研究。我们使用众所周知的统计方法（例如，指数平滑），一种“明天如今天”的方法，以及一组经典的机器学习模型，这些模型是根据来自各个区域的数据进行训练的。与此同时，还考虑了基于长短期记忆（LSTM）层的神经网络模型，其训练样本汇总了来自美国和俄罗斯两个国家所有地区的数据。根据MAPE指标使用交叉验证进行效率评估。结果表明，对于以每日确诊病例数量大幅增加为特征的复杂时期，在两国所有地区训练的LSTM模型显示出最佳结果，在预测范围为14，28，29，2分别为42天。
2022-07-15 cs.AI cs.LG
Epistemic Learning from Imprecise Annotation
Nanyang Technological University（南洋理工大学）
本文提出从信度监督进行认知学习的框架，通过悲观-乐观信度分类器学习预测分布集，并建立有限样本泛化界，在不精确标注下实现准确性、校准与选择性分类的平衡。
2026-09-29 cs.LG
On Mixup Training: Improved Calibration and Predictive Uncertainty for Deep Neural Networks
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of Washington（华盛顿大学）
Mixup~ \cite{zhang2017mixup}是最近提出的一种用于训练深度神经网络的方法，其中在训练期间通过凸组合随机图像对及其相关标签来生成额外的样本。虽然实现简单，但它已被证明是一种令人惊讶的有效的图像分类数据增强方法：使用mixup训练的DNN在许多图像分类基准上显示出明显的分类性能增益。在这项工作中，我们讨论了mixup训练的一个迄今为止尚未触及的方面-使用mixup训练的模型的校准和预测不确定性。我们发现，用mixup训练的DNN的校准效果要好得多，也就是说，预测的softmax分数是正确预测的实际可能性的更好指标-比以常规方式训练的DNN更好。我们对许多图像分类架构和数据集进行了实验-包括像ImageNet这样的大规模数据集-并发现情况确实如此。此外，我们发现，仅仅混合特征并不会产生相同的校准益处，并且混合训练中的标签平滑在改善校准方面起着重要作用。最后，我们还观察到，混合训练的DNN不太容易对分布外和随机噪声数据进行过度自信的预测。我们的结论是，在神经网络中看到的典型过度自信，即使是在分布数据上，也可能是使用硬标签训练的结果，这表明混合可以用于预测不确定性是一个重要问题的分类任务。
2020-01-07 cs.LG stat.ML
ScaleGNN: Towards Scalable Graph Neural Networks via Adaptive High-order Neighboring Feature Fusion
Ocean University of China（海洋大学）；Harbin Institute of Technology（哈尔滨工业大学）；Shandong University of Science and Technology（山东科技大学）；School of Computer, National University of Defense Technology（国防科技大学计算机学院）
ScaleGNN通过自适应融合多跳节点特征，解决大规模图神经网络的可扩展性和过平滑问题，提升预测准确性和效率。
2026-03-09 cs.LG
Conformal and kNN Predictive Uncertainty Quantification Algorithms in Metric Spaces
Department of Economics and Business, Pompeu Fabra University（巴塞罗那庞培法布拉大学经济与商业系）；ICREA；Barcelona Graduate School of Economics（巴塞罗那经济研究生院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Department of Biostatistics, Harvard University（哈佛大学生物统计学系）
针对度量空间回归模型，提出基于同方差性的共形预测算法和异方差下的kNN过程，分别提供有限样本覆盖保证和局部自适应预测半径，适用于大规模数据和序列扩展。
2026-06-23 cs.LG math.ST stat.ME
Vector Quantized Bayesian Neural Network Inference for Data Streams
Yonsei University（延世大学）
贝叶斯神经网络（BNN）可以估计预测中的不确定性，而非贝叶斯神经网络（NN）。然而，BNN在实践中的应用远不如非贝叶斯NN广泛，因为它们需要迭代NN执行来预测一个数据的结果，并且它会产生令人望而却步的计算成本。这种计算负担是处理低延迟数据流时的一个关键问题。为了解决这个问题，我们提出了一种新的模型VQ-BNN，它近似于数据流的BNN推理。为了减少计算负担，VQ-BNN推理仅预测NN一次，并使用先前记忆的预测结果进行补偿。具体来说，VQ-BNN的数据流推理是通过最近预测的时间指数平滑来给出的。该模型的计算成本与非贝叶斯神经网络的计算成本几乎相同。包括对真实数据的语义分割在内的实验表明，该模型的执行速度明显快于BNN，同时估计的预测结果与BNN的结果相当或更好。
2021-01-25 cs.CV cs.LG stat.ML
