AttViz: Online exploration of self-attention for transparent neural language modeling
Jožef Stefan Institute(约瑟夫·斯特凡研究所);University of Ljubljana(卢布尔雅那大学)
神经语言模型正在成为查询回答、文本分类、消歧、补全和翻译任务的主流方法。这些神经网络模型通常由数亿个参数组成,以可解释性为代价提供了最先进的性能;人类不再能够跟踪和理解决策是如何做出的。最初为翻译任务引入的注意力机制已成功地用于其他与语言相关的任务。我们提出AttViz,一个在线工具包,用于探索自注意力-与单个文本标记相关的真实值。我们展示了现有的深度学习管道如何产生适合AttViz的输出,以最小的努力在线提供注意力头及其聚合的新颖可视化。我们在新闻片段的例子中展示了如何使用所提出的系统来检查并可能更好地理解模型已经学习(或强调)的内容。
2020-05-12 cs.LG stat.ML
Generalization Analysis of Online Stochastic Gradient Descent for Overparameterized Two-Layer Neural Networks
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院);Shanghai Key Laboratory for Contempo(上海市现代(暂未完整,按原文提取))
本文在NTK机制下分析过参数化两层神经网络在线SGD的泛化误差,提出统一框架推导最后迭代的尖锐收敛速率,并将网络宽度要求从指数降至多项式,缩小理论与实践的差距。
2026-09-29 cs.LG stat.ML
Online model error correction with neural networks in the incremental 4D-Var framework
CEREA, École des Ponts and EDF R&D(巴黎路桥学院大气环境研究中心与法国电力公司研发部);ECMWF(欧洲中期天气预报中心)
最近的研究表明,有可能将机器学习与数据同化相结合,以重建部分和不完全观察到的物理模型的动态。数据同化用于从观测值估计系统状态,而机器学习基于这些估计的状态计算动态系统的代理模型。代理模型可以被定义为一种混合组合,其中基于先验知识的物理模型用由神经网络估计的统计模型增强。一旦模型状态估计的足够大的数据集可用,神经网络的训练通常离线完成。相比之下,在线方法的代理模型的改进,每次一个新的系统状态估计计算。在线方法自然适合地球科学中遇到的连续框架,其中新的观测随着时间的推移而变得可用。在最近的方法学论文中,我们开发了一种新的弱约束4D-Var制定,可用于训练一个神经网络在线模型误差校正。在本文中,我们开发了该方法的简化版本,在大多数业务气象中心采用的增量4D-Var框架中。利用新近开发的Fortran神经网络库,在ECMWF面向对象预报系统中实现了该简化方法,并用一个两层二维准地转模式进行了检验。结果证实,在线学习是有效的,并产生一个更准确的模型误差校正比离线学习。最后,简化的方法是兼容的国家的最先进的模型,如ECMWF集成预报系统的未来应用。
2022-10-25 cs.LG stat.ML
Online Estimation and Community Detection of Network Point Processes for Event Streams
Fudan University(复旦大学);Simon Fraser University(西蒙弗雷泽大学);Columbia University(哥伦比亚大学)
针对事件流网络的社区发现问题,提出一种基于连续时间点过程潜在网络模型的快速在线变分推断算法,在保证社区恢复性能与非在线方法相当的同时显著降低计算开销。
2023-10-26 cs.LG cs.SI stat.ML
Online anomaly detection using statistical leverage for streaming business process events
Ulsan National Institute of Science and Technology (UNIST)(蔚山国家科学技术研究所)
虽然最近在文献中出现了几种用于在离线设置中检测事件日志中的跟踪级异常的技术,但目前缺乏在线设置的这种技术。在线设置中的事件日志异常检测对于发现流程执行中的异常至关重要,一旦异常发生,就可以立即采取早期纠正措施。本文介绍了一种新的方法,事件日志异常检测的事件流,使用统计杠杆。杠杆作用已被广泛用于统计,以制定措施,以确定离群值,它已在本文中的事件流数据的特定场景。所提出的方法已在人工和真实事件流上进行了评估。
2021-03-01 cs.LG stat.CO
Semi-Supervised Online Structure Learning for Composite Event Recognition
Inst. of Informatics & Telecom., National Center for Scientific Research “Demokritos”(国家科学研究中心“德莫克利特”信息与电信研究所);Dept. of Informatics & Telecom., National and Kapodistrian University of Athens(雅典国立卡波迪斯特里亚大学信息与电信系);Dept. of Maritime Studies, University of Piraeus(比雷埃夫斯大学海事研究系)
在线结构学习方法,如那些源于统计关系学习,使发现复杂的关系,在嘈杂的数据流。然而,这些方法假设存在完全标记的训练数据,这对于大多数现实世界的应用是不现实的。我们提出了一种新的方法来完成半监督结构学习任务的监督。我们将图形切割最小化,一种技术,得出标签的未标记的数据,根据他们的距离,他们的标记对应。为了适应图切割最小化一阶逻辑,我们采用了一个合适的结构距离测量逻辑原子集之间的距离。标签过程是通过缓存机制和Hoeffding界在线实现的(单程),Hoeffding界是一种统计工具,用于从局部最优决策近似全局最优决策。我们使用人类活动识别的基准数据集以及海事监测的真实数据集来评估我们在复合事件识别任务上的方法。评估表明,我们的方法可以有效地完成缺失的标签,并最终提高底层结构学习系统的准确性。
2019-02-20 cs.AI cs.LG stat.ML
Event-Driven Online Vertical Federated Learning
Western University(西部大学);Vector Institute(向量研究所);Jilin University(吉林大学)
针对纵向联邦学习中客户端数据到达不同步的挑战,提出事件驱动的在线VFL框架,仅激活相关客户端并引入动态局部遗憾分析,在非平稳环境下更稳定且降低通信与计算成本。
2025-06-17 cs.DC cs.LG
The Analysis of Online Event Streams: Predicting the Next Activity for Anomaly Detection
Utrecht University(乌得勒支大学)
流程挖掘中的异常检测主要关注流程执行中的异常情况或事件。由此产生的诊断用于提供防止欺诈行为的措施,以及获得用于改进流程合规性和安全性的建议。大多数现有的技术集中在检测离线设置中的异常情况。然而,为了及时识别潜在的异常并立即采取对策,有必要实时在线检测事件级异常。在本文中,我们提出了使用下一个活动预测方法来解决在线事件异常检测问题。更具体地说,我们研究了使用ML模型(如RF和XGBoost)和深度模型(如LSTM)来预测下一个活动的概率,并将预测的事件视为不太可能的异常。我们在在线环境中将这些预测异常检测方法与四种经典的无监督异常检测方法(例如隔离森林和LOF)进行了比较。我们的评估表明,使用ML模型的方法往往优于使用深度模型的方法,而这两种方法在检测异常事件方面都优于经典的无监督方法。
2022-03-17 cs.DB cs.LG
Neural Clinical Event Sequence Prediction through Personalized Online Adaptive Learning
University of Pittsburgh(匹兹堡大学)
临床事件序列由数千个临床事件组成,这些临床事件代表了患者护理的时间记录。为这样的序列开发准确的预测模型对于定义患者状态的表示和改善患者护理是非常重要的。学习临床序列的良好预测模型的一个重要挑战是患者特异性变异性。基于潜在的临床并发症,每个患者的序列可以由不同的临床事件集合组成。然而,从这样的序列学习的基于群体的模型可能不能准确地预测事件序列的患者特异性动态。为了解决这个问题,我们开发了一个新的自适应事件序列预测框架,该框架通过在线模型更新来学习调整其对个体患者的预测。
2021-04-06 cs.AI cs.CY cs.LG
Online Spatio-Temporal Learning in Deep Neural Networks
IBM Research – Zurich(IBM研究院苏黎世分部);Graz University of Technology(格拉茨工业大学);Institute of Theoretical Computer Science(理论计算机科学研究所)
生物神经网络具有通过在线学习不断适应的内在能力。这方面仍然与应用于递归神经网络(RNN)或最近应用于生物启发的脉冲神经网络(SNN)的通过时间的误差反向传播(BPTT)的学习形成鲜明对比。由于需要通过时间展开网络,BPTT涉及梯度的离线计算。在线学习最近重新获得了研究界的关注,主要集中在近似BPTT的方法或应用于SNN的生物学合理方案上。在这里,我们提出了一个替代的角度来看,是基于一个明确的分离的空间和时间梯度分量。结合生物学的见解,我们从第一原理中推导出一种用于深度SNN的新型在线学习算法,称为在线时空学习(OSTL)。对于浅层网络,OSTL与BPTT是梯度等效的,首次实现了具有BPTT等效梯度的SNN的在线训练。此外,所提出的公式揭示了一类SNN架构可训练在线低时间复杂度。此外,我们将OSTL扩展为通用形式,适用于各种网络架构,包括包含长短期记忆(LSTM)和门控递归单元(GRU)的网络。我们展示了我们的算法的操作,从语言建模到语音识别的各种任务,并获得与BPTT基线相当的结果。该算法为SNN和一般深度RNN开发简洁高效的在线训练方法提供了一个框架。
2020-10-08 cs.LG cs.NE stat.ML
Peer-inspired Student Performance Prediction in Interactive Online Question Pools with Graph Neural Network
HKUST(香港科技大学)
学生表现预测对在线教育至关重要。它可以使在线学习平台上的许多下游任务受益,例如估计辍学率,促进战略干预,以及实现自适应在线学习。交互式在线问题池为学生提供有趣的交互式问题,以实践他们在在线教育中的知识。然而,很少有研究已经做了互动在线问题池中的学生成绩预测。现有的学生成绩预测工作针对的是具有预定义课程和准确知识标签的在线学习平台,如MOOC平台,但它们不能完全模拟学生在交互式在线问题池中的知识演变。在本文中,我们提出了一种新的方法,使用图神经网络(GNNs),以实现更好的学生表现预测的互动在线问题池。具体而言,我们使用学生交互来建模学生和问题之间的关系,以构建学生交互问题网络,并进一步提出了一种新的GNN模型,称为R^2GCN,它本质上适用于异构网络,以实现可推广的学生在线交互问题池中的表现预测。我们评估了我们的方法在真实世界的数据集上的有效性,该数据集由104,113个鼠标轨迹组成,这些轨迹是在4000多名学生对1631个问题的解决过程中产生的。实验结果表明,该方法比传统的机器学习方法和GNN模型具有更高的学生成绩预测精度。
2020-08-15 cs.HC cs.LG stat.ML
Deep neural network marketplace recommenders in online experiments
Schibsted Media Group(Schibsted 传媒集团)
推荐在市场中被广泛使用,以将用户与与他们的兴趣和需求相关的项目相匹配。为了了解用户意图并根据他们的需求定制推荐,我们使用深度学习来探索市场中可用的各种异构数据。本文重点讨论了衡量推荐性能的挑战,并总结了几种有前途的深度神经网络分类器的在线实验结果-混合项目表示模型,结合了用户参与度和内容的特征,基于序列的模型,以及通过对多个子模型的建议进行重新排名来优化用户参与度的多臂强盗模型。这些机器人目前正在挪威领先的市场FINN.no上运行,每天为超过100万名游客提供服务。
2018-09-06 cs.IR cs.LG stat.ML
Online Learning Probabilistic Event Calculus Theories in Answer Set Programming
University of Piraeus(比雷埃夫斯大学)
复杂事件识别(CER)系统使用预定义的事件模式检测流时间戳输入中的事件发生。基于逻辑的方法在CER中特别有趣,因为通过统计关系AI,它们将不确定性弹性推理与时间和变化结合起来,与机器学习结合起来,从而减轻了手动事件模式创作的成本。我们提出了一个系统的基础上回答集编程(ASP),能够与复杂的事件模式的概率推理的加权规则的形式在事件演算,其结构和权重在线学习。我们比较我们的ASP为基础的实现与马尔可夫逻辑为基础的一个和一些国家的最先进的批量学习算法CER数据集的活动识别,海上监视和船队管理。我们的研究结果表明,我们的新方法的优越性,无论是在效率和预测性能。这篇论文正在考虑发表在《逻辑程序设计理论与实践》(TPLP)上。
2021-03-31 cs.AI cs.LG
Neural Controlled Differential Equations for Online Prediction Tasks
University of Oxford(牛津大学)
神经控制微分方程(Neural CDE)是递归神经网络(RNN)的连续时间扩展,在不规则时间序列的建模函数方面实现了最先进的(SOTA)性能。为了在连续时间内解释离散数据,当前的实现依赖于数据的非因果插值。当整个时间序列被提前观察时,这是好的,但这意味着神经CDE不适合用于\textit{online prediction tasks},其中预测需要实时进行:递归网络的主要用例。在这里,我们展示了如何纠正这种限制。首先,我们确定了几个理论条件,插值计划的神经CDE应满足,如有界性和唯一性。其次,我们使用这些来激励新方案的引入,以解决这些问题,特别是提供可测量性(在线预测)和平滑性(速度)。第三,我们在MIMIC-IV医学数据库的三个连续监测任务上对我们的在线神经CDE模型进行了经验基准测试:我们在所有任务上对ODE基准测试的性能都有所提高,在三个任务中的两个任务上对SOTA非ODE基准测试的性能也有所提高。
2021-06-21 cs.LG
Can Learning Deteriorate Control? Analyzing Computational Delays in Gaussian Process-Based Event-Triggered Online Learning
Technical University of Munich(慕尼黑工业大学)
本文针对高斯过程事件触发在线学习中的计算延迟问题,推导了延迟感知误差界并提出新的事件触发机制,证明在计算时间足够小时优于离线训练模型,并通过仿真验证有效性。
2023-05-14 cs.LG cs.SY eess.SY
Denoising Neural Machine Translation Training with Trusted Data and Online Data Selection
Google Research(谷歌研究院)
测量数据的领域相关性并识别或选择适合机器翻译(MT)的领域数据是一个研究得很好的主题,但去噪还没有。去噪涉及不同类型的数据质量,并试图减少数据噪声对MT训练,特别是神经MT(NMT)训练的负面影响。本文总结了域MT数据的测量和选择方法,并将其应用于去噪NMT训练。所提出的方法使用可信的数据和在线数据选择实现的去噪课程。该方法的内在和外在的评价表明,其显着的有效性NMT训练的数据与严重的噪音。
2018-08-31 cs.CL cs.LG stat.ML
Online Learning for Neural Machine Translation Post-editing
Pattern Recognition and Human Language Technology Research Center(模式识别与人类语言技术研究中心);Universitat Politècnica de València(瓦伦西亚理工大学)
神经机器翻译意味着该领域的一场革命。不过,对于要求高翻译质量的任务,必须对系统的产出进行事后编辑。后编辑为改进神经机器翻译系统提供了一个独特的机会,使用在线学习技术,并将后编辑的翻译视为新的、新鲜的训练数据。我们回顾了经典的学习方法,并提出了一个新的优化算法。我们彻底比较在线学习算法在编辑后的情况。结果表明,翻译质量和工作量减少显着改善。
2017-06-10 cs.CL cs.LG
Cross Device Matching for Online Advertising with Neural Feature Ensembles : First Place Solution at CIKM Cup 2016
Nanyang Technological University(南洋理工大学)
我们描述了CIKM Cup 2016挑战赛的第一名获胜方法。在本文中,我们提供了一种方法来合理地识别相同的用户在多个设备上的浏览日志的基础上。我们的方法将候选人排序问题视为成对分类,并利用无监督的神经特征集成方法来学习用户的潜在特征。结合传统的手工制作的功能,每个用户对功能被送入一个监督分类器,以执行成对分类。最后,我们提出了监督和无监督推理技术。
2017-02-19 cs.IR cs.LG stat.ML
Convergence Analyses of Online ADAM Algorithm in Convex Setting and Two-Layer ReLU Neural Network
Northwestern University(西北大学)
如今,在线学习是一种吸引人的学习范式,由于最近出现的大规模应用,如在线广告投放和在线网络排名,这在实践中引起了极大的兴趣。标准的在线学习假设有限数量的样本,而在实践中,数据是无限流的。在这样的设置中,具有递减的学习率的梯度下降不起作用。我们首先介绍了滚动窗口的遗憾,这是一种新的在线流学习性能指标,它测量算法在每个固定数量的连续样本上的性能。在同一时间,我们提出了一个家庭的算法的基础上梯度下降与恒定或自适应学习率,并提供非常技术性的分析,建立遗憾的边界属性的算法。我们覆盖了凸设置,显示了在恒定和动态学习率场景中窗口大小的平方根的顺序的遗憾。我们的证明也适用于标准的在线设置,我们提供了相同的后悔订单的第一次分析(以前的证明有缺陷)。我们还研究了具有ReLU激活的两层神经网络设置。在这种情况下,我们建立,如果初始权重接近一个稳定点,相同的平方根遗憾界是可达到的。我们进行计算实验证明了所提出的算法的优越性能。
2019-11-26 cs.DS cs.LG stat.ML
Two geometric input transformation methods for fast online reinforcement learning with neural nets
University of Alberta(阿尔伯塔大学)
我们将带有ReLU门的神经网络应用于在线强化学习。我们的目标是以增量的方式训练这些网络,而不需要计算上昂贵的经验重放。通过研究单个神经节点在在线训练中的行为,我们认识到ReLU门的全局性质可能会对每个节点的学习行为造成不良的学习干扰。我们建议使用两种有效的输入变换方法来减少这种干扰,这两种方法本质上是几何的,并且与ReLU门的几何属性很好地匹配。第一种是瓦片编码,这是一种经典的二进制编码方案,最初设计用于基于输入空间的拓扑结构的局部泛化。第二种方法(EmECS)是我们提出的一种新方法,它基于凸集的几何性质和输入空间到凸集边界的拓扑嵌入。我们讨论了网络在变换输入上运行时的行为。我们还将其与一些不使用相同输入变换的神经网络进行了实验比较,并与经典的瓦片编码算法加上线性函数逼近器进行了比较,并在几个在线强化学习任务中,我们表明,瓦片编码或EmECS的神经网络不仅可以实现更快的学习,而且可以实现更准确的逼近。我们的研究结果强烈表明,这种类型的几何输入变换可以有效地减少干扰,使我们更接近完全增量强化学习与神经网络。
2018-09-06 cs.AI cs.LG stat.ML
Continual Competitive Memory: A Neural System for Online Task-Free Lifelong Learning
Rochester Institute of Technology(罗切斯特理工学院)
在这篇文章中,我们提出了一种新的无监督学习形式,连续竞争记忆(CCM),以及一个计算框架,以统一相关的神经模型下的竞争原则。所得到的神经系统提供了一个有效的方法,打击灾难性遗忘在线连续分类问题。我们证明了所提出的CCM系统不仅优于其他竞争性学习神经模型,而且在Split MNIST和Split NotMNIST等基准上与几种现代最先进的终身学习方法相比具有竞争力。CCM为获取对数据流干扰具有鲁棒性的表示提供了一条有希望的前进道路,特别是当任务对模型未知并且必须在没有外部指导的情况下推断时。
2021-06-24 cs.LG
Online Deep Learning: Learning Deep Neural Networks on the Fly
深度神经网络(DNN)通常在批量学习设置中通过反向传播进行训练,这需要在学习任务之前使整个训练数据可用。这对于许多现实世界的场景来说是不可扩展的,在这些场景中,新数据以流的形式顺序到达。我们的目标是解决“在线深度学习“(ODL)的开放挑战,以便在在线环境中动态学习DNN。不像传统的在线学习经常相对于浅模型(例如,线性/基于核的假设),ODL明显更具挑战性,因为DNN目标函数的优化是非凸的,并且常规的反向传播在实践中不能很好地工作,特别是对于在线学习设置。在本文中,我们提出了一个新的在线深度学习框架,试图通过在在线学习环境中从一系列训练数据中学习自适应深度的DNN模型来应对挑战。特别是,我们提出了一种新的对冲反向传播(HBP)方法,用于有效地在线更新DNN的参数,并验证了我们的方法在大规模数据集上的有效性,包括静态和概念漂移场景。
2017-11-10 cs.LG
Machine learning-based approach for online fault Diagnosis of Discrete Event System
CReSTIC(兰斯大学计算机科学与数字技术研究中心);UFR Exact and Natural Sciences(精确与自然科学学院)
本文考虑的问题是在线诊断的自动化生产系统的传感器和执行器提供离散的二进制信号,可以建模为离散事件系统。尽管有许多诊断方法,但它们中没有一个能够满足实现有效诊断系统的所有标准(例如智能解决方案、平均努力、合理成本、在线诊断、更少的假警报等)。此外,这些技术需要一个正确的、鲁棒的和有代表性的系统模型,或者需要不断更新的相关数据或专家知识。在本文中,我们提出了一个基于机器学习的诊断系统的方法。它被认为是一个多类分类器,预测工厂的状态:正常或故障,以及在故障行为的情况下出现了什么故障。
2022-10-24 cs.AI cs.LG
Bubblewrap: Online tiling and real-time flow prediction on neural manifolds
Duke University(杜克大学)
虽然实验神经科学中大多数经典的功能研究都集中在单个神经元的编码特性上,但记录技术的最新发展使得人们越来越重视神经群体的动态。这就产生了各种各样的模型来分析与实验变量有关的群体活动,但是许多神经群体假设的直接测试需要基于当前神经状态干预系统,这就需要能够在线推断神经状态的模型。现有的方法,主要是基于动力系统,需要强大的参数假设,很容易违反噪声为主的制度,并没有很好地扩展到现代实验中的数千个数据通道。为了解决这个问题,我们提出了一种方法,该方法将快速,稳定的降维与所得神经流形的软平铺相结合,允许动态近似为瓦片之间的概率流。该方法可以使用在线期望最大化有效地拟合,扩展到数万个瓦片,并且在动态以噪声为主或具有多模态转移概率时优于现有方法。由此产生的模型可以以千赫兹数据率进行训练,在几分钟内产生神经动力学的精确近似值,并在亚毫秒的时间尺度上生成预测。它在未来的许多时间步中都保持了预测性能,并且速度足够快,可以作为闭环因果实验的一个组成部分。
2021-11-01 cs.LG q-bio.NC stat.ML
Kalman Bayesian Neural Networks for Closed-form Online Learning
Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所IPA);University of Stuttgart(斯图加特大学)
与由标准神经网络计算的点估计相比,贝叶斯神经网络(BNN)提供输出预测和模型参数的概率分布,即,重量然而,由于底层贝叶斯推理问题的棘手性,训练BNN的权重分布更加复杂,因此需要有效的近似。在本文中,我们提出了一种新的方法,通过封闭式贝叶斯推理的BNN学习。为此,输出的预测分布的计算和权重分布的更新被视为贝叶斯滤波和平滑问题,其中权重被建模为高斯随机变量。这允许用于以顺序/在线方式训练网络参数的封闭形式表达式,而无需梯度下降。我们在几个UCI数据集上展示了我们的方法,并将其与最先进的方法进行了比较。
2022-11-30 cs.AI cs.LG stat.ML
Learning User Preferences and Understanding Calendar Contexts for Event Scheduling
Korea University(高丽大学);Konolabs, Inc.(Konolabs公司)
随着在线日历服务在全球范围内越来越受欢迎,日历数据已成为了解人类行为的最丰富的上下文来源之一。然而,即使随着在线日历的发展,事件调度仍然是耗时的。虽然基于机器学习的事件调度模型在一定程度上自动化了调度过程,但它们通常无法理解微妙的用户偏好和复杂的日历上下文,事件标题用自然语言编写。在本文中,我们提出了神经事件调度助手(NESA),它可以直接从原始在线日历中学习用户偏好并理解日历上下文,以实现完全自动化和高效的事件调度。我们利用超过593K的NESA日历事件来学习安排个人活动,我们还利用NESA进行多与会者活动安排。NESA成功整合了双向长短期记忆、卷积神经网络和高速公路网络等深度神经网络,用于学习每个用户的偏好,并基于自然语言理解日历上下文。实验结果表明,NESA显着优于以前的基线模型在个人和多参与者事件调度任务的各种评价指标。我们的定性分析证明了NESA中每一层的有效性和学习到的用户偏好。
2020-07-18 cs.CL cs.LG stat.ML
A Unified Framework of Online Learning Algorithms for Training Recurrent Neural Networks
Center for Neural Science(神经科学中心);New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院);Center for Data Science(数据科学中心)
我们提出了一个框架,以全面总结许多最近的结果,在有效的和/或生物学上合理的在线训练的循环神经网络(RNN)。该框架根据几个标准组织算法:(a)过去与面向未来,(b)张量结构,(c)随机与确定性,以及(d)封闭形式与数值。这些轴揭示了在线学习的几个最新进展之间潜在的概念联系。此外,我们为他们的成功程度提供了新的数学直觉。在两个合成任务上测试各种算法表明,根据我们的标准,性能聚类。虽然梯度对齐也观察到类似的聚类,但与精确方法对齐并不能单独解释最终性能,特别是对于随机算法。这表明需要更好的比较指标。
2019-07-05 cs.LG cs.NE q-bio.NC
Online Learning of Event Definitions
National Kapodistrian University of Athens(雅典国立卡波季斯特里安大学);University of Piraeus(比雷埃夫斯大学);National Center for Scientific Research “Demokritos”(德谟克利特国家科学研究中心)
用于符号事件识别的系统使用一阶规则形式的一组事件定义来及时推断事件的发生。事件演算是一种时态逻辑,已被用作事件识别应用程序的基础,通过归纳逻辑程序设计(ILP)提供与机器学习的直接连接。我们提出了一个用于事件演算理论在线学习的ILP系统。为了允许单遍学习策略,我们使用Hoeffding界来评估输入流的子集上的子句。在学习过程中,我们采用了事件演算公理的解耦方案,允许孤立地学习每个子句。此外,我们使用溯因-归纳逻辑程序设计技术来处理未观察到的目标谓词。我们评估我们的方法上的活动识别应用程序,并比较它的一些批处理学习技术。我们得到的结果相当的预测精度与显着的加速训练时间。我们还优于手工制作的规则,并与只能在无噪声数据集上操作的健全增量学习器的性能相匹配。本文件正在考虑被TPLP接受。
2016-07-30 cs.AI cs.LG
Online Representation Learning in Recurrent Neural Language Models
The ALTA Institute(ALTA研究所);Computer Laboratory(计算机实验室);University of Cambridge(剑桥大学)
我们研究了递归神经网络语言模型中连续在线学习的扩展。该模型保留了当前正在处理的文本单元的单独矢量表示,并在每次预测后对其进行自适应调整。初步实验给出了有希望的结果,表明该方法能够提高语言建模的准确性,同时还减少了存储模型所需的参数以及每一步所需的计算。
2015-08-16 cs.CL cs.LG cs.NE
Online Non-Destructive Moisture Content Estimation of Filter Media During Drying Using Artificial Neural Networks
Aarhus University(奥胡斯大学)
含水量(MC)估计在干燥散装过滤介质产品的制造过程中非常重要,因为它是干燥优化的先决条件。在这项研究中,通过执行161干燥工业实验收集的数据集进行描述和MC估计在工业干燥过程中的非破坏性和在线的方式的方法。一个人工神经网络(ANN)为基础的方法相比,国家的最先进的MC估计方法在文献中报道。模型拟合和训练的结果表明,三层感知器实现了最低的误差。实验结果表明,人工神经网络结合烘箱设置数据,干燥时间和产品温度可以用来可靠地估计大体积过滤介质产品的MC。
2023-03-27 cs.LG
Efficient Online Bayesian Inference for Neural Bandits
Queen Mary University(玛丽女王大学);Boğaziçi University(博阿齐奇大学);Google Research(谷歌研究院)
在本文中,我们提出了一个新的算法在线(顺序)推理贝叶斯神经网络,并显示其适用于解决上下文强盗问题。关键思想是将扩展卡尔曼滤波器(在每个时间步局部线性化似然函数)与参数的(学习或随机)低维仿射子空间相结合;子空间的使用使我们能够将算法扩展到具有$\sim 1M$参数的模型。虽然大多数其他神经强盗方法需要存储整个过去的数据集,以避免“灾难性遗忘“的问题,我们的方法使用恒定的记忆。这是可能的,因为我们表示模型中所有参数的不确定性,而不仅仅是最终的线性层。我们在“Deep Bayesian Bandit Showdown”基准测试以及MNIST和推荐系统上显示了良好的结果。
2021-12-01 cs.LG
Fast On-Device Adaptation for Spiking Neural Networks via Online-Within-Online Meta-Learning
King’s College London(伦敦国王学院)
脉冲神经网络(SNN)最近因其低功耗特性而成为移动医疗管理和自然语言处理等应用的设备上边缘智能的机器学习模型。在这种高度个性化的用例中,重要的是模型能够仅用最少量的训练数据来适应个体的独特特征。元学习已经被提出作为一种训练模型的方法,这些模型面向快速适应新任务。SNN的少数现有元学习解决方案离线运行,需要某种形式的反向传播,这与当前的神经形态边缘设备不兼容。在本文中,我们提出了一个名为OWOML-SNN的SNN的在线内在线元学习规则,该规则可以在任务流上进行终身学习,并依赖于本地,无反向传播,嵌套更新。
2021-02-21 cs.LG cs.NE eess.SP
Learning to learn online with neuromodulated synaptic plasticity in spiking neural networks
U.S. Naval Research Laboratory(美国海军研究实验室)
我们提出,为了将我们对神经科学的理解用于机器学习,我们必须首先拥有强大的工具来训练类似大脑的学习模型。虽然在理解大脑学习动力学方面已经取得了实质性的进展,但神经科学衍生的学习模型尚未表现出与深度学习方法(如梯度下降)相同的性能。受到使用梯度下降的机器学习的成功的启发,我们证明了神经科学中的神经调制突触可塑性模型可以在脉冲神经网络(SNN)中进行训练,该网络具有通过梯度下降学习的框架,以解决具有挑战性的在线学习问题。该框架为开发神经科学启发的在线学习算法开辟了一条新的道路。
2022-06-28 cs.LG cs.NE
Efficient Neural and Numerical Methods for High-Quality Online Speech Spectrogram Inversion via Gradient Theorem
University of Tübingen(图宾根大学);MetaUK(Meta英国);MetaSpain(Meta西班牙);Tübingen AI Center(图宾根人工智能中心);Reality Labs Research(现实实验室研究)
本文提出三项创新优化在线语音频谱图反转:8k参数的轻量神经网络架构、通过增加1个hop size延迟减半推理成本,以及利用三对角矩阵特性的线性复杂度最小二乘求解器,在保持高质量的同时大幅降低计算成本。
2025-05-30 cs.LG
Fabrik: An Online Collaborative Neural Network Editor
Nanyang Technological University(南洋理工大学);Georgia Institute of Technology(佐治亚理工学院);Inmobi;Facebook AI Research(Facebook人工智能研究院)
我们介绍Fabrik,一个在线神经网络编辑器,它提供了从浏览器中可视化、编辑和共享神经网络的工具。Fabrik提供了一个简单直观的GUI,用于导入在流行的深度学习框架(如Caffe、Keras和TensorFlow)中编写的神经网络,并允许用户通过简单的拖放与模型交互、构建和编辑模型。Fabrik被设计为与框架无关并支持高互操作性,可用于将模型导出回任何支持的框架。最后,它提供了强大的协作功能,使用户能够远程和大规模地进行模型设计。
2018-10-27 cs.AI cs.CV cs.LG
Neural Online Graph Exploration
Technical University of Munich(慕尼黑工业大学)
我们能学会如何有效地探索未知空间吗?为了回答这个问题,我们研究了在线图探索问题,这是旅行商问题的在线版本。我们将图探索重新定义为一个强化学习问题,并应用直接未来预测(Dosovitskiy和Koltun,2017)来解决它。由于图是在线发现的,相应的马尔可夫决策过程需要一个动态状态空间,即可观察图和动态动作空间,即形成图的边界的节点。据我们所知,这是以数据驱动的方式解决在线图形探索的第一次尝试。我们进行实验的六个数据集的程序生成的图形和三个真实的城市道路网络。我们证明,我们的代理可以学习策略优于许多著名的图遍历算法,确认探索可以学习。
2021-04-06 cs.AI cs.LG
Online Verification of Deep Neural Networks under Domain Shift or Network Updates
Carnegie Mellon University(卡内基梅隆大学)
虽然神经网络得到了广泛的应用,但在实际应用中形式化地验证神经网络的安全性和鲁棒性仍然是一个挑战。现有的方法都是在部署前对网络进行验证,仅限于相对简单的规范和固定网络。这些方法还不能应用于具有复杂和/或动态变化的规范和网络的现实问题。为了有效地处理这些问题,需要在发生这些更改时在线执行验证。然而,在线运行现有的验证算法仍然具有挑战性。我们的关键见解是,我们可以利用这些变化的时间依赖性来加速验证过程。本文建立了一个新的框架,可扩展的在线验证,以解决现实世界的验证问题,动态变化的规范和/或网络。我们提出了三种类型的加速算法:分支管理,以减少重复计算,扰动容忍的变化,和增量计算重用以前的结果。实验结果表明,我们的算法实现了高达$100\times$的加速,从而显示了一个有前途的方式来扩展神经网络验证到现实世界的应用。
2023-02-03 cs.AI cs.LG
Predicting the Popularity of Online Videos via Deep Neural Networks
Alibaba Group(阿里巴巴集团)
预测在线视频的流行度对于视频流内容提供方来说是重要的。这是一个具有挑战性的问题,因为以下两个原因。一是问题既“广”又“深”。也就是说,它不仅依赖于广泛的特征,而且是高度非线性和复杂的。第二,可能涉及多个竞争对手。在本文中,我们提出了一个通用的预测模型,使用多任务学习(MTL)模块和关系网络(RN)模块,其中MTL可以减少过度拟合和RN可以模拟多个竞争对手的关系。实验结果表明,我们提出的方法显着提高预测的准确性与RN和MTL模块的电视剧的总观看计数。
2017-11-30 cs.LG
Event-triggered Control and Online Learning for Networked Systems under Computational Delays
Technical University of Munich(慕尼黑工业大学);ETH Zurich(苏黎世联邦理工学院);Eindhoven University of Technology(埃因霍温理工大学);East China University of Science and Technology(华东理工大学);Munich Institute of Robotics and Machine Intelligence(慕尼黑机器人与机器智能研究所)
本文针对存在计算延迟的网络化系统,提出结合异步事件触发机制的在线学习控制框架,推导跟踪误差界与事件触发条件,实现与时间触发相当的控制性能并排除芝诺行为。
2026-09-01 cs.LG cs.RO cs.SY
Adaptive Least Mean Squares Graph Neural Networks and Online Graph Signal Estimation
Tsinghua-Berkeley Shenzhen Institute, Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院清华-伯克利深圳学院)
针对含噪部分观测下的时变图信号在线估计问题,提出结合自适应图滤波器与GNN的LMS-GNN架构,经真实温度数据验证,其预测精度优于现有基于图的方法。
2024-01-27 cs.LG eess.SP
Online Limited Memory Neural-Linear Bandits with Likelihood Matching
Technion Institute of Technology(以色列理工学院);DeepMind(深度思维);Nvidia Research(英伟达研究院)
我们研究神经线性强盗解决问题,{\em两者}探索和表示学习发挥了重要作用。神经线性强盗利用深度神经网络(DNN)的表示能力,并通过利用模型的不确定性估计将其与高效的探索机制相结合,该模型专为最后一个隐藏层上的线性上下文强盗而设计。为了减轻在处理期间表示变化的问题,使用来自无限缓冲器的存储数据来计算新的不确定性估计。然而,当存储的数据量有限时,就会出现一种称为灾难性遗忘的现象。为了缓解这一点,我们提出了一个似然匹配算法,是弹性的灾难性遗忘,是完全在线的。我们应用我们的算法,有限记忆神经线性与Likestival匹配(NeuralLinear-LiM2)在各种数据集上,并观察到我们的算法实现了与无限记忆方法相当的性能,同时表现出对灾难性遗忘的弹性。
2021-06-08 cs.AI cs.LG
Does Terrorism Trigger Online Hate Speech? On the Association of Events and Time Series
University of Bonn(波恩大学)
仇恨言论在网络上无处不在。最近,导致网上仇恨言论的线下原因越来越受到关注。一个反复出现的问题是,线下极端事件的发生是否系统地引发了网上仇恨言论的爆发,这表现在仇恨社交媒体帖子数量的峰值。从形式上讲,这个问题转化为测量稀疏事件序列和时间序列之间的关联。我们提出了一种新的统计方法学来测量,测试和可视化的系统之间的关联罕见的事件和峰值在时间序列。与以往的时间序列的因果推断或独立性检验方法相比,我们的方法只关注事件和峰值的时间,而没有其他分布特征。我们遵循事件重合分析(ECA),最初开发的相关点过程的框架。我们制定了一个离散时间变量的ECA和推导出所有所需的分布,使时间序列的峰值分析,特别关注序列依赖性和峰值超过多个阈值。分析产生了一种新的可视化的关联,通过分位数触发率图。我们通过分析西欧和北美的伊斯兰恐怖袭击是否会系统地引发Twitter上的仇恨言论和反仇恨言论来证明我们的方法的实用性。
2020-07-10 cs.CY cs.LG stat.AP
Recurrent Graph Neural Networks for Rumor Detection in Online Forums
University of Southern California(南加州大学);Google(谷歌);Google Research(谷歌研究院)
在线社交网络在日常生活中的广泛采用产生了对有效地分类用户生成的内容的迫切需要。这项工作提出了分类链接的内容在论坛网站上传播的技术-特别是,链接到新闻文章或博客-单独使用用户交互信号。重要的是,Reddit等在线论坛没有用户生成的社交图谱,这是在基于社交网络行为的分类设置中假设的。使用Reddit作为案例研究,我们展示了如何获得派生的社交图,并使用此图,Reddit帖子序列和评论树作为递归图神经网络(R-GNN)编码器的输入。我们训练了R-GNN的新闻链接分类和谣言检测,显示出优于最近基线的结果。我们的代码可在https://github.com/google-research/social_cascades上公开获取。
2021-08-08 cs.LG cs.SI
Continual Inference: A Library for Efficient Online Inference with Deep Neural Networks in PyTorch
Aarhus University(奥胡斯大学)
本文介绍了Continual Inference,一个在PyTorch中实现CINs的Python库,专为在线和批处理场景的高效推理设计,并提供了全面的实践指南、最佳实践和代码示例。
2022-04-07 cs.AI cs.LG
ONE-NAS: An Online NeuroEvolution based Neural Architecture Search for Time Series Forecasting
Rochester Institute of Technology(罗切斯特理工学院)
时间序列预测(TSF)是数据科学中最重要的任务之一,因为准确的时间序列(TS)预测可以推动和推进包括金融、交通、医疗保健和电力系统在内的各种领域。然而,TSF的机器学习(ML)模型的实际应用受到影响,因为预训练的模型能够学习和适应不可预测的模式,因为以前看不见的数据在更长的时间尺度上到达。为了解决这个问题,必须定期保留或重新设计模型,这需要大量的人力和计算资源。这项工作提出了基于在线神经进化的神经结构搜索(ONE-NAS)算法,据作者所知,这是第一个能够在在线环境中自动设计和训练新的递归神经网络(RNN)的神经结构搜索算法。在没有任何预训练的情况下,ONE-NAS利用RNN的种群,这些种群不断更新新的网络结构和权重,以响应新的多元输入数据。ONE-NAS在真实世界的大规模多变量风力涡轮机数据以及单变量道琼斯工业平均指数(DJIA)数据集上进行了测试,并显示优于传统的统计时间序列预测,包括朴素,移动平均和指数平滑方法,以及最先进的在线ARIMA策略。
2022-02-27 cs.LG cs.NE
Open Event Extraction from Online Text using a Generative Adversarial Network
Southeast University(东南大学);University of Warwick(华威大学)
在提取开放域事件的结构化表示方面,贝叶斯图模型取得了一定的进展。然而,这些方法通常假设文档中的所有单词都是从单个事件生成的。虽然这对于短文本(如推文)可能是正确的,但这种假设通常不适用于长文本(如新闻文章)。此外,贝叶斯图模型通常依赖于吉布斯采样进行参数推断,这可能需要很长时间才能收敛。为了解决这些局限性,我们提出了一种基于生成对抗网的事件提取模型,称为对抗神经事件模型(AEM)。AEM使用Dirichlet先验对事件进行建模,并使用生成器网络来捕获潜在事件的模式。一个隐藏事件被用来区分从潜在事件重建的文档和原始文档。该方法的一个副产品是,由学习的网络生成的特征允许对提取的事件进行可视化。我们的模型已经在两个Twitter数据集和一个新闻文章数据集上进行了评估。实验结果表明,我们的模型优于基线方法在所有的数据集上,与更显着的改善观察到的新闻文章数据集,其中增加了15%的F-测量。
2019-08-25 cs.CL cs.IR cs.LG
Improving Online Forums Summarization via Hierarchical Unified Deep Neural Network
University of Central Florida(中佛罗里达大学)
在线讨论论坛很普遍,很容易访问,因此允许人们通过在讨论线程中发布消息来分享想法和意见。论坛主题的长度显着增长可能会使参与者(无论是新来者还是现有参与者)难以掌握主要思想。为了缓解这个问题,本研究的目的是创建一个自动的文本摘要在线论坛。我们提出了分层统一深度神经网络来构建论坛摘要的句子和线程表示。在该方案中,Bi-LSTM导出包含整个句子和整个线程的信息的表示;而CNN则从句子和线程中捕获关于上下文的最具信息性的特征。注意力机制应用于CNN之上,以进一步突出携带有助于理想摘要的重要信息的高级表示。对三个数据集进行了广泛的性能评估,其中两个是真实的在线论坛,一个是新闻数据集。结果表明,该模型优于几个竞争基线。
2021-05-18 cs.CL cs.LG
Accurate online training of dynamical spiking neural networks through Forward Propagation Through Time
CWI(荷兰数学与计算机科学研究院);IMEC(比利时微电子研究中心)
大脑中尖峰神经元之间通信的事件驱动和稀疏性质为灵活和节能的AI带来了巨大的希望。学习算法的最新进展已经证明,与标准递归神经网络相比,尖峰神经元的递归网络可以被有效地训练以实现有竞争力的性能。尽管如此,由于这些学习算法使用时间误差反向传播(BPTT),它们遭受高存储器要求,训练缓慢,并且与在线学习不兼容。这将这些学习算法的应用限制在相对较小的网络和有限的时间序列长度。已经提出了具有较低计算和存储器复杂度的BPTT的在线近似(e-prop,OSTL),但在实践中也受到存储器限制,并且作为近似,不优于标准BPTT训练。在这里,我们展示了如何最近开发的替代BPTT,通过时间的前向传播(FPTT)可以应用于脉冲神经网络。与BPTT不同,FPTT试图最小化损失的持续动态正则化风险。因此,FPTT可以以在线方式计算,并且相对于序列长度具有固定的复杂度。当与一种新的动态尖峰神经元模型(Liquid-Time-Constant神经元)相结合时,我们证明了用FPTT训练的SNN优于在线BPTT近似,并且在时间分类任务上接近或超过离线BPTT准确性。因此,这种方法使得在长序列上以存储器友好的在线方式训练SNN并将SNN扩展到新颖且复杂的神经架构是可行的。
2022-11-11 cs.LG cs.NE
Fully General Online Imitation Learning
University of Oxford(牛津大学);Future of Humanity Institute(人类未来研究所);DeepMind(深度思维);Australian National University(澳大利亚国立大学)
在模仿学习中,模仿者和示范者是根据过去与环境的交互选择行动的策略。如果我们运行一个模仿者,我们可能希望事件以类似的方式展开,如果示威者一直在行动。一般来说,学习过程中的一个错误可能会导致完全不同的事件。在重新启动的环境的特殊设置中,现有的工作提供了如何模仿的正式指导,以便事件类似地展开,但在该设置之外,没有正式的指导存在。我们解决了一个完全通用的设置,其中(随机)的环境和演示从来没有重置,即使是为了培训的目的,我们允许我们的模仿者在线学习的演示。我们新的保守贝叶斯模仿学习器低估了每个可用动作的概率,并以剩余的概率查询更多的数据。我们的主要结果:如果一个事件在演示者一直在行动的情况下是不可能发生的,那么当运行(最初完全无知的)模仿者时,该事件的可能性可以被限制在上面。与此同时,对演示者的询问频率迅速减少。如果任何这样的事件符合“危险”的条件,我们的模仿者将有相对“安全”的显着区别。
2022-10-04 cs.AI cs.LG
Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting
Rochester Institute of Technology(罗切斯特理工学院)
时间序列预测(TSF)是数据科学中最重要的任务之一,因为准确的时间序列(TS)预测模型在包括金融、交通、医疗保健和电力系统在内的各种领域中发挥着重要作用。机器学习(ML)的实际应用通常涉及在收集的历史数据上(预)训练模型,然后将它们应用于看不见的数据点。然而,在现实世界的应用中,时间序列数据流通常是非平稳的,随着时间的推移,训练的ML模型通常会面临数据或概念漂移的问题。为了解决这个问题,模型必须定期重新训练或重新设计,这需要大量的人力和计算资源。此外,历史数据甚至可能不存在以用于重新训练或重新设计模型。因此,非常希望以在线方式设计和训练模型。这项工作提出了基于在线神经进化的神经结构搜索(ONE-NAS)算法,这是一种新的神经结构搜索方法,能够自动设计和动态训练递归神经网络(RNN)的在线预测任务。在没有任何预训练的情况下,ONE-NAS利用RNN群体,这些RNN群体不断更新新的网络结构和权重,以响应新的多元输入数据。ONE-NAS在真实世界的大规模多变量风力涡轮机数据以及单变量道琼斯工业平均指数(DJIA)数据集上进行了测试。结果表明,ONE-NAS优于传统的统计时间序列预测方法,包括在线线性回归,固定长短期记忆(LSTM)和在线训练的门控递归单元(GRU)模型,以及最先进的在线ARIMA策略。
2023-02-20 cs.LG cs.NE
All-neural online source separation, counting, and diarization for meeting analysis
NTT Communication Science Laboratories, NTT Corporation(NTT集团NTT通信科学实验室);Paderborn University(帕德博恩大学)
自动会议分析包括说话人计数、说话人日志化、重叠语音的分离以及随后的自动语音识别。这一切都必须在任意长的会话上进行,理想情况下,以在线或块在线的方式进行。虽然在个别任务上取得了重大进展,但本文首次提出了一种全神经方法来同时进行说话人计数,日记化和源分离。基于NN的估计器以块在线方式操作并跟踪扬声器,即使他们在许多时间块内保持沉默,从而为分离的源学习稳定的输出顺序。神经网络随着时间以及源的数量而循环。仿真实验表明,该算法在实现最佳分离性能的同时,还能获得良好的日志化和源计数结果。它甚至可以很好地推广到看不见的大量块。
2019-02-21 cs.LG cs.SD eess.AS
Online Reinforcement Learning Control by Direct Heuristic Dynamic Programming: from Time-Driven to Event-Driven
Beijing Institute of Technology(北京理工大学);Arizona State University(亚利桑那州立大学)
在本文中,时间驱动学习是指随着新数据的到来不断更新预测模型中参数的机器学习方法。在现有的近似动态规划(ADP)和强化学习(RL)算法中,直接启发式动态规划(dHDP)已被证明是解决复杂学习控制问题的有效工具。它随着系统状态的不断演化不断更新控制策略和临界点。因此,期望防止时间驱动的dHDP由于诸如噪声的不重要的系统事件而更新。为了实现这一目标,我们提出了一个新的事件驱动的dHDP。通过构造一个李雅普诺夫函数候选,我们证明了系统状态和权值在批评和控制策略网络中的一致最终有界性。因此,我们显示了近似控制和成本去功能接近贝尔曼最优在有限的范围内。我们还说明了事件驱动的dHDP算法的工作原理相比,原来的时间驱动的dHDP。
2020-06-16 cs.LG cs.SY eess.SY
Online parameter inference for the simulation of a Bunsen flame using heteroscedastic Bayesian neural network ensembles
University of Cambridge(剑桥大学)
本文提出了一种贝叶斯数据驱动的机器学习方法,用于管道预混火焰G方程模型参数的在线推断。异方差贝叶斯神经网络集成在LSGEN 2D(G方程求解器)中模拟的170万个火焰前沿库上进行训练,以学习给定观测值的模型参数的贝叶斯后验分布。然后,系综用于推断本生火焰实验的参数,使这些动态可以在LSGEN 2D中模拟。这允许计算火焰边缘的表面积变化,即热释放速率的代表。所提出的方法提供了廉价和在线的参数和不确定性估计匹配的结果与合奏卡尔曼滤波器,在较少的计算成本。这使得能够快速可靠地模拟燃烧过程。
2021-04-26 cs.LG stat.AP
A Microarchitecture Implementation Framework for Online Learning with Temporal Neural Networks
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin(威斯康星大学)
时间神经网络(TNN)是一种尖峰神经网络,它使用时间作为一种资源来表示和处理信息,类似于哺乳动物的新皮层。与采用单独的训练和推理阶段的计算密集型深度神经网络相比,TNN能够非常有效地在线增量/持续学习,并且是构建边缘原生感觉处理单元的绝佳候选者。这项工作提出了一个微架构框架,实现TNN使用标准CMOS。提出了三个关键构建块的门级实现:1)多突触神经元,2)多神经元列,以及3)基于尖峰定时依赖可塑性(STDP)的无监督和有监督在线学习算法。所提出的微架构体现在一组特征缩放方程,用于评估任何TNN设计的门数,面积,延迟和功率。综合后的结果(在45纳米CMOS)所提出的设计,并证明其在线增量学习能力。
2021-06-02 cs.AR cs.ET cs.LG