Can You Learn an Algorithm? Generalizing from Easy to Hard Problems with Recurrent Networks
University of Maryland(马里兰大学)
深度神经网络是视觉模式识别的强大机器,但对人类来说很容易的推理任务对神经模型来说可能仍然很困难。人类有能力将从简单问题中学到的推理策略外推到解决更难的问题上,通常是通过思考更长的时间。例如,一个已经学会解决小迷宫的人可以很容易地扩展相同的搜索技术,通过花费更多的时间来解决更大的迷宫。在计算机中,这种行为通常是通过使用算法来实现的,这些算法以更多的计算为代价扩展到任意困难的问题实例。相比之下,前馈神经网络的顺序计算预算受到其深度的限制,并且在简单问题上训练的网络无法扩展其推理以适应更困难的问题。在这项工作中,我们证明了训练用于解决简单问题的递归网络,只需很少的递归步骤,就可以通过在推理过程中执行额外的递归来解决更复杂的问题。我们证明了这种算法行为的经常性网络的前缀和计算,迷宫,国际象棋。在这三个领域中,在简单问题实例上训练的网络能够在测试时简单地通过“思考更长时间”来扩展其推理能力。"
2021-11-02 cs.AI cs.LG
A Protocol for Continual Explanation of SHAP
University of Pisa(比萨大学);Scuola Normale Superiore(比萨高等师范学校);CNR(意大利国家研究委员会)
针对持续学习中SHAP解释不稳定的问题,提出评估协议,发现重放策略仅稳定前馈/卷积模型,而随机循环模型能更有效保持解释随时间稳定。
2023-06-20 cs.AI cs.LG
A Primer on Temporal Graph Learning
University of Oxford(牛津大学)
本文通过概念优先的方法系统介绍了时序图学习(TGL)的核心概念与数学公式,并涵盖多种学习架构及经典预测方法以启发可解释的TGL解决方案。
2024-01-09 cs.AI cs.DM cs.LG
Weighted Automata Extraction and Explanation of Recurrent Neural Networks for Natural Language Tasks
Peking University(北京大学);University of Oxford(牛津大学)
提出WFA提取与解释框架,解决RNN在自然语言任务中的转移稀疏和上下文丢失问题,提升提取精度并实现基于TME的面向任务的解释。
2023-06-24 cs.CL cs.LG
Personalized Survival Prediction with Contextual Explanation Networks
Carnegie Mellon University(卡内基梅隆大学)
在个体患者水平上准确和透明地预测癌症存活时间可以告知和改善患者护理和治疗实践。在本文中,我们设计了一个模型,同时学习准确预测患者特定的生存分布,并解释其预测的患者属性,如临床测试或评估。我们的模型是灵活的,并基于一个循环网络,可以处理各种形式的数据,包括时间测量,但构造和使用简单的解释,在病人和时间特定的线性回归的形式。为了进行分析,我们使用了两个公开的数据集,并表明我们的网络在预测方面优于许多基线,同时提供了一种检查每个预测背后原因的方法。
2018-01-30 cs.AI cs.LG
Evaluating Recurrent Neural Network Explanations
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Korea University(高丽大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
最近,已经提出了几种方法来解释递归神经网络(RNN),特别是LSTM的预测。这些方法的目标是通过分配给每个输入变量来理解网络的决策,例如,一个词,一个相关性,表明它在多大程度上有助于一个特定的预测。在以前的作品中,这些方法中的一些还没有相互比较,或者只进行了定性评估。我们通过系统地和定量地比较这些方法在不同环境中的差异来缩小这一差距,即(1)我们用作健全性检查的玩具算术任务,(2)电影评论的五类情感预测,以及(3)我们探索词相关性的有用性以构建评论级表示。最后,使用在我们的实验中表现最好的方法,我们展示了具体的语言现象,如情感分析中的否定如何反映在相关模式方面,以及相关可视化如何帮助理解个别样本的错误分类。
2019-06-04 cs.LG cs.NE stat.ML
Quantifying the vanishing gradient and long distance dependency problem in recursive neural networks and recursive LSTMs
Institute for Logic, Language and Computation(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学)
递归神经网络(RNN)及其最近提出的扩展递归长短期记忆网络(RLSTM)是通过根据外部提供的解析树递归地组合词嵌入来计算句子表示的模型。因此,与循环网络不同的是,这两种模型都明确地利用了句子的层次结构。在本文中,我们证明了RNN仍然遭受消失梯度和长距离依赖问题,并且RLSTM在这些问题上大大改善了RNN。我们提出了一个人工学习任务,使我们能够量化这两个模型的这些问题的严重性。我们进一步表明,梯度的比率(在根结点和焦点叶节点)是高度指示的反向传播在优化树中的相关权重低的成功。因此,本文提供了一个解释,如情感分析任务的RLSTM现有的,优越的结果,并建议,包括层次结构和包括LSTM风格的门控的好处是互补的。
2016-03-01 cs.AI cs.CL cs.NE
TimeSHAP: Explaining Recurrent Models through Sequence Perturbations
Feedzai(Feedzai公司);Instituto Superior Técnico, ULisboa(里斯本大学高等技术学院);Instituto de Telecomunicações(电信研究所)
虽然递归神经网络(RNN)在许多顺序决策任务中是最先进的,但很少有研究解释它们的预测。在这项工作中,我们提出了TimeSHAP,一个模型不可知的经常性解释器,建立在KernelSHAP的基础上,并将其扩展到顺序域。TimeSHAP计算特征、时间步长和单元格级别的属性。由于序列可以是任意长的,我们进一步提出了一种修剪方法,显着降低其计算成本和方差的属性。我们使用TimeSHAP来解释真实世界的银行账户接管欺诈检测RNN模型的预测,并从其解释中得出关键见解:i)该模型识别与欺诈分析师认为的账户接管线索相一致的重要特征和事件; ii)积极预测序列可以被修剪到原始长度的10%,因为较旧的事件具有剩余的归因值; iii)最近的积极预测输入事件平均仅占模型得分的41%; iv)对客户年龄的归因明显较高,表明潜在的歧视性推理,后来证实老年客户的假阳性率较高。
2021-06-26 cs.AI cs.LG
Revisiting Reset Mechanisms in Spiking Neural Networks for Sequential Modeling: Specialized Discretization for Binary Activated RNN
University of Electronic Science and Technology of China(电子科技大学)
本文从二值激活RNN视角重新审视SNN序列建模中的重置机制,系统分析其必要性,并提出固定不应期SNN架构以解决长程建模与并行训练挑战。
2025-05-25 cs.AI cs.NE
MotifExplainer: a Motif-based Graph Neural Network Explainer
Iowa State University(爱荷华州立大学)
研究了图神经网络的解释问题。大多数现有的GNN解释方法识别最重要的边或节点,但没有考虑子结构,这是更重要的图数据。考虑子图的唯一方法是尝试搜索所有可能的子图,并确定最重要的子图。然而,识别的子图可能不是经常性的或统计上重要的。在这项工作中,我们提出了一种新的方法,称为MotifExplainer,通过识别图中的重要图案,经常性和统计上显著的模式来解释GNN。与基于节点、边和规则子图的方法相比,我们提出的基于图案的方法可以提供更好的人类可理解的解释。给定一个输入图和一个预训练的GNN模型,我们的方法首先使用精心设计的模体提取规则提取图中的模体。然后,我们通过将motif输入到预先训练好的GNN中来生成motif嵌入。最后,我们采用基于注意力的方法来确定最有影响力的图案作为最终预测结果的解释。在合成数据集和真实数据集上的实验研究表明了该方法的有效性。
2023-02-27 cs.LG
It's a super deal -- train recurrent network on noisy data and get smooth prediction free
Stowers Institute for Medical Research(斯托尔斯医学研究所)
该研究探究训练数据与输入序列中的噪声对预测型循环神经网络时间序列预测质量的影响,提出预测过程中噪声压缩现象的解释,并讨论该特性在神经科学中对生物进化的意义。
2023-05-01 cs.LG math.DS q-bio.NC
Automatic Synthesis of Neurons for Recurrent Neural Nets
Østfold University College(东福尔郡大学学院)
我们提出了一类新的神经元ARN,它在测试数据上的交叉熵比精心优化的LSTM神经元低三倍。对这些巨大改进的解释通常是,通过时间的精心设计的跳跃连接,每个神经元多达四个内部记忆状态,以及许多新颖的激活函数,包括小的二次型。新的神经元是使用自动编程生成的,并被公式化为纯函数程序,可以很容易地转换。我们展示了八个数据集的实验结果,发现其中七个数据集有很好的改进,但LSTM仍然是一个数据集的最佳改进。这些结果是如此有希望,以至于自动编程生成新神经元应该成为任何处理传感器信号等时间序列数据的机器学习从业者的标准操作程序的一部分。
2022-06-29 cs.AI cs.LG cs.NE
Interpretable Additive Recurrent Neural Networks For Multivariate Clinical Time Series
Philips Research North America(飞利浦北美研究)
具有循环神经网络(RNN)的时间序列模型可以具有很高的准确性,但不幸的是,由于特征相互作用,时间相互作用和非线性变换,很难解释。可解释性在医疗保健等领域非常重要,在这些领域中,需要构建模型来深入了解他们所了解的关系,以验证和信任模型预测。我们需要精确的时间序列模型,用户可以了解各个输入特征的贡献。我们提出了可解释RNN(I-RNN),通过强制模型中变量之间的关系是可加性的,来平衡模型的复杂性和准确性。RNN的隐藏状态之间的相互作用受到限制,并在最后一步进行相加组合。I-RNN专门捕获临床时间序列的独特特征,这些特征在时间上不均匀采样,异步获取,并且具有缺失数据。重要的是,隐藏状态激活表示与预测目标相关的特征系数,并且可以被可视化为风险曲线,该风险曲线捕获个体输入特征与结果之间的全局关系。我们在Physionet 2012 Challenge数据集上评估了I-RNN模型,以预测院内死亡率,并在现实世界的临床决策支持任务中评估了I-RNN模型:预测重症监护室中的血流动力学干预。I-RNN以全局和局部特征重要性的形式提供解释,与高度可理解的模型(如在手工设计的特征上训练的决策树)相当,同时显著优于它们。I-RNN保持可理解性,同时提供与最先进的基于衰减和基于插值的递归时间序列模型相当的准确性。在真实世界的临床数据集上的实验结果驳斥了准确性和可解释性之间存在权衡的神话。
2021-09-15 cs.AI cs.LG
Concept-based model explanations for Electronic Health Records
Google Research(谷歌研究院);Google Health(谷歌健康);DeepMind(深度思维)
递归神经网络(RNN)通常用于电子健康记录(EHR)中不良结果的顺序建模,因为它们能够对过去的临床状态进行编码。与其他建模方法相比,这些深度的循环架构在许多任务中表现出更高的性能,从而激发了在临床环境中部署深度模型的兴趣。确保安全的模型部署和建立用户信任的关键要素之一是模型的可解释性。使用概念激活向量(TCAV)的测试最近被引入作为一种通过将高级概念与网络的梯度进行比较来提供人类可理解的解释的方式。虽然该技术在现实世界的成像应用中已经显示出有前途的结果,但它还没有被应用于结构化的时间输入。为了使应用程序的TCAV顺序预测的EHR,我们提出了一个扩展的方法,时间序列数据。我们评估所提出的方法上的一个开放的EHR基准从重症监护病房,以及合成数据,我们能够更好地隔离个人的影响。
2021-03-08 cs.CY cs.LG
Dynamic Analysis and an Eigen Initializer for Recurrent Neural Networks
University of Florida(佛罗里达大学)
本文研究循环神经网络隐藏状态动力学,基于权重矩阵特征分解提出新分析视角,并据此提出适用于vanilla-RNN、LSTM和GRU的新初始化方法,在多任务中优于现有初始化器。
2023-07-28 cs.LG
Memory Determines Learning Direction: A Theory of Gradient-Based Optimization in State Space Models
Intelligent Systems and Informatics Laboratory, Graduate School of Information Science and Technology, The University of Tokyo(智能系统与信息学实验室,信息科学与技术研究生院,东京大学)
该研究针对状态空间模型(SSMs)学习动力学缺乏理论解释的问题,通过分析记忆容量特性阐明其学习机制,证明初始长记忆结构的重要性,发现固定循环权重可更快收敛且性能相当,为SSMs提供新理论基础与优化策略。
2025-10-01 cs.AI cs.LG
On the Practical Ability of Recurrent Neural Networks to Recognize Hierarchical Languages
Microsoft Research India(微软研究院印度)
虽然递归模型在NLP任务中是有效的,但它们在上下文无关语言(CFL)上的性能被发现相当弱。鉴于CFL被认为能够捕捉到诸如自然语言中的层次结构等重要现象,这种性能上的差异需要一个解释。我们研究了Dyck-n语言,一个特别重要的和良好的研究类CFL的经常性模型的性能。我们发现,如果训练字符串和测试字符串的长度在相同的范围内,则递归模型几乎可以完美地泛化,但如果测试字符串更长,则递归模型的表现会很差。与此同时,我们观察到,经常性的模型有足够的表达能力,以有限的精度来识别任意长度的戴克字,如果他们的深度是有界的。因此,我们评估了我们的模型上生成的样本从戴克语言有界深度,并发现他们确实能够推广到更高的长度。由于自然语言数据集具有有界深度的嵌套依赖关系,这可能有助于解释为什么它们在自然语言数据中建模分层依赖关系时表现良好,尽管先前的工作表明Dyck语言的泛化性能较差。我们进行探测研究,以支持我们的结果,并提供与Transformers的比较。
2020-11-08 cs.CL cs.LG
Understanding the Skill Gap in Recurrent Language Models: The Role of the Gather-and-Aggregate Mechanism
Carnegie Mellon University(卡内基梅隆大学);MBZUAI(马克斯·普朗克人工智能研究所)
本研究发现Transformer与SSM类语言模型均依赖收集-聚合(G&A)机制实现上下文检索,检索瓶颈集中于少数G&A头,通过混合注意力与SSM或替换G&A头可融合二者优势、提升性能。
2025-06-11 cs.AI cs.LG
Distilling neural networks into skipgram-level decision lists
Computational Linguistics and Psycholinguistics Research Center (CLiPS)(计算语言学与心理语言学研究中心(CLiPS));University of Antwerp(安特卫普大学);School of Computing and Information Systems, University of Melbourne(墨尔本大学计算与信息系统学院)
以往关于递归神经网络解释的研究主要集中在寻找网络最重要输入段作为解释的方法上。在这种情况下,这些输入片段相互结合以形成解释性模式的方式仍然未知。为了克服这一点,以前的一些工作试图在数据中找到解释神经输出的模式(称为规则)。然而,它们的解释往往对模型参数不敏感,这限制了文本解释的可扩展性。为了克服这些限制,我们提出了一个管道,通过skipgram上的决策列表(也称为规则)来解释RNN。为了评估解释,我们创建了一个合成的脓毒症识别数据集,并将我们的技术应用于其他临床和情感分析数据集。我们发现,我们的技术持续实现高解释保真度和定性可解释的规则。
2020-05-18 cs.CL cs.LG stat.ML
A Distance Correlation-Based Approach to Characterize the Effectiveness of Recurrent Neural Networks for Time Series Forecasting
University of Washington(华盛顿大学)
本文提出基于距离相关性的方法,将时间序列特征与RNN组件关联,通过分析激活层信息流来解释性能差异,发现RNN能学习滞后结构但随层数加深而丢失信息,且无法充分建模移动平均和异方差过程,从而帮助从业者在无需训练的情况下评估RNN有效性。
2024-04-25 cs.LG
Neural Approaches to SAT Solving: Design Choices and Interpretability
Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague(捷克布拉格捷克技术大学信息学、机器人学与控制论研究所);University of Ostrava(俄斯特拉发大学)
本文全面评估了图神经网络在布尔可满足性问题上的应用,提出动态适应的最接近赋值监督方法提升大解空间性能,并将模型扩展为支持增量采样的扩散模型,通过嵌入空间分析揭示了其类似MaxSAT连续松弛的可解释推理过程。
2025-04-01 cs.AI cs.LG
DeepSeer: Interactive RNN Explanation and Debugging via State Abstraction
University of Alberta(阿尔伯塔大学);The University of Tokyo(东京大学);Purdue University(普渡大学)
递归神经网络(RNN)在处理序列数据时具有优越的性能,已被广泛应用于自然语言处理(NLP)任务中。然而,由于RNN固有的复杂性和缺乏透明度,解释和调试RNN具有挑战性。虽然已经为RNN提出了许多可解释的AI(XAI)技术,但其中大多数只支持局部解释而不是全局解释。在本文中,我们介绍了DeepSeer,这是一个交互式系统,它在多个紧密协调的视图中提供了RNN行为的全局和局部解释,用于模型理解和调试。DeepSeer的核心是一种状态抽象方法,它将语义相似的隐藏状态捆绑在RNN模型中,并将模型抽象为有限状态机。用户可以通过检查与每个状态相关联的文本模式以及状态之间的转换来探索全局模型行为。用户还可以通过检查给定输入的状态跟踪和中间预测结果来深入到各个预测中。一项有28名参与者的受试者间用户研究表明,与流行的XAI技术LIME相比,使用DeepSeer的参与者对RNN模型行为进行了更深入、更全面的评估,更准确地识别了错误预测的根本原因,并提出了更可行的计划来提高模型性能。
2023-03-02 cs.HC cs.LG cs.SE
Regularization and nonlinearities for neural language models: when are they needed?
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学研究组);University College London(伦敦大学学院)
基于递归神经网络(RNN)的神经语言模型(LM)是一些最成功的单词和字符级LM。为什么它们工作得这么好,特别是比线性神经LM更好?可能的解释是RNN具有隐含的更好的正则化,或者RNN由于其非线性而具有更高的存储模式的能力,或者两者兼而有之。在这里,我们认为第一种解释是在训练数据很少的情况下,第二种解释是在大量文本数据的情况下。我们在流行的小型Penn数据集上展示了最先进的性能,当RNN LM被正则化并随机退出时。尽管如此,我们从一个简化的、表达能力更低的线性RNN模型中表现出更好的性能,该模型在递归矩阵中没有非对角项。我们称这种模型为脉冲响应LM(IRLM)。使用随机丢弃、列归一化和退火学习率,IRLM开发出的神经元可以在过去保持多达50个单词的记忆,并在Penn数据集上实现102.5的困惑度。然而,在两个大型数据集上,相同的正则化方法对于两个模型都是不成功的,RNN的表达能力允许它分别超过IRLM 10%和20%的困惑。尽管存在困惑差距,但IRLM在微软研究句子完成(MRSC)任务中的表现仍然优于RNN。我们开发了一个稍微修改的IRLM,将长上下文单元(LCU)从短上下文单元中分离出来,并表明LCU单独在MRSC任务上实现了60.8%的最先进性能。我们的分析表明,神经LM的一个富有成效的研究方向在于开发更容易访问的内部表示,并建议一个非常高的动量项的优化制度,有效地训练这样的模型…
2013-06-20 cs.LG stat.ML
On Conformal Isometry of Grid Cells: Learning Distance-Preserving Position Embedding
UCLA(加州大学洛杉矶分校);UT Southwestern Medical Center(德克萨斯大学西南医学中心);UT Austin(德克萨斯大学奥斯汀分校)
本文提出并验证网格细胞六边形模式的共形等距假设,通过学习最大程度保持距离的位置嵌入,并理论证明六边形平环面的最优性。
2025-02-27 cs.LG q-bio.NC stat.ML
XAI Handbook: Towards a Unified Framework for Explainable AI
German Research Center for Artificial Intelligence (DFKI GmbH)(德国人工智能研究中心 (DFKI GmbH));TU Kaiserslautern(凯泽斯劳滕工业大学)
可解释人工智能(XAI)领域已经迅速成为一个繁荣和多产的社区。然而,在这一领域,一个沉默的、反复出现的和公认的问题是对其术语缺乏共识。特别是,每一个新的贡献似乎都依赖于它自己的(通常是直观的)术语版本,如“解释”和“解释”。这种混乱使该领域的进步朝着满足科学和监管需求的方向得到巩固,当比较方法或确定其对偏差和公平性约束的遵守时。我们提出了一个理论框架,不仅为这些术语提供了具体的定义,而且还概述了产生解释和解释所需的所有步骤。该框架还允许将现有的贡献重新纳入背景,以便能够衡量其范围,从而使其与其他方法具有可比性。我们表明,这个框架是符合desiderata的解释,可解释性和评价指标。我们提出了一个用例,展示了如何使用该框架来比较LIME,SHAP和MDNet,建立它们的优点和缺点。最后,我们讨论了XAI的相关趋势以及对未来工作的建议,所有这些都是从我们框架的角度出发的。
2021-05-14 cs.AI cs.CV cs.HC
Efficiently Transforming Neural Networks into Decision Trees: A Path to Ground Truth Explanations with RENTT
Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所);Institute of Industrial Manufacturing and Management IFF, University of Stuttgart(工业制造与管理研究所,斯图加特大学);Technical University Munich(慕尼黑技术大学)
针对神经网络黑箱性质导致的可信度问题,提出RENTT算法,可高效将各类神经网络转换为精确等效决策树,并通过决策树计算不同层面的真实特征重要性,实验证明其在效率、可扩展性及真实解释能力上优于传统方法。
2025-11-12 cs.LG
Recurrence-Aware Long-Term Cognitive Network for Explainable Pattern Classification
Tilburg University(蒂尔堡大学);Universidad de Talca(塔尔卡大学);Eindhoven University of Technology(埃因霍温理工大学);Vrije Universiteit Brussel(布鲁塞尔自由大学);University of Miami(迈阿密大学)
用于模式分类问题的机器学习解决方案如今在社会和工业中被广泛部署。然而,最准确的模型缺乏透明度和问责制,往往妨碍其安全使用。因此,显然需要开发可解释的人工智能机制。存在模型不可知的方法,总结功能的贡献,但它们的可解释性是有限的黑盒模型所做的预测。一个开放的挑战是开发具有内在可解释性的模型,并产生自己的解释,即使是传统上被认为是黑箱的模型,如(循环)神经网络。在本文中,我们提出了一个长期的认知网络结构化数据的可解释模式分类。我们的方法通过量化决策过程中每个特征的相关性来提供解释。为了在不影响性能的情况下支持可解释性,该模型通过允许控制非线性的准非线性推理规则来增加灵活性。此外,我们提出了一个递归感知的决策模型,避免了唯一不动点所带来的问题,同时引入了一个确定性的学习算法来计算可调参数。模拟结果表明,我们的可解释模型获得竞争力的结果相比,最先进的白盒和黑盒模型。
2021-12-23 cs.LG
Long Distance Relationships without Time Travel: Boosting the Performance of a Sparse Predictive Autoencoder in Sequence Modeling
UC Berkeley(加州大学伯克利分校);Numenta(Numenta公司);Incubator 491(491孵化器)
在语言建模等序列学习任务中,递归神经网络必须学习按时间分隔的输入特征之间的关系。LSTM和Transformer等最先进的模型是通过将损失反向传播到存储器中保存的先前隐藏状态和输入来训练的。这允许梯度从现在流到过去,并有效地学习完美的事后诸葛亮,但在显着的内存成本。在本文中,我们表明,它是可能的训练高性能的经常性网络使用的信息是本地的时间,从而实现显着减少内存占用。我们描述了一个预测自动编码器称为bRSM具有经常性的连接,稀疏激活,并提高细胞利用率的提升规则。该架构表现出接近最佳性能的非确定性(随机)部分可观察序列学习任务组成的高马尔可夫阶序列的MNIST数字。我们发现,这个模型比LSTM更快、更完整地学习这些序列,并提供了几种可能的解释,为什么LSTM架构可能会在这个任务中与部分可观察的序列结构作斗争。我们还将我们的模型应用于Penn Treebank(PTB)数据集上的下一个单词预测任务。我们发现,一个“扁平化”的RSM网络,当与现代语义词嵌入和增加boosting配对时,实现了103.5 PPL(比最好的N-gram模型提高了20分),击败了用BPTT训练的普通RNN,并接近早期LSTM实现的分数。这项工作提供了令人鼓舞的证据,证明使用记忆密集度较低的生物学合理的训练制度可能会在具有挑战性的任务(如语言建模)上取得强有力的结果。
2019-12-02 cs.CL cs.LG cs.NE
Understanding attention-based encoder-decoder networks: a case study with chess scoresheet recognition
Institute of Mathematics and Statistics – University of São Paulo(圣保罗大学数学与统计学院)
本文以手写国际象棋记分表识别为案例,分析带注意力的编码器-解码器循环神经网络如何学习,并拆解三类子任务及其相互关系,为平衡训练因素提供理解。
2024-04-23 cs.AI cs.CV cs.LG
EMERSK -- Explainable Multimodal Emotion Recognition with Situational Knowledge
Purdue University(普渡大学)
针对情感识别中多模态利用与结果可解释性的挑战,提出模块化多模态系统EMERSK,融合多模态视觉特征与情境知识实现情感识别与解释,经实验验证性能优于现有最优方法。
2023-06-14 cs.CV cs.LG cs.MM
Understanding Deep Learning Techniques for Image Segmentation
机器学习社区已经被过多的基于深度学习的方法所淹没。许多具有挑战性的计算机视觉任务,如无约束环境中物体的检测、定位、识别和分割,正在通过各种类型的深度神经网络(如卷积神经网络、递归网络、对抗网络、自动编码器等)有效地解决。虽然已经有大量关于目标检测或识别领域的分析研究,但在许多领域,我们的目标检测和目标识别都是非常重要的。许多新的深度学习技术关于图像分割技术已经浮出水面。本文从分析的角度探讨了这些图像分割的各种深度学习技术。这项工作的主要目标是提供一个直观的理解的主要技术,作出了重大贡献的图像分割域。本文从传统的图像分割方法出发,描述了深度学习对图像分割领域的影响。此后,大多数主要的分割算法都被逻辑地分类,并配有专门用于其独特贡献的段落。有了大量直观的解释,读者有望提高可视化这些过程的内部动态的能力。
2019-07-13 cs.CV cs.LG cs.NE
Visualising and Explaining Deep Learning Models for Speech Quality Prediction
Quality and Usability Lab, TU Berlin(柏林工业大学质量与可用性实验室);Language Technology, DFKI Berlin(柏林德国人工智能研究中心语言技术部)
已知估计传输语音的质量是一项重要的任务。传统上,测试参与者被要求对样本的质量进行评级;现在,可以使用自动化方法。这些方法可以分为:1)侵入式模型,其使用原始信号和退化信号两者,以及2)非侵入式模型,其仅需要退化信号。最近,基于神经网络的非侵入式模型表现出优于基于信号处理的模型。然而,基于深度学习的模型的优势是以解释更具挑战性为代价的。为了更深入地了解预测模型,本文分析了非侵入式语音质量预测模型NISQA。NISQA由卷积神经网络(CNN)和递归神经网络(RNN)组成。CNN的任务是在帧级上计算语音质量预测的相关特征,而RNN对各个语音帧之间的时间依赖性进行建模。使用不同的解释算法来理解CNN的自动学习特征。通过这种方式,可以确定几个可解释的特征,例如对噪声或强干扰的敏感性。另一方面,发现多个特征携带冗余信息。
2021-12-12 cs.LG cs.SD eess.AS