The 6th International Verification of Neural Networks Competition (VNN-COMP 2025): Summary and Results
RWTH Aachen University(亚琛工业大学);Technical University of Munich(慕尼黑技术大学);Stony Brook University(石溪大学);George Mason University(乔治·梅奥大学);Maynooth University(梅诺特大学);Vanderbilt University(范德比尔特大学);University of Manchester(曼彻斯特大学);Amherst College(阿默斯特学院);VMware Research by Broadcom(Broadcom VMware 研究)
VNN-COMP 2025通过标准化格式和公平评估,促进神经网络验证工具的比较与标准化。
2025-12-22 cs.AI cs.LG
Improving Online Forums Summarization via Hierarchical Unified Deep Neural Network
University of Central Florida(中佛罗里达大学)
在线讨论论坛很普遍,很容易访问,因此允许人们通过在讨论线程中发布消息来分享想法和意见。论坛主题的长度显着增长可能会使参与者(无论是新来者还是现有参与者)难以掌握主要思想。为了缓解这个问题,本研究的目的是创建一个自动的文本摘要在线论坛。我们提出了分层统一深度神经网络来构建论坛摘要的句子和线程表示。在该方案中,Bi-LSTM导出包含整个句子和整个线程的信息的表示;而CNN则从句子和线程中捕获关于上下文的最具信息性的特征。注意力机制应用于CNN之上,以进一步突出携带有助于理想摘要的重要信息的高级表示。对三个数据集进行了广泛的性能评估,其中两个是真实的在线论坛,一个是新闻数据集。结果表明,该模型优于几个竞争基线。
2021-05-18 cs.CL cs.LG
Neural Abstractive Text Summarizer for Telugu Language
IIIT Allahabad(阿拉哈巴德国际信息技术学院);Shiv Nadar University(希夫·纳达尔大学);University of Hyderabad(海得拉巴大学)
摘要文本摘要是构建语义相关的短句的过程,它抓住了源文本的整体意义的本质。对于人类来说,手动汇总大型文本文档实际上是非常困难和耗时的。摘要文本摘要的大部分工作都是用英语完成的,几乎没有重大的工作报告在泰卢固语摘要文本摘要。因此,我们想提出一种使用深度学习的泰卢固语抽象文本摘要方法。在本文中,我们提出了一个泰卢固语的抽象文本摘要深度学习模型。该架构基于具有注意力机制的编码器-解码器顺序模型。我们已经将该模型应用于手动创建的数据集上,生成源文本的一句话摘要,并取得了良好的效果。
2021-01-18 cs.CL cs.LG
Visual Analysis of Neural Architecture Spaces for Summarizing Design Principles
Tsinghua University(清华大学);Microsoft(微软)
人工智能的最新进展很大程度上得益于更好的神经网络架构。这些架构是一个昂贵的试错过程的产物。为了简化这一过程,我们开发了ArchExplorer,这是一种用于理解神经架构空间并总结设计原则的可视化分析方法。我们的方法背后的关键思想是通过利用架构之间的结构距离来使架构空间可解释。我们制定成对距离计算解决所有对最短路径问题。为了提高效率,我们将此问题分解为一组单源最短路径问题。该算法的时间复杂度从O(kn^2N)降低到O(knN)。体系结构根据它们之间的距离分层聚类。一个圆包装为基础的架构可视化已被开发来传达集群之间的全局关系和每个集群中的架构的局部邻域。两个案例研究和后分析,以证明有效的ArchExplorer在总结设计原则和选择性能更好的架构。
2022-08-20 cs.HC cs.LG
FSNet: Compression of Deep Convolutional Neural Networks by Filter Summary
Arizona State University(亚利桑那州立大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);StylingAI Inc.(StylingAI公司)
我们提出了一种通过卷积滤波器的新表示进行权重共享来压缩深度卷积神经网络(CNN)的新方法。所提出的方法通过学习称为滤波器摘要(FS)的1D向量来减少每个卷积层的参数数量。卷积滤波器位于FS中作为重叠的1D段,FS中的邻近滤波器以自然的方式在其重叠区域中共享权重。基于这种权重共享方案的所得神经网络(称为滤波器摘要CNN或FSNet)在每个卷积层中具有FS,而不是常规卷积层中的一组独立滤波器。FSNet具有与待压缩的基线CNN相同的架构,并且FSNet的每个卷积层在前向过程中具有与基线CNN相同数量的来自FS的滤波器。FSNet的参数空间远小于基线CNN的参数空间,具有令人信服的计算加速比。此外,FSNet是量化友好的。具有权重量化的FSNet导致甚至更高的压缩比,而没有明显的性能损失。我们进一步提出了可微分FSNet,其中过滤器共享权重的方式是以可微分和端到端的方式学习的。实验证明了FSNet在压缩CNN用于计算机视觉任务(包括图像分类和目标检测)中的有效性,并且DFSNet的有效性通过神经结构搜索任务得到了证明。
2020-04-10 cs.AI cs.LG stat.ML
Multiscale Tensor Summation Factorization as a New Neural Network Layer (MTS Layer) for Multidimensional Data Processing
Tampere University, Faculty of Information Technology and Communication Sciences(塔尔库大学信息科技与通信科学学院);Department of Electrical Engineering, Qatar University(卡塔尔大学电气工程系)
本文提出多尺度张量求和分解(MTS)作为新的神经网络层,通过Tucker式模式乘积实现多尺度张量求和,减少参数并优于MLP和CNN,集成多头门控后形成MTSNet,在视觉任务中实现更优的复杂度-性能权衡。
2025-04-17 cs.AI cs.CV cs.LG
DeepSumm -- Deep Code Summaries using Neural Transformer Architecture
源代码摘要是编写源代码在运行时间期间的行为的简短、自然语言描述的任务。这样的摘要对于软件开发和维护非常有用,但是手动编写成本很高,因此它只针对生成的一小部分代码完成,并且经常被忽略。自动化的代码文档可能以较低的成本解决这个问题。因此,这是一个新兴的研究领域,进一步应用程序的理解,软件维护。传统的方法通常依赖于以模板形式构建的认知模型,这些模型由开发人员社区在不同程度上采用。但随着最近的进步,基于神经技术的端到端数据驱动方法已经在很大程度上超过了传统技术。目前的大部分景观采用基于神经翻译的架构,具有递归和注意力,这是资源和时间密集型的训练过程。在本文中,我们采用神经技术来解决源代码总结的任务,并具体比较基于NMT的技术,更简化和吸引人的Transformer架构上的Java方法和注释的数据集。我们提出了一个论点,以免除在培训过程中的需要递归。据我们所知,基于Transformer的模型以前没有用于该任务。通过超过210万条评论和代码的监督样本,我们将训练时间减少了50%以上,并在测试样本集上获得了17.99的BLEU分数。
2020-03-31 cs.CL cs.LG
Relu and softplus neural nets as zero-sum turn-based games
SG: INRIA;CMAP, \'Ecole polytechnique, IP Paris, CNRS;YV: ATHENA Research Center, Athens, Greece
ReLU神经网络的输出可视为零和回合制游戏的值,通过博弈论方法推导输出界限并验证鲁棒性,同时将神经网络训练转化为逆向游戏问题。
2025-12-23 cs.GT cs.LG math.OC
Read, Highlight and Summarize: A Hierarchical Neural Semantic Encoder-based Approach
Pennsylvania State University(宾夕法尼亚州立大学)
传统的序列到序列(seq2seq)模型和其他注意机制的变体,如层次注意,已被应用到文本摘要问题。尽管人类使用语言的方式存在着一种层次结构,即从句子中形成段落,从单词中形成句子,但层次模型通常并不比传统的seq2seq模型好多少。这主要是因为硬注意的层次注意力机制过于稀疏,软注意的层次注意力机制过于嘈杂。在本文中,我们提出了一种方法的基础上提取一个文件的亮点,一个关键的概念,是在几个句子。在一个典型的文本摘要数据集中,文档的长度(平均)为800个标记,捕获长期依赖关系是非常重要的,例如,可以将文档的最后一句与第一句分组以形成摘要。LSTM(长短期记忆)被证明对机器翻译很有用。然而,它们在建模长序列时往往无法捕获长期依赖关系。为了解决这些问题,我们已经适应了神经语义编码器(NSE)的文本摘要,一类记忆增强的神经网络,通过改善其功能,并提出了一种新的分层NSE,优于类似的以前的模型显着。摘要的质量通过增加语言因素,即词元和词性(PoS)标签来提高数据集中的每个单词的词汇覆盖率和泛化能力。因子化数据集上的分层NSE模型比最先进的模型高出近4个ROUGE点。我们进一步设计并使用了第一个基于GPU的自批判强化学习模型。
2019-11-01 cs.CL cs.LG stat.ML
Neural Sequence-to-Sequence Modeling with Attention by Leveraging Deep Learning Architectures for Enhanced Contextual Understanding in Abstractive Text Summarization
SRMIST(SRM理工学院)
本文提出一种融合结构化、语义和神经方法的统一框架,通过词义消歧和深度注意力序列到序列模型实现抽象式文本摘要,在Gigaword等数据集上优于现有技术。
2024-04-08 cs.CL cs.LG
To Boost or not to Boost: On the Limits of Boosted Neural Networks
University of Maryland(马里兰大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Johns Hopkins University(约翰斯·霍普金斯大学)
Boosting是一种通过线性组合许多“弱”假设来找到高度准确的假设的方法,其中每个假设可能只是中等准确。因此,boosting是一种用于学习分类器集合的方法。虽然提升已被证明对决策树非常有效,但其对神经网络的影响尚未得到广泛研究。我们证明了决策树的总和与卷积神经网络(CNN)的总和之间的一个重要区别,即决策树的总和不能由具有相同数量参数的单个决策树表示,而CNN的总和可以由单个CNN表示。接下来,使用标准的对象识别数据集,我们通过实验验证了众所周知的结果,即决策树的提升集成通常比具有相同数量的参数的单个决策树在测试数据上更好地推广。相比之下,使用相同的数据集和提升算法,我们的实验表明,当使用神经网络(CNN和多层感知器(MLP))时,情况正好相反。我们发现,一个单一的神经网络通常比一个更小的神经网络具有相同的参数总数的提升合奏更好地推广。
2021-07-28 cs.LG
A Massively Parallel Associative Memory Based on Sparse Neural Networks
McGill University(麦吉尔大学);Télécom Bretagne(布列塔尼电信学院)
关联存储器以这样的方式存储内容,使得内容可以稍后通过向存储器呈现内容的一小部分来检索,而不是像在更传统的存储器中那样向存储器呈现地址。关联存储器被用作数据库引擎、异常检测系统、压缩算法和面部识别系统中的算法的构建块。关联存储器的一个经典例子是Hopfield神经网络。最近,Gripon和Berrou介绍了一种替代结构,该结构基于纠错码理论的思想,并且在容量、多样性和效率方面大大优于Hopfield网络。在本文中,我们实现了一个通用的图形处理单元(GPU)上的Gripon-Berrou联想记忆的变化。Gripon和Berrou的工作提出了两种检索规则,总和和最大值和。和的和规则只使用矩阵向量乘法,很容易在GPU上实现。最大值和规则实现起来不那么简单,因为它涉及到非线性运算。然而,最大值和规则给出了明显更好的检索出错率。我们提出了一种混合规则,专门为在GPU上实现,实现了880倍的加速,而不牺牲任何精度。
2013-07-21 cs.AI cs.DC cs.NE
SUMD: Super U-shaped Matrix Decomposition Convolutional neural network for Image denoising
在本文中,我们提出了一种新的和有效的基于CNN的框架,利用局部和全局上下文信息的图像去噪。由于卷积本身的局限性,基于CNN的方法通常无法构造有效的结构化全局特征表示,通常称为基于Transformer的方法中的长距离依赖。为了解决这个问题,我们在网络中引入矩阵分解模块(MD)来建立全局上下文特征,与基于Transformer的方法性能相当。受U型结构多阶段渐进恢复设计的启发,我们进一步将MD模块集成到多个分支中,以获得当前阶段斑块范围的相对全局特征表示。然后,阶段输入逐渐上升到整体范围,不断完善最终特征。在各种图像去噪数据集(SIDD,DND和合成高斯噪声数据集)上的实验结果表明,我们的模型(SUMD)可以产生与基于transformer的方法相当的视觉质量和准确性结果。
2022-04-11 cs.AI cs.CV
DialogSum: A Real-Life Scenario Dialogue Summarization Dataset
University of Edinburgh(爱丁堡大学);Jilin University(吉林大学);Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
大规模数据集的提出促进了新闻摘要深度神经模型的研究。深度学习也可能对口语对话摘要有用,这可以使一系列现实生活场景受益,包括客户服务管理和药物跟踪。为此,我们提出了DialogSum,一个大规模的标记对话摘要数据集。我们使用最先进的神经摘要器对DialogSum进行实证分析。实验结果表明,口语词汇、特殊的语篇结构、共指和省略、语用和社会常识等都是对话摘要的难点,需要特定的表示学习技术来解决。
2021-06-16 cs.AI cs.CL
PhD Thesis Summary: Methods for Reliability Assessment and Enhancement of Deep Neural Network Hardware Accelerators
Mahdi Taheri(马赫迪·塔海里)
本文提出新颖的可靠性评估与增强方法,通过AdAM技术在降低硬件成本的同时提升深度神经网络硬件加速器的容错能力。
2026-02-17 cs.AI cs.AR cs.DC
A Convolutional Attention Network for Extreme Summarization of Source Code
University of Edinburgh(爱丁堡大学);Peking University(北京大学)
神经网络中的注意力机制已被证明对于输入和输出不具有固定维数的问题是有用的。通常存在局部平移不变的特征,并且对于引导模型的注意力是有价值的,但是以前的注意力架构并不是专门为了学习这些特征而构建的。我们引入了一个注意力神经网络,它采用卷积的输入令牌检测本地时不变和长距离的主题注意力特征的上下文相关的方式。我们将这种架构应用于将源代码片段极端总结成简短的、描述性的函数名称之类的摘要的问题。使用这些功能,该模型通过边缘化两个注意力机制来顺序生成摘要:一个基于输入标记的注意力权重预测下一个摘要标记,另一个能够将代码标记直接复制到摘要中。我们在10个流行的Java项目上展示了我们的卷积注意力神经网络的性能,表明与以前的注意力机制相比,它实现了更好的性能。
2016-05-25 cs.CL cs.LG cs.SE
The Second International Verification of Neural Networks Competition (VNN-COMP 2021): Summary and Results
Carnegie Mellon University(卡内基梅隆大学);Vanderbilt University(范德堡大学)
本报告总结了第二届神经网络国际验证竞赛(VNN-COMP 2021),该竞赛是第四届ML支持的自治系统形式化方法研讨会的一部分,该研讨会与第33届计算机辅助验证国际会议(CAV)同期举行。有12支球队参加了这次比赛。比赛的目标是在可扩展性和速度方面对神经网络验证中的最先进方法进行客观比较。沿着这条路线,我们使用标准格式(用于神经网络的ONNX和用于规范的VNNLIB),标准硬件(所有工具都由组织者在AWS上运行)和工具作者提供的工具参数。本报告总结了规则,基准,参与工具,结果和从这次比赛中吸取的教训。
2021-08-31 cs.LG cs.LO
Approximation Capabilities of Neural Networks using Morphological Perceptrons and Generalizations
University of Southern California(南加州大学)
标准人工神经网络(ANN)使用具有无记忆非线性激活的和-积或乘-累加节点操作。已知这些神经网络具有通用函数逼近能力。以前提出的形态感知器使用最大和,而不是和产品,节点处理和电路实现有前途的属性。在本文中,我们表明,这些最大和人工神经网络不具有普遍的逼近能力。此外,我们考虑提出的符号最大和最大星和概括的形态人工神经网络,并表明这些变种也没有普遍的近似能力。我们对比这些变化的对数系统(LNS)的实现,也避免乘法,但表现出普遍的近似能力。
2022-07-16 cs.LG cs.NE
Single image depth estimation by dilated deep residual convolutional neural network and soft-weight-sum inference
Northwestern Polytechnical University(西北工业大学);Australian National University(澳大利亚国立大学)
提出了一种新的残差卷积神经网络(CNN)结构,用于单幅图像的深度估计。与现有的基于深度CNN的方法相比,我们的方法用更少的训练样本和模型参数取得了更好的结果。我们的方法的优点来自于使用扩张卷积,跳跃连接结构和软加权和推理。在NYU Depth V2数据集上进行的实验评估表明,我们的方法在一定程度上优于其他最先进的方法。
2017-04-27 cs.CV cs.LG
Graph-based Neural Multi-Document Summarization
Yale University(耶鲁大学);The LNM Institute of Information Technology(LNM信息技术学院)
我们提出了一个神经多文档摘要(MDS)系统,结合句子关系图。我们采用一个图卷积网络(GCN)的关系图,句子嵌入从递归神经网络作为输入节点的功能。通过多层传播,GCN生成用于显著性估计的高级隐藏句子特征。然后,我们使用一个贪婪的启发式提取突出的句子,同时避免冗余。在我们对DUC 2004的实验中,我们考虑了三种类型的句子关系图,并证明了将图中的句子关系与深度神经网络的表示能力相结合的优势。我们的模型改进了传统的基于图的提取方法和香草GRU序列模型没有图,它取得了竞争力的结果对其他国家的最先进的多文档摘要系统。
2017-08-23 cs.CL cs.LG
Neural Abstractive Text Summarization with Sequence-to-Sequence Models
Virginia Tech(弗吉尼亚理工大学)
在过去的几年里,使用序列到序列(seq 2seq)模型的神经抽象文本摘要已经非常流行。已经提出了许多有趣的技术来改进seq 2seq模型,使它们能够处理不同的挑战,例如显着性,流畅性和人类可读性,并生成高质量的摘要。一般来说,这些技术中的大多数在这三类中的一个方面有所不同:网络结构,参数推断和解码/生成。还有其他问题,例如训练模型的效率和并行性。在本文中,我们提供了一个全面的文献调查不同seq 2seq模型的抽象文本摘要的网络结构,训练策略和摘要生成算法的观点。最初提出的几种模型用于语言建模和生成任务,如机器翻译,后来应用于抽象文本摘要。因此,我们也对这些模型进行了简要的回顾。作为这项调查的一部分,我们还开发了一个开源库,即神经抽象文本摘要(NATS)工具包,用于抽象文本摘要。在广泛使用的CNN/Daily Mail数据集上进行了一组广泛的实验,以检查几个不同的神经网络组件的有效性。最后,我们在最近发布的两个数据集上对NATS中实现的两个模型进行了基准测试,即Newsroom和Bytecup。
2020-09-18 cs.CL cs.LG stat.ML
Summit: Scaling Deep Learning Interpretability by Visualizing Activation and Attribution Summarizations
Georgia Tech(佐治亚理工学院)
深度学习越来越多地用于决策任务。然而,理解神经网络如何产生最终预测仍然是一个根本性的挑战。解释图像的神经网络预测的现有工作通常集中在解释单个图像或神经元的预测。由于预测通常是根据数百万个权重计算的,这些权重是在数百万张图像上优化的,因此这种解释很容易错过更大的画面。我们介绍了Summit,这是一个交互式系统,可扩展和系统地总结和可视化深度学习模型已经学习的功能以及这些功能如何相互作用以进行预测。Summit引入了两种新的可扩展摘要技术:(1)激活聚合发现重要的神经元,(2)神经元影响聚合识别这些神经元之间的关系。Summit将这些技术结合起来,创建了新颖的归因图,揭示和总结了有助于模型结果的关键神经元关联和子结构。Summit可扩展到大数据,例如包含120万张图像的ImageNet数据集,并利用神经网络特征可视化和数据集示例,帮助用户将大型复杂的神经网络模型提取为紧凑的交互式可视化。我们提出了神经网络探索方案,其中Summit帮助我们发现了对流行的大规模图像分类器的学习表示的多个令人惊讶的见解,并为未来的神经网络架构设计提供了信息。Summit可视化在现代Web浏览器中运行,并且是开源的。
2019-09-02 cs.CV cs.HC cs.LG
Activation Landscapes as a Topological Summary of Neural Network Performance
University of Florida(佛罗里达大学)
我们使用拓扑数据分析(TDA)来研究数据在通过深度神经网络(DNN)的连续层时如何转换。我们计算网络每一层的激活数据的持久同源性,并使用持久性景观总结这些信息。所得到的特征图提供了网络的信息可视化和用于统计分析和机器学习的内核。我们观察到拓扑复杂度通常随着训练而增加,并且拓扑复杂度不会随着每一层而降低。
2021-10-19 cs.LG math.AT
Sliding Window Sum Algorithms for Deep Neural Networks
Microsoft(微软)
本文提出一族通用向量化滑动窗口求和算法,并将其应用于深度神经网络的池化与卷积原语,在 CPU 上实现比 GEMM 更高效甚至超越 GPU 的计算性能。
2023-05-25 cs.DS cs.LG
Graph Summarization with Graph Neural Networks
Ulm University(乌尔姆大学);University of Essex(埃塞克斯大学)
图摘要的目标是以结构化和紧凑的方式表示大型图。基于等价类的图摘要保留了$k$跳邻域内图顶点的预定义特征,例如顶点标签和边标签。基于这些邻域特征,顶点被分配到一个等价类。所分配的等价类的计算必须是对预定义特征的置换不变操作。这通过对特征值e进行排序来实现。例如,在一个实施例中,边缘标记(这在计算上是昂贵的),并且随后对结果进行散列。图神经网络(GNN)满足排列不变性要求。我们制定了一个子图分类任务的根顶点上的$k$跳邻域的图形摘要的问题。我们采用不同的GNN架构,基于流行的消息传递协议和替代方法,来执行结构图摘要任务。我们将不同的GNN与标准的多层感知器(MLP)和Bloom过滤器作为非神经方法进行比较。在我们的实验中,我们考虑了一个大型网络图上的四个流行的图摘要模型。这类似于具有挑战性的多类顶点分类任务,类的数量从$576$到数十万不等。我们的结果表明,GNN的性能彼此接近。在四分之三的实验中,非消息传递GraphMLP模型优于其他GNN。标准MLP的性能非常好,特别是在存在许多类的情况下。最后,Bloom过滤器的性能远远优于所有神经架构,除了具有最少数量的$576$类的数据集。
2022-12-08 cs.LG
Towards Spatial Variability Aware Deep Neural Networks (SVANN): A Summary of Results
University of Minnesota(明尼苏达大学)
在许多地理现象中观察到了空间变异性,包括气候带、USDA植物耐寒带和陆地栖息地类型(例如,森林、草原、湿地和沙漠)。然而,当前的深度学习方法遵循空间一刀切(OSFA)方法来训练单个深度神经网络模型,其不考虑空间变化。在这项工作中,我们提出并研究了一种空间变异性感知的深度神经网络(SVANN)方法,其中为每个地理区域构建了不同的深度神经网络模型。我们评估这种方法使用航空影像从两个地理区域的任务,绘制城市花园。实验结果表明,SVANN提供了更好的性能比OSFA的精度,召回率和F1得分,以识别城市花园。
2020-11-17 cs.CV cs.LG
Video Summarization Using Deep Neural Networks: A Survey
Information Technologies Institute / Centre for Research and Technology Hellas(信息技术研究所/希腊研究与技术中心);Queen Mary University of London(伦敦玛丽女王大学)
视频摘要技术旨在通过选择视频内容中信息量最大的部分来创建简洁而完整的概要。在过去的几十年中已经开发了几种方法,并且现有技术的当前状态由依赖于现代深度神经网络架构的方法表示。这项工作的重点是该领域的最新进展,并提供了对现有基于深度学习的通用视频摘要方法的全面调查。在介绍了视频摘要技术发展背后的动机之后,我们制定了视频摘要任务,并讨论了典型的基于深度学习的分析管道的主要特征。然后,我们对现有算法进行了分类,并对相关文献进行了系统的回顾,这些文献显示了基于深度学习的视频摘要技术的发展,并为未来的发展提出了建议。然后,我们报告了视频摘要算法的客观评估协议,并比较了几种基于深度学习的方法的性能。基于这些比较的结果,以及一些记录的注释数据的数量和评估协议的适用性的考虑,我们指出了潜在的未来研究方向。
2021-09-27 cs.CV cs.LG cs.MM
Rectified deep neural networks overcome the curse of dimensionality for nonsmooth value functions in zero-sum games of nonlinear stiff systems
University of Oxford(牛津大学)
在本文中,我们建立了一个广泛的控制随机微分方程(SDEs)与刚性系数,相应的零和对策的值函数可以表示为一个深度人工神经网络(DNN),其复杂性增长最多多项式在两个维度的状态方程和所需的精度的倒数。这样的非线性刚性组可以产生于例如受控随机偏微分方程(SPDE)的Galerkin近似,或者具有不确定初始条件和源项的受控PDE。这意味着DNN可以打破PDE和SPDE的数值逼近和最优控制中的维数灾难。我们证明的主要成分是构建一个合适的离散时间系统,以有效地近似底层随机动力学的演化。类似的思想也可以应用于获得由具有状态切换系数的刚性组诱导的值函数和由一般Lévy噪声驱动的DNN的表达率。
2020-05-13 cs.LG cs.NA math.NA
Convolutional Neural Networks as Summary Statistics for Approximate Bayesian Computation
Uppsala University(乌普萨拉大学);Scaleout Systems AB(Scaleout Systems 公司)
近似贝叶斯计算广泛应用于系统生物学中随机基因调控网络模型的参数推断。它的性能关键取决于将时间序列等高维系统响应汇总为一些信息丰富的低维汇总统计数据的能力。这些统计数据的质量严重影响了推理任务的准确性。从候选统计量池中选择最佳子集的现有方法不能很好地扩展几十到几百个候选统计量的大池。由于高质量的统计数据对于良好的性能至关重要,因此在对复杂和高维问题进行推理时,这成为一个严重的瓶颈。本文提出了一种卷积神经网络架构,用于自动学习时间响应的信息汇总统计。我们表明,该网络可以有效地规避ABC推理的预处理步骤的统计选择问题。在高维随机遗传振子的两个基准问题和一个具有挑战性的推理问题上证明了所提出的方法。我们还研究了试验设计对网络性能的影响,通过比较不同的数据丰富度和数据采集策略。
2021-04-12 cs.LG stat.ML
Graph Neural Network and NER-Based Text Summarization
本文提出结合图神经网络与命名实体识别的文本摘要方法,利用GNN捕获文本关系结构、NER突出关键实体,以提高摘要效率与相关性,应对海量文本数据。
2024-02-05 cs.CL cs.LG
A Convolutional Neural Network for Language-Agnostic Source Code Summarization
Two Six Labs(双六实验室)
描述性注释在软件工程过程中起着至关重要的作用。它们减少了开发时间,实现了更好的bug检测,并促进了以前编写的代码的重用。然而,注释通常是软件开发人员的最后一个优先级,因此要么是不足的,要么是完全缺失的。因此,自动源代码摘要可能具有显著改进软件开发过程的能力。我们引入了一种新颖的编码器-解码器模型,它总结了源代码,有效地编写了一个注释来描述代码的功能。我们在当前的源代码摘要模型之外做了两个主要的创新。首先,我们的编码器是完全语言无关的,不需要复杂的输入预处理。其次,我们的解码器有一个开放的词汇表,使它能够预测任何单词,甚至是在训练中没有看到的单词。我们展示的结果相当于国家的最先进的方法在一个单一的语言数据集,并提供了第一个由多个程序设计语言的数据集上的结果。
2019-03-29 cs.CL cs.LG stat.ML
Theory of Graph Neural Networks: Representation and Learning
MIT(麻省理工学院)
图神经网络(GNN)是一种用于学习图的表示的神经网络架构,它已经成为一种流行的学习模型,用于节点、图和点的配置的预测任务,在实践中取得了广泛的成功。本文总结了关于广泛使用的消息传递GNN和高阶GNN的近似和学习特性的新兴理论结果,重点是表示,泛化和外推。一路上,它总结了数学联系。
2022-04-16 cs.LG stat.ML
Pre-trained Tabular Foundation Models as Versatile Summary Networks for Neural Posterior Estimation
University of Pennsylvania(宾夕法尼亚大学);The George Washington University(乔治·华盛顿大学);Brown University(布朗大学)
本文提出PFN-NPE,利用预训练的TabPFN作为固定总结网络,通过归一化流实现高效的后验估计,展示其在模拟基于贝叶斯推断中的有效性与多功能性。
2026-05-08 cs.LG
Hybrid summary statistics: neural weak lensing inference beyond the power spectrum
Imperial Centre for Inference and Cosmology (ICIC)(帝国推理与宇宙学中心);Imperial Astrophysics(帝国天文学);Department of Physics(物理系);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut d’Astrophysique de Paris(巴黎天体物理研究所);Center for Computational Astrophysics(计算天文学中心);Flatiron Institute(Flatiron研究院)
本文提出混合汇总统计方法,将物理基统计量与神经压缩统计量结合,用于弱引力透镜推断,提取信息量达功率谱3至8倍,且所需模拟更少。
2024-07-26 astro-ph.CO cs.LG physics.comp-ph
A Deep and Wide Neural Network-based Model for Rajasthan Summer Monsoon Rainfall (RSMR) Prediction
The LNM Institute of Information Technology(LNM信息技术研究所)
季风降雨的重要性不容忽视,因为它影响着从农业到工业的全年活动。准确的降雨量估算和预测对水资源管理和农业部门的决策非常有帮助。由于季风降水的动态性,其准确预报成为一项极具挑战性的任务。在本文中,我们分析和评估了各种深度学习方法,如一维卷积神经网络,多层感知器和宽深度神经网络,用于预测印度拉贾斯坦邦的夏季季风降雨。为了我们的分析目的,我们使用了两种不同类型的数据集进行实验。从IMD网格数据集,降雨数据的484个坐标,位于拉贾斯坦邦的地理边界。我们还收集了水利部158个雨量站的雨量资料。本文在这两种数据集上对各种算法进行了比较,发现基于Deep Wide神经网络的模型优于其他两种方法。
2021-03-03 cs.LG physics.ao-ph
Graphcode: Learning from multiparameter persistent homology using graph neural networks
Institute of Geometry(几何研究所);Graz University of Technology(格拉茨工业大学)
本文提出graphcodes,一种基于持续同调的多尺度拓扑摘要,可高效计算并嵌入图神经网络,在多个数据集上分类准确率优于现有方法。
2024-05-23 cs.LG math.AT
A Comprehensive Survey on Graph Summarization with Graph Neural Networks
Macquarie University(麦考瑞大学)
本文全面综述了基于图神经网络的图摘要技术,回顾了循环、卷积、自编码器和注意力网络等前沿方法,探讨了图强化学习在提升摘要质量中的应用,并详细比较了基准数据集与评估指标,提出了未来的开放性研究挑战。
2024-01-04 cs.LG
Barcodes as Summary of Loss Function Topology
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所);Artificial Intelligence Research Institute(人工智能研究所);Paris Cité University(巴黎城市大学);ETH Zurich(苏黎世联邦理工学院)
本研究将拓扑数据分析中Morse复形的条形码用于分析神经网络损失曲面,提出局部极小值条形码计算算法,实验证实损失曲面局部极小值条形码的分布规律及网络深度宽度对其的影响,为理解神经网络学习与泛化提供拓扑视角。
2025-01-13 cs.LG math.AT math.DS
Neural Offset Min-Sum Decoding
McGill University(麦吉尔大学)
最近,已经表明,如果将乘法权重分配给置信传播解码中使用的Tanner图的边缘,则可以使用深度学习技术来找到提高解码器的纠错性能的权重值。不幸的是,这种方法需要许多乘法,这通常是昂贵的操作。在本文中,我们提出了一个更硬件友好的方法,其中偏移最小和解码增强与可学习的偏移参数。我们的方法不使用乘法,并且具有小于乘法算法的一半的参数计数。这既加快了训练速度,又为硬件架构提供了可行的路径。在描述了我们的方法之后,我们比较了两种神经解码算法的性能,并表明我们的方法在乘法方法的0.1 dB内实现了纠错性能,并且对于所考虑的代码,比传统的置信传播好多达1 dB。
2017-07-27 cs.IT cs.LG math.IT
Fitting summary statistics of neural data with a differentiable spiking network simulator
École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
将网络模型拟合到神经活动是神经科学中的重要工具。一种流行的方法是用概率性周期性尖峰网络对大脑区域进行建模,该网络的参数最大化记录活动的可能性。虽然这是广泛使用的,我们表明,由此产生的模型不会产生现实的神经活动。为了纠正这一点,我们建议增加对数似然与衡量模拟和记录的活动之间的差异的条款。这种差异是通过神经科学中常用的汇总统计来定义的,并且优化是有效的,因为它依赖于通过随机模拟的尖峰序列的反向传播。我们从理论上分析了这种方法,并实证表明,它产生更现实的活动统计。我们发现,它改进了其他拟合算法的尖峰网络模型,如GLM(广义线性模型),通常不依赖于反向传播。这种新的拟合算法还可以考虑隐藏的神经元,这是众所周知的困难,我们表明,当试图从尖峰记录推断网络连接时,它可能是至关重要的。
2021-11-14 cs.LG q-bio.NC stat.ML
NeuralDivergence: Exploring and Understanding Neural Networks by Comparing Activation Distributions
Georgia Institute of Technology(佐治亚理工学院)
随着深度神经网络越来越多地用于解决高风险问题,迫切需要了解其内部决策机制。可视化通过帮助解释复杂的深层神经网络来帮助解决这个问题。然而,当前的工具通常只支持单个数据实例,或者孤立地可视化层。我们介绍了NeuralDivergence,一个交互式可视化系统,它使用激活分布作为模型学习的高级摘要。NeuralDivergence使用户能够交互式地总结和比较跨层、类和实例的激活分布(例如,对抗攻击和良性图像对),帮助他们更好地理解神经网络模型。
2019-06-02 cs.CV cs.LG
Aspect-based Opinion Summarization with Convolutional Neural Networks
Fudan University(复旦大学)
本文考虑了基于AOS的特定产品评论的意见摘要。为了实现真正的应用程序,AOS系统需要解决两个核心子任务,方面提取和情感分类。现有的大多数方面提取方法,使用语言分析或主题建模,是通用的不同的产品,但不够精确或适合于特定的产品。相反,我们采用了一种不太一般但更精确的方案,直接将每个评论句子映射到预定义的方面。为了解决方面映射和情感分类,我们提出了两种基于卷积神经网络(CNN)的方法,级联CNN和多任务CNN。级联CNN包含两级卷积网络。第1级的多个CNN处理方面映射任务,第2级的单个CNN处理情感分类。多任务CNN也包含多方面CNN和情感CNN,但不同的网络共享相同的词嵌入。实验结果表明,级联和多任务CNN都大大优于基于SVM的方法。多任务CNN通常比级联CNN性能更好。
2015-11-30 cs.CL cs.IR cs.LG
Correlated Time Series Forecasting using Deep Neural Networks: A Summary of Results
Aalborg University(奥尔堡大学)
网络物理系统通常由随着时间的推移相互作用的实体组成。与此同时,作为工业过程持续数字化的一部分,各种传感器技术被部署,使我们能够记录时变属性(也称为,时间序列),从而产生相关的时间序列。为了能够对这种相关的时间序列进行准确的预测,本文提出了两种模型,结合卷积神经网络(CNN)和递归神经网络(RNN)。第一个模型在每个单独的时间序列上使用CNN,组合卷积特征,然后在卷积特征之上应用RNN,以实现预测。第二个模型将额外的自动编码器添加到各个CNN中,使第二个模型成为多任务学习模型,提供准确和强大的预测。在两个真实的相关时间序列数据集上的实验表明,所提出的两个模型是有效的,在大多数情况下优于基线。本报告通过提供额外的实验结果,扩展了ACM CIKM 2018上发表的论文“使用多任务深度神经网络进行相关时间序列预测”。
2018-08-30 cs.LG stat.ML
Visual Summary of Value-level Feature Attribution in Prediction Classes with Recurrent Neural Networks
University of California, Davis(加州大学戴维斯分校);Zhejiang University(浙江大学);University of California(加州大学)
深度循环神经网络(RNN)越来越多地用于时间序列的决策。然而,理解RNN模型如何产生最终预测仍然是一个重大挑战。解释用于序列预测的RNN模型的现有工作通常集中在解释单个数据实例的预测(例如,患者或学生)。由于最先进的预测模型是由数百万个参数在数百万个实例中优化而成的,因此解释单个数据实例的预测很容易错过更大的画面。此外,许多性能优异的RNN模型使用多热编码来表示特征的存在/不存在,其中缺少特征值属性的可解释性。我们提出了ViSFA,一个交互式系统,直观地总结了随着时间的推移,不同的特征值的特征属性。ViSFA可扩展到大型数据,例如包含120万个高维时间事件的电子健康记录的MIMIC数据集。我们证明了ViSFA可以帮助我们推理RNN预测,并通过将复杂的归因提炼成紧凑且易于解释的可视化来揭示数据中的见解。
2020-08-21 cs.HC cs.LG
A Multi-task Neural Approach for Emotion Attribution, Classification and Summarization
Fudan University(复旦大学);Baidu Research(百度研究院);Jilian Technology Group (Video++)(极链科技集团(Video++))
情感内容是用户生成视频的关键成分。然而,视频中情感表达的稀疏性给视觉情感分析带来了障碍。在本文中,我们提出了一种新的神经方法,双流情感归因分类网络(BEAC-Net),解决三个相关的情感分析任务:情感识别,情感归因和面向情感的总结,在一个单一的集成框架。BEAC-Net有两个主要组成部分,一个属性网络和一个分类网络。归因网络提取分类应该关注的主要情感片段,以减轻稀疏性问题。分类网络利用提取的片段和原始视频在一个双流架构。我们为情感归因任务贡献了一个新的数据集,其中包含情感片段的人类注释地面真实标签。两个视频数据集上的实验表明,所提出的框架和双分类流的互补性的优越性能。
2019-07-24 cs.CV cs.LG stat.ML
Modelling, Visualising and Summarising Documents with a Single Convolutional Neural Network
University of Oxford(牛津大学);Canadian Institute for Advanced Research(加拿大高等研究院)
捕获将单词的含义映射到文档的含义的合成过程是自然语言处理和信息检索研究人员的核心挑战。我们引入了一个模型,它能够通过将文档嵌入到低维向量空间中来表示文档的含义,同时保留对于捕捉细微语义至关重要的单词和句子顺序的区别。我们的模型是基于一个扩展的动态卷积神经网络,学习卷积过滤器在句子和文档级别,分层学习捕获和组成低级别的词汇特征到高级别的语义概念。我们证明了该模型在一系列文档建模任务上的有效性,在没有特征工程和更紧凑的模型的情况下取得了很好的效果。受计算机视觉可视化深度卷积网络的最新进展的启发,我们为我们的文档网络提出了一种新的可视化技术,不仅可以深入了解它们的学习过程,而且可以解释为产生一个引人注目的文本自动摘要系统。
2014-06-15 cs.CL cs.LG stat.ML
A Max-Sum algorithm for training discrete neural networks
Politecnico di Torino(都灵理工大学);Human Genetics Foundation(人类遗传学基金会);Collegio Carlo Alberto(卡洛·阿尔贝托学院)
我们提出了一个有效的学习算法的问题,训练神经网络的离散突触,一个著名的硬(NP完全)离散优化问题。该算法是所谓的最大和(MS)算法的变体。特别是,我们展示了如何,有界整数权重与$q$不同的状态和独立的凹先验分布(如$l_{1}$正则化),该算法的时间复杂度可以扩展为$O\left(N\log N\right)$每个节点更新,从而把它与替代方案,如置信传播(BP),而不诉诸近似。有两种特殊情况特别令人感兴趣:二元突触$W\in\{-1,1\}$和具有$l_{0}$正则化的三元突触$W\in\{-1,0,1\}$。我们提出的算法在二进制感知器学习问题上表现得和BP一样好,并且可能更适合于解决完全连接的两层网络上的问题,因为使用MS方法自然地打破了两层网络中固有的对称性。
2015-08-13 cond-mat.dis-nn cs.LG cs.NE
Repurposing Decoder-Transformer Language Models for Abstractive Summarization
Twilio AI(Twilio人工智能)
神经网络模型在应用于抽象摘要时表现出了出色的流畅性和性能。许多神经抽象总结的方法都涉及引入显著的归纳偏差,例如使用指针生成器架构,覆盖范围和部分提取程序等组件,旨在模仿人类总结文档的过程。我们表明,它是可能的,而不是直接查看摘要作为一个语言建模问题,并有效地利用迁移学习,以获得有竞争力的性能。我们介绍了一个简单的程序,建立在解码器变压器,以获得高度竞争力的ROUGE分数的摘要性能,单独使用语言建模损失,没有波束搜索或其他解码时间优化,而是依赖于有效的核采样和贪心解码。
2019-09-01 cs.CL cs.LG
Generative Neural Network based Spectrum Sharing using Linear Sum Assignment Problems
Big data Institute(大数据研究所);School of Computer Science(计算机学院);Shenzhen University(深圳大学);Benha University(本哈大学);Peng Cheng Laboratory(鹏城实验室)
频谱管理和资源分配(RA)问题在诸如无线通信和计算机网络的大量研究领域中是具有挑战性和关键性的。传统的方法求解此类问题通常需要耗费大量的时间和内存,尤其是对于大规模的问题。近年来,不同的机器学习方法被认为是解决组合优化问题的潜在技术,特别是深层神经网络的生成模型。在这项工作中,我们提出了一个资源分配深自动编码器网络,作为一个有前途的生成模型,使频谱共享的无线设备到设备(D2 D)通信通过解决线性和分配问题(LSAP)。具体来说,我们研究了三种不同的架构的条件变分自编码器(CVAE)的性能。提出的三种架构是卷积神经网络(CVAE-CNN)自动编码器、前馈神经网络(CVAE-FNN)自动编码器和混合(H-CVAE)自动编码器。仿真结果表明,该方法可以用来作为传统的RA技术,如匈牙利算法的替代,由于其能够找到不同大小的LASP的解决方案,具有高精度和非常快的执行时间。此外,仿真结果表明,所提出的混合自动编码器架构的准确性优于其他提出的架构和最先进的DNN技术。
2019-10-12 cs.LG cs.NI stat.ML
ProdSumNet: reducing model parameters in deep neural networks via product-of-sums matrix decompositions
IBM Research AI(IBM研究院人工智能部门);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们考虑一个通用框架,通过将线性算子分解为简单线性算子之和的乘积,来减少深度学习网络中可训练模型参数的数量。最近提出的深度学习架构,如CNN,KFC,扩张的CNN等都包含在这个框架中,我们在这个框架内说明了其他类型的神经网络架构。我们表明,MNIST和时尚MNIST的良好的准确性,可以使用相对较少的可训练参数。此外,由于卷积层的实现是资源密集型的,因此我们考虑在变换域中采用一种方法来消除对卷积层的需求。这种一般框架优于现有方法的优点之一是可训练参数的数量不是固定的,并且可以任意变化。特别是,我们说明了不同的可训练变量的数量和相应的出错率的权衡。作为一个例子,通过在具有超过3x10^6个可训练参数的MNIST的参考CNN架构上使用这种分解,我们能够仅使用3554个可训练参数获得98.44%的准确度。
2019-05-23 cs.LG stat.ML