When Deep Learning Meets Polyhedral Theory: A Survey
Google Research, USA(谷歌研究);Universidad de Chile, Chile(智利大学);University of Iowa, USA(爱荷华大学);Imperial College London, UK(伦敦帝国学院)
本文综述了多面体理论在深度学习中的应用,探讨了如何利用线性规划与混合整数线性规划等线性优化技术,对基于 ReLU 等分段线性函数的神经网络进行分析、训练、验证和模型缩减。
2025-09-14 cs.LG math.OC
Template-Fitting Meets Deep Learning: Redshift Estimation Using Physics-Guided Neural Networks
本文提出一种结合模板拟合与深度学习的红移估计方法,通过物理引导的神经网络融合光谱数据与图像数据,实现高精度红移估计。
2025-07-01 astro-ph.IM cs.LG
Sparsity Meets Robustness: Channel Pruning for the Feynman-Kac Formalism Principled Robust Deep Neural Nets
University of California, Irvine(加州大学欧文分校);University of California, Los Angeles(加州大学洛杉矶分校)
深度神经网络(DNN)压缩对于适应移动设备至关重要。虽然存在许多成功的算法来压缩自然训练的DNN,但为健壮训练的DNN开发高效和稳定的压缩算法仍然是一个很大的问题。在本文中,我们专注于高效DNN压缩算法和稀疏神经架构的协同设计,以实现鲁棒和准确的深度学习。这样的协同设计使我们能够推进同时容纳稀疏性和鲁棒性的目标。考虑到这一目标,我们利用基于松弛增广拉格朗日的算法来修剪结构化和非结构化级别上的对抗训练DNN的权重。使用Feynman-Kac形式主义原则的鲁棒和稀疏DNN,我们可以将对抗训练的ResNet 20的信道稀疏度至少提高一倍用于CIFAR 10分类,同时将自然准确率提高$8.69$ \%,并将IFGSM攻击的基准$20$迭代下的鲁棒准确率提高$5.42$ \%。代码可在\url{https://github.com/BaoWangMath/rvsm-rgsm-admm}上获得。
2020-03-02 cs.AI cs.LG stat.ML
Transformers Meet Relational Databases
Department of Computer Science, Czech Technical University in Prague(计算机科学系,布拉格捷克技术大学)
针对 Transformer 难以处理关系数据库的问题,本文提出遵循关系模型的模块化神经消息传递方案,支持从数据库存储端到端学习,并在广泛数据集上验证其性能优于多个相关领域的代表性模型。
2024-12-06 cs.DB cs.LG
Space Meets Time: Local Spacetime Neural Network For Traffic Flow Forecasting
The University of Auckland(奥克兰大学)
交通流预测是城市计算中的一项重要任务。交通流往往表现出内在的和潜在的时空相关性,无法通过提取交通数据的空间和时间模式分别识别的挑战。我们认为,这种相关性是普遍的,在交通流中发挥着举足轻重的作用。我们提出{时空间隔学习}作为一种范式,通过对空间和时间特征的统一分析来明确地捕捉这些相关性。与限制于特定道路网络的最先进的方法不同,我们对可从城市转移到城市的普遍时空相关性进行建模。为此,我们提出了一个新的时空间隔学习框架,该框架构建了一个局部时空背景下的交通传感器,包括在接近的时间点内从其邻居的数据。基于这一思想,我们引入局部时空神经网络(STNN),它采用新的时空卷积和注意力机制学习普遍的时空相关性。建议的STNN捕获本地流量模式,这不依赖于一个特定的网络结构。因此,训练的STNN模型可以应用于任何看不见的交通网络。我们评估建议的STNN上的两个公共现实世界的交通数据集和动态网络的模拟数据集。实验结果表明,STNN不仅提高了4%的预测精度比国家的最先进的方法,但也是有效的处理的情况下,交通网络经历动态变化,以及优越的泛化能力。
2022-02-01 cs.LG stat.ML
Low-Rank Adapters Meet Neural Architecture Search for LLM Compression
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
本文回顾了将低秩适配器与神经架构搜索(NAS)技术结合用于大型语言模型压缩与参数高效微调的方法,通过权重共享超网络等策略降低内存占用并加快推理,使模型在资源受限环境中更易部署。
2025-01-23 cs.AI cs.CL cs.LG
Evolution Meets Diffusion: Efficient Neural Architecture Generation
针对NAS搜索成本高及扩散式NAG全局搜索受限的问题,本文提出免训练的EDNAG,用进化算法模拟扩散去噪并由适应度引导架构分布生成,取得SOTA优化效果且推理平均提速50倍。
2025-09-29 cs.AI cs.LG cs.NE
Spikformer: When Spiking Neural Network Meets Transformer
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Sea AI Lab(Sea人工智能实验室);Shenzhen EEGSmart Technology Co., Ltd.(深圳脑陆科技有限公司)
我们考虑两个生物学上合理的结构,脉冲神经网络(SNN)和自我注意力机制。前者为深度学习提供了一个节能和事件驱动的范例,而后者具有捕获特征依赖关系的能力,使Transformer能够实现良好的性能。这是直观的承诺,探索他们之间的婚姻。在本文中,我们考虑利用自我注意能力和SNN的生物学特性,并提出了一种新的尖峰自我注意(SSA)以及一个强大的框架,命名为尖峰Transformer(Spikformer)。Spikformer中的SSA机制通过使用spike-form Query、Key和Value而不使用softmax来对稀疏视觉特征进行建模。由于其计算稀疏,避免了乘法,SSA是高效的,具有低的计算能耗。结果表明,Spikformer与SSA可以优于国家的最先进的SNNs样框架在图像分类的神经形态和静态数据集。Spikformer(66.3M参数)与SEW-ResNet-152(60.2M,69.26%)大小相当,可以在ImageNet上使用4个时间步长实现74.81%的top1准确率,这是直接训练SNN模型的最新技术。
2022-11-22 cs.CV cs.LG cs.NE
The Larger The Fairer? Small Neural Networks Can Achieve Fairness for Edge Devices
George Mason University(乔治梅森大学);The University of New Mexico(新墨西哥大学);University of Pittsburgh(匹兹堡大学);University of Notre Dame(圣母大学)
随着人工智能民主化的进展,神经网络正在更频繁地部署在边缘设备中,以实现广泛的应用。公平性问题逐渐出现在许多应用中,如人脸识别和移动医疗。一个基本问题出现了:什么是边缘设备最公平的神经架构?通过检查现有的神经网络,我们观察到较大的网络通常更公平。但是,边缘设备需要更小的神经架构来满足硬件规格。为了应对这一挑战,这项工作提出了一种新的公平和硬件感知神经架构搜索框架,即FaHaNa。再加上模型冻结方法,FaHaNa可以有效地搜索神经网络,平衡公平性和准确性,同时保证满足硬件规格。实验结果表明,FaHaNa在皮肤病学数据集上能够以较高的公平性和准确性识别一系列神经网络。针对边缘设备,FaHaNa找到了一个精度略高、尺寸小5.28倍、公平性分数高15.14%的神经架构,与MobileNetV 2相比;同时,在Raspberry PI和Odroid XU-4上,它实现了5.75倍和5.79倍的加速比。
2022-02-23 cs.CY cs.LG
Sequential Learning from Noisy Data: Data-Assimilation Meets Echo-State Network
The Ohio State University(俄亥俄州立大学)
本文针对噪声数据训练循环神经网络的挑战,提出利用集合卡尔曼滤波器融合噪声观测,为回声状态网络(ESN)开发序列训练算法,所得KalT-ESN在保持低计算成本的同时,性能优于传统最小二乘法训练的ESN。
2023-04-01 cs.LG cs.SY eess.SY
Reservoir Computing meets Recurrent Kernels and Structured Transforms
Ecole Normale Supérieure(巴黎高等师范学院);Université PSL(巴黎文理研究大学);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学);Université de Paris(巴黎大学);Collège de France(法兰西公学院);LightOn(LightOn公司);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
水库计算是一类简单而有效的递归神经网络,其中内部权重是随机固定的,并且只训练线性输出层。在大规模的限制下,这种随机神经网络与核方法有很深的联系。我们的贡献有三个方面:a)严格地建立了水库计算的递归核极限,并证明了它的收敛性。b)我们在混沌时间序列预测上测试了我们的模型,这是水库计算中的一个经典但具有挑战性的基准,并展示了当数据点的数量保持适度时,递归核是如何具有竞争力和计算效率的。c)当样本数量太大时,我们通过引入结构化水库计算来利用结构化随机特征的成功进行核近似。提出的两种方法,递归核和结构化水库计算,原来是更快,更节省内存比传统的水库计算。
2020-10-21 cs.LG eess.SP stat.ML
Transformer Meets Boundary Value Inverse Problems
University of California, Irvine(加州大学欧文分校);University of Missouri-Kansas City(密苏里大学堪萨斯城分校)
针对电阻抗成像这一严重不适定的非线性边值反问题,提出了一种基于变换器的深度直接采样方法。通过评估精心设计的数据和重建图像之间的学习逆算子来实现实时重建。一个努力是给一个具体的例子,一个基本的问题:是否以及如何可以受益于数学问题的理论结构,以开发面向任务和结构符合深神经网络?具体而言,受逆问题的直接采样方法的启发,通过基于偏微分方程的特征映射对不同频率的1D边界数据进行预处理,以产生2D谐波扩展作为不同的输入通道。然后,通过引入可学习的非局部核函数,将直接采样转换为一种改进的注意力机制。新方法实现了优越的精度比其前辈和当代运营商学习,并显示出对基准噪声的鲁棒性。这项研究将加强的见解,尽管被发明的自然语言处理任务,注意力机制提供了很大的灵活性,以修改符合先验数学知识,这最终导致更多的物理兼容的神经架构的设计。
2023-03-06 cs.LG cs.NA math.NA
Neural Active Learning Meets the Partial Monitoring Framework
Université Laval(拉瓦尔大学);Thales Research and Technology (cortAIx)(泰勒斯研究与技术(cortAIx));Mila - Québec AI Institute(米拉-魁北克人工智能研究所);Institut Intelligence et Données(智能与数据研究所)
研究在线主动学习设置,基于部分监测为OAL任务提出新基础,表明相关任务是部分监测实例,引入成本敏感型任务扩展潜力,提出NeuralCBP策略,实验显示其在多类OAL任务上性能优于基线。
2026-07-14 cs.LG
Large Neighborhood Search meets Iterative Neural Constraint Heuristics
Department of Mechanical \& Industrial Engineering, University of Toronto Vector Institute
本文将迭代神经启发式与大邻域搜索结合,改进ConsFormer方法,通过实验发现该方法在Sudoku、图着色和MaxCut任务中性能提升显著,揭示了LNS在设计迭代神经方法中的有效性。
2026-03-21 cs.LG
Spatiotemporal Forecasting Meets Efficiency: Causal Graph Process Neural Networks
Institut Polytechnique de Paris(巴黎理工学院);Télécom Paris(巴黎电信学院);LTCI(通信与信息处理实验室);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央高等电力学院);Inria(法国国家信息与自动化研究所)
本文提出因果图过程神经网络(CGProNet),结合因果图过程与图神经网络,利用高阶图滤波器减少参数和内存消耗,提升时空预测的运行效率,并在合成与真实数据上验证了其高效性与预测性能。
2024-05-29 cs.LG
Weisfeiler-Lehman meets Events: An Expressivity Analysis for Continuous-Time Dynamic Graph Neural Networks
University of Kassel, Germany(德国凯泽尔大学)
针对现实系统异步演化且可能不连通的问题,本文扩展属性离散动态图理论至连续时间场景,提出连续时间动态1-WL测试并证明其与展开树等价,识别出保留区分能力和逼近保证的CGNN类,还给出实用设计指南。
2025-08-25 cs.LG
SequentialAttention++ for Block Sparsification: Differentiable Pruning Meets Combinatorial Optimization
Google Research(谷歌研究院)
该研究结合可微分剪枝与组合优化,提出SequentialAttention++框架,理论证明其非凸正则化特性与近似最优性,在ImageNet和Criteo数据集上实现块剪枝任务的SOTA性能。
2025-02-10 cs.LG
Large Language Models Meet Graph Neural Networks: A Perspective of Graph Mining
School of Computer Science and Engineering(计算机科学与工程学院);University of Electronic Science and Technology of China(电子科技大学);th Research Institute of CETC(中国电子科技集团公司第五十四研究所)
本文综述了大型语言模型与图神经网络结合用于图挖掘的研究,提出GNN驱动LLM、LLM驱动GNN和GNN-LLM协同驱动三类分类法,并指出高效融合二者是未来方向。
2024-12-26 cs.LG
Federated Spectral Graph Transformers Meet Neural Ordinary Differential Equations for Non-IID Graphs
Indian Institute of Information Technology Kottayam (IIITK)(印度信息技术学院科塔亚姆分校(IIITK));International Institute of Information Technology Hyderabad (IIITH)(印度信息技术学院海得拉巴分校(IIITH))
针对联邦GNN学习未被充分探索的问题,提出结合谱图Transformer与神经常微分方程的方法,处理非IID图,在同构/异构图上性能优异,推动联邦GNN发展。
2025-04-16 cs.LG
Self-supervision meets kernel graph neural models: From architecture to augmentations
Ant Group(蚂蚁集团);Tsinghua University(清华大学)
本文改进了核图神经网络(KGNNs)的架构设计与学习,扩展了图级相似度定义以平滑优化目标,并提出新型保结构图数据增强方法LGA引入自监督,在图分类任务上取得了优于或媲美SOTA的性能。
2023-10-17 cs.LG
Tensor Networks Meet Neural Networks: A Survey and Future Perspectives
City University of Hong Kong(香港城市大学);Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));Fudan University(复旦大学);Quantum Science Center of Guangdong-Hong Kong-Macao Greater Bay Area(粤港澳大湾区量子科学中心);Information Engineering University(信息工程大学);Imperial College London(伦敦帝国学院);Systems Research Institute, Polish Academy of Sciences(波兰科学院系统研究所);Artificial Intelligence Project, Riken(理化学研究所人工智能项目)
本文综述张量网络与神经网络结合形成的张量神经网络,从数据处理和模型架构两方面梳理其方法、工具、应用与未来方向。
2025-03-17 cs.LG
When Graph Neural Networks Meet Dynamic Mode Decomposition
University of Sydney(悉尼大学);Riken AIP(理化学研究所先进智能项目);Western Sydney University(西悉尼大学)
本研究将图神经网络(GNN)与动态模态分解(DMD)结合,建立理论关联并提出DMD-GNN模型家族,在多类图任务上取得当前最优性能,为动力系统分析工具通过GNN落地应用铺平道路。
2024-10-08 cs.LG
When Expressivity Meets Trainability: Fewer than $n$ Neurons Can Work
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong(香港中文大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
现代神经网络通常相当宽,导致大量的存储器和计算成本。因此,训练较窄的网络是非常有意义的。然而,训练狭义神经网络仍然是一项具有挑战性的任务。我们提出了两个理论问题:窄网络是否能像宽网络一样具有强大的表现力?如果是这样,那么损失函数是否表现出良性的优化前景?在这项工作中,我们提供了部分肯定的答案,这两个问题的1-隐藏层网络少于$n$(样本大小)的神经元时,激活是顺利的。首先,我们证明了只要宽度$m \geq 2n/d$(其中$d$是输入维),它的表达性就强,即,存在至少一个具有零训练损失的全局最小值。其次,我们确定了一个很好的局部区域,没有局部最小值或鞍点。然而,梯度下降是否能保持在这个好的区域还不清楚。第三,我们考虑了一个约束优化公式,其中可行域是良好的局部区域,并证明了每个KKT点是一个几乎全局极小。预计投影梯度方法收敛到KKT点在温和的技术条件下,但我们离开严格的收敛性分析,以未来的工作。彻底的数值结果表明,投影梯度方法在这个约束制定显着优于SGD训练窄神经网络。
2022-10-21 cs.LG
Bound Propagation meets Constraint Simplification: Improving Logic-based XAI for Neural Networks
Department of Computer Science, Instituto Federal do Ceará (IFCE)(计算机科学系,巴西塞阿拉联邦大学(IFCE))
本文通过结合边界传播与约束简化,显著提升了基于逻辑的神经网络可解释性方法的效率,减少了高达89.26%的解释时间。
2026-03-02 cs.LG cs.LO
NeRFCom: Feature Transform Coding Meets Neural Radiance Field for Free-View 3D Scene Semantic Transmission
Beijing University of Posts and Telecommunications(北京邮电大学)
NeRFCom提出一种基于非线性变换与学习型概率模型的通信系统,实现变速率联合信源信道编码,按语义特征贡献分配带宽,在恶劣信道下实现鲁棒的自由视角3D场景高效传输。
2025-02-27 cs.LG eess.SP
Predict then Propagate: Graph Neural Networks meet Personalized PageRank
Technical University of Munich(慕尼黑工业大学)
用于图上半监督分类的神经消息传递算法最近取得了巨大的成功。然而,为了对节点进行分类,这些方法仅考虑几个传播步骤之外的节点,并且该利用的邻域的大小难以扩展。本文利用图卷积网络(GCN)与PageRank的关系,推导出一种基于个性化PageRank的改进传播方案。我们利用这个传播过程来构建一个简单的模型,个性化的神经预测传播(PPNP),及其快速近似,APPNP。我们的模型的训练时间与以前的模型相当或更快,其参数数量与以前的模型相当或更少。它利用一个大的、可调整的邻域进行分类,可以很容易地与任何神经网络结合。我们表明,该模型优于最近提出的几种方法的半监督分类在最彻底的研究迄今为止GCN类模型。我们的实现可在线获得。
2022-04-05 cs.LG stat.ML
Deep Neural Networks for Surface Segmentation Meet Conditional Random Fields
The University of Iowa(爱荷华大学);The University of Science and Technology of China(中国科学技术大学)
自动表面分割在许多医学图像分析应用中是重要且具有挑战性的。最近的基于深度学习的方法已经被开发用于各种对象分割任务。它们中的大多数是基于分类的方法(例如,U-net),其预测每个体素成为目标对象或背景的概率。这些方法的一个问题是分割后的物体缺乏拓扑保证,通常需要后处理来推断物体的边界曲面。本文提出了一种基于三维卷积神经网络(CNN)和条件随机场(CRF)的新模型来解决端到端训练的表面分割问题。据我们所知,这是第一个研究应用3-D神经网络与CRF模型直接表面分割。在NCI-ISBI 2013 MR前列腺数据集和Medical Segmentation Decathlon Spleen数据集上进行的实验证明了有希望的分割结果。
2019-09-23 cs.CV cs.LG
Topic Modelling Meets Deep Neural Networks: A Survey
Monash University(莫纳什大学)
主题建模是近二十年来文本分析的一种成功技术。当主题建模遇到深层神经网络时,出现了一个新的且越来越受欢迎的研究领域,神经主题模型,开发了一百多个模型,并在神经语言理解中有广泛的应用,例如文本生成,摘要和语言模型。有必要总结研究进展,并讨论开放的问题和未来的方向。在本文中,我们为人工智能社区中感兴趣的研究人员提供了一个集中而全面的神经主题模型概述,以促进他们在这个快速发展的研究领域中导航和创新。据我们所知,我们是第一次审查集中在这个特定的主题。
2021-02-28 cs.CL cs.IR cs.LG
Neural Optimal Transport Meets Multivariate Conformal Prediction
Department of ML, MBZUAI(机器学习系,MBZUAI);MBZUAI, UAE(MBZUAI,阿联酋);CMAP, École polytechnique(CMAP,巴黎高等理工学院);Ecole Polytechnique, Palaiseau, France(巴黎高等理工学院,Palaiseau,法国)
本文提出融合神经最优传输与摊销优化的CVQR框架,利用多元秩构建有限样本有效的无分布共形预测区域,并在基准上取得更优覆盖—效率权衡。
2025-09-29 cs.LG stat.ML
Understanding Boolean Function Learnability on Deep Neural Networks: PAC Learning Meets Neurosymbolic Models
Institute of Informatics, Federal University of Rio Grande do Sul(里约格兰德杜斯阿尔加维联邦大学信息学院);Federal University of Rio Grande do Sul(里约格兰德杜斯阿尔加维联邦大学);Department of Computer Science, Rice University(里士大学计算机科学系)
本文研究深度神经网络如何学习布尔公式,发现神经学习比纯符号方法泛化更好,且小而浅的网络能有效近似组合优化相关公式,为可解释神经符号AI提供了新见解。
2025-09-16 cs.LG stat.ML
Graph Neural Networks Meet Neural-Symbolic Computing: A Survey and Perspective
UFRGS(里约热内卢联邦大学);City, University of London(伦敦城市大学);University of Siena(锡耶纳大学);Université Côte d’Azur(蔚蓝海岸大学);Rice University(莱斯大学)
神经符号计算现在已经成为学术和工业研究实验室感兴趣的主题。图神经网络在关系和符号领域有着广泛的应用,在组合优化、约束满足、关系推理等科学领域有着广泛的应用。一般来说,需要改进人工智能系统的可解释性,可解释性和信任度,这需要有原则的方法,正如神经符号计算所建议的那样。在本文中,我们回顾了使用GNN作为神经符号计算模型的最新技术。这包括GNN在几个领域的应用,以及它与神经符号计算当前发展的关系。
2021-06-12 cs.AI cs.CL cs.LG
Compressibility Measures Complexity: Minimum Description Length Meets Singular Learning Theory
Timaeus(蒂马埃乌斯);UK AI Security Institute(英国人工智能安全研究所)
本研究利用奇异学习理论扩展最小描述长度原理,发现局部学习系数与神经网络可压缩性密切相关,为评估模型压缩极限提供了新途径。
2025-10-14 cs.LG stat.ML
Differential Privacy Meets Neural Network Pruning
ETH Zürich(苏黎世联邦理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of British Columbia(不列颠哥伦比亚大学)
将差分隐私应用于训练深度神经网络模型的一个主要挑战是可扩展性。广泛使用的训练算法差分隐私随机梯度下降(DP-SGD)难以训练中等规模的神经网络模型,以获得对应于高级别隐私保护的隐私值。在本文中,我们探索的思想降维启发神经网络修剪DP-SGD,以提高可扩展性。通过两种参数更新模式,研究了神经网络剪枝和差分隐私之间的相互作用。我们称第一种模式为参数冻结,在这种模式下,我们预先修剪网络,只使用DP-SGD更新剩余的参数。我们称第二种模式为参数选择,在这里我们选择在训练的每一步更新哪些参数,并只更新使用DP-SGD选择的参数。在这些模式中,我们使用公共数据来冻结或选择参数,以避免在这些步骤中发生隐私损失。当然,私人数据和公共数据之间的紧密联系在这种模式的成功中起着重要作用。我们的实验结果证明了减少参数空间如何提高差异私有训练。此外,通过研究两种流行的修剪形式,它们不依赖于梯度,也不会造成额外的隐私损失,我们表明,在DP-SGD训练中,随机选择与基于幅度的选择表现相当。
2023-03-08 cs.CR cs.LG
Neural Operators Meet Energy-based Theory: Operator Learning for Hamiltonian and Dissipative PDEs
NTT Communication Science Laboratories(NTT通信科学研究所);Kobe University(神户大学);RIKEN Center for AIP(理化学研究所先进智能项目中心)
本文提出能量一致神经算子(ENOs)框架,通过引入基于能量理论的惩罚函数,利用神经网络建模能量泛函,在无显式PDE的情况下确保解算子遵循能量守恒或耗散定律,在多物理系统及超分辨率设置下优于现有模型。
2024-02-14 cs.LG stat.ML
When Monte-Carlo Dropout Meets Multi-Exit: Optimizing Bayesian Neural Networks on FPGA
Imperial College London(帝国理工学院);Samsung AI Center(三星人工智能中心);University of Cambridge(剑桥大学);Southeast University(东南大学)
针对贝叶斯神经网络复杂度高、硬件部署难的问题,提出多出口 MCD BayesNN 及可自动生成 FPGA 加速器的转换与优化框架,能效优于 CPU、GPU 和现有硬件方案。
2023-08-13 cs.AR cs.LG
AutoPINN: When AutoML Meets Physics-Informed Neural Networks
Aalborg University(奥尔堡大学)
物理信息神经网络(PINN)最近被提出来解决科学和工程问题,其中物理定律被引入到神经网络中作为先验知识。通过嵌入的物理定律,PINN可以通过可观察的变量来估计通过物理工具无法观察到的关键参数。例如,电力电子转换器(PEC)是绿色能源转型的重要组成部分。PINN已经被应用于使用电流和电压来估计电容,这在PEC操作期间是不可观察的,这在操作期间可以容易地观察到。估计的电容有助于PEC的自诊断。现有的PINN通常是手动设计的,这很耗时,并且由于神经网络架构和超参数的大量设计选择,可能会导致性能不佳。此外,PINN通常部署在不同的物理设备上,例如,PEC,资源有限且不同。因此,它需要在不同的资源约束下设计不同的PINN模型,这使得手工设计更具挑战性。为了应对这些挑战,我们提出了自动物理信息神经网络(AutoPINN),这是一个通过结合AutoML和PINN来实现PINN自动设计的框架。具体来说,我们首先定制一个搜索空间,允许找到高精度PINN的PEC内部参数估计。然后,我们提出了一个资源感知的搜索策略,探索搜索空间,以找到最好的PINN模型在不同的资源约束。我们通过实验证明,AutoPINN能够使用更少的资源找到比人类设计的最先进的PINN模型更准确的PINN模型。
2022-12-08 cs.AI cs.LG
Finding Global Homophily in Graph Neural Networks When Meeting Heterophily
East China Normal University(华东师范大学);Microsoft Research Asia(微软亚洲研究院);Nanyang Technological University(南洋理工大学)
研究了具有异质性的图上的图神经网络。一些现有的方法用多跳邻居来放大节点的邻域,以包括更多具有同质性的节点。然而,为不同节点设置个性化的邻域大小是一个重大挑战。此外,对于排除在邻域中的其他同性节点,它们被忽略用于信息聚合。为了解决这些问题,我们提出了两个模型GloGNN和GloGNN++,它们通过聚合图中全局节点的信息来生成节点的嵌入。在每一层中,两个模型都学习一个系数矩阵来捕获节点之间的相关性,并基于此执行邻域聚合。系数矩阵允许有符号的值,并且是从具有封闭形式解的优化问题导出的。我们进一步加速邻域聚集,并得到一个线性的时间复杂度。我们从理论上解释了模型的有效性,证明了系数矩阵和生成的节点嵌入矩阵具有所需的分组效果。我们进行了广泛的实验,将我们的模型与其他11个竞争对手在15个基准数据集上进行了广泛的领域,规模和图形异质性的比较。实验结果表明,我们的方法实现了优越的性能,也是非常有效的。
2022-05-15 cs.AI cs.LG
Transformers meet Neural Algorithmic Reasoners
Google DeepMind(谷歌DeepMind)
本文提出混合架构 TransNAR,通过两阶段训练让 Transformer 交叉注意 NAR 的节点嵌入,从而增强语言模型的算法推理能力。
2024-06-13 cs.CL cs.LG
Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Waterloo(滑铁卢大学);Stanford University(斯坦福大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
微分渲染为训练神经网络执行“逆图形”任务铺平了道路,例如从单目照片预测3D几何形状。为了训练高性能的模型,大多数当前的方法依赖于在实践中不容易获得的多视图图像。相比之下,最近合成图像的生成对抗网络(GANs)似乎在训练过程中隐式地获得了3D知识:可以通过简单地操纵潜在代码来操纵对象视点。然而,这些潜在代码通常缺乏进一步的物理解释,因此GANs不能轻易地被反转以执行显式3D推理。在本文中,我们的目标是通过利用可微渲染器提取和解开生成模型学习的3D知识。我们方法的关键是利用GANs作为多视图数据生成器,使用现成的可微分渲染器训练逆图形网络,并将训练的逆图形网络作为教师,将GAN的潜在代码分解为可解释的3D属性。整个架构使用循环一致性损失迭代地训练。我们表明,我们的方法在定量和用户研究方面都显着优于在现有数据集上训练的最先进的逆图形网络。我们进一步展示了解开GAN作为一个可控的3D“神经渲染器”,补充传统的图形渲染器。
2021-04-20 cs.CV cs.LG
Deep Reinforcement Learning meets Graph Neural Networks: exploring a routing optimization use case
Barcelona Neural Networking Center(巴塞罗那神经网络中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Institute of Telecommunications(电信研究所);AGH University of Science and Technology(AGH科技大学)
深度强化学习(DRL)在决策和自动控制问题方面表现出显着的改进。因此,DRL代表了一种有前途的技术,可以有效地解决许多相关的优化问题(例如,自动驾驶网络中的路由。然而,应用于网络的现有基于DRL的解决方案未能推广,这意味着当应用于训练期间未观察到的网络拓扑时,它们不能正常操作。这种泛化能力的缺乏严重阻碍了DRL技术在生产网络中的部署。这是因为现有技术的基于DRL的联网解决方案使用标准神经网络(例如,完全连接的、卷积的),其不适合从结构化为图的信息中学习。在本文中,我们集成了图神经网络(GNN)到DRL代理,我们设计了一个问题的具体行动空间,使泛化。GNN是一种深度学习模型,其本质上是为了在不同大小和结构的图上进行泛化而设计的。这使得所提出的基于GNN的DRL代理能够在任意网络拓扑上学习和推广。我们在光网络的路由优化用例中测试了我们的DRL+GNN代理,并分别在180和232个看不见的合成和真实网络拓扑上对其进行了评估。结果表明,DRL+GNN智能体能够在训练期间从未见过的拓扑中超越最先进的解决方案。
2022-10-07 cs.LG cs.NI
NP-Match: When Neural Processes meet Semi-Supervised Learning
University of Oxford(牛津大学);TU Wien(维也纳工业大学);Microsoft Research(微软研究院);Tsinghua University(清华大学);Rutgers University(罗格斯大学);Microsoft(微软)
半监督学习(Semi-supervised learning,SSL)是近年来被广泛研究的一种利用未标记数据减少对标记数据依赖的有效方法。在这项工作中,我们调整神经过程(NPs)的半监督图像分类任务,从而在一个新的方法命名为NP-Match。NP-Match适合这项任务有两个原因。首先,NP-Match在进行预测时隐式地比较数据点,因此,每个未标记的数据点的预测受到与其相似的标记数据点的影响,这提高了伪标签的质量。其次,NP-Match能够估计不确定性,可以用作选择具有可靠伪标签的未标记样本的工具。与基于不确定性的蒙特卡罗(MC)退出实现的SSL方法相比,NP-Match估计不确定性的计算开销要少得多,这可以节省训练和测试阶段的时间。我们在四个公共数据集上进行了广泛的实验,NP-Match的性能优于最先进的(SOTA)结果或在它们上取得了竞争性结果,这表明了NP-Match的有效性及其在SSL中的潜力。
2022-07-03 cs.CV cs.LG
Operator Learning Meets Numerical Analysis: Improving Neural Networks through Iterative Methods
Idaho State University(爱达荷州立大学);Yale University(耶鲁大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
本研究将深度学习与经典数值分析类比,构建基于算子方程迭代方法的理论框架并给出收敛证明,验证迭代可提升网络性能,还提出迭代图神经网络PIGN,为深度学习提供理论支撑与设计指导。
2023-10-02 cs.LG cs.NA math.NA
Chaining Meets Chain Rule: Multilevel Entropic Regularization and Training of Neural Nets
Princeton University(普林斯顿大学);EPFL(洛桑联邦理工学院)
我们推导出的神经网络的泛化和过度风险的界限,使用一个家庭的复杂性措施的基础上,一个多级相对熵。通过引入神经网络的生成层次覆盖的概念并通过使用Asadi等人在NeurIPS'18中引入的链接互信息的技术来获得边界。由此产生的界限依赖于算法,并利用神经网络的多级结构。这反过来又导致了一个经验风险最小化问题的多级熵正则化。最小化问题的解决,通过引入一个多尺度的推广著名的吉布斯后验分布,证明派生的分布达到唯一的最小值。这导致了一种新的具有性能保证的神经网络训练过程,它利用了相对熵的链式规则,而不是导数的链式规则(如反向传播)。为了获得后者的有效实现,我们进一步开发了一个多层次的Metropolis算法模拟多尺度吉布斯分布,与实验的两层神经网络的MNIST数据集。
2019-06-26 cs.IT cs.LG math.IT
Boost then Convolve: Gradient Boosting Meets Graph Neural Networks
Criteo AI Lab(Criteo AI实验室);Yandex;HSE University(高等经济大学);MIPT(莫斯科物理技术学院)
图神经网络(GNN)是在各种图表示学习任务中已经成功的强大模型。而梯度提升决策树(GBDT)在面对异构表格数据时往往优于其他机器学习方法。但是对于具有表格节点特征的图,应该使用什么方法呢?以前的GNN模型主要集中在具有同质稀疏特征的网络上,正如我们所展示的那样,在异构环境中是次优的。在这项工作中,我们提出了一种新的架构,训练GBDT和GNN联合获得最好的两个世界:GBDT模型处理异构功能,而GNN占图结构。我们的模型受益于端到端的优化,允许新的树适应GNN的梯度更新。通过与领先的GBDT和GNN模型进行广泛的实验比较,我们在具有表格特征的各种图形上展示了性能的显着提高。代码可在https://github.com/nd7141/bgnn上找到。
2021-03-31 cs.AI cs.LG cs.SI
Overhead-Free Blockage Detection and Precoding Through Physics-Based Graph Neural Networks: LIDAR Data Meets Ray Tracing
Imperial College London(帝国理工学院);Silicon Austria Labs(奥地利硅实验室)
本文提出一种基于物理的图神经网络方法,利用LIDAR数据与射线追踪实现无通信开销的MIMO链路遮挡检测与预编码设计,遮挡检测准确率达95%,预编码性能优于现有方法。
2023-05-22 cs.IT cs.LG eess.SP
Deep Learning Meets Sparse Regularization: A Signal Processing Perspective
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文从信号处理视角提出融合稀疏正则化、Radon 变换与逼近理论的数学框架,解释神经网络的函数特性、架构设计及高维性能。
2023-06-08 cs.LG eess.SP stat.ML
Stochastic Blockmodels meet Graph Neural Networks
Duke University(杜克大学);IIT Kanpur(印度理工学院坎普尔分校)
随机块模型(SBM)及其变体$e.g.$,混合隶属度和重叠随机块模型,是基于潜在变量的图的生成模型。他们已经被证明是成功的各种任务,如发现社区结构和链接预测的图形结构的数据。最近,图神经网络,$e.g.$,图卷积网络,也已经出现作为一个有前途的方法来学习强大的表示(嵌入)的图中的节点,通过利用图形属性,如局部性和不变性。在这项工作中,我们统一了这两个方向,开发一个\emph{sparse}变分自编码器的图形,保留了SBM的可解释性,同时也享有良好的预测性能的图形神经网络。此外,我们的框架还伴随着一个快速识别模型,该模型可以快速推断节点嵌入(这对于SBM及其变体的推断具有独立的意义)。虽然我们开发了一个特定类型的SBM,即\emph{overlapping}随机块模型的框架,所提出的框架可以很容易地适应其他类型的SBM。多个基准测试的实验结果表明,在学习可用于社区发现的可解释潜在结构的同时,在链接预测方面取得了令人鼓舞的结果。
2019-05-14 cs.LG cs.SI stat.ML
Meet You Halfway: Explaining Deep Learning Mysteries
Weizmann Institute of Science(魏茨曼科学研究所)
深度神经网络在各种学习任务中表现出色,具有最先进的结果。虽然这些模型具有高度的表达能力,并实现了令人印象深刻的准确解决方案,具有出色的泛化能力,但它们容易受到微小扰动的影响。遭受这种扰动的样本被称为“对抗样本”。尽管深度学习是一个广泛研究的领域,但有关深度学习模型本质的许多问题仍然没有答案。在本文中,我们引入了一个新的概念框架,附有正式的描述,旨在阐明网络的行为,并解释幕后的学习过程。我们的框架为有关深度学习的固有问题提供了解释。特别地,我们澄清:(1)为什么神经网络获得泛化能力?(2)为什么对抗性例子在不同的模型之间转移?我们提供了一套全面的实验,支持这个新的框架,以及它的基本理论。
2022-06-09 cs.CR cs.LG
When Single Event Upset Meets Deep Neural Networks: Observations, Explorations, and Remedies
Zhejiang University(浙江大学);University of Notre Dame(圣母大学);Osaka University(大阪大学);Chongqing University(重庆大学)
深度神经网络已经证明了它在各种感知任务中的潜力,因此成为安全敏感系统中解释和数据处理的一个有吸引力的选择。然而,安全敏感系统不仅需要高的感知性能,而且在各种情况下设计鲁棒性。与以往从软件层面研究网络鲁棒性的工作不同,本文从硬件角度研究了单粒子翻转(SEU)引起的参数扰动(SIPP)对神经网络的影响.系统地定义了单粒子翻转的故障模型,并给出了对SIPP敏感度的定义,作为网络鲁棒性的度量。然后,我们能够分析探索网络的弱点,并总结SIPP对浮点参数中不同类型位的影响,同一网络中的逐层鲁棒性以及网络深度的影响的关键发现。基于这些发现,我们提出了两种补救解决方案来保护DNN免受SIP的影响,这可以将ResNet的准确性降低28%至0.27%,每个参数仅需0.24位SRAM面积开销。
2019-09-10 cs.CR cs.LG stat.ML
KAM Theory Meets Statistical Learning Theory: Hamiltonian Neural Networks with Non-Zero Training Loss
Kobe University(神户大学);Osaka University(大阪大学)
许多物理现象都是由哈密顿力学使用能量函数(哈密顿量)来描述的。近年来,将Hamilton函数近似为神经网络的Hamilton神经网络及其扩展引起了人们的广泛关注。这是一个非常强大的方法,但它在理论研究中的应用仍然有限。结合统计学习理论和Kolmogorov-Arnold-Moser(KAM)理论,对Hamilton神经网络在学习误差不完全为零时的行为进行了理论分析.具有非零误差的Hamilton神经网络可以被认为是来自真实动力学的扰动,并且哈密顿方程的扰动理论被广泛称为KAM理论。为了应用KAM理论,我们通过推导多层感知器的梯度的覆盖数的估计来提供Hamilton神经网络的泛化误差界,这是模型的关键组成部分。该误差界给出了在KAM理论的应用中所需的哈密顿量上的$L^\infty$界。
2022-03-22 cs.LG math-ph math.DS
NP-SemiSeg: When Neural Processes meet Semi-Supervised Semantic Segmentation
University of Oxford(牛津大学);Microsoft Research(微软研究院);Tsinghua University(清华大学);Rutgers University(罗格斯大学);Vienna University of Technology(维也纳工业大学)
本文提出NP-SemiSeg,将神经过程引入半监督语义分割以实现高效不确定性量化,并在PASCAL VOC 2012和Cityscapes上验证了其有效性。
2023-08-05 cs.CV cs.LG
Specformer: Spectral Graph Neural Networks Meet Transformers
University of British Columbia(不列颠哥伦比亚大学)
谱图神经网络(GNN)通过谱域图卷积来学习图表示。然而,大多数现有的谱图滤波器是标量到标量函数,即,将单个特征值映射到单个滤波值,从而忽略频谱的全局模式。此外,这些滤波器往往是基于一些固定阶多项式,这具有有限的表达性和灵活性。为了解决这些问题,我们引入了Specformer,它有效地对所有特征值的集合进行编码,并在谱域中执行自注意,从而形成可学习的集合到集合的谱滤波器。我们还设计了一个具有可学习基础的解码器,以实现非局部图卷积。重要的是,Specformer与置换是等变的。通过堆叠多个Specformer层,可以构建强大的光谱GNN。在合成数据集上,我们证明了我们的Specformer可以比其他光谱GNN更好地恢复地面实况光谱滤波器。在真实世界的图数据集上进行的节点级和图级任务的广泛实验表明,我们的Specformer优于最先进的GNN,并学习有意义的频谱模式。代码和数据可在https://github.com/bdy9527/Specformer上获得。
2023-03-02 cs.AI cs.LG cs.SI
Language Embedding Meets Dynamic Graph: A New Exploration for Neural Architecture Representation Learning
Northwestern Polytechnical University(西北工业大学);Intellifusion
针对神经架构表征忽视硬件属性且静态图编码不足的问题,本文提出 LeDG-Former,利用 LLM 语言嵌入统一架构与硬件语义,并结合动态图 transformer,实现跨硬件零样本延迟预测和多项基准 SOTA。
2025-06-09 cs.CV cs.LG
Neural ODEs Meet Concurrent Learning: Stable Online Learning with Lyapunov Guarantees
Louisiana State University(路易斯安那州立大学)
本文证明神经ODE伴随梯度具有Lyapunov分析所需结构,提出NODE-CL方法,在滑动窗口和存储数据上实现稳定在线学习,并在DeepMind控制套件上取得最优或接近最优的预测误差。
2026-09-29 cs.LG cs.SY eess.SY