Fisher8: Stabilizing Neural Heteroscedastic Regression via Output-Layer Fisher Geometry
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Fisher8是一种输出层梯度修正方法,通过Fisher几何稳定神经异方差回归,无数据依赖超参数,在多维回归等任务中实现了更优的似然-误差权衡与校准不确定性估计。
2026-08-12 cs.LG
Convex Neural Energy Elements: Monolithic Finite-Element Assembly of Geometry-Parameterized Neural Operators with Stability and Error Guarantees
School of Civil and Hydraulic Engineering, Huazhong University of Science and Technology(华中科技大学土木与水利工程学院);National Center of Technology Innovation for Digital Construction, Huazhong University of Science and Technology(华中科技大学数字建造技术创新中心);School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院)
该研究针对神经算子元扩展的结构缺陷,提出凸神经能量元方法,实现几何参数化神经算子的稳定整体有限元组装,在热传导等任务中获高精度与高速度,且保证与类型、维度无关。
2026-08-04 cs.LG
Do Neural Operators Forget Geometry? The Forgetting Hypothesis in Deep Operator Learning
Qiuzhen College, Tsinghua University, Beijing, China(清华大学北京校区Quizhen学院);Yau Mathematical Sciences Center, Tsinghua University, Beijing, China(清华大学Yau数学科学中心)
本文研究了神经算子在不规则几何上性能下降的原因,提出几何遗忘假设,并引入轻量级几何记忆注入机制以缓解遗忘问题,揭示几何保留是结构需求而非设计选择。
2026-05-07 cs.LG
Tuning the Geometry of Graph Neural Networks
University of Chicago(芝加哥大学)
通过递归地对整个邻域上的节点特征求和,空间图卷积算子已被誉为图神经网络(GNN)成功的关键。然而,尽管GNN方法在任务和应用程序中成倍增加,但这种聚合操作对其性能的影响仍有待广泛分析。事实上,虽然努力主要集中在优化神经网络的架构,很少有工作试图表征(a)不同类别的空间卷积算子,(b)如何选择一个特定的类与数据的属性,以及(c)其对嵌入空间的几何形状的影响。在本文中,我们建议通过将现有算子分为两个主要类别(对称化与行归一化空间卷积)来回答所有这三个问题,并展示这些如何转化为对数据性质的不同隐式偏差。最后,我们表明,这种聚合算子实际上是可调的,和明确的制度,其中某些选择的运营商-因此,嵌入几何-可能更合适。
2022-07-12 cs.LG
Neural population geometry: An approach for understanding biological and artificial neural networks
Center for Theoretical Neuroscience, Columbia University(哥伦比亚大学理论神经科学中心)
实验神经科学的进步已经改变了我们探索神经回路结构和功能的能力。与此同时,机器学习的进步释放了人工神经网络(ANN)的非凡计算能力。虽然这两个领域有不同的工具和应用程序,但它们提出了类似的挑战:即理解如何通过高维表示嵌入和处理信息,以解决复杂的任务。解决这一挑战的一种方法是利用数学和计算工具来分析这些高维表示的几何形状,即,神经元群体几何学。我们回顾了几何方法的例子,提供了深入了解生物和人工神经网络的功能:表示解开知觉,几何理论的分类能力,解开和抽象的认知系统,拓扑表示认知地图,动态解开运动系统,和一个动态的认知方法。总之,这些发现说明了机器学习,神经科学和几何学交叉的一个令人兴奋的趋势,其中神经元群体几何学提供了一个有用的群体级机械描述符底层任务的实现。重要的是,几何描述适用于感觉模态、大脑区域、网络架构和时间尺度。因此,神经元群体几何有可能统一我们对生物和人工神经网络的结构和功能的理解,弥合单个神经元,群体和行为之间的差距。
2021-11-20 cs.LG q-bio.NC
Physics- and geometry-aware spatio-spectral graph neural operator for time-independent and time-dependent PDEs
Yardi School of Artificial Intelligence(亚利安人工智能学院);Indian Institute of Technology Delhi(德里印度理工学院);The Grainger College of Engineering(格里纳尔工程学院)
提出物理与几何感知时空谱图神经算子πG-Sp2GNO,通过几何感知与混合物理信息损失函数学习时独立和时依赖PDEs的解算子,在复杂域基准上优于现有方法。
2025-08-13 cs.LG
On the Relationship Between Representation Geometry and Generalization in Deep Neural Networks
Institute of Engineering, Pulchowk Campus, Tribhuvan University(特里布文大学普尔乔克校区工程学院)
研究发现有效维度能预测深度神经网络的性能,且与模型容量无关,通过噪声实验验证了其因果关系。
2026-03-03 cs.LG
From Layers to Networks: Comparing Neural Representations via Diffusion Geometry
Department of Mathematical Sciences, Chalmers University of Technology and the University of Gothenburg(数学科学系,查尔姆斯理工大学和哥德堡大学)
本文通过扩散几何框架,首次将多视图学习工具应用于神经表示,提出多尺度中心核对齐和距离相关性变体,并通过融合多层马尔可夫矩阵实现网络间相似性比较,验证了在语言和视觉任务中的优越性能。
2026-05-15 cs.LG
The Landscape of Multi-Layer Linear Neural Network From the Perspective of Algebraic Geometry
对神经网络非凸性的清晰认识是一个复杂的不完全问题。本文研究了非线性网络的简化形式--线性(剩余)网络的景观。将梯度方程视为多项式方程,利用代数几何工具在复数域上求解,所得解可分解为不同的不可约复几何对象。然后提出了三个假设,分别涉及如何计算每个不可约几何对象上的损失、临界点的损失具有一定的范围以及每个不可约几何对象的维数与严格鞍条件的关系。最后,应用数值代数几何方法验证了这三个假设的合理性,进一步阐明了线性网络的景观和剩余连接的作用。
2021-01-30 cs.LG math.AG
From Activation to Initialization: Scaling Insights for Optimizing Neural Fields
Australian Institute of Machine Learning, University of Adelaide, Australia(澳大利亚机器学习研究所,阿德莱德大学,澳大利亚);Amazon, Australia(亚马逊,澳大利亚)
本文探讨神经场中初始化与激活的相互作用,揭示网络初始化、架构选择与优化过程之间的深层联系,为设计高效神经场提供理论基础。
2026-03-13 cs.CV cs.LG
Relative Geometry of Neural Forecasters: Linking Accuracy and Alignment in Learned Latent Geometry
Max Planck Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所);School of Embedded Composite Artificial Intelligence (SECAI)(嵌入式复合人工智能学院);Leipzig University(莱比锡大学);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学研究院)
本研究通过相对几何方法探讨神经预报器的对齐与准确性关系,揭示了不同模型家族在表示动态结构上的差异及预测性能的关联。
2026-02-17 cs.AI cs.LG
Toric geometry of ReLU neural networks
Yaoying Fu(独立研究者)
本文建立环面几何与ReLU神经网络的联系,定义ReLU扇、环面簇和Cartier因子,并利用相交数给出无偏浅层网络可实现函数的充要准则。
2026-11-16 cs.LG math.AG stat.ML
Neural Insights for Digital Marketing Content Design
Duke University(杜克大学);Amazon.com, Inc.(亚马逊公司);Meta;KAUST(阿卜杜拉国王科技大学)
本文提出基于多模态神经网络与事后归因的营销内容设计系统,可预测内容吸引力并生成结合历史数据的可执行改进建议。
2023-06-07 cs.AI cs.LG
Geometry and Local Recovery of Global Minima of Two-layer Neural Networks at Overparameterization
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);School of Mathematics, Georgia Institute of Technology(佐治亚理工学院数学学院)
本文研究过参数化两层神经网络损失景观的几何结构,证明零泛化误差全局最小值随样本量增大而几何分离,并给出梯度流的局部收敛性质与速率,表明网络可被局部恢复。
2025-04-10 cs.LG math.DS
Quantum Geometry insights in Deep Learning
University of Warsaw(华沙大学)
本文探讨了Monge-Ampère方程在深度学习中的核心作用,通过建立最优传输理论与Boltzmann学习的联系,并结合量子几何和重整化群流视角,为层级特征学习提供了跨学科的数学理解。
2025-03-01 cs.IT cs.LG math.DG
Tropical Geometry of Deep Neural Networks
University of Chicago(芝加哥大学)
我们第一次建立了具有ReLU激活的前馈神经网络与热带几何之间的联系-我们证明了这种神经网络的家族等价于热带有理映射的家族。除此之外,我们推断,前馈ReLU神经网络与一个隐藏层可以由zonotopes,作为更深的网络的构建块,我们与决策边界的神经网络热带超曲面,在热带几何的主要研究对象,我们证明了线性区域的这种神经网络对应于顶点的多面体与热带有理函数。从我们的热带公式中可以看出,更深的网络比浅网络表现力更强。
2018-05-18 cs.LG math.AG stat.ML
Exploring Differential Geometry in Neural Implicits
该研究提出一种结合微分几何的神经隐式框架,通过含高阶导数项的损失泛函与基于曲率的非均匀采样,在保证几何精度的同时提升训练效率,并可估计点采样曲面的微分测度。
2022-08-20 cs.GR cs.LG
Multiview Neural Surface Reconstruction by Disentangling Geometry and Appearance
Weizmann Institute of Science(魏茨曼科学研究所)
在这项工作中,我们解决了具有挑战性的问题,多视图三维表面重建。我们引入了一个神经网络架构,同时学习未知的几何形状,相机参数,和神经渲染器,近似从表面反射到相机的光。几何形状被表示为神经网络的零水平集,而从渲染方程导出的神经渲染器能够(隐式地)对广泛的照明条件和材料进行建模。我们在DTU MVS数据集上训练了具有不同材料属性,光照条件和噪声相机初始化的对象的真实世界2D图像。我们发现我们的模型可以产生具有高保真度,分辨率和细节的最先进的3D表面重建。
2020-10-25 cs.CV cs.GR cs.LG
Shared Representational Geometry Across Neural Networks
Princeton University(普林斯顿大学);Google Brain(谷歌大脑)
在同一数据集上训练的不同神经网络通常会学习具有非常不同权重的相似输入输出映射。这些神经网络解决方案之间是否存在某种对应关系?对于线性网络,已经表明,相同网络架构的不同实例编码相同的表示相似性矩阵,并且它们的神经活动模式通过正交变换连接。然而,目前还不清楚这是否适用于非线性网络。使用共享响应模型,我们表明,不同的神经网络编码相同的输入示例作为不同的正交变换的底层共享表示。我们使用标准卷积神经网络和CIFAR10和CIFAR100上的残差网络来测试这一说法。
2019-03-16 cs.LG stat.ML
Diagonal Rescaling For Neural Networks
Facebook AI Research(Facebook人工智能研究院)
我们定义了一个二阶神经网络随机梯度训练算法,其块对角结构有效地规范化的单位激活。调查为什么这个算法缺乏鲁棒性,然后揭示了两个有趣的见解。第一个见解提出了一种缩放步长的新方法,澄清了流行的算法,如RMSProp以及旧的神经网络技巧,如fanin步长缩放。第二个观点强调了处理成本曲线快速变化的实际重要性。
2017-05-25 cs.LG stat.ML
On the Geometry of Bayesian Graphical Models with Hidden Variables
University of Warwick(华威大学)
在本文中,我们研究的几何形状的未知参数的可能性在一类简单的贝叶斯有向图的隐变量。这使我们能够在采用任何数值算法之前,获得对此类模型中固有的不可识别性的性质的某些见解,后验密度对先验密度敏感的方式以及这些后验密度可能采取的典型几何形式。这些见解中的许多都适用于具有系统性缺失数据的更复杂的贝叶斯网络。
2013-01-30 cs.LG stat.ML
Geometry-aware similarity metrics for neural representations on Riemannian and statistical manifolds
Département d’Etudes Cognitives, École Normale Supérieure – PSL(认知研究系,巴黎高等师范学院 – 巴黎文理研究大学);Gatsby Unit, University College London(盖茨比计算神经科学单元,伦敦大学学院);Département d’Informatique, École Normale Supérieure – PSL(计算机科学系,巴黎高等师范学院 – 巴黎文理研究大学)
本文提出MSA方法,利用Riemannian几何工具比较神经表示的内在几何,用于解纠缠深度网络特征、比较非线性动态和研究扩散模型。
2026-11-10 cs.AI cs.LG math.DG
Airfoil2Vec: Spectral Geometry-Conditioned Neural Surrogate Models for Airfoil Aerodynamics and a Downforce-Generating CFD Dataset
Ratio Labs(雷迪奥实验室)
本文提出Airfoil2Vec,一种结合谱几何编码的神经代理模型,用于快速预测翼型流场,并在新数据集上验证了其高效性与泛化能力。
2026-10-01 cs.LG physics.flu-dyn
Finsler Geometry, Graph Neural Networks, and You
Rice University(莱斯大学)
针对图拉普拉斯只能近似各向同性算子的局限,提出基于芬斯勒拉普拉斯的图神经网络层,证明其收敛性并恢复非线性扩散方程的几何结构。
2026-06-17 cs.LG eess.SP math.DG
What Kinds of Functions do Deep Neural Networks Learn? Insights from Variational Spline Theory
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
我们开发了一个变分框架来理解通过将具有整流线性单元激活的深度神经网络拟合到数据而学习到的函数的性质。我们提出了一个新的函数空间,这让人想起经典的有界变分型空间,它捕获了与深层神经网络相关的组成结构。我们推导出一个表示定理,表明深度ReLU网络是这个空间中函数的正则化数据拟合问题的解决方案。函数空间由Radon域中二阶有界变差的Banach空间的函数组成。这些是具有稀疏促进规范的Banach空间,可以深入了解稀疏性在深度神经网络中的作用。神经网络解决方案具有跳跃连接和秩有界权矩阵,为这些常见的结构选择提供了新的理论支持。我们研究的变分问题可以被改写为一个有限维的神经网络训练问题,其正则化方案与权重衰减和路径范数正则化的概念有关。最后,我们的分析建立在变分样条理论的技术基础上,提供了深度神经网络和样条之间的新联系。
2021-09-26 cs.LG stat.ML
Neural Feature Geometry Evolves as Discrete Ricci Flow
Leipzig University(莱比锡大学);Harvard(哈佛大学)
本文用离散几何图近似输入流形,证明前馈网络训练中的特征几何演化类似于离散里奇流,并通过超2万个网络实验验证类别可分性与社区结构出现的对应关系,据此提出几何驱动的早停和网络深度选择准则。
2025-09-26 cs.DM cs.LG math.DG
Probing artificial neural networks: insights from neuroscience
MIT(麻省理工学院);Stanford University(斯坦福大学)
神经科学和机器学习的一个主要挑战是开发有用的工具来理解复杂的信息处理系统。一种这样的工具是探针,即,将感兴趣的特征与生物或人工神经网络中出现的激活模式相关联的监督模型。神经科学通过近几十年来进行的大量研究为使用这些模型铺平了道路。在这项工作中,我们从神经科学中汲取见解,以帮助指导机器学习的探索研究。我们强调两个重要的设计选择探针$-$的方向和表现力$-$,并与这些选择的研究目标。我们认为,具体的研究目标发挥了至关重要的作用时,设计一个探针,并鼓励未来的探测研究明确说明这些目标。
2021-04-16 cs.CL cs.LG
NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos
University of Maryland, College Park(马里兰大学帕克分校)
我们提出了一种方法,学习三维几何和物理参数的动态场景,只有一个单目RGB视频输入。为了将底层场景几何结构的学习与动态运动解耦,我们将场景表示为一个时不变的符号距离函数(SDF),该函数用作参考帧,以及一个时间条件变形场。我们通过设计神经场及其相应的六面体网格之间的双向转换,进一步将这种神经几何表示与可微物理模拟器连接起来,使我们能够通过最小化循环一致性损失来估计源视频的物理参数。我们的方法还允许用户通过修改恢复的六面体网格,并将操作传播回神经场表示来交互式地编辑来自源视频的3D对象。实验表明,我们的方法实现了优越的网格和视频重建的动态场景相比,竞争的神经场的方法,我们提供了大量的例子,证明了它的能力,从消费级相机捕获的视频中提取有用的3D表示。
2022-10-22 cs.CV cs.GR cs.LG
Study of a committee of neural networks for biometric hand-geometry recognition
Escola Universitària Politècnica de Mataró(马塔罗理工大学学院);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文研究了用于生物特征模式识别的各种神经网络。我们使用的神经网络作为分类识别和验证的目的。我们表明,一个委员会的网络可以提高识别率相比,多开始初始化算法,只是拿起神经网络,提供了最好的性能。另一方面,我们发现使用相同分类器的识别和验证应用之间没有很强的相关性。
2022-04-08 cs.CV cs.LG
Geometry Aware Meta-Learning Neural Network for Joint Phase and Precoder Optimization in RIS
本文提出一种几何感知元学习神经网络,用于RIS中相位和预编码器的联合优化,实现更快收敛和更高的加权速率。
2025-12-09 cs.LG eess.SP
The Lattice Geometry of Neural Network Quantization -- A Short Equivalence Proof of GPTQ and Babai's Algorithm
Department of Mathematics University of California San Diego(数学系 加州大学圣迭戈分校)
本文通过几何方法证明了GPTQ算法与Babai算法的等价性,并探讨了晶格基底约简在量化中的潜在应用。
2026-03-02 cs.AI cs.LG
The Global Optimization Geometry of Shallow Linear Neural Networks
Johns Hopkins University(约翰斯·霍普金斯大学);Technion, Israel Institute of Technology(以色列理工学院);Colorado School of Mines(科罗拉多矿业学院)
我们研究了浅线性神经网络的平方误差损失景观。我们表明-与显着温和的假设比以前的作品-相应的优化问题具有良性的几何性质:有没有虚假的局部极小值和Hessian在每个鞍点至少有一个负特征值。这意味着在每个鞍点处存在方向负曲率,算法可以利用该方向负曲率来进一步减小目标值。这些几何性质意味着许多局部搜索算法(如广泛用于训练神经网络的梯度下降算法)可以证明以全局收敛的方式解决训练问题。
2018-11-05 cs.LG stat.ML
Geometry-Informed Neural Networks
LIT AI Lab, Institute for Machine Learning, JKU Linz, Austria(LIT人工智能实验室,机器学习研究所,JKU林茨,奥地利);Emmi AI GmbH, Linz, Austria(Emmi人工智能公司,林茨,奥地利);Department of Mathematics, University of Oslo, Norway(数学系,奥斯陆大学,挪威)
本文提出几何信息神经网络(GINNs),通过将用户设计目标和多样性约束引入无数据训练框架,实现形状生成并避免模式坍塌,在物理、几何和工程设计任务中验证了对几何与拓扑性质的控制能力。
2025-07-18 cs.CV cs.LG
Physics-Informed Geometry-Aware Neural Operator
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出Physics-Informed Geometry-Aware Neural Operator (PI-GANO),通过几何编码器捕获域特征并集成至DCON架构,使物理信息神经算子能同时对PDE参数和域几何进行泛化,避免了昂贵的数据生成成本。
2024-11-13 cs.LG cs.NA math.NA
Imbalance Trouble: Revisiting Neural-Collapse Geometry
University of British Columbia(不列颠哥伦比亚大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
神经崩溃是指在训练超过零训练误差时,由深度网络发现的表征类嵌入和分类器权重几何结构的显着结构特性。然而,这种特征仅适用于平衡数据。因此,在这里我们要问,它是否能对阶级不平衡保持不变。为此,我们采用无约束特征模型(UFM),最近的理论模型研究神经崩溃,并引入单纯形编码标签插值(SELI)作为不变的表征神经崩溃现象。具体来说,我们证明了UFM与交叉熵损失和消失的正则化,无论类的不平衡,嵌入和分类器总是插入一个单纯形编码的标签矩阵和它们各自的几何形状是由这个相同的标签矩阵的SVD因子。然后,我们提出了广泛的实验合成和真实的数据集,确认收敛到SELI几何。然而,我们警告说,趋同与日益严重的不平衡相伴随。我们从理论上支持这一发现表明,不像平衡的情况下,当少数民族存在,脊正则化在调整的几何形状中起着至关重要的作用。这定义了新的问题,并激发进一步调查的影响类的不平衡率,一阶方法收敛到他们的渐近首选的解决方案。
2022-08-10 cs.LG stat.ML
Geometry of Critical Sets and Existence of Saddle Branches for Two-layer Neural Networks
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文通过引入临界嵌入与约化算子,揭示两层神经网络临界集的层级结构,并证明可被更窄网络表示的临界集存在鞍点分支,为优化研究奠定基础。
2024-05-26 cs.LG math.OC
A Computational Tropical Geometry Framework for Neural Networks
Imperial College London(帝国理工学院);University of Oxford(牛津大学);London School of Geometry and Number Theory(伦敦几何与数论学院)
本文提出计算热带几何框架,用于符号分析热带激活神经网络,通过算法计算线性区域并引入霍夫曼常数,以揭示网络架构的表达能力。
2026-09-18 cs.LG math.AG
INSIGHT: Universal Neural Simulator for Analog Circuits Harnessing Autoregressive Transformers
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Samsung Advanced Institute of Technology(三星先进技术研究院)
本文提出INSIGHT,一个基于自回归Transformer的GPU通用神经仿真器,能以微秒级推理准确预测模拟电路性能,并作为代理模型将尺寸调整所需实时仿真降至20次以下,成本降低100-1000倍。
2024-08-06 cs.CE cs.LG
Depth Estimators Are Implicit Neural Fields for 3D Scene Geometry Inpainting and Reconstruction
College of Artificial Intelligence, Zhejiang University(浙江大学人工智能学院)
针对现实世界场景数据3D几何不完整问题,提出神经深度场(NDF),将深度估计器视为场景级隐式场解决问题,通过单测试时优化实现,实验表明其在3D场景几何修复中性能优异。
2026-07-21 cs.AI cs.CV cs.LG
Geometry-Aware Neural Rendering
OpenAI(开放人工智能);UC Berkeley(加州大学伯克利分校)
理解世界的三维结构是计算机视觉和机器人技术的核心挑战。神经渲染方法通过预测相机从任意视点看到的内容来学习隐式3D模型。我们将现有的神经渲染扩展到比以前更复杂,更高维的场景。我们提出了极线交叉注意力(ECA),一个注意力机制,利用场景的几何形状来执行有效的非本地操作,只需要$O(n)$比较每个空间维度,而不是$O(n^2)$。我们介绍了三个新的模拟数据集的灵感来自现实世界的机器人,并证明ECA显着提高了生成查询网络(GQN)的定量和定性性能。
2019-10-28 cs.CV cs.LG stat.ML
Feature Learning beyond the Lazy-Rich Dichotomy: Insights from Representational Geometry
Center for Computational Neuroscience, Flatiron Institute(计算神经科学中心,扁铁研究所);University of California, UCLA(加州大学,UCLA);Center for Neural Science, New York University(神经科学中心,纽约大学)
提出基于神经表征几何的分析框架,通过刻画任务相关流形的演变揭示超越惰性-丰富二分法的特征学习阶段与策略,为神经科学与机器学习提供新见解。
2025-07-11 cs.LG cs.NE q-bio.NC
Insights on Training Neural Networks for QUBO Tasks
LMU Munich(慕尼黑大学)
当前的硬件限制限制了通过量子近似优化算法(QAOA)或量子退火(QA)求解二次无约束二进制优化(QUBO)问题的潜力。因此,我们考虑在这种情况下训练神经网络。我们首先讨论源自旅行商问题(TSP)的翻译实例的QUBO问题:通过自动编码器分析这种表示表明,包含的信息比解决原始TSP所需的信息要多。然后,我们表明,神经网络可以用来解决TSP的情况下,从QUBO输入和自动编码器的隐藏状态表示。最后,我们推广的方法,并成功地训练神经网络来解决任意的QUBO问题,草图意味着使用神经形态硬件作为模拟器或额外的协处理器的量子计算。
2020-04-29 cs.LG quant-ph
Privacy-Utility Trade-offs in Neural Networks for Medical Population Graphs: Insights from Differential Privacy and Graph Structure
Technical University of Munich(慕尼黑工业大学);Massachusetts Institute of Technology(麻省理工学院)
本文实证研究医学人群图上的差分隐私图神经网络,结合多隐私级别实验与成员推理攻击审计,揭示隐私-效用权衡及图同配性对模型性能差距的影响。
2023-07-13 cs.CR cs.LG
GENNI: Visualising the Geometry of Equivalences for Neural Network Identifiability
Imperial College London(帝国理工学院);University College London(伦敦大学学院)
我们提出了一个有效的算法来可视化对称性的神经网络。通常,模型是相对于参数空间定义的,其中不相等的参数可以产生相同的输入-输出映射。我们提出的方法,GENNI,使我们能够有效地识别功能等效的参数,然后可视化所得到的等价类的子空间。通过这样做,我们现在能够更好地探索围绕可识别性的问题,并应用于常用或新开发的神经网络架构的优化和泛化。
2020-11-14 cs.LG cs.NE math.DG
A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes
Università di Milano(米兰大学);Gruppo Nazionale Calcolo Scientifico, INDAM(意大利国家数学物理应用研究所国家科学计算小组);Università di Pavia(帕维亚大学)
本文扩展基于奇异黎曼度量的神经网络几何框架,使其适用于卷积、残差和递归网络及 ReLU 等不可微激活函数,并通过图像分类与热力学数值实验验证。
2024-04-09 cs.LG math.DG
Effects of Data Geometry in Early Deep Learning
Brown University(布朗大学)
深度神经网络可以近似不同类型数据的函数,从图像到图形,具有不同的底层结构。这个底层结构可以被视为数据流形的几何形状。通过扩展神经网络的理论理解的最新进展,我们研究了如何随机初始化的神经网络与分段线性激活分裂的数据流形区域的神经网络的行为作为一个线性函数。我们推导出边界的线性区域的密度和这些边界上的数据流形的距离的界限。这导致了对随机初始化的深度神经网络在非欧几里德数据集上的表达能力的深入了解。我们用一个玩具监督学习问题来实证我们的理论结果。我们的实验表明,线性区域的数量在流形上变化,并且结果随着神经网络结构的变化而变化。我们进一步证明了线性区域的复杂性是如何不同的低维流形的图像相比,欧几里德空间,使用MetFaces数据集。
2022-12-29 cs.AI cs.LG
INSightR-Net: Interpretable Neural Network for Regression using Similarity-based Comparisons to Prototypical Examples
Institute of Biomedical Engineering(生物医学工程研究所);University of Oxford(牛津大学)
卷积神经网络(CNN)在一系列医学成像任务中表现出卓越的性能。然而,传统的CNN无法解释它们的推理过程,因此限制了它们在临床实践中的应用。在这项工作中,我们提出了一个固有的解释CNN回归使用基于相似性的比较(INSightR-Net),并证明了我们的方法对糖尿病视网膜病变分级的任务。结合到架构中的原型层使图像中与学习的原型最相似的区域可视化。然后,最终的预测直观地建模为原型标签的平均值,并通过相似性进行加权。与ResNet基线相比,我们使用INSightR-Net实现了具有竞争力的预测性能,表明没有必要为了可解释性而牺牲性能。此外,我们使用稀疏性和多样性来量化我们的解释的质量,这两个概念对于一个好的解释很重要,并展示了几个参数对潜在空间嵌入的影响。
2022-07-31 cs.CV cs.LG
Towards Metric-Faithful Neural Graph Matching
National Institute of Science Education and Research (NISER)(国家科学教育与研究研究所);Homi Bhabha National Institute(霍米·巴布哈国家研究所)
本文提出理论框架,探讨编码几何对神经图匹配中图编辑距离估计质量的影响,通过改进编码器几何提升图相似性预测和排名稳定性。
2026-05-07 cs.AI cs.LG
Geometry of energy landscapes and the optimizability of deep neural networks
University of Cambridge(剑桥大学)
深度神经网络是机器学习中的主力模型,具有串联组成的多层非线性函数。它们的损失函数是高度非凸的,但根据经验,即使梯度下降最小化也足以达到准确和预测的模型。迄今为止,人们还不知道为什么深度神经网络很容易优化。我们使用随机矩阵理论和代数几何分析了深度神经网络的自旋玻璃模型的能量景观。我们分析表明,多层结构的关键是优化:固定参数的数量和增加网络深度,在损失函数中的固定点的数量减少,极小值变得更加聚集在参数空间中,和最小值的深度和宽度之间的权衡变得不那么严重。我们的分析结果通过与在一组经典基准数据集上训练的神经网络进行比较进行了数值验证。我们的模型揭示了机器学习模型的通用设计原则。
2018-08-01 cond-mat.dis-nn cs.LG stat.ML
Hyperbolic Manifold Constrained Tabular Neural Network
Newcastle University(纽卡斯尔大学)
针对表格分类中离散规则结构与欧氏空间DNN几何不匹配问题,提出HDE-Net,通过抽象特征为LDN并嵌入双曲空间,引入软决策路由机制和容量分配算法,在分类基准上取得最佳平均排名,优于其他方法。
2026-09-29 cs.LG stat.ML
Comparative Study of Canvas- and Coordinate-Based Geometry-Conditioned Neural Networks for Real-Time Prediction of Indoor Environments with Varying Room Dimensions
Leibniz University Hannover(汉诺威莱布尼茨大学)
本研究对比CaNN与CoNN两种几何条件神经网络,采用U-Net自编码器预测室内气流与温度场,经简化房间基准评估,CaNN与CFD结果一致性更高,可支持性能驱动型建筑设计。
2026-10-14 cs.AI cs.LG
Prediction of Object Geometry from Acoustic Scattering Using Convolutional Neural Networks
University of Florida(佛罗里达大学);Microsoft Research(微软研究院);University of Kentucky(肯塔基大学)
声散射强烈地受到声音散射的物体的边界几何形状的影响。提出了一种通过训练卷积神经网络从散射特征推断目标几何形状的方法。训练数据由CUDA上开发的快速数值求解器生成。对完整的模拟集进行采样,以生成包含不同数量的通道和不同图像分辨率的多个数据集。我们的方法在响应数据退化的鲁棒性进行评估,通过比较使用不同程度的数据退化的数据集训练的网络的性能。目前的工作已经发现,从我们的模型所作的预测与地面真理具有很高的准确性。此外,当使用较少的数据通道或较低的分辨率时,精度不会降低。
2021-02-10 cs.LG cs.SD eess.AS
NeuralMLS: Geometry-Aware Control Point Deformation
Tel-Aviv University(特拉维夫大学);University of Chicago(芝加哥大学)
我们介绍NeuralMLS,一种基于空间的变形技术,由一组位移控制点指导。我们利用神经网络的力量,注入到变形参数的基本形状几何。我们的技术的目标是使一个现实和直观的形状变形。我们的方法是建立在移动最小二乘(MLS),因为它最小化给定的控制点位移的加权和。传统上,每个控制点对空间中每个点的影响(即,加权函数)是使用反距离几何学来定义的。在这项工作中,我们选择学习加权函数,通过训练一个神经网络的控制点,从一个单一的输入形状,并利用先天的光滑神经网络。我们的几何感知控制点变形与表面表示和质量无关;它可以应用于点云或网格,包括非流形和断开的表面汤。我们表明,我们的技术有利于直观的分段平滑变形,这是非常适合制造的对象。我们展示了我们的方法相比,现有的表面和基于空间的变形技术,定量和定性的优势。
2022-06-12 cs.CV cs.GR cs.LG
A function space analysis of finite neural networks with insights from sampling theory
Tel Aviv University(特拉维夫大学)
本文提出用抽样理论分析神经网络所代表的函数空间。首先,它表明,在有限输入域的假设下,这是在训练神经网络的常见情况下,由具有非扩张激活函数的多层网络生成的函数空间是光滑的。这扩展了以前的作品,这些作品显示了无限宽度ReLU网络的结果。然后,假设输入是带限的,我们提供了新的误差界的单变量神经网络。我们分析了确定性均匀和随机抽样显示前者的优势。
2022-02-25 cs.IT cs.LG math.FA