Interpretable Multivariate Time Series Forecasting Using Neural Fourier Transform
Technion - Israel Institute of Technology(以色列理工学院)
本文提出神经傅里叶变换(NFT)算法,结合多维傅里叶变换与时间卷积网络,在十四个数据集上验证了其高准确性和可解释性,为多元时间序列预测树立了新基准。
2024-05-22 cs.LG
RBF-PINN: Non-Fourier Positional Embedding in Physics-Informed Neural Networks
University of Bristol(布里斯托尔大学)
针对PINNs中基于Fourier特征映射的局限性,提出使用条件正定的Radial Basis Function作为非Fourier位置嵌入,该方法可无缝集成至坐标输入网络,并在多种正逆问题中验证了有效性。
2024-04-29 cs.LG
Fourier-Invertible Neural Encoder (FINE) for Homogeneous Flows
FINE通过结合可逆滤波器和傅里叶截断瓶颈,实现了在保持平移对称性的同时进行信息保持压缩,有效降低重建误差,适用于复杂物理系统的降维任务。
2025-11-29 cs.LG
Non-equispaced Fourier Neural Solvers for PDEs
Westlake University(西湖大学)
解偏微分方程很难。最近提出的神经分辨率不变模型,尽管它们的有效性和效率,通常需要均匀的空间数据点。然而,在现实世界的系统中,空间域的采样有时不可避免地是非等间距的,从而限制了它们的适用性。在本文中,我们提出了一个非等间距傅立叶偏微分方程求解器(\textsc{NFS})与自适应插值的重采样等间距点和傅立叶神经算子作为其组件的变体。复杂偏微分方程的实验结果表明,该算法在精度和效率上都具有优势。与空间均匀分布的基准方法相比,该方法通过对MAE的$42.85\%$改进,获得了更好的性能,并且能够以微小的精度损失处理非均匀分布的数据。此外,据我们所知,\textsc{NFS}是第一个基于ML的方法,具有网格不变推理能力,可以成功地模拟非等间距场景中的湍流,在看不见的空间点上具有较小的误差偏差。
2023-03-18 cs.LG
Invertible Fourier Neural Operators for Tackling Both Forward and Inverse Problems
Kahlert School of Computing, University of Utah(犹他大学计算机学院Kahlert分校)
本文提出可逆傅里叶神经算子(iFNO),通过在潜在空间构建可逆傅里叶块并集成变分自编码器,联合学习正问题与反问题,在多个基准任务上验证了其有效性。
2025-05-05 cs.LG
Maximal Update Parametrization and Zero-Shot Hyperparameter Transfer for Fourier Neural Operators
Carnegie Mellon University(卡内基梅隆大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
针对傅里叶神经操作符扩展时超参数调优成本高的问题,提出μTransfer-FNO,基于最大更新参数化实现零样本超参数迁移,将小模型调优配置直接用于十亿参数模型,降低计算成本并保持或提升精度。
2025-06-24 cs.LG
Toward a Better Understanding of Fourier Neural Operators from a Spectral Perspective
McGill University(麦吉尔大学);The Hong Kong Polytechnic University(香港理工大学);Concordia University(康考迪亚大学);Northwest University(西北大学);FiT, Tencent(腾讯FiT);Environment and Climate Change Canada(加拿大环境与气候变化部);Tongji University(同济大学)
本研究针对傅里叶神经算子(FNO)使用大傅里叶核效果不佳的问题,通过谱分析发现其存在傅里叶参数化偏差,提出SpecB-FNO用残差模块迭代学习预测残差以捕捉非主导频率,实现PDE预测精度平均提升50%。
2024-10-09 cs.LG
Fourier Feature Pyramids for Physics-Informed Neural Networks
Department of Computing and Mathematical Sciences, California Institute of Technology(计算与数学科学部,加州理工学院);Cahill Center for Astronomy and Astrophysics, California Institute of Technology(天文与天体物理中心,加州理工学院);Google DeepMind(谷歌DeepMind)
提出一种名为beignet的多分辨率傅里叶特征金字塔架构,通过可训练的特征网格和傅里叶插值,结合链式法则与FFT高效计算空间导数,以更少的参数实现比现有PINN方法更高的求解精度。
2026-10-08 cs.LG
Neural Fourier Surrogates for Data Reuploading Quantum Neural Networks
IonQ Inc.(IonQ公司)
本文提出神经傅里叶代理模型(NFS),一种随机经典神经网络,用于在相同傅里叶级数支撑上学习系数,作为评估数据重上传量子神经网络性能的自然经典基线,并在表格基准上展现出竞争力。
2026-10-02 cs.LG quant-ph
Light-Weight Diffusion Multiplier and Uncertainty Quantification for Fourier Neural Operators
PhysicsX London, UK(PhysicsX伦敦)
针对傅里叶神经算子过度参数化且缺乏不确定性量化的问题,提出基于扩散乘子的轻量参数化DINOZAUR,以单时间参数替代稠密张量乘子,并借助贝叶斯先验实现校准的不确定性估计,在多个PDE基准上性能优异。
2025-10-17 cs.LG
Iterative Training of Physics-Informed Neural Networks with Fourier-enhanced Features
Division of Decision and Control Systems(决策与控制系统 division);Digital Futures(数字未来);KTH Royal Institute of Technology(皇家理工学院)
针对PINNs训练的频谱偏差问题,提出IFeF-PINN算法,通过随机傅里叶特征丰富潜在空间,经理论证明与实验验证,该算法在经典基准问题上性能优于现有最优算法。
2026-08-10 cs.LG
Stochastic Adaptive Fourier Decomposition for Operator Learning
University of Sydney(悉尼大学);University of Macau(澳门大学);Macau University of Science and Technology(澳门科技大学)
针对傅里叶神经算子固定基与硬截断的局限,提出SAFDNO,利用神经极点预测器构建自适应TM系统,在九个PDE基准上六项规则网格问题最优,并提升超分辨率性能。
2026-10-06 cs.LG
Extending Fourier Neural Operators for Modeling Parameterized and Coupled PDEs
Arizona State University(亚利桑那州立大学);Applied Materials Inc.(应用材料公司)
研究针对参数化和耦合偏微分方程建模问题,通过最少架构修改扩展傅里叶神经算子。对参数化动力学用超网络调制,对耦合系统探索架构选择,实验表明该方法比基线误差大幅降低,有效提升了偏微分方程建模效果。
2026-07-28 cs.LG
FourierMask: Instance Segmentation using Fourier Mapping in Implicit Neural Networks
University of Tuebingen(图宾根大学)
我们提出了FourierMask,它采用傅立叶级数结合隐式神经表示来生成实例分割掩码。我们将傅立叶映射(FM)应用于坐标位置,并利用映射的特征作为隐式表示(基于坐标的多层感知器(MLP))的输入。FourierMask学习预测特定实例的FM系数,从而使FM适应特定对象。这允许将FourierMask一般化以从自然图像预测实例分割掩模。由于隐函数在输入坐标域中是连续的,我们说明了通过对输入像素坐标进行子采样,我们可以在推理过程中生成更高分辨率的掩码。此外,我们训练渲染器MLP(FourierRend)上的不确定预测的FourierMask,并说明它显着提高了质量的面具。与基线Mask R-CNN相比,FourierMask在相同的输出分辨率下在MS COCO数据集上显示出具有竞争力的结果,并在更高的分辨率上超越了它。
2022-03-17 cs.CV cs.LG
An Inverse Scattering Inspired Fourier Neural Operator for Time-Dependent PDE Learning
Department of Energy Sciences, Lund University, 22100 Lund, Sweden(能源科学系,吕勒奥大学,瑞典)
本文提出受反散射启发的傅里叶神经算子,通过可逆性和谱演变结构提升非线性PDE学习的鲁棒性和长期预测精度。
2025-12-22 cs.LG
Models Out of Line: A Fourier Lens on Distribution Shift Robustness
UC Berkeley(加州大学伯克利分校);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
提高深度神经网络(DNN)对分布外(OOD)数据的准确性对于在现实世界应用中接受深度学习(DL)至关重要。已经观察到,分布(ID)与OOD数据的准确性遵循线性趋势,并且优于该基线的模型非常罕见(并被称为“有效稳健”)。最近,已经开发了一些有前途的方法来提高OOD的鲁棒性:模型修剪,数据增强,以及集成或zero-shot评估大型预训练模型。然而,仍然没有明确的理解OOD数据的条件和模型属性,需要观察有效的鲁棒性。我们通过对各种方法进行全面的实证研究来解决这个问题,这些方法已知会对CIFAR-10和ImageNet的广泛自然和合成分布偏移产生影响。特别是,我们认为“有效的鲁棒性难题”,通过傅立叶透镜,并询问光谱特性的模型和OOD数据如何影响相应的有效的鲁棒性。我们发现这个傅立叶透镜提供了一些见解,为什么某些强大的模型,特别是那些从CLIP家庭,实现OOD的鲁棒性。然而,我们的分析也清楚地表明,没有任何已知的度量标准是OOD鲁棒性的最佳解释(甚至是强有力的解释)。因此,为了帮助未来对OOD难题的研究,我们通过引入一组具有不同OOD鲁棒性水平的预训练模型-RobustNets-来解决具有有效鲁棒性的公开模型中的差距。
2022-07-08 cs.LG
Understanding the Expressivity and Trainability of Fourier Neural Operator: A Mean-Field Perspective
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心);NTT Communication Science Laboratories(NTT通信科学实验室)
本文从平均场理论视角分析了傅里叶神经算子(FNO)的表达性与可训练性,揭示了基于权重分布的有序-混沌相变特征及其与梯度消失或爆炸的对应关系,为FNO的稳定训练提供了理论前提。
2024-09-26 cs.LG
Scaling Up Computer Vision Neural Networks Using Fast Fourier Transform
Ahmedabad University(艾哈迈达巴德大学)
基于深度学习的计算机视觉领域最近一直在尝试探索更大的卷积核,以有效地扩大卷积神经网络。同时,诸如视觉Transformer的模型的新范例发现,由于它们在输入序列方面的二次复杂性,难以按比例放大到更大的更高分辨率的图像。在本报告中,快速傅立叶变换以各种方式用于提供这些问题的一些解决方案。
2023-02-02 cs.CV cs.LG
A Computational Comparison of Fourier Spectral Differentiation and Spatial Automatic Differentiation in Periodic Physics-Informed Neural Networks
Guangdong Technion–Israel Institute of Technology(广东以色列理工学院);Shandong University(山东大学)
该研究对比周期PINNs中傅里叶谱微分与空间AD的性能,发现前者在五种方程-框架设置中训练加速达2.90-18.52倍、内存降68.7%-94.1%,精度相当但需均匀空间网格。
2026-09-03 cs.LG
FC-PINO: High Precision Physics-Informed Neural Operators via Fourier Continuation
Computing and Mathematical Sciences, California Institute of Technology(计算与数学科学系,加州理工学院)
FC-PINO通过傅里叶延续方法提升PINO在非周期性和非光滑PDEs中的精度与效率
2026-10-26 cs.LG
Limits of Resolution Equivariance in Fourier Neural Operators
Miles Team, LAMSADE, Université Paris Dauphine-PSL(巴黎萨克雷大学巴黎-达菲学院LAMSADE团队);Université Paris-Saclay, CNRS, LISN(巴黎-萨克雷大学CNRS LISN);ESPCI PSL, Paris(巴黎ESPCI PSL)
本文通过对比直接细网格推理与低网格加傅里叶零填充上采样两种策略,发现傅里叶神经算子并不总是能泛化到不同分辨率,并分析了其层间频谱特性,指出非线性混叠是零样本分辨率等变性的主要障碍。
2026-05-30 cs.LG
Enhancing Robustness of Neural Networks through Fourier Stabilization
Washington University in St. Louis(圣路易斯华盛顿大学)
尽管神经网络在诸如恶意软件检测的安全设置中取得了相当大的成功,但这样的模型已被证明易受规避攻击的影响,在规避攻击中,攻击者对输入进行轻微的改变(例如,恶意软件)以绕过检测。我们提出了一种新的方法,\emph{Fourier stabilization},用于设计具有二进制输入的回避鲁棒神经网络。这种方法与其他形式的防御是互补的,它用使用傅立叶分析工具导出的鲁棒模拟来取代单个神经元的权重。在神经网络中稳定哪些神经元的选择,然后是一个组合优化问题,我们提出了几种方法来近似解决它。我们提供了一个正式的约束上的每神经元下降的准确性,由于傅立叶稳定,并实验证明了所提出的方法在提高鲁棒性的神经网络在几个检测设置的有效性。此外,我们还证明了我们的方法可以有效地与对抗训练相结合。
2021-06-08 cs.CR cs.LG
Robust Ocean Subgrid-Scale Parameterizations Using Fourier Neural Operators
University of Liège(列日大学)
本文提出基于傅里叶神经算子的海洋亚网格尺度参数化方法,以替代传统经验参数化,从而提升长期气候模拟的准确性与泛化能力。
2023-11-28 cs.LG physics.ao-ph
Multi-Scale Separable Fourier Neural Networks for Solving High-Frequency PDEs
University of Science and Technology of China(中国科学技术大学)
提出多尺度可分离傅里叶神经网络(MS-SFNN),通过可分离表示、随机固定权重和傅里叶特征嵌入,高效精确求解线性和非线性高频偏微分方程。
2026-07-14 cs.LG
Fourier-Enhanced Recurrent Neural Networks for Electrical Load Time Series Downscaling
Department of Statistics University of Chicago Chicago, IL, USA(统计学系 芝加哥大学);Computer Science Division Argonne National Laboratory(计算机科学 division 阿贡国家实验室)
本文提出一种结合傅里叶特征和自注意力机制的递归神经网络,用于提升电力负荷时间序列降尺度的精度与性能。
2025-11-27 cs.LG stat.ML
Learned coupled inversion for carbon sequestration monitoring and forecasting with Fourier neural operators
Georgia Institute of Technology(佐治亚理工学院)
地震监测碳封存是一个具有挑战性的问题,涉及流体流动物理和波动物理。此外,监测通常需要这些物理的求解器耦合和可微分,以有效地反演感兴趣的地下特性。为了大大降低计算成本,我们引入了一个学习耦合反演框架的基础上的波建模算子,岩石属性转换和代理流体流动模拟器。我们表明,我们可以准确地使用傅立叶神经运算符作为代理的流体流模拟器的一小部分的计算成本。我们证明了我们所提出的方法的有效性,通过合成实验。最后,我们的框架扩展到碳固存预测,在那里我们有效地使用代理傅立叶神经算子预测的CO2羽在未来在接近零的额外成本。
2022-03-27 cs.LG physics.geo-ph
Fourier-MIONet: Fourier-enhanced multiple-input neural operators for multiphase modeling of geological carbon sequestration
Yale University(耶鲁大学);Wu Tsai Institute(蔡崇武研究所)
针对地质碳封存多相流4D数值模拟成本高昂的问题,提出傅里叶增强多输入神经算子(Fourier-MIONet),在保证预测精度的同时大幅降低参数量与内存需求,仅需少量时间快照即可实现30年长期泛化预测。
2024-07-24 cs.LG physics.comp-ph
ButterflyNet2D: Bridging Classical Methods and Neural Network Methods in Image Processing
Fudan University(复旦大学)
经典的基于傅里叶变换的方法和神经网络方法都广泛应用于图像处理任务中。前者具有更好的可解释性,而后者往往在实践中取得更好的性能。本文介绍了ButterflyNet2D,一种具有稀疏交叉通道连接的常规CNN。提出了一种ButterflyNet2D的傅立叶初始化策略,以逼近傅立叶变换。数值实验验证了ButterflyNet2D对傅里叶变换和傅里叶逆变换的逼近精度。此外,通过四个图像处理任务和图像数据集,我们证明了从傅立叶初始化训练ButterflyNet2D确实比随机初始化的神经网络具有更好的性能。
2022-11-29 cs.CV cs.LG cs.NA
Neurally-plausible radial basis kernels using distributed Fourier embeddings
University of Waterloo(滑铁卢大学)
本文研究了在神经合理框架下实现径向基核的常见方法,分析了基于网格细胞样表示的径向基核工作,并证明其具备实现最优径向基核的能力。
2026-05-08 cs.LG q-bio.NC
Training Deep Fourier Neural Networks To Fit Time-Series Data
University of Arkansas(阿肯色大学)
我们提出了一种训练包含正弦激活函数的深度神经网络以拟合时间序列数据的方法。使用快速傅立叶变换初始化权重,然后使用正则化进行训练以提高泛化能力。采用一种简单的动态参数调整方法来调整学习率和正则化项,从而实现稳定性和有效的训练。我们展示了如何使用更稀疏的正弦单位集来利用更深层来对观察到的序列进行建模,以及非均匀正则化如何通过促进权重向更简单的单位转移来提高泛化能力。该方法与时间序列问题表明,它导致有效的外推的非线性趋势。
2014-05-09 cs.LG cs.NE
From Fourier to Neural ODEs: Flow Matching for Modeling Complex Systems
College of Science, National University of Defense Technology(国防科技大学理学院);Research Institute of Intelligent Complex Systems, Fudan University(复旦大学智能复杂系统研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对标准神经ODE训练成本高且易陷入局部最优的问题,提出傅里叶NODEs框架,通过傅里叶分析估计梯度并形成正反馈循环,实现高效、鲁棒的复杂系统动力学建模,性能优于现有方法。
2024-05-23 cs.LG physics.ed-ph
Neural Fourier Modelling: A Highly Compact Approach to Time-Series Analysis
The University of Auckland(奥克兰大学);School of Computer Science(计算机科学学院);Acoustics Vibration Research Centre(声学与振动研究中心);Mechanical Mechatronics Engineering(机械与机电工程学院);Strong AI Lab(强人工智能实验室)
该研究提出神经傅里叶建模(NFM),将时间序列分析重心转至傅里叶域,结合可学习频率令牌和隐式神经傅里叶滤波器模块,在多任务上实现SOTA且参数量低于40K。
2024-10-07 cs.LG stat.ML
Fourier Neural Operator for Parametric Partial Differential Equations
Caltech(加州理工学院)
神经网络的经典发展主要集中在学习有限维欧氏空间之间的映射。最近,这已经被推广到学习函数空间之间映射的神经运算符。对于偏微分方程(PDE),神经操作员直接学习从任何函数参数依赖到解的映射。因此,他们学习了整个偏微分方程族,而不是解决方程的一个实例的经典方法。在这项工作中,我们制定了一个新的神经运算符参数化的积分内核直接在傅立叶空间,允许一个富有表现力和高效的架构。我们对Burgers方程、Darcy流和Navier-Stokes方程进行了实验。傅立叶神经算子是第一个基于ML的方法,成功地模拟湍流与zero-shot超分辨率。与传统的PDE求解器相比,它的速度快了三个数量级。此外,与以前基于学习的求解器相比,它在固定分辨率下实现了更高的精度。
2021-05-17 cs.LG cs.NA math.NA
Fourier Neural Operators for Rayleigh-Bénard Convection
Jülich Supercomputing Centre(于利希超级计算中心);Hamburg University of Technology(汉堡工业大学)
提出改进的傅里叶神经算子,通过预测时间增量而非完整解来模拟二维瑞利-贝纳德对流,在保持紧凑和快速的同时实现更高精度。
2026-07-03 cs.LG physics.flu-dyn
Fourier Learning Machines: Nonharmonic Fourier-Based Neural Networks for Scientific Machine Learning
Department of Engineering Management and Systems Engineering(工程管理与系统工程系);Missouri University of Science and Technology(密苏里科技大学);Department of Industrial and Systems Engineering(工业与系统工程系);University of Miami(迈阿密大学)
本文提出傅里叶学习机,通过简单的前馈结构和余弦激活函数学习多维非谐波傅里叶级数的频率、振幅和相位,为科学机器学习提供可适应周期和非周期函数的谱基。
2026-03-18 cs.LG math.OC
A Multidimensional Graph Fourier Transformation Neural Network for Vehicle Trajectory Prediction
CARISSMA Institute of Automated Driving, Technische Hochschule Ingolstadt(英戈尔施塔特应用技术大学CARISSMA自动驾驶研究所);Technical University of Munich(慕尼黑工业大学);AUDI AG(奥迪股份公司)
提出多维图傅里叶变换神经网络(GFTNN),利用GFT聚合场景图,无需循环单元,在highD和NGSIM数据集上超越现有模型,实现高速公路长期轨迹预测。
2023-05-12 cs.AI cs.LG
Partitioned Hybrid Quantum Fourier Neural Operators for Scientific Quantum Machine Learning
Department of Civil and Environmental Engineering, Politecnico di Milano, Milan, Italy(米兰理工大学土木与环境工程系);School of Electrical Engineering and Computer Science, KTH Royal Institute of technology, Stockholm, Sweden(斯德哥尔摩皇家理工学院电气工程与计算机科学学院)
本文提出分区混合量子傅里叶神经算子(PHQFNO),通过跨量子与经典资源分配计算并引入消息传递框架,实现了高维扩展;实验表明其在恢复经典FNO精度的同时,在不可压缩Navier-Stokes方程上精度更高且抗噪稳定性更强。
2025-07-11 cs.LG quant-ph
Learning Spatially Collaged Fourier Bases for Implicit Neural Representation
The University of Hong Kong(香港大学)
提出可学习空间掩码将不同傅里叶基分配到局部区域,实现拼贴傅里叶补丁,提升隐式神经表示在图像、视频和3D形状任务中的重建质量。
2023-12-28 cs.CV cs.LG
Clebsch-Gordan Nets: a Fully Fourier Space Spherical Convolutional Neural Network
The University of Chicago(芝加哥大学);Toyota Technological Institute(丰田工业研究所)
Cohen \emph{et al.}最近的工作通过使用群表示理论和非交换调和分析的思想,以旋转不变的方式学习球面图像,取得了最先进的结果。在本文中,我们提出了一个概括的这项工作,一般表现出更好的性能,但从实现的角度来看,实际上是更简单。所提出的架构的一个不寻常的功能是,它使用的Clebsch-Gordan变换作为其唯一的非线性源,从而避免重复的前向和后向傅立叶变换。本文的基本思想推广到构造神经网络是不变的其他紧凑组的行动。
2018-11-10 cs.LG stat.ML
Resolution-Invariant Image Classification based on Fourier Neural Operators
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Deutsches Elektronen-Synchrotron(德国电子同步加速器研究所);Universität Hamburg(汉堡大学)
本文研究将傅里叶神经算子(FNOs)用于图像分类,推导了其作为勒贝格空间上连续且Fréchet可微神经算子的架构,展示了与CNNs的相互转换,并提出插值等变的改进。
2023-04-02 cs.CV cs.LG cs.NA
Residual fourier neural operator for thermochemical curing of composites
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Nanjing Tech University(南京工业大学)
在复合材料固化过程中,温度历史在很大程度上决定了固化度场和残余应力场的演变,进而影响复合材料的力学性能,因此模拟真实的温度历史对优化复合材料的固化工艺具有重要意义。由于使用有限元(FE)模拟的热化学分析需要大量的计算负载,并且数据驱动的方法受到高维映射的复杂性的影响。本文提出了一种残差傅立叶神经算子(ResFNO),建立从任何给定的固化周期到相应的温度历史的直接高维映射。通过将领域知识集成到与时间分辨率无关的参数化神经网络中,可以使用有限数量的标记数据来学习固化周期与温度历史之间的映射。此外,基于模式分解设计了一种新的傅立叶残差映射,以加快训练速度,显著提高性能。最后通过算例对该方法的优越性和通用性进行了综合评价。
2021-11-15 cond-mat.mtrl-sci cs.LG
L-FNO: Lorentzian Fourier Neural Operator for Stochastic Event Dynamics
Tech University of Korea(韩国技术大学)
该研究针对稀疏事件场景下标准神经算子的适用性局限,提出L-FNO随机神经算子,经8个合成基准和3个真实世界数据集验证,其在事件似然等指标上优于基线模型,为随机事件动力学建模提供有效方法
2026-08-17 cs.LG stat.ML
Physics-embedded Fourier Neural Network for Partial Differential Equations
Technical University of Munich(慕尼黑工业大学);University of Bristol(布里斯托尔大学);Chinese Academy of Sciences(中国科学院)
本文提出物理嵌入傅里叶神经网络(PeFNN),通过动量守恒的MC-Fourier层增强可解释性和误差控制,在时空PDE求解中达到新最先进水平,并成功应用于大规模洪水模拟。
2024-07-15 cs.LG cs.NA math.NA
Bounding the Rademacher Complexity of Fourier neural operators
Seoul National University(首尔大学)
傅立叶神经算子(FNO)是物理学启发的机器学习方法之一。特别是,它是一个神经操作员。近年来,已经开发了几种类型的神经运算符,例如,深度算子网络、图神经算子(GNO)和基于多小波的算子(MWTO)。与其他模型相比,FNO计算效率高,可以学习函数空间之间的非线性算子,而不依赖于某个有限基。在这项研究中,我们研究了基于特定群体规范的FNO的Rademacher复杂性的边界。利用基于这些范数的容量,对模型的泛化误差进行了约束。此外,我们还研究了经验泛化误差和FNO建议容量之间的相关性。从我们的研究结果来看,我们推断群体规范的类型决定了存储在容量中的关于FNO模型的权重和结构的信息。然后,我们通过实验证实了这些推论。基于这一事实,我们深入了解了FNO模型中使用的模式数对泛化误差的影响。我们得到的实验结果与我们的见解一致。
2022-09-26 cs.LG stat.ML
Fourier Neural Operators with rank-1 lattice points and hyperbolic cross
University of New South Wales(新南威尔士大学);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克科学研究院)
通过用秩1格点替代空间张量积网格,并在参数空间精心构造第二个格点作为训练点,提高了傅里叶神经算子的泛化误差,实现了更少参数、更少空间点和训练样本下的高效逼近。
2026-06-07 cs.LG cs.NA math.NA
Fourier Phase Retrieval with Extended Support Estimation via Deep Neural Network
School of Electrical Engineering, Korea Advanced Institute of Science and Technology(韩国科学技术院电气工程学院)
我们考虑从傅立叶变换幅度的稀疏相位恢复的问题,以恢复$k$ -稀疏信号矢量和它的支持$\mathcal{T}$。我们利用扩展支持估计$\mathcal{E}$,其大小大于$k$,满足$\mathcal{E} \supseteq \mathcal{T}$,并通过训练的深度神经网络(DNN)获得。为了使DNN可学习,它通过利用模傅立叶不变性将$\mathcal{E}$提供为$\mathcal{T}$的等价解的并集。可以通过DNN在较短的运行时间内估计集合$\mathcal{E}$,并且可以根据DNN输出而不是通过对$\mathcal{E}$应用硬阈值来根据完整索引集确定支持$\mathcal{T}$。因此,基于DNN的扩展支持估计以依赖于$k$的低复杂度负担改善了信号的重构性能。数值结果表明,与基于局部搜索的贪婪稀疏相位恢复方法和Fienup方法相比,该方法具有更低的复杂度和更好的性能.
2019-08-13 cs.LG stat.ML
Fast Fourier Transformation for Optimizing Convolutional Neural Networks in Object Recognition
Texas Tech University(得克萨斯理工大学);Georgia Institute of Technology(佐治亚理工学院);State University of New York at Buffalo(纽约州立大学布法罗分校)
本文提出了使用基于快速傅立叶变换的U-网(一种改进的全卷积网络),并在神经网络中执行图像卷积。利用快速傅立叶变换,它降低了卷积神经网络(CNN)中涉及的图像卷积成本,从而降低了整体计算成本。该模型从图像中识别出目标信息。我们应用快速傅立叶变换算法的图像数据集,以获得更多的图像数据的信息,然后通过U-Net架构分割它们。更具体地说,我们实现了基于FFT的卷积神经网络,以提高网络的训练时间。所提出的方法被应用到公开可用的宽生物图像基准收集(BBBC)数据集。我们的模型证明了卷积过程中的训练时间从$600-700$ ms/步提高到$400-500$ ms/步。我们使用Intersection over Union(IoU)度量评估了我们模型的准确性,显示出显着的改进。
2020-10-08 cs.CV cs.LG eess.IV
Fourier Weak SINDy: Spectral Test Function Selection for Robust Model Identification
Sibley School of Mechanical and Aerospace Engineering, Cornell University(科尼尔大学机械与航空航天工程学院)
本文提出一种基于弱形式稀疏方程学习和频谱密度估计的无导数方程学习方法,通过正交正弦测试函数提升鲁棒性和可解释性,有效识别混沌和超混沌ODE基准。
2026-07-28 cs.LG math.DS
Fourier Neural Networks as Function Approximators and Differential Equation Solvers
Argonne National Laboratory(阿贡国家实验室)
我们提出了一个傅立叶神经网络(FNN),可以直接映射到傅立叶分解。激活和损失函数的选择产生的结果,复制傅立叶级数展开密切,同时保持一个简单的架构与一个单一的隐藏层。这种网络架构的简单性有助于在数据预处理或后处理阶段与任何其他更高复杂性的网络集成。我们验证自然周期光滑函数和分段连续周期函数的FNN。我们展示了使用这种FNN的建模或求解偏微分方程的周期性边界条件。当前方法的主要优点是训练区域之外的解决方案的有效性,训练模型的可解释性和使用简单性。
2021-04-28 cs.LG cs.NA math.NA
Accelerated Volumetric Compression without Hierarchies: A Fourier Feature Based Implicit Neural Representation Approach
IT4Innovations, VSB – Technical University of Ostrava(IT4Innovations,奥斯特拉瓦技术大学)
提出一种结合傅里叶特征编码与选择性体素采样的无结构神经压缩方法,通过形态学膨胀动态选择体素,在保持高压缩率与质量的同时大幅减少训练时间。
2025-08-12 cs.CV cs.LG
Beyond Regular Grids: Fourier-Based Neural Operators on Arbitrary Domains
Seminar for Applied Mathematics, ETH Zurich, Switzerland(应用数学研讨会,苏黎世联邦理工学院,瑞士);ETH AI Center, ETH Zurich, Switzerland(ETH人工智能中心,苏黎世联邦理工学院,瑞士);Soft Robotics Lab, ETH Zurich, Switzerland(软机器人实验室,苏黎世联邦理工学院,瑞士);Department of Mathematics, Embry-Riddle Aeronautical University, Daytona Beach, FL, USA(数学系,埃姆布里-瑞德航空航天大学,佛罗里达州达科他海滩)
本文提出基于傅里叶变换的神经算子方法,用于在任意非等距点分布上高效处理PDE解,提升训练速度并保持准确性。
2024-05-20 cs.LG cs.NA math.NA
Fourier Neural Operator Surrogate Model to Predict 3D Seismic Waves Propagation
CEA(法国原子能和替代能源委员会);Université Paris-Saclay(巴黎萨克雷大学);ENS Paris-Saclay(巴黎萨克雷高等师范学校);CentraleSupélec(中央理工-高等电力学院);CNRS(法国国家科学研究中心)
本文首次将傅里叶神经算子(FNO)应用于三维地震波传播预测,利用SEM3D生成的30,000种地质条件数据库训练模型,证明其在强非均匀地质下仍能准确预测地面运动,尤其在中长周期强度度量上表现良好。
2023-04-20 cs.LG physics.geo-ph
Hard-constraining Neumann boundary conditions in physics-informed neural networks via Fourier feature embeddings
Department Modeling and Artificial Intelligence(建模与人工智能系);Fraunhofer Institute for Integrated Systems and Device Technology IISB(弗劳恩霍夫集成系统与器件技术研究所IISB)
提出一种基于傅里叶特征嵌入的新方法,将诺伊曼边界条件直接硬约束到物理信息神经网络架构中,在多尺度与高频扩散问题上优于现有方法。
2025-04-01 cs.AI cs.LG physics.comp-ph
Sensitivity-Constrained Fourier Neural Operators for Forward and Inverse Problems in Parametric Differential Equations
Department of Civil and Environmental Engineering(土木与环境工程系);School of Electrical Engineering and Computer Science(电气与计算机工程学院)
本文提出 SC-FNO,一种基于灵敏度正则化的神经算子,解决了标准 FNO 在逆问题、灵敏度估计和概念漂移上的局限,在提升参数反演性能与高维扩展性的同时降低了数据需求。
2025-05-31 cs.CE cs.LG