RecKAN: Kolmogorov-Arnold Networks with a Learnable Recursive Polynomial Basis
Shahid Beheshti University(沙希德·贝赫什提大学)
RecKAN提出基于可学习二阶多项式递推的新型KAN基,在多分类、时间序列预测等任务上优于参数匹配的KAN基线及MLP,且基的递推系数具有可解释性。
2026-09-03 cs.AI cs.LG
Optimized Piecewise Affine Abstractions of Neural Networks with Learnable Activation Functions
Department of Computer Science, University of Colorado Boulder(计算机科学系,科罗拉多大学波尔得分校)
本文提出一种基于KAN结构的最优抽象方法,通过分段仿射函数近似实现属性验证,结合动态规划和背包优化以平衡精度与计算效率。
2026-08-04 cs.AI cs.LG cs.LO
Learnable Low-Rank Polynomial Sketch for Effective Linear Attention
University of California Los Angeles(加州大学洛杉矶分校)
针对线性注意力多项式核近似误差问题,提出可学习低秩多项式概型LLoPS,其近似误差更小,在多基准测试中性能优于多种线性注意力基线。
2026-10-14 cs.AI cs.CL cs.LG
Specformer: Spectral Graph Neural Networks Meet Transformers
University of British Columbia(不列颠哥伦比亚大学)
谱图神经网络(GNN)通过谱域图卷积来学习图表示。然而,大多数现有的谱图滤波器是标量到标量函数,即,将单个特征值映射到单个滤波值,从而忽略频谱的全局模式。此外,这些滤波器往往是基于一些固定阶多项式,这具有有限的表达性和灵活性。为了解决这些问题,我们引入了Specformer,它有效地对所有特征值的集合进行编码,并在谱域中执行自注意,从而形成可学习的集合到集合的谱滤波器。我们还设计了一个具有可学习基础的解码器,以实现非局部图卷积。重要的是,Specformer与置换是等变的。通过堆叠多个Specformer层,可以构建强大的光谱GNN。在合成数据集上,我们证明了我们的Specformer可以比其他光谱GNN更好地恢复地面实况光谱滤波器。在真实世界的图数据集上进行的节点级和图级任务的广泛实验表明,我们的Specformer优于最先进的GNN,并学习有意义的频谱模式。代码和数据可在https://github.com/bdy9527/Specformer上获得。
2023-03-02 cs.AI cs.LG cs.SI
KrawtchoukNet: A Unified GNN Solution for Heterophily and Over-smoothing with Adaptive Bounded Polynomials
Akdeniz Üniversitesi(阿克deniz大学)
针对谱GNN的异配图性能崩溃与高多项式阶数下过平滑问题,提出基于离散Krawtchouk多项式的KrawtchoukNet,通过有界递推系数与可学习形状参数实现自适应滤波,在相关基准上取得SOTA结果。
2025-11-19 cs.LG eess.SP
Towards a Better Tradeoff between Effectiveness and Efficiency in Pre-Ranking: A Learnable Feature Selection based Approach
Alibaba Group(阿里巴巴集团)
在现实世界的搜索、推荐和广告系统中,通常采用多级排名架构。这种架构通常包括匹配、预排名、排名和重新排名阶段。在预排序阶段,通常采用基于向量积的模型和以表示为中心的架构来考虑系统效率。然而,这给系统的有效性带来了重大损失。本文提出了一种新的预排序方法,支持复杂的模型与交互为中心的架构。该方法利用基于特征复杂度和变分丢弃的可学习特征选择方法,在有效性和效率之间取得了较好的折衷。在一个真实世界的电子商务赞助的搜索系统的搜索引擎的评价表明,利用所提出的预排名,系统的有效性显着提高。此外,与具有常规预排序模型的系统相比,消耗相同量的计算资源。
2021-05-17 cs.AI cs.IR
Contrastive Adaptive Propagation Graph Neural Networks for Efficient Graph Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室)
图神经网络(GNNs)通过提取和传播结构感知特征在处理图数据方面取得了巨大成功。现有的GNN研究设计了各种传播方案来引导邻居信息的聚合。最近,该领域已经从本地传播计划,专注于本地邻居扩展传播计划,可以直接处理扩展的邻居,包括本地和高阶邻居。尽管令人印象深刻的性能,现有的方法仍然不足以建立一个有效的和可学习的扩展传播方案,可以自适应地调整本地和高阶邻居的影响。本文提出了一种高效而有效的端到端框架,即对比自适应传播图神经网络(CAPGNN),以解决这些问题,结合个性化PageRank和注意力技术。CAPGNN模型的可学习的扩展传播方案与一个稀疏的局部亲和矩阵的多项式,其中多项式依赖于个性化的PageRank提供优良的初始系数。为了自适应地调整局部和高阶邻居的影响,系数注意模型被引入学习调整多项式的系数。此外,我们利用自监督学习技术,并设计了一个无负熵感知的对比损失,以明确地利用未标记的数据进行训练。我们实现CAPGNN作为两个不同的版本命名为CAPGCN和CAPGAT,分别使用静态和动态稀疏局部亲和矩阵。在图形基准数据集上的实验表明,CAPGNN可以始终优于或匹配最先进的基线。源代码可在https://github.com/hujunxianligong/CAPGNN上公开获得。
2021-12-02 cs.LG cs.SI
Learnable Topological Features for Phylogenetic Inference via Graph Neural Networks
Peking University(北京大学)
系统发育树拓扑结构信息在系统发育推断中起着重要作用。然而,为特定的系统发育推理任务找到合适的拓扑结构往往需要大量的设计工作和领域专业知识。本文提出了一种新的基于可学习拓扑特征的系统发育推理结构表示方法。通过将最小化Dirichlet能量的原始节点特征与现代图表示学习技术相结合,我们的可学习拓扑特征可以提供系统发育树的有效结构信息,这些系统发育树自动适应不同的下游任务,而无需领域专业知识。我们证明了我们的方法的有效性和效率的模拟数据树概率估计任务和挑战性的真实数据变分贝叶斯系统发育推理问题的基准。
2023-02-17 cs.LG q-bio.PE stat.ML
Learnable Filters for Geometric Scattering Modules
Université de Montréal(蒙特利尔大学);University of California Los Angeles(加州大学洛杉矶分校);Yale University(耶鲁大学);Mila – the Quebec AI Institute(米拉-魁北克人工智能研究所)
我们提出了一个新的图神经网络(GNN)模块,最近提出的几何散射变换,其中包括级联的图形小波滤波器的松弛的基础上。我们的可学习几何散射(LEGS)模块使自适应调整的小波,鼓励带通功能出现在学习表示。与许多流行的GNN相比,将我们的LEGS模块并入GNN可以学习更长范围的图关系,这些GNN通常依赖于通过邻居之间的平滑度或相似性来编码图结构。此外,它的小波先验导致简化的架构,与竞争的GNN相比,学习的参数显著减少。我们展示了基于LEGS的网络在图分类基准上的预测性能,以及它们在生化图数据探索任务中学习到的特征的描述性质量。我们的研究结果表明,基于LEGS的网络在许多数据集上,特别是在生物化学领域,匹配或优于流行的GNN以及原始几何散射结构,同时保留了手工(非学习)几何散射的某些数学特性。
2022-08-15 cs.LG
HOPPER: Learnable Hop Extraction for Linearized Graph Sequence Models
Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
HOPPER是LGSM的可学习扩展,可提取跳序列以实现自适应图传播,在ECHO-Synth基准表现最优或具竞争力,调整结构记忆窗口可优化LRIM基准准确率,为长距离图表示学习提供灵活方法。
2026-09-29 cs.LG
Exponential Approximation Rates and Parameter Efficiency of Learnable Bernstein Activations
Department of Electrical Engineering and Computer Science, University of California, Irvine(电气工程与计算机科学系,加州大学 Irvine 分校)
本文研究了可学习伯恩斯坦多项式激活函数的深度网络,证明其近似误差以O(n^{-L})速率衰减,比ReLU等激活函数快得多,且在多个科学数据集上验证了其参数效率和收敛速度优势。
2026-05-13 cs.AI cs.LG cs.NA
MeixnerNet: Adaptive and Robust Spectral Graph Neural Networks with Discrete Orthogonal Polynomials
Department of Electrical-Electronics Engineering, Akdeniz University(电子工程系,阿克deniz大学)
针对连续正交多项式滤波器与离散图结构不匹配导致的性能次优与脆弱性问题,提出基于可学习Meixner离散正交多项式的谱图神经网络MeixnerNet,通过Laplacian缩放与逐基LayerNorm稳定技术,在保持竞争性能的同时显著提升了模型对多项式阶数超参数的鲁棒性。
2025-10-30 cs.LG eess.SP
A Hierarchy of Graph Neural Networks Based on Learnable Local Features
Operational Research Center(运筹学研究中心);Massachusetts Institute of Technology(麻省理工学院);Institute for Applied Computational Science(应用计算科学研究所);Harvard University(哈佛大学);Harvard School of Engineering and Applied Sciences(哈佛工程与应用科学学院)
图神经网络(GNN)是通过迭代地聚合来自节点邻域的特征来学习图上的表示的强大工具。已经提出了许多变体模型,但对于如何比较不同的架构以及如何系统地构建GNN的理解有限。在这里,我们提出了一个基于其聚合区域的GNN层次结构。我们推导出理论结果的判别力和特征表示能力的每一类。然后,我们展示了如何利用这个框架来系统地构建任意强大的GNN。作为一个例子,我们构建了一个简单的架构,超过了Weisfeiler-Lehman图同构测试的表现力。我们在合成和现实世界的基准测试中实证验证了我们的理论,并证明了我们的示例的理论能力转化为节点分类,图分类和图回归任务的强大结果。
2019-11-13 cs.CV cs.LG stat.ML
Decision trees are PAC-learnable from most product distributions: a smoothed analysis
Microsoft Research New England(新英格兰微软研究院);Boston University(波士顿大学)
我们考虑PAC学习决策树的问题,即,从独立的随机标记的示例学习n维超立方体上的决策树。尽管付出了巨大的努力,但没有已知的多项式时间算法用于学习多项式大小的决策树(甚至是任何超常数大小的树),即使假设示例是从{0,1}^n上的均匀分布中提取的。我们给出了一个算法,学习任意多项式大小的决策树{ \em大多数产品分布}。特别地,考虑一个随机乘积分布,其中每个比特的偏置是独立且均匀地从[.49,.51]中选择的。然后,该算法将以产品分布参数和从中提取的随机示例的高概率学习任何树。更一般地说,在平滑分析的精神,我们考虑一个任意的产品分布,其参数被指定只有一个[-c,c]精度(扰动),为任意小的正常数c。
2008-12-04 cs.CC cs.LG
Are Bounded Contracts Learnable and Approximately Optimal?
Peking University(北京大学);The University of Hong Kong(香港大学)
本文在委托-代理隐藏行动模型中证明,在标准假设下可用多项式查询学习近乎最优的有界合同,并揭示其满足混合近似而非乘法或加法近似最优。
2024-02-22 cs.AI cs.GT cs.LG
Mixtures of Gaussians are Privately Learnable with a Polynomial Number of Samples
McMaster University(麦克马斯特大学);Vector Institute(向量研究所);Google(谷歌公司)
研究差分隐私下高斯混合模型的估计问题,提出基于列表可解码和局部小覆盖的新框架,首次在不做结构假设下证明了多项式样本数足以实现私有学习。
2024-04-23 cs.CR cs.DS cs.IT
Shallow Neural Networks Learn Low-Degree Spherical Polynomials with Feature Learning by Learnable Channel Attention
School of Computing and Augmented Intelligence, Arizona State University(计算与增强智能学院,亚利桑那州立大学)
本文研究了通过训练具有通道注意力的过参数化两层神经网络学习低次球面多项式的问题,证明了该方法在样本复杂度上显著优于现有方法,并实现了非参数回归风险的最优率。
2026-04-26 cs.LG math.OC stat.ML
SW-KAN: Kolmogorov-Arnold Networks with Stieltjes-Wigert q-Orthogonal Polynomials
Shahid Beheshti University(沙希德·贝赫什提大学)
本文提出SW-KAN,采用Stieltjes-Wigert q-正交多项式解决KAN中域不匹配问题,通过平滑映射和高效递推实现优越的精度-效率权衡,在资源受限条件下表现稳健。
2026-10-02 cs.AI cs.LG
Depth Separation in Norm-Bounded Infinite-Width Neural Networks
University of Chicago(芝加哥大学);Marquette University(马凯特大学);Weizmann Institute of Science(魏茨曼科学研究所);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
本文研究无限宽度神经网络的深度分离,证明范数控制的 depth-3 ReLU 网络能以多项式样本复杂度学习某些函数,而 depth-2 网络无法以次指数样本复杂度学习,且反向结论不成立。
2024-02-13 cs.LG stat.ML
Grokking Modular Polynomials
University of Maryland, College Park(马里兰大学帕克分校)
本文扩展了模加法和模乘法的解析解,组合专家解使网络能泛化到任意模多项式,并提出模多项式可学习性的分类假设及实验证据。
2024-06-05 cond-mat.dis-nn cs.LG hep-th
Learning Expressive Random Feature Models via Parametrized Activations
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
提出RFLAF模型,将激活函数参数化为基函数加权和,扩展函数空间,理论证明样本和随机特征数量需求,实验显示RBF和样条基优于其他模型且RBF计算效率更高。
2026-06-23 cs.LG
Learnable Expansion of Graph Operators for Multi-Modal Feature Fusion
Australian National University(澳大利亚国立大学);Data61/CSIRO(Data61/联邦科学与工业研究组织);Curtin University(科廷大学)
本文提出一种基于图空间的可学习扩展融合算子,通过构建关系图并迭代更新,实现多模态特征的有效融合,在视频异常检测中表现优异。
2025-02-28 cs.AI cs.CV cs.LG
Beyond Weighted Summation: Learnable Nonlinear Aggregation Functions for Robust Artificial Neurons
Independent Researcher(独立研究者)
本文提出可学习非线性聚合机制,通过F-Mean神经元和高斯支持神经元提升神经网络鲁棒性,在噪声环境下表现更优。
2026-03-19 cs.AI cs.LG
TESLA: Taylor Expansion of Sinusoidal Learnable Activations
Korea Aerospace University(韩国航空大学)
针对标准神经网络难以解决的奇偶问题,提出TESLA激活函数,通过正弦余弦可学习组合实现多项式次数控制与高阶分量放大,在奇偶等任务上表现优异且可迁移至视觉任务。
2026-08-13 cs.LG
Chebyshev Polynomial-Based Kolmogorov-Arnold Networks: An Efficient Architecture for Nonlinear Function Approximation
Indian Institute of Science Education and Research Mohali(印度科学教育与研究研究所莫哈利分校);Indian Institute of Science Education and Research Thiruvananthapuram(印度科学教育与研究研究所蒂鲁文南特布勒姆分校)
本文提出Chebyshev KAN,利用切比雪夫多项式参数化边上可学习函数,在数字分类、函数逼近和分形生成任务中相比MLP展现出更高的参数效率与可解释性。
2024-06-14 cs.AI cs.LG
Physics-Informed Neural Networks with Learnable Loss Balancing and Transfer Learning
Texas A&M University(德克萨斯大学A&M分校)
本文提出了一种自监督的物理信息神经网络框架,通过动态平衡物理约束和数据驱动监督来提升科学机器学习在数据稀缺情况下的性能。该方法引入了可学习的混合神经元,以适应性调整各项的贡献,从而提高训练稳定性与泛化能力,并结合迁移学习策略提升效率。
2026-04-17 cs.AI cs.LG
Fitting Multilinear Polynomials for Logic Gate Networks
Department of AI(人工智能系;和电子与计算机工程系,inha大学);and Department of ECE, Inha University
本文提出通过逻辑门网络拟合多线性多项式,利用CovJac方法在四个参数下提升性能,证明其在交互需求下具有优势。
2026-05-09 cs.AI cs.LG
Auxiliary-predicted Compress Memory Model(ApCM Model): A Neural Memory Storage Model Based on Invertible Compression and Learnable Prediction
本文提出ApCM模型,通过可逆压缩和可学习预测解决大语言模型运行时内存机制不足的问题,提升动态个性化交互能力。
2026-04-05 cs.LG
Eigenbasis-Independent Learnable Spectral Positional Encodings for Directed Graphs via Hermitian Block Krylov Subspaces
Fudan University(复旦大学)
研究有向图谱位置编码面临的障碍,提出可学习谱PEs形式\(h_\theta(A_q)\,R\),通过厄米特块克里洛夫子空间计算,证明其规范不变性及相关性质,在有向SBM等实验中展现优势,优于无PE和多项式基线。
2026-07-14 cs.LG stat.ML
LEFM-Nets: Learnable Explicit Feature Map Deep Networks for Segmentation of Histopathological Images of Frozen Sections
医学图像的准确分割对于疾病的诊断和治疗至关重要。这些问题通过高度复杂的模型来解决,例如深度网络(DN),需要大量的标记数据进行训练。因此,许多DN拥有任务或成像模态特定架构,其决策过程通常难以解释和解释。在这里,我们提出了一个框架,嵌入现有的DN到一个低维子空间诱导的可学习显式特征映射(LEFM)层。与现有DN相比,该框架增加了一个超参数,并且仅适度增加了可学习参数的数量。该方法旨在但不限于低维医学图像的分割,例如染色的冷冻切片的彩色组织病理学图像。由于LEFM层中的特征是原始特征的多项式函数,因此所提出的LEFM网络有助于网络决策的可解释性。在这项工作中,我们将LEFM与已知的网络相结合:DeepLabv 3+,UNet,UNet++和MA-net。新的LEFM-Nets应用于从苏木精和伊红(H&E)染色的冷冻切片图像中分割肝脏中的结肠腺癌。LEFM-Nets还测试了10个人体器官的H&E染色冷冻切片图像的细胞核分割。在第一个问题上,LEFM-Nets在微观平衡精度和$F_1$分数方面比原始网络取得了统计上显着的性能改善。在第二个问题上,LEFM网络只取得了比原始网络更好的性能。源代码可在https://github.com/dsitnik/lefm上获得。
2022-04-14 cs.CV cs.LG eess.IV
Width-Robust Learnability in Mean-Field Bayesian Neural Networks
Principles of Intelligence(智能原理)
研究平均场贝叶斯神经网络中无限宽度与多项式宽度下布尔立方体目标的可学习性问题,通过约化熵建立联系,利用子采样证明宽度鲁棒可学习性定理,表明无限宽度平均场极限能清晰描述学习,不引入虚假泛化能力。
2026-07-08 cs.LG stat.ML
Stacked Graph Filter
Tokyo Tech(东京工业大学);RIKEN AIP(理化学研究所AIP)
我们研究图卷积网络(GCN)从图形信号处理的观点,通过解决学习图滤波器与全连接的权重与可训练的多项式系数之间的差异。我们发现,通过堆叠图过滤器与可学习的多项式参数,我们可以建立一个高度自适应和强大的顶点分类模型。我们在这里的治疗放松了现有顶点分类模型中的低频(或等价地,高同质性)假设,从而在光谱特性方面得到了更普遍的解决方案。从经验上讲,通过仅使用一个超参数设置,我们的模型在频谱上的大多数基准数据集上都取得了很好的结果。
2020-11-22 cs.LG
Learnable Polyphase Sampling for Shift Invariant and Equivariant Convolutional Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Purdue University(普渡大学)
我们提出了可学习的多相采样(LPS),这是一对可学习的下/上采样层,可以实现真正的平移不变和等变卷积网络。LPS可以从数据进行端到端的训练,并推广现有的手工下采样层。它具有广泛的适用性,因为它可以通过替换下采样/上采样层集成到任何卷积网络中。我们评估LPS的图像分类和语义分割。实验表明,LPS在性能和移位一致性方面与现有方法相当或优于现有方法。我们第一次在语义分割(PASCAL VOC)上实现了真正的平移等方差,即,100%的移位一致性,绝对超过基线3.3%。
2022-10-14 cs.AI cs.CV cs.LG
GKAN: Graph Kolmogorov-Arnold Networks
University of Southern California(南加州大学);RWTH Aachen University(亚琛工业大学)
本文提出图柯尔莫哥洛夫-阿诺德网络GKAN,将KAN的可学习样条函数引入图结构数据处理,并在Cora半监督学习任务上相比传统GCN取得更高准确率。
2024-06-10 cs.AI cs.LG stat.ML
Graph networks as learnable physics engines for inference and control
DeepMind
理解日常物理场景并与之交互,需要对世界结构有丰富的了解,这些知识要么隐含在价值或政策函数中,要么明确地在过渡模型中。在这里,我们介绍了一类新的可学习模型-基于图网络-它实现了复杂动态系统的对象和关系为中心的表示的归纳偏差。我们的研究结果表明,作为一个前向模型,我们的方法支持准确的预测,从真实和模拟数据,和令人惊讶的强大和有效的推广,在八个不同的物理系统,我们不同的参数和结构。我们还发现,我们的推理模型可以执行系统辨识。我们的模型也是可微的,并支持通过基于梯度的轨迹优化进行在线规划,以及离线策略优化。我们的框架为利用和利用关于世界的丰富知识提供了新的机会,并朝着构建具有更人性化的世界表示的机器迈出了关键一步。
2018-06-04 cs.AI cs.LG stat.ML
Learnable Image Encryption
基于网络的机器学习算法是非常强大的工具。然而,它需要大量的训练数据集。研究人员在采集图像数据集时经常遇到隐私问题,尤其是在监控应用中。提出了一种可学习的图像加密方案。该方案的核心思想是对图像进行加密,使人类无法理解图像,但网络可以用加密的图像进行训练。该方案允许我们训练网络而没有隐私问题。提出了一种简单的可学习的图像加密算法。然后,利用Cifar数据集对所提出的算法进行了验证。
2018-03-19 cs.CV cs.LG
On the Role of Activation Functions in EEG-To-Text Decoder
University Of Strathclyde(斯特拉斯克莱德大学)
本文通过测试不同激活函数优化 EEG 生成文本的神经网络性能,发现高次多项式和 leaky ReLU 在不同 n-gram 评估下各有优势,且无需改变模型架构。
2024-10-16 cs.LG
LT-OCF: Learnable-Time ODE-based Collaborative Filtering
Yonsei University(延世大学)
协同过滤(CF)是推荐系统中一个长期存在的问题。已经提出了许多新的方法,从经典的矩阵分解到最近的基于图卷积网络的方法。经过最近的激烈辩论,研究人员开始关注具有层组合的线性图卷积网络(GCN),它在许多数据集中显示出最先进的准确性。在这项工作中,我们扩展它们的基础上,神经常微分方程(NODEs),因为线性GCN的概念可以解释为一个微分方程,并提出了学习时间基于ODE的协同过滤(LT-OCF)的方法。我们方法的主要新颖之处在于,在NODE机制之上重新设计线性GCN之后,i)我们学习最佳架构,而不是依赖于手动设计的架构,ii)我们学习被认为适合CF的平滑ODE解决方案,iii)我们使用内部构建各种神经网络连接的各种ODE求解器进行测试。我们还提出了一种新的训练方法专门为我们的方法。在我们对三个基准数据集Gowalla,Yelp 2018和Amazon-Book的实验中,我们的方法始终显示出比现有方法更好的准确性,例如,在Amazon-Book中,LightGCN的召回率为0.0411,LT-OCF为0.0442,LightGCN的NDCG为0.0315,LT-OCF为0.0341。在我们的实验中,值得一提的一个更重要的发现是,我们最好的准确性是通过密集连接而不是线性连接实现的。
2021-08-18 cs.AI cs.IR cs.LG
Reward-Mixing MDPs with a Few Latent Contexts are Learnable
Wisconsin Institute for Discovery, UW-Madison(威斯康星大学麦迪逊分校威斯康星发现研究所);Meta;University of Texas at Austin(德克萨斯大学奥斯汀分校);Technion(以色列理工学院);NVIDIA(英伟达(NVIDIA))
我们认为情景强化学习的奖励混合马尔可夫决策过程(RMMDPs):在每一集的开始自然随机挑选潜在的奖励模型之间的$M$候选人和代理交互与MDP在整个情节的$H$时间步长。我们的目标是学习一个接近最优的政策,几乎最大化的$H$时间步累积奖励在这样的模型。先前的工作建立了$M=2$的RMMDD的上限。在这项工作中,我们解决了几个悬而未决的问题仍然为RMMDP模型。对于一个任意的$M\ge2$,我们提供了一个样本有效的算法- $\texttt{EM}^2$ -输出一个$ε$ -最优策略使用$\tilde{O} \left(ε^{-2} \cdot S^d A^d \cdot \texttt{poly}(H, Z)^d \right)$情节,其中$S, A$是状态和动作的数量分别,$H$是时间范围,$Z$是奖励分布和$d=\min(2M-1,H)$的支持大小。我们的技术是一个高阶扩展的矩量法为基础的方法,然而,设计和分析的\algname算法需要几个新的想法超越现有的技术。我们还提供了一个下界的$(SA)^{Ω(\sqrt{M})} / ε^{2}$的RMMDP的一般情况下,支持超多项式样本复杂度在$M$是必要的。
2022-10-05 cs.IT cs.LG math.IT
Geometry of Polynomial Neural Networks
Aalto University(阿尔托大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所)
本文利用代数几何研究单项式激活 PNNs 的神经流形,通过半代数集、神经簇、维数与学习次数刻画其表达能力和训练复杂度,并以实验佐证。
2024-11-04 cs.LG math.AG stat.ML
Insertion Based Sequence Generation with Learnable Order Dynamics
University of Washington(华盛顿大学);Google Research(谷歌研究院)
提出LoFlexMDM,一种具有可学习顺序动态的插入式掩码扩散模型,通过学习数据依赖的插入和解掩码速率,在分子生成任务上提升样本质量。
2026-06-07 cs.LG
Differentiable, learnable, regionalized process-based models with physical outputs can approach state-of-the-art hydrologic prediction accuracy
The Pennsylvania State University(宾夕法尼亚州立大学)
整个水循环中水文变量的预测对于水资源管理以及下游应用(如生态系统和水质建模)具有重要价值。最近,纯数据驱动的深度学习模型(如长短期记忆(LSTM))在降雨径流和其他地球科学变量建模方面表现出似乎难以克服的性能,但它们无法预测未经训练的物理变量,并且仍然具有挑战性解释。在这里,我们展示了可微分、可学习、基于过程的模型(这里称为δ模型)可以接近LSTM的性能水平,用于区域化参数化的密集观测变量(流量)。我们使用一个简单的水文模型HBV作为骨干,并使用嵌入式神经网络,它只能在一个可微的编程框架中进行训练,以参数化,增强或替换基于过程的模型模块。在不使用集合或后处理器的情况下,δ模型可以为Daymet强迫数据集获得美国671个流域的中值Nash Sutcliffe效率为0.732,而具有相同设置的最先进的LSTM模型为0.748。对于另一个强迫数据集,差异甚至更小:0.715 vs. 0.722。同时,所得到的可学习的基于过程的模型可以输出一整套未经训练的变量,例如,土壤和地下水储存,积雪,蒸散和基流,后来受到他们的观察。模拟的蒸散量和基流排放量与其他估计值一致。通用框架可以处理具有各种过程复杂性的模型,并为从大数据中学习物理开辟了道路。
2023-01-10 cs.LG
Group Resonance Network: Learnable Prototypes and Multi-Subject Resonance for EEG Emotion Recognition
Anhui University(安徽大学)
GRN通过结合个体EEG动态与群体共振建模,提升EEG情绪识别的跨受试性能,利用可学习原型和多受试共振机制实现更准确的分类。
2026-09-01 cs.LG
Parameter-Minimal Neural DE Solvers via Horner Polynomials
Dept. of Electronic Systems and Information Processing(电子系统与信息处理系);Faculty of Electrical Engineering and Computing(电气工程与计算学院);University of Zagreb(Zagreb大学)
通过霍纳多项式实现参数最小的神经微分方程求解器,在保持低参数量的同时提升求解精度和效率。
2026-02-16 cs.LG eess.SP
From learnable objects to learnable random objects
University of Pennsylvania(宾夕法尼亚大学);University of Oxford(牛津大学)
本文研究基类函数可学习性如何影响其派生统计函数类的可学习性,在PAC和在线学习下改进样本复杂度界,并给出可实现学习的反例。
2025-05-26 cs.LG cs.LO math.LO
Single-channel speech enhancement using learnable loss mixup
Columbia University(哥伦比亚大学);Microsoft Corporation(微软公司)
针对单通道语音增强的泛化问题,提出可学习损失混合(LLM)训练方法,通过非线性混合损失函数提升模型性能,在VCTK上达到3.26 PESQ,超越现有最优。
2023-12-20 cs.LG cs.SD eess.AS
Learnable MFCCs for Speaker Verification
CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛里亚实验室);Université de Lorraine(洛林大学);School of Computing(计算机学院);University of Eastern Finland(东芬兰大学)
提出了一种可学习的梅尔频率倒谱系数(MFCC)前端架构,用于基于深度神经网络(DNN)的自动说话人确认。我们的架构保留了基于MFCC的功能的简单性和可解释性,同时允许模型灵活地适应数据。在实践中,我们制定数据驱动版本的四个线性变换的标准MFCC提取器-窗口,离散傅立叶变换(DFT),梅尔滤波器组和离散余弦变换(DCT)。结果报告达到6.7\%(VoxCeleb 1)和9.7\%(SITW)的相对改善方面的平等出错率(EER)从静态MFCC,没有额外的调整工作。
2021-02-20 cs.LG cs.SD eess.AS
Adaptive Two Sided Laplace Transforms: A Learnable, Interpretable, and Scalable Replacement for Self-Attention
School of Information, UC Berkeley(信息学院,伯克利大学)
本文提出可学习的双边短时拉普拉斯变换(STLT)替代自注意力,通过可训练节点和自适应分配实现高效、可解释的Transformer,在多项任务上达到同等或更优性能并支持超长上下文。
2025-06-01 cs.CL cs.LG
BasisFormer: Attention-based Time Series Forecasting with Learnable and Interpretable Basis
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
本文提出BasisFormer端到端预测架构,通过自监督对比学习获得可解释基,并以双向交叉注意力和预测模块整合基,在六个数据集上显著提升单、多变量时间序列预测性能。
2024-01-18 cs.LG
Complexity-Scalable Neural Network Based MIMO Detection With Learnable Weight Scaling
University College London(伦敦大学学院)
本文介绍了一种基于深度神经网络(DNN)的MIMO检测器的系统复杂度缩放框架。该模型使用DNN输入的一部分,通过遵循单调非递增函数的权重来缩放其值。这允许在不同的DNN层之间和内部进行权重缩放,以实现准确性-vs.推理过程中的复杂性可伸缩性。为了进一步提高我们的建议的性能,我们引入了一个稀疏诱导正则化约束与可训练的权重缩放函数。通过这种方式,网络学习平衡检测精度与复杂度,同时还增加了对激活模式变化的鲁棒性,从而在相同的推理复杂度下进一步提高检测精度和BER性能。数值结果表明,我们的方法是10倍和100倍的复杂性比经典的方法的基础上半定松弛和ML检测,分别。
2020-07-01 cs.LG eess.SP
Greedy Policy Search: A Simple Baseline for Learnable Test-Time Augmentation
Samsung AI Center Moscow(三星莫斯科人工智能中心);Samsung-HSE Laboratory, National Research University Higher School of Economics(国立研究型大学高等经济学院三星-高等经济学院实验室);National Research University Higher School of Economics(国立研究型大学高等经济学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
测试时数据增强$-$跨数据的多个增强样本对机器学习模型的预测进行平均$-$是一种广泛使用的技术,其提高了预测性能。虽然近年来出现了许多先进的可学习数据增强技术,但它们都集中在训练阶段。这种技术不一定是最佳的测试时间增强,可以优于由简单的作物和翻转的政策。本文的主要目标是证明测试时增强策略也可以成功地学习。我们介绍了贪婪策略搜索(GPS),一个简单但高性能的方法来学习测试时增强的政策。我们证明了用GPS学习的增强策略在图像分类问题上实现了卓越的预测性能,提供了更好的域内不确定性估计,并提高了对域偏移的鲁棒性。
2020-06-20 cs.CV cs.LG stat.ML
Consistency regularization-based Deep Polynomial Chaos Neural Network Method for Reliability Analysis
College of Aerospace Science and Engineering, National University of Defense Technology(国防科技大学空天科学学院);Defense Innovation Institute, Chinese Academy of Military Science(中国人民解放军军事科学院国防科技创新研究院)
多项式混沌展开(PCE)是一种基于代理模型的可靠性分析方法.对于一些复杂的非线性随机系统,通常需要一个具有较高展开阶的PCE模型来获得精确的代理模型。然而,高阶PCE增加了求解展开系数所需的标记数据的数量。针对这一问题,提出了一种基于一致性正则化的深度多项式混沌神经网络(Deep PCNN)方法,包括低阶自适应PCE模型(辅助模型)和高阶多项式混沌神经网络(主模型)。将主模型的展开系数参数化为多项式混沌神经网络的可学习权值,实现展开系数的迭代学习,获得更精确的高阶PCE模型。辅助模型使用所提出的一致性正则化损失函数来辅助训练主模型。基于一致性正则化的Deep PCNN方法可以通过使用少量的标记数据和大量的未标记数据,在不损失精度的情况下显著减少构建高阶PCE模型时的标记数据的数量。算例验证了基于一致性正则化的深度PCNN方法的有效性,并将该方法应用于两个航天工程系统的可靠性分析。
2022-04-04 cs.LG cs.SY eess.SY
On the Provable Generalization of Recurrent Neural Networks
Beijing Jiaotong University(北京交通大学)
递归神经网络(RNN)是深度学习的基本结构。最近,一些工作研究过参数化神经网络的训练过程,并表明,过参数化网络可以学习一些显着的概念类的函数,具有可证明的泛化误差界。本文分析了随机初始化RNN的训练和泛化问题,并对已有的研究工作进行了如下改进:1)对于输入序列为$x=(X_1,X_2,...,X_L)$的RNN,以前的研究工作主要是学习$f(β^T_lX_l)$的求和函数,并且要求$||X_l||\leqε$具有一些非常小的$ε$,这取决于$f$的复杂度。本文通过对神经正切核矩阵的详细分析,证明了在没有归一化条件的情况下学习这类函数的泛化误差界,并证明了一些值得注意的概念类是可学习的,其迭代次数和样本在输入长度$L$上几乎是多项式的。2)此外,我们证明了一个新的结果,学习N元函数的输入序列的形式$f(β^T[X_{l_1},...,X_{l_N}])$,这不属于“加性”的概念类,即,函数$f(X_l)$的求和。当$N$或$l_0=\max(l_1,..,l_N)-\min(l_1,..,l_N)$都很小时,$f(β^T[X_{l_1},...,X_{l_N}])$将是可学习的,迭代次数和样本在输入长度$L$上几乎是多项式的.
2022-01-26 cs.LG stat.ML
Scalable Neural Video Representations with Learnable Positional Features
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Pohang University of Science and Technology (POSTECH)(浦项科技大学)
使用基于坐标的神经表示(CNRs)对复杂信号的简洁表示已经取得了很大进展,最近的几项努力集中在扩展它们以处理视频。这里,主要的挑战是如何(a)缓解训练CNR中的计算效率低下,以(b)实现高质量的视频编码,同时(c)保持参数效率。为了同时满足所有要求(a),(b)和(c),我们提出了具有可学习位置特征(NVP)的神经视频表示,这是一种通过引入“可学习位置特征”有效地将视频摊销为潜在代码的新型CNR。具体来说,我们首先提出了一个CNR架构的基础上设计的2D潜在的关键帧来学习跨每个时空轴的共同的视频内容,这大大提高了所有这三个要求。然后,我们建议利用现有的强大的图像和视频编解码器作为计算/存储器高效的压缩过程的潜在代码。我们证明了NVP在流行的UVG基准上的优越性;与现有技术相比,NVP不仅训练速度快2倍(不到5分钟),而且即使使用少$>$ 8倍的参数,其编码质量也超过了34.07 $\rightarrow$ 34.57(用PSNR度量测量)。我们还展示了NVP的有趣特性,例如,视频修补、视频帧插值等。
2022-10-13 cs.CV cs.LG