Quantitative approximation results for complex-valued neural networks
KU Eichstätt–Ingolstadt(艾希施泰特-英戈尔施塔特天主教大学);Technical University of Munich(慕尼黑工业大学)
直到最近,神经网络在机器学习中的应用几乎完全依赖于实值网络。然而,最近观察到,复值神经网络(CVNN)在输入自然是复值的应用中表现出卓越的性能,例如MRI指纹识别。虽然实值网络的数学理论到目前为止已经达到了一定程度的成熟,但对于复值网络来说,这还远远不够。在本文中,我们通过使用modReLU激活函数的复值神经网络在$\mathbb{C}^d$的紧凑子集上逼近$C^n$函数来分析复值网络的表达性,modReLU激活函数由$σ(z) = \mathrm{ReLU}(|z| - 1) \, \mathrm{sgn} (z)$给出,这是实践中最流行的复激活函数之一。我们证明了导出的近似率在具有适度增长权重的modReLU网络类中是最优的(最多对数因子)。
2021-12-03 cs.LG math.FA
Analysis of Deep Complex-Valued Convolutional Neural Networks for MRI Reconstruction
Stanford University(斯坦福大学);Apple Inc.(苹果公司);GE Healthcare(GE医疗)
许多真实世界的信号源是复值的,具有实部和虚部。然而,绝大多数现有的深度学习平台和网络架构都不支持使用复值数据。MRI数据本质上是复值的,因此现有方法丢弃了复数据的更丰富的代数结构。在这项工作中,我们研究了端到端复值卷积神经网络-特别是代替双通道实值网络的图像重建。我们将其应用于磁共振成像重建的目的,加速扫描时间,并确定各种有前途的复值激活函数的性能。我们发现,在各种网络架构和数据集上,与具有相同数量可训练参数的实值卷积相比,具有复值卷积的复值CNN提供了更好的重建。
2020-05-12 cs.CV cs.LG eess.IV
Backpropagation with N-D Vector-Valued Neurons Using Arbitrary Bilinear Products
向量值神经学习是近年来深度学习研究的一个重要方向。传统上,神经网络(NN)的训练数据被公式化为标量向量;然而,由于相邻标量之间的关联没有建模,因此其性能可能不是最佳的。在本文中,我们提出了一种新的向量神经网络架构称为任意双线性积神经网络(ABIPNN),它处理信息作为每个神经元的向量,并使用任意双线性积定义前馈投影。这样的双线性积可以包括循环卷积、七维向量积、斜循环卷积、逆时循环卷积或在先前工作中未见到的其他新积。作为概念验证,我们将我们提出的网络应用于多光谱图像去噪和歌声分离。实验结果表明,ABIPNN与传统NN相比,获得了实质性的改进,这表明关联是在训练过程中学习的。
2018-05-24 cs.CV cs.LG stat.ML
Optimal approximation using complex-valued neural networks
KU Eichstätt-Ingolstadt(艾希施泰特-英戈尔施塔特大学);MIDS
本文首次给出适用于modReLU等广泛激活函数的复值神经网络定量逼近界,证明误差按m^{-k/(2n)}缩放且该速率在自然连续性假设下最优,并揭示连续逼近方法逼近C^k-函数时不可避免的维度灾难。
2023-10-30 cs.LG math.FA stat.ML
The universal approximation theorem for complex-valued neural networks
Technical University of Munich(慕尼黑工业大学);University of Vienna(维也纳大学);Catholic University of Eichstätt-Ingolstadt(艾希施泰特-因戈尔施塔特天主教大学)
我们推广了经典的神经网络的通用逼近定理的情况下,复值神经网络。准确地说,我们认为前馈网络与复杂的激活功能$σ: \mathbb{C} \to \mathbb{C}$,其中每个神经元执行操作$\mathbb{C}^N \to \mathbb{C}, z \mapsto σ(b + w^T z)$与权重$w \in \mathbb{C}^N$和偏置$b \in \mathbb{C}$,并与$σ$应用组件。我们完全刻画了这些激活函数$σ$的相关的复杂网络具有普遍的逼近属性,这意味着他们可以一致地逼近任何连续函数的任意紧子集的$\mathbb{C}^d$任意好。与真实网络的经典情况不同,产生具有普适逼近性质的网络的“好激活函数”集合取决于人们是否考虑深层网络或浅层网络而显著不同:对于至少有两个隐藏层的深层网络,只要$σ$既不是多项式,也不是全纯函数或反全纯函数,普适逼近性质就成立。另一方面,浅网络是通用的当且仅当$σ$的实部或虚部不是多调和函数。
2022-12-11 cs.LG math.FA stat.ML
Complex-Valued Neural Networks for Data-Driven Signal Processing and Signal Understanding
本文提出了一个基于PyTorch的复值神经网络软件包,提供线性、卷积、注意力及流形层等高效接口,支持1-D至3-D数据处理,旨在推动数据驱动的信号处理与射频信号理解研究。
2023-09-14 cs.LG eess.SP
On the Computational Complexities of Complex-valued Neural Networks
Universidade Estadual de Campinas – UNICAMP(坎皮纳斯州立大学)
针对低功耗系统下的算法选型需求,本文推导了复值神经网络的定量与渐近计算复杂度,以实值乘法量衡量运算规模,可用于估算浮点运算量并辅助低功耗部署决策,同时梳理了相关文献中的复杂度研究情况。
2023-10-19 cs.LG cs.NE eess.SP
Universal approximation with complex-valued deep narrow neural networks
Mathematical Institute for Machine Learning and Data Science (MIDS), Catholic University of Eichstätt–Ingolstadt (KU)(艾希施泰特-英戈尔施塔特天主教大学 机器学习与数据科学数学研究所)
该研究探究了有界宽度任意深度复值神经网络的通用性,证明其激活函数需满足非全纯、非反全纯、非$\boldsymbol{\rm R}$-仿射条件,并给出了不同情况下的宽度需求及光滑非多调激活函数的定量逼近界。
2024-11-26 cs.LG math.FA stat.ML
Efficient and Interpretable Neural Networks Using Complex Lehmer Transform
University of Toronto(多伦多大学);York University(约克大学)
提出采用加权Lehmer变换激活函数的神经网络,扩展至复数域以捕获相位敏感关系,在提升可解释性与计算效率的同时于基准数据集上实现具竞争力的准确率。
2025-01-25 cs.AI cs.LG
Complex-valued Neural Networks -- Theory and Analysis
本文系统梳理复值神经网络的结构分类、激活函数、可微性、梯度与非梯度优化、复反向传播及专用模块,并总结实现工具与未来方向。
2023-12-11 cs.LG cs.NE cs.SY
Deep Complex Networks
Montreal Institute for Learning Algorithms (MILA)(蒙特利尔学习算法研究所(MILA));Microsoft Research(微软研究院);Element AI(元素人工智能公司);Ecole Polytechnique(巴黎综合理工学院)
目前,用于深度学习的绝大多数构建块、技术和架构都基于实值运算和表示。然而,最近对循环神经网络的研究和较早的基础理论分析表明,复数可能具有更丰富的表征能力,也可能促进噪声鲁棒的记忆检索机制。尽管它们具有吸引人的特性和开辟全新神经架构的潜力,但复值深度神经网络由于缺乏设计此类模型所需的构建模块而被边缘化。在这项工作中,我们为复值深度神经网络提供了关键的原子组件,并将其应用于卷积前馈网络和卷积LSTM。更确切地说,我们依赖于复杂的卷积,并提出了复杂的批量归一化算法,复值神经网络的复杂权重初始化策略,并将它们用于端到端训练方案的实验中。我们证明了这种复值模型与实值模型相比是有竞争力的。我们在几个计算机视觉任务上测试深度复杂模型,使用MusicNet数据集进行音乐转录,使用TIMIT数据集进行语音频谱预测。我们在这些音频相关任务上实现了最先进的性能。
2018-02-25 cs.LG cs.NE
RVFL-X: A Novel Randomized Network Based on Complex Transformed Real-Valued Tabular Datasets
Department of Mathematics Indian Institute of Technology Indore, India(数学系印度理工学院印度勒克塔分校)
针对随机神经网络难以处理实值表格数据转复值表示的问题,提出RVFL-X网络,通过自然变换和自编码器方法生成复值表示,在80个UCI数据集上表现优于现有RNN变体。
2025-10-06 cs.AI cs.LG
From Distributions to Stochastic Processes: Neural Approximation of Measure-Valued Maps
Shanghai Center for Mathematical Sciences(上海数学中心);Department of Mathematics, Fudan University(复旦大学数学系);Center for Applied Mathematics, Fudan University(复旦大学应用数学中心);Alibaba Group(阿里巴巴集团);Shanghai, China((此处为城市信息,非机构,按要求不提取));Hangzhou, China((此处为城市信息,非机构,按要求不提取));Fudan University(复旦大学)
本文提出分布到分布及随机过程映射的神经逼近理论框架,并在奥恩斯坦-乌伦贝克首达时间与杜芬振子响应路径预测中验证其有效性,优于基线模型。
2026-09-29 cs.AI cs.LG
The neural networks with tensor weights and emergent fermionic Wick rules in the large-width limit
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Tsinghua University(清华大学)
本文研究了具有张量权重的复值神经网络在大宽度极限下的费米子Wick规则扩展,揭示了其在量子场论中的应用潜力。
2026-01-31 cond-mat.dis-nn cs.LG hep-ph
Neural Networks with Complex-Valued Weights Have No Spurious Local Minima
Simon Fraser University(西蒙菲莎大学)
研究证明具有二次激活的浅层复神经网络无伪局部极小值,而相同条件下的实神经网络存在无限多个,复值权重能将差的局部极小值转化为鞍点。
2024-11-12 cs.LG stat.ML
Complex-Valued vs. Real-Valued Neural Networks for Classification Perspectives: An Example on Non-Circular Data
ONERA(法国国家航空航天研究中心)
本文的贡献是双重的。首先,我们展示了复值神经网络(CVNN)对复值数据集分类任务的潜在兴趣。为了突出这一论断,我们研究了一个复值数据的例子,其中实部和虚部通过非圆特性在统计上是相关的。在这种情况下,完全连接的前馈CVNN的性能进行比较,对一个实值等效模型。结果表明,CVNN表现更好的各种体系结构和数据结构。与实值神经网络(RVNN)相比,CVNN的准确性在统计学上具有更高的平均值和中位数以及更低的方差。此外,如果不使用正则化技术,CVNN表现出较低的过拟合。第二个贡献是使用Tensorflow作为后端发布了一个Python库(Barrachina 2019),该库支持CVNN的实现和训练,希望能够激励对该领域的进一步研究。
2021-04-13 cs.LG stat.ML
Quaternion-Valued Recurrent Projection Neural Networks on Unit Quaternions
University of Campinas(坎皮纳斯大学)
超复值神经网络,包括四元数值神经网络,可以将多维数据视为单个实体。本文提出了四元数递归投影神经网络(QRPNNs)。简而言之,QRPNN是通过将非局部投影学习与四元数值递归相关神经网络(QRCNN)相结合来获得的。我们表明,QRPNN克服了QRCNN的串扰问题。因此,它们适合于实现联想记忆。此外,计算实验表明,QRPNN表现出更大的存储容量和噪声容忍度比相应的QRCNN。
2020-01-30 cs.LG cs.NE stat.ML
Hypercomplex-Valued Recurrent Correlation Neural Networks
Institute of Mathematics, Statistics, and Scientific Computing(数学、统计与科学计算研究所);University of Campinas(坎皮纳斯大学)
循环相关神经网络(RCNNs)是Chiueh和Goodman提出的基于双极相关的Hopfield神经网络的改进型,可用于实现大容量的联想记忆。在本文中,我们扩展了双极RCNN处理超复值数据。准确地说,我们提出了一个广泛的超复值RCNN类的数学背景。然后,我们提供了必要条件,确保超复值RCNN总是使用同步或异步更新模式稳定在平衡点。双极,复杂,双曲,四元数和八元数值RCNN的例子来说明理论结果。最后,计算实验证实了超复值RCNN作为联想记忆设计的存储和调用灰度图像的潜在应用。
2020-01-31 cs.LG cs.NE stat.ML
Algebraic function based Banach space valued ordinary and fractional neural network approximations
University of Memphis(孟菲斯大学);Department of Mathematical Sciences(数学科学系);Memphis, TN 38152, U.S.A.(美国田纳西州孟菲斯市 38152)
本文研究了拟插值Banach空间值神经网络算子对紧区间或所有实直线上的Banach空间值连续函数的一元定量逼近,包括普通逼近和分式逼近.这些逼近是通过建立Jackson型不等式导出的,这些不等式涉及到所涉及的函数或其Banach空间值分数阶导数的高阶导数的连续模。我们的运营商是通过使用由代数sigmoid函数生成的密度函数定义的。近似是逐点的和一致的规范。相关的Banach空间值前馈神经网络具有一个隐层。
2022-02-11 cs.LG math.CA stat.ML
RNADE: The real-valued neural autoregressive density-estimator
University of Edinburgh(爱丁堡大学);Université de Sherbrooke(舍布鲁克大学)
介绍了一种新的实值向量联合密度估计模型--RNADE。我们的模型将数据点的密度计算为使用具有共享参数的混合密度网络建模的一维条件的乘积。RNADE学习数据的分布式表示,同时具有用于计算密度的易于处理的表达式。易于处理的可能性允许与其他方法进行直接比较,并通过标准的基于梯度的优化器进行训练。我们比较了RNADE在几个异构和感知数据集上的性能,发现它在所有情况下都优于混合模型,只有一种情况除外。
2014-01-09 cs.LG stat.ML
Linearization Turns Neural Operators into Function-Valued Gaussian Processes
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
提出LUNO框架,通过模型线性化将贝叶斯深度学习方法应用于神经算子,实现高效、分辨率无关的函数值高斯过程不确定性量化。
2025-01-31 cs.LG stat.ML
Neural Likelihood Approximation for Integer Valued Time Series Data
University of Adelaide(阿德莱德大学)
针对整数值时间序列模型似然难解、现有基于仿真的推断方法实现难且计算成本高的问题,提出可通过底层模型无条件仿真训练的神经似然近似方法,在多类模型上验证了其准确性与计算效率优势。
2024-04-12 cs.LG stat.ML
Spectral Complexity-scaled Generalization Bound of Complex-valued Neural Networks
JD Explore Academy, JD.com Inc.(京东探索研究院);Faculty of Science, University of Hong Kong(香港大学理学院)
复值神经网络在信号处理和图像识别等领域有着广泛的应用。然而,很少有工作集中在CVNN的推广,虽然它是至关重要的,以确保性能的CVNN上看不见的数据。本文首次证明了复值神经网络的一个推广界。该界与谱复杂度成比例,而谱复杂度的主导因素是权矩阵的谱范数积。此外,当训练数据是连续的时,我们的工作提供了CVNN的推广界,这也受到谱复杂度的影响。理论上,这些界限是由Maurey稀疏化引理和Dudley熵积分导出的。从经验上讲,我们通过在不同的数据集上训练复值卷积神经网络来进行实验:MNIST,FashionMNIST,CIFAR-10,CIFAR-100,Tiny ImageNet和IMDB。Spearman的秩序相关系数和相应的p值在这些数据集上给出了强有力的证据,即由权重矩阵谱范数乘积度量的网络的谱复杂性与泛化能力具有统计上显著的相关性。
2021-12-07 cs.AI cs.LG stat.ML
Cross-Treatment Effect Estimation for Multi-Category, Multi-Valued Causal Inference via Dynamic Neural Masking
Tsinghua University(清华大学)
针对多类别多数值处理因果推断中复杂交叉效应难建模的问题,提出动态神经掩蔽网络架构XTNet,通过分解策略与交叉效应估计模块高效建模组合处理空间,并引入MCMV-AUCC评估指标,实验证明其在排序准确性和效应估计上优于基线方法。
2025-11-03 cs.LG stat.ML
Interpretable Complex-Valued Neural Networks for Privacy Protection
South China University of Technology(华南理工大学);Shanghai Jiao Tong University(上海交通大学)
先前的研究发现,对手攻击者通常可以从中间层特征中推断出非预期的输入信息。我们研究了防止这种对抗性推理的可能性,但没有太多的准确性下降。我们提出了一种通用的方法来修改神经网络,以提高从特征推断输入属性的挑战,同时保持高度准确的输出。特别地,该方法将实值特征变换为复值特征,其中输入隐藏在变换特征的随机化阶段中。相位的知识就像一把钥匙,任何一方都可以很容易地从处理结果中恢复输出,但没有它,这一方既不能恢复输出,也不能区分原始输入。在各种数据集和网络结构上的初步实验表明,我们的方法显着降低了对手推断输入的能力,同时在很大程度上保留了结果的准确性。
2020-01-14 cs.CR cs.LG stat.ML
Compressing deep quaternion neural networks with targeted regularization
Sapienza University of Rome(罗马大学)
近年来,超复杂深度网络(如复值和四元数值神经网络)在文献中重新受到关注。它们在多个领域中找到应用,从图像重建到3D音频处理。类似于它们的实值对应物,四元数神经网络(QVNN)需要自定义正则化策略来避免过拟合。此外,对于许多现实世界的应用和嵌入式实现,需要设计足够紧凑的网络,具有很少的权重和神经元。然而,正则化和/或稀疏化QVNN的问题还没有得到适当的解决,在文献中。在本文中,我们展示了如何通过设计有针对性的正则化策略来解决这两个问题,这些策略能够在训练过程中最小化网络的连接和神经元数量。为此,我们研究两个扩展的l1和结构正则化的四元数域。在我们的实验评估中,我们表明,这些定制的策略显着优于经典的(实值)正则化方法,从而使小型网络特别适合低功耗和实时应用。
2020-07-13 cs.LG stat.ML
Random Features for Operator-Valued Kernels: Bridging Kernel Methods and Neural Operators
Technical University of Braunschweig(布拉unsch维格技术大学)
本文通过随机特征方法研究算子值核,连接核方法与神经算子,建立最优学习速率并分析神经元数量与精度的关系。
2026-03-01 cs.LG math.ST stat.ML
DFNN: A Deep Fréchet Neural Network Framework for Learning Metric-Space-Valued Responses
Rutgers University–New Brunswick(新布伦斯维克罗切斯特大学);University of Southern California(南加州大学)
提出深度Fréchet神经网络框架,通过最小化Fréchet风险逼近条件均值,实现度量空间值响应回归,并给出通用逼近与泛化理论,实证优于现有方法。
2026-09-10 cs.LG stat.ME stat.ML
Variation Spaces for Multi-Output Neural Networks: Insights on Multi-Task Learning and Network Compression
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加利福尼亚大学圣迭戈分校);École polytechnique fédérale de Lausanne(洛桑联邦理工学院)
本文提出向量值变分空间理论框架,通过表示定理揭示多输出网络宽度与数据量关系,并建立权重衰减与多任务套索的联系,为网络压缩提供凸优化方法。
2024-07-24 cs.LG stat.ML
Complex-valued neural networks for machine learning on non-stationary physical data
Technical University of Denmark(丹麦技术大学)
深度学习已经成为包括物理科学在内的大多数科学领域的兴趣领域。现代网络对数据进行实值变换。特别地,卷积神经网络中的卷积完全丢弃相位信息。许多确定性信号,例如地震数据或电信号,在信号的相位中包含重要信息。我们探索复值深度卷积网络,以利用非线性特征映射。地震数据通常具有应用的低截止滤波器,以衰减来自海浪和类似的长波长贡献的噪声。丢弃相位信息会导致低频混叠,类似于高频的Nyquist-Shannon定理。在非平稳数据中,相位含量可以稳定训练,提高神经网络的泛化能力。虽然已经证明相位内容可以在深度神经网络中恢复,但我们展示了在特征映射中包含相位信息如何改善确定性物理数据的训练和推理。此外,我们还证明了复杂网络中参数的减少优于较大的实值网络。
2019-11-26 cs.CV cs.LG physics.comp-ph
Robust Wireless Fingerprinting via Complex-Valued Neural Networks
University of California, Santa Barbara(加州大学圣巴巴拉分校)
利用每个设备特有的硬件缺陷的“无线指纹”是无线安全的潜在强大工具。这样的指纹应该能够区分发送相同消息的设备,并且应该对标准欺骗技术具有鲁棒性。由于无线信号中的信息驻留在复基带中,因此在本文中,我们探索使用具有复值权重的神经网络来使用监督学习学习指纹。我们证明,虽然使用信号的部分而不仅仅是前导码来学习指纹有潜在的好处,但网络在可能的情况下会作弊,使用发射机ID等信息(可以很容易地欺骗)来人为地提高性能。我们还表明,通过插入额外的高斯白噪声进行噪声增强可以获得显着的性能增益,这表明这种反直觉的策略有助于学习更强大的指纹。我们提供了两种不同的无线协议,WiFi和ADS-B的结果,证明了所提出的方法的有效性。
2019-08-26 cs.LG eess.SP stat.ML
BitNet: Bit-Regularized Deep Neural Networks
SRI International(SRI国际);University of Guelph(圭尔夫大学)
我们提出了一种新的优化策略来训练神经网络,我们称之为“BitNet”。神经网络的参数通常是无约束的,并且具有分散在所有实值上的动态范围。我们的核心思想是通过动态控制参数的取值范围和取值集合来限制网络的表达能力。我们制定了这个想法,使用一种新的端到端的方法,绕过离散参数空间,通过优化放松连续和可微的上界的典型分类损失函数。该方法可以被解释为受最小描述长度(MDL)原则启发的正则化。对于网络的每一层,我们的方法优化了实值转换和缩放因子以及任意精度的整数值参数(权重)。我们根据经验将BitNet与MNIST和CIFAR-10数据集上的等效非正则化模型进行了比较。我们证明了BitNet可以更快地收敛到高质量的解决方案。此外,由于使用整数值参数,所得到的模型在内存中有显着的节省。
2018-11-16 cs.LG stat.ML
Universal approximation property of Banach space-valued random feature models including random neural networks
Nanyang Technological University, Division of Mathematical Sciences(南洋理工大学数学科学学院);ETH Zurich, Department of Mathematics(苏黎世联邦理工学院数学系)
本文研究Banach空间值随机特征学习的通用逼近性质,通过随机初始化特征映射仅训练线性读出层,证明在Bochner空间中的逼近结果,并推导逼近速率和学习算法。
2026-04-27 cs.LG math.PR stat.ML
Geometric Feature Learning for Functional Data Valued on the Symmetric Positive Definite Manifold
Trinity College Dublin(都柏林圣三一学院)
本文提出函数型神经网络MatFAE,用于学习SPD流形上的轨迹,通过内在层和函数层编码动态信息,并在fMRI数据上验证了其高效性与可解释性。
2026-09-28 cs.LG stat.ML
Finding hidden-feature depending laws inside a data set and classifying it using Neural Network
本文提出了一种用于神经网络的logcosh损失函数,它结合了绝对误差损失函数不对异常值进行加权的优点和连续导数在均值附近的均方误差的优点,使得学习的最后阶段更容易。很明显,人们很快就会体验到,在聚类数据的情况下,具有对数损失的人工神经网络学习更大的聚类,而不是两者的平均值。更重要的是,当用于集值函数的回归时,ANN将学习接近其中一个选择的值,换句话说,集值函数的一个分支,而均方误差NN将学习介于两者之间的值。本文提出了一种利用具有logcosh损失的人工神经网络在参数-结果样本集中寻找集值映射的分支并根据这些分支对样本进行分类的方法。
2021-01-25 cs.LG cs.NE stat.ML
Quaternion Convolutional Neural Networks for End-to-End Automatic Speech Recognition
Université d'Avignon(阿维尼翁大学);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Orkis(奥基斯公司);Element AI(Element AI公司)
最近,与递归(RNN)或卷积神经网络(CNN)耦合的连接主义时间分类(CTC)模型使得以端到端的方式训练语音识别系统变得更容易。然而,在实值模型中,时间帧分量,如梅尔滤波器组能量和从它们获得的倒谱系数,以及它们的一阶和二阶导数,被处理为单独的元素,而一个自然的替代方案是处理这些组成实体的组件。我们建议将这些元素以四元数的形式分组,并使用已建立的四元数代数来处理这些四元数。四元数和四元数神经网络已经证明了它们在处理作为实体的多维输入、编码内部依赖性以及用比实值模型更少的学习参数解决许多任务方面的效率。本文提出在四元数卷积神经网络(QCNN)中集成多个特征视图,用于CTC模型的序列到序列映射。使用简单的QCNN在TIMIT语料库的音素识别实验中报告了有希望的结果。更确切地说,QCNN比基于实值CNN的竞争模型用更少的学习参数获得更低的音素出错率(PER)。
2018-06-20 cs.LG cs.SD eess.AS
Deep Quaternion Features for Privacy Protection
Shanghai Jiao Tong University(上海交通大学);Southern University of Science and Technology(南方科技大学);Huawei International(华为国际);John Hopcroft Center(约翰·霍普克罗夫特中心);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
为了防止中间层特征泄漏输入信息,提出了一种对神经网络进行修正的方法,构造四元数值神经网络(QNN)。QNN使用四元数值特征,其中每个元素都是四元数。QNN将输入信息隐藏到四元数值特征的随机相位中。即使攻击者已经获得了网络参数和中间层特征,在不知道目标相位的情况下,他们也无法提取输入信息。通过这种方式,QNN可以有效地保护输入隐私。此外,与传统的神经网络相比,QNN的输出精度仅略有下降,并且计算成本远低于其他隐私保护方法。
2020-06-21 cs.CR cs.CV cs.LG
Speech recognition with quaternion neural networks
Université d’Avignon(阿维尼翁大学);Orkis(奥基斯公司);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学)
神经网络架构是强大的自动语音识别系统(ASR)的核心。然而,虽然最近的研究集中在新的模型架构,声学输入功能几乎保持不变。传统的ASR系统依赖于多维声学特征,例如Mel滤波器组能量以及一阶和二阶导数来表征组成信号序列的时间帧。考虑到这些组件描述了同一元素的三个不同视图,神经网络必须学习这些特征中存在的内部关系,以及时间框架之间存在的外部或全局依赖关系。四元数值神经网络(QNN),最近收到了研究人员的重要兴趣,在多维空间中处理和学习这种关系。事实上,四元数和QNN已经证明了它们在处理多维输入作为实体、编码内部依赖关系以及解决许多任务时的效率,这些任务的学习参数比实值模型少四倍。我们建议在TIMIT数据集的语音识别背景下研究现代四元数值模型,如卷积和递归四元数神经网络。实验表明,QNN总是优于具有较少自由参数的实值等价模型,从而更有效,紧凑和表达相关信息。
2018-11-21 cs.SD eess.AS stat.ML
Inference in Multi-Layer Networks with Matrix-Valued Unknowns
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);New York University(纽约大学);The Ohio State University(俄亥俄州立大学)
本文研究了从输出的观测值推断随机多层神经网络的输入和隐变量的问题。每一层中的隐变量被表示为矩阵。这个问题适用于通过深度生成先验模型、多任务和混合回归以及学习某些类的双层神经网络进行信号恢复。通过扩展多层向量近似消息传递(ML-VAMP)算法,提出了一种统一的MAP和MMSE推理的近似算法。结果表明,在未知量的维数$N\times d$按$N\rightarrow\infty$增长,且$d$固定的情况下,多层矩阵VAMP(ML-Mat-VAMP)算法的性能在一定的随机大系统极限下可以准确预测.在双层神经网络学习问题中,这种缩放对应于输入特征和训练样本的数量增长到无穷大但隐藏节点的数量保持固定的情况。该分析能够精确预测学习的参数和测试误差。
2020-01-26 cs.IT cs.LG cs.NE
Random Euler Complex-Valued Nonlinear Filters
在过去的十年中,神经网络和核自适应滤波器都已成功地用于非线性信号处理。然而,它们遭受由其复杂/不断增长的网络结构引起的高计算成本。本文针对复值非线性滤波问题,提出了两种随机Euler滤波器,线性随机欧拉复值滤波器(LRECF)及其宽线性型(WLRECF),具有简单而固定的网络结构。在非平稳环境下,研究了其瞬态和稳态性能。推导了最小均方误差(MSE)和最佳步长的解析表达式。最后,对复值非线性系统辨识和非线性信道均衡进行了数值仿真,验证了所提方法的有效性。
2018-01-02 eess.SP stat.ML