Knowledge Distillation Applied to Optical Channel Equalization: Solving the Parallelization Problem of Recurrent Connection
Aston University（阿斯顿大学）；Infinera（英飞朗公司）
为了规避基于递归神经网络的均衡器的非并行性，我们提出了知识蒸馏来将RNN重新铸造成可并行的前馈结构。后者示出了38%的延迟减少，同时仅影响Q因子0.5dB。
2022-12-08 cs.LG eess.SP
Towards Arbitrary QUBO Optimization: Analysis of Classical and Quantum-Activated Feedforward Neural Networks
Fakultät für Physik und Erdsystemwissenschaften, Universität Leipzig（莱比锡大学物理与地球科学系）；Data Cybernetics（数据认知科学）；Zentrum für Optische Quantentechnologien, Universität Hamburg（汉堡大学光学量子技术中心）
本文提出了一种基于前馈神经网络的QUBO优化器，并结合量子退火激活函数，实现了高效且高精度的QUBO问题求解。
2024-10-16 cs.LG quant-ph
Metaheuristics optimized feedforward neural networks for efficient stock price prediction
University of KwaZulu-Natal（夸祖鲁-纳塔尔大学）
股票价格预测是经济学、投资学和财务决策中的一项重要任务。几十年来，这激发了许多研究人员的兴趣，致力于设计准确的股票价格预测模型;其中一些已被用来预测股票指数的第二天开盘价和收盘价。本文提出了一种混合共生生物搜索训练的前向神经网络模型的设计和实现，用于有效和准确的股票价格预测。利用共生体搜索算法作为一种有效的优化技术对前馈神经网络进行训练，并将训练结果用于建立更好的股票价格预测模型。此外，研究还提出了三种不同的股票价格预测模型的性能比较评估，即粒子群优化训练的前向神经网络模型，遗传算法训练的前向神经网络模型和著名的ARIMA模型。本研究以十六个股票指数为时间序列资料集，进行训练与测试。三个统计评估措施，即均方根误差，平均绝对百分比误差和平均绝对偏差的实施模型的结果进行比较。计算结果表明，共生生物搜索训练的前馈神经网络模型具有突出的预测性能相比，其他模型。然而，性能研究表明，三个元分析训练的前馈神经网络模型具有很好的预测能力，解决高维非线性时间序列数据，这是很难捕捉的传统模型。
2020-06-05 cs.LG q-fin.ST stat.ML
A Constructive Framework for Nondeterministic Automata via Time-Shared, Depth-Unrolled Feedforward Networks
Arizona State University（亚利桑那州立大学）
本文提出一种构造性框架，用时间共享、深度展开的前馈网络精确模拟非确定性有限自动机，证明其可学习性，并通过实验验证了接受、状态传播和闭包动态的完美一致性。
2025-10-10 cs.FL cs.LG
Towards a Mathematical Understanding of the Difficulty in Learning with Feedforward Neural Networks
fortiss – Landesforschungsinstitut des Freistaats Bayern（巴伐利亚州 fortiss 州立研究所）
训练深度神经网络来解决机器学习问题是该领域的一个巨大挑战，主要是由于其相关的优化问题是高度非凸的。最近的发展表明，许多训练算法在某些情况下不会遭受不希望的局部极小值，因此导致了对这种观察的数学解释的巨大努力。这项工作提供了一个替代的数学理解的挑战，从平滑优化的角度。通过假设有限样本的精确学习，通过临界点分析确定充分条件，以确保任何局部最小值也是全局最小值。此外，一个国家的最先进的算法，被称为广义高斯-牛顿（GGN）算法，严格重新作为一个近似牛顿算法，它的股票的属性是局部二次收敛到一个全局最小值的条件下的精确学习。
2017-11-21 cs.AI cs.LG cs.NE
Conservative approximation-based feedforward neural network for WENO schemes
Graduate School of Artificial Intelligence \& POSTECH MINDS (Mathematical Institute for Data Science), Pohang University of Science；Department of Mathematics \& POSTECH MINDS (Mathematical Institute for Data Science), Pohang University of Science
本文提出基于保守近似的前馈神经网络替代WENO加权过程，训练中引入对称平衡项，所得WENO3-CADNNs格式优于WENO3-Z，精度接近WENO5-JS。
2025-07-08 cs.LG cs.NA math.NA
Learning without feedback: Fixed random learning signals allow for feedforward training of deep neural networks
Université catholique de Louvain（鲁汶天主教大学）；Institute of Neuroinformatics（神经信息学研究所）；University of Zürich（苏黎世大学）；ETH Zürich（苏黎世联邦理工学院）
虽然误差反向传播算法能够实现深度神经网络训练，但它意味着（i）双向突触权重传输和（ii）更新锁定，直到完成前向和后向传递。这些限制不仅排除了生物相容性，而且还阻碍了边缘低成本自适应智能传感器的开发，因为它们严重限制了内存访问并带来缓冲开销。在这项工作中，我们表明，在监督分类问题中提供的一个热编码标签，表示为目标，可以被视为错误符号的代理。因此，它们的固定随机投影使隐藏层的逐层前馈训练成为可能，从而解决了权重传输和更新锁定问题，同时放松了计算和内存要求。基于这些观察结果，我们提出了直接随机目标投影（DRTP）算法，并证明它提供了一个适合自适应边缘计算设备的精度和计算成本之间的权衡。
2021-01-16 cs.LG cs.NE stat.ML
Hypothesis Testing in Feedforward Networks with Broadcast Failures
Colorado State University（科罗拉多州立大学）；The University of Melbourne（墨尔本大学）
考虑一个可数的无限节点集，它们在两个给定的假设之间顺序地做出决策。每个节点都对潜在的事实进行测量，观察一些直接前辈的决定，并在给定的假设之间做出决定。我们考虑两类广播故障：1）每个节点广播一个决定到其他节点，受到随机擦除的形式，一个二进制擦除信道; 2）每个节点广播一个随机翻转的决定，以二进制对称信道的形式到其他节点。我们感兴趣的是，是否存在一个决策策略，由一系列的似然比测试，使节点的决策概率收敛到潜在的真理。在这两种情况下，我们表明，如果每个节点只从有限数量的直接前辈学习，那么不存在决策策略，使决策概率收敛到潜在的真理。然而，在情况1中，我们表明，如果每个节点从无限增长的前辈数量学习，那么决策在概率上收敛到潜在的真理，即使擦除概率收敛到1。我们还得到了误差概率的收敛速度。在情况2中，我们表明，如果每个节点从所有以前的前辈学习，那么当二进制对称信道的翻转概率从1/2有界时，决策概率收敛到潜在的真理。在翻转概率收敛到1/2的情况下，我们推导出翻转概率收敛速度的必要条件，使得决策仍然收敛到潜在的真理。我们还明确描述了错误概率的收敛速度和翻转概率的收敛速度之间的关系。
2013-03-25 cs.IT cs.LG math.IT
Training Multi-layer Neural Networks on Ising Machine
Tsinghua University（清华大学）
针对现有伊辛机仅能训练单层前馈网络的问题，本文提出伊辛学习算法，通过二元拓扑表示与损失降阶将多层QNN训练转化为QUBO问题，在MNIST上实现98.3%准确率，为深层网络训练提供新路径。
2023-11-06 cs.AI cs.LG cs.NE
On the biological plausibility of orthogonal initialisation for solving gradient instability in deep neural networks
King’s College London（伦敦国王学院）
用正交矩阵初始化人工神经网络（ANN）的突触权重可以缓解梯度消失和梯度爆炸问题。反对这种初始化方案的一个主要反对意见是，它们被认为是生物学上不可信的，因为它们要求的因子分解技术很难归因于神经生物学过程。本文提出了两种初始化方案，允许网络自然地发展其权重以形成正交矩阵，提供了理论分析，预训练正交化总是收敛的，并从经验上证实了所提出的方案优于随机初始化的递归和前馈网络。
2022-10-27 cs.AI cs.LG cs.NE
The capacity of feedforward neural networks
University of California, Irvine（加州大学欧文分校）
神经网络理论中一个长期存在的开放问题是发展定量方法来估计和比较不同体系结构的能力。在这里，我们通过它可以计算的函数数量的二进制对数来定义架构的容量，因为突触权重是变化的。容量提供了在学习期间可以从训练数据中提取并存储在架构中的比特数的上限。我们研究了容量的分层，全连接，架构的线性阈值神经元与$L$层的大小$n_1,n_2, \ldots, n_L$，并表明，在本质上的能力是由一个三次多项式的层大小：$C(n_1,\ldots, n_L)=\sum_{k=1}^{L-1} \min(n_1,\ldots,n_k)n_kn_{k+1}$，其中层小于所有以前的层作为瓶颈。在证明的主要结果，我们还开发了新的技术（多路复用，丰富和堆叠）以及有限集的容量的新的界限。我们使用的主要结果，以确定架构的最大或最小容量下的一些自然的约束。这就引出了深度架构的结构正则化概念。一般来说，在其他条件相同的情况下，浅层网络比深层网络计算更多的函数，而深层网络计算的函数更规则，更“有趣”。
2019-03-27 cs.LG cs.NE math.CO
Sparse Signal Recovery for Binary Compressed Sensing by Majority Voting Neural Networks
Nagoya Institute of Technology（名古屋工业大学）
在本文中，我们提出了多数表决神经网络的稀疏信号恢复二进制压缩感知。多数表决神经网络由几个独立训练的前馈神经网络组成，采用S形函数作为激活函数。我们的实证研究表明，选择一个损失函数用于网络的训练过程是至关重要的。我们找到了一个适合稀疏信号恢复的损失函数，它包括一个交叉熵项和一个$L_1$正则化项。从实验结果中，我们观察到，多数表决神经网络实现了良好的恢复性能，这是接近最佳性能的组件网络的数量的增长。多数表决神经网络的简单架构对于软件和硬件实现都是有益的。
2016-10-29 cs.IT cs.LG math.IT
Training Implicit Networks for Image Deblurring using Jacobian-Free Backpropagation
Colorado School of Mines（科罗拉多矿业学院）；Brown University（布朗大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）
本文提出使用无雅可比反向传播（JFB）训练隐式网络用于图像去模糊，该方法规避了通过不动点反向传播时求解大型线性系统的高昂计算成本，并在降低计算开销的同时达到了与微调优化方案、SOTA前馈网络及现有隐式网络相当的性能。
2024-02-03 cs.LG
A Fast Semidefinite Approach to Solving Binary Quadratic Problems
The University of Adelaide（阿德莱德大学）
许多计算机视觉问题都可以用二元二次规划（binary quadratic programmes，BQP）表示。两种经典的松弛方法，即谱方法和半定规划（SDP）被广泛用于求解BQP问题，每一种方法都有自己的优点和缺点。谱松弛方法简单易行，但其边界较松。半定松弛法有一个更紧的界，但它的计算复杂性是高的大规模问题。我们提出了一个新的SDP制定BQP，具有两个理想的属性。首先，它具有与常规SDP公式类似的松弛约束。其次，与传统的SDP方法相比，新的SDP制定导致一个显着更有效的和可扩展的双重优化方法，它具有相同程度的复杂度的谱方法。广泛的实验上的各种应用，包括聚类，图像分割，共分割和注册证明了我们的SDP制定解决大规模BQP的有用性。
2013-04-03 cs.CV cs.LG
Spectral Higher-Order Neural Networks
University of Florence（佛罗伦萨大学）；University of Namur（那慕尔大学）
本文提出谱高阶神经网络，通过谱属性重构模型，解决高阶交互中的稳定性与参数缩放问题，适用于通用前馈网络结构。
2026-03-30 cs.AI cs.LG
Fundamental Limits of Deep Learning-Based Binary Classifiers Trained with Hinge Loss
École de Technologie Supérieure (ETS)（高等技术学院（École de Technologie Supérieure））；University of Oulu（奥卢大学）
针对深度学习（DL）实证成功的理论基础不明问题，本文推导并验证了基于铰链损失训练的深度ReLU前馈神经网络及结合ReLU与Tanh激活的深度FNN二分类器的渐近测试性能极限。
2025-04-15 cs.AI cs.LG
Recursive Regression with Neural Networks: Approximating the HJI PDE Solution
University of California, Berkeley（加州大学伯克利分校）
用于计算Hamilton-Jacobi-Isaacs偏微分方程（HJI PDE）的近似的大多数方法依赖于状态空间的离散化来执行动态规划更新。已知这种类型的方法由于网格点与状态维度的指数增长而遭受维度灾难。在这项工作中，我们提出了一个近似的动态规划算法，计算HJI PDE的解决方案的近似值之间交替解决回归问题和解决极大极小问题，使用前馈神经网络作为函数逼近。我们发现，这种方法需要更少的内存来运行和存储的近似比传统的网格化方法，我们测试了几个系统的二，三，六维。
2017-03-23 cs.LG math.DS
Binary structured physics-informed neural networks for solving equations with rapidly changing solutions
School of Computer Science and Engineering, Guangdong Province Key Laboratory of Computational Science（计算机科学与工程学院，广东省计算科学重点实验室）
针对PINNs求解快速变化解时收敛慢、易陷局部极小且精度低的问题，本文提出采用BsNN的BsPINN框架，并在多类PDE实验中验证其更快收敛与更高精度。
2024-01-25 cs.AI cs.LG
Chebyshev Spectral Neural Networks for Solving Partial Differential Equations
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；Institute of Natural Sciences, Shanghai Jiao Tong University（上海交通大学自然科学研究院）
本文提出切比雪夫谱神经网络（CSNN），利用满足边界条件的切比雪夫谱神经元和自动微分求解偏微分方程，避免非稀疏线性系统，提升高维问题训练效率与精度，并在椭圆型方程上验证优于PINN。
2024-06-06 cs.LG cs.NA math-ph
Reducing statistical time-series problems to binary classification
SequeL-INRIA/LIFL-CNRS（SequeL-法国国家信息与自动化研究所/法国国家科学研究中心LIFL实验室）；Université de Lille（里尔大学）
我们展示了如何开发二进制分类方法来处理独立同分布。数据可用于解决看似与分类无关且涉及高度依赖的时间序列的统计问题。具体而言，时间序列聚类，同质性检验和三个样本问题的解决。我们构造的算法来解决这些问题是基于时间序列分布之间的一个新的度量，可以使用二进制分类方法进行评估。在最一般的假设下，证明了所提出的算法的普遍一致性。理论结果与实验合成和真实世界的数据。
2013-06-07 cs.LG stat.ML
Neural Networks as Universal Finite-State Machines: A Constructive Deterministic Finite Automaton Theory
Brain Corporation（脑科技公司）
本文提出框架证明前馈神经网络可作为通用有限状态机精确模拟DFA，通过构造性证明与显式架构设计，刻画了网络深度、宽度及状态压缩需求与表达能力边界，桥接了深度学习与自动机理论。
2025-05-28 cs.AI cs.FL cs.LG
Towards Safe Learning-Based Non-Linear Model Predictive Control through Recurrent Neural Network Modeling
Institute of Computer Engineering, TU Wien（计算机工程研究所，维也纳技术大学）；AIT Austrian Institute of Technology（奥地利技术研究所）；Institute of Mechanics and Mechatronics, TU Wien（机械与机电系统研究所，维也纳技术大学）
本文提出Safe Sequential-AMPC，通过共享参数生成MPC候选控制序列，减少专家数据需求，提升闭环安全性与学习效率。
2026-03-25 cs.LG cs.RO cs.SY
Deep Adaptive Network: An Efficient Deep Neural Network with Sparse Binary Connections
Chongqing University（重庆大学）
深度神经网络是用于理解图像、视频和原始输入数据内容的最先进模型。然而，在嵌入式系统中实现深度神经网络是一项具有挑战性的任务，因为典型的深度神经网络，例如使用128 × 128图像作为输入的深度信念网络，可能耗尽千兆字节的存储器并导致带宽和计算瓶颈。为了解决这一挑战，本文提出了一种面向硬件的深度学习算法，称为深度自适应网络，它试图利用神经连接中的稀疏性。该方法自适应地将与可忽略特征相关的权重降低到零，从而形成稀疏前馈网络结构。此外，由于重要权重的小部分显著大于零，因此可以使用单比特整数（-1和+1）对它们进行鲁棒阈值化和表示，从而实现具有稀疏和二进制连接的深度神经网络。我们的实验表明，对于识别MNIST手写数字的应用，通过保留约25%重要连接的两层深度自适应网络提取的特征达到了97.2%的分类准确率，与标准深度信念网络（97.3%）几乎相同。此外，对于高效的硬件实现，稀疏和二进制加权的深度神经网络可以节省约99.3%的内存和99.9%的计算单元，而不会显着损失模式识别应用的分类准确性。
2016-04-21 cs.CV cs.LG cs.NE
A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks
Pengcheng Laboratory（鹏城实验室）；Microsoft Research Asia – Shanghai（微软亚洲研究院-上海）；Peking University（北京大学）
本文通过分析反向传播过程揭示SNN可视为带噪声注入的二值激活网络自集成，提出SEI-BWSNN方法，利用多捷径和知识蒸馏改进二值权重SNN训练，在ImageNet上以2个时间步达到82.52%准确率。
2025-08-18 cs.LG cs.NE
Embedded Binarized Neural Networks
Harvard University（哈佛大学）
我们研究嵌入式二进制神经网络（eBNNs）的目的是让目前的二进制神经网络（BNNs）在文献中执行前馈推理有效地小型嵌入式设备。考虑到这些设备的内存通常只有几十KB，我们将重点放在最小化所需的内存占用上。除了最小化存储权重所需的内存，如在BNN中，我们表明，它是必要的，以尽量减少用于临时持有层之间的中间结果在前馈推理的内存。为了实现这一点，eBNN在保留原始BNN结构的同时重新排序推理的计算，并且仅对整个神经网络使用单个浮点临时。层的所有中间结果都存储为二进制值，而不是当前BNN实现中使用的浮点数，从而将所需的临时空间减少了32倍。我们提供的经验证据表明，我们提出的eBNN方法允许在内存严重有限（10s KB）的设备上进行有效的推理（10s ms）。例如，eBNN在只有15 KB可用内存的Intel Curie上运行的MNIST数据集上实现了95%的准确性，每个样本的推理运行时间低于50 ms。为了简化在嵌入式环境中的应用程序的开发，我们使我们的源代码，允许用户训练和发现eBNN模型的学习任务在手，适合目标设备的内存约束。
2017-09-06 cs.CV cs.LG
Gradient-Free Learning Based on the Kernel and the Range Space
Yonsei University（延世大学）；Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research（资讯通信研究院）；Beijing Institute of Technology（北京理工大学）
在这篇文章中，我们证明了通过操纵核和范围空间来求解线性方程组等价于求解最小二乘误差逼近问题。当系统可以用线性矩阵方程的形式表示时，这为无梯度学习搜索奠定了基础。当非线性激活函数可逆时，全连接多层前馈神经网络的学习问题可以很容易地适应这种新的学习框架。通过一系列的核和范围空间操作，证明了这样的网络学习归结为求解一组交叉耦合方程。通过随机初始化权重，可以解耦方程，并且网络解决方案对于小到中等维度的真实世界数据集显示出相对良好的学习能力。基于矩阵方程的结构信息，网络表示被发现依赖于数据样本的数量和输出维数。
2018-10-27 cs.LG stat.ML
Edge-Selector Model Applied for Local Search Neighborhood for Solving Vehicle Routing Problems
IMT Atlantique（IMT阿蒂安蒂克）；Lab-STICC (UMR 6285, CNRS)（Lab-STICC（UMR 6285，CNRS））；Université Bretagne Sud（布列塔尼南部大学）
本研究提出一种混合机器学习与元启发式的机制，通过边缘选择器模型（含表格二进制分类器与图神经网络）识别局部搜索的禁止移动，在不同VRP变体及大规模数据集上提升了元启发式基线的性能。
2025-08-12 cs.AI cs.LG
Bitwise Neural Networks
基于存在一个神经网络，有效地表示一组布尔函数之间的所有二进制输入和输出的假设，我们提出了一个开发和部署神经网络的权重参数，偏置项，输入，和中间隐藏层输出信号，都是二进制值，只需要基本的位逻辑的前馈通过。所提出的位神经网络（BNN）是特别适合于资源受限的环境，因为它取代了浮点或定点运算与显着更有效的位操作。因此，BNN需要更少的空间复杂度、更少的内存带宽和更少的硬件功耗。为了设计这样的网络，我们建议添加一些训练方案，例如权重压缩和噪声反向传播，这会导致按位网络的性能几乎与其相应的实值网络一样好。我们在使用二进制特征表示的MNIST数据集上测试了拟议的网络，并表明BNN具有竞争力的性能，同时提供显着的计算节省。
2016-01-22 cs.AI cs.LG cs.NE
Separation of Memory and Processing in Dual Recurrent Neural Networks
Escuela Politécnica Superior, Universidad Autónoma de Madrid（马德里自治大学高等理工学院）
我们探索了一种神经网络架构，该架构堆叠了一个递归层和一个前馈层，该前馈层也连接到输入，并将其与标准Elman和LSTM架构在准确性和可解释性方面进行了比较。当噪声被引入到递归单元的激活函数中时，这些神经元被迫进入二进制激活状态，这使得网络表现得更像有限自动机。所得到的模型更简单，更易于解释，对不同的样本问题，包括正则语言的识别，不同基的加法计算和算术表达式的生成，都有更高的精度。
2020-05-17 cs.FL cs.LG cs.NE
Testing for Normality with Neural Networks
University of Belgrade（贝尔格莱德大学）
在本文中，我们把正态性检验的问题作为一个二元分类问题，并构造了一个前馈神经网络，可以成功地检测正态分布，通过检查他们的小样本。在不超过100个元素的小样本上进行的数值实验表明，我们训练的神经网络比最常用和最强大的标准正态性检验更准确，更强大：Shapiro-Wilk，Anderson-Darling，Lilliefors和Jarque-Berra，以及拟合优度的核检验。神经网络的AUROC分数几乎为1，这对应于完美的二元分类器。此外，在一组包含250-1000个元素的较大样本上，网络的准确率高于96%。由于数据的正态性是许多分析和推理技术的假设，因此本研究中构建的神经网络在科学和工业中的统计，数据分析和机器学习的日常实践中具有非常高的潜力。
2020-10-07 cs.LG stat.ME stat.ML
Proper decision trees: An axiomatic framework for solving optimal decision tree problems with arbitrary splitting rules
Peking University（北京大学）；University of Birmingham（伯明翰大学）
本文提出公理化框架分析决策树算法，聚焦Proper决策树，证明其可唯一刻画为K-排列，并开发通用动态规划方法精确求解最优决策树问题，同时澄清记忆化空间复杂度的矛盾，并扩展至多种非Proper决策树。
2025-10-23 cs.DS cs.LG
Decomposed Quadratization: Efficient QUBO Formulation for Learning Bayesian Network
Yuta Shikuri（独立研究者）
本文提出分解二次化QUBO公式化方法，通过减少二值变量数量提升大规模优化效率，并在贝叶斯网络结构学习中显著降低变量需求且评分最大化性能优于现有算法。
2025-08-24 cs.LG stat.ML
Neural Feature Geometry Evolves as Discrete Ricci Flow
Leipzig University（莱比锡大学）；Harvard（哈佛大学）
本文用离散几何图近似输入流形，证明前馈网络训练中的特征几何演化类似于离散里奇流，并通过超2万个网络实验验证类别可分性与社区结构出现的对应关系，据此提出几何驱动的早停和网络深度选择准则。
2025-09-26 cs.DM cs.LG math.DG
Solving for multi-class: a survey and synthesis
许多最好的统计分类算法是只能区分两个类别之一的二进制分类器。将二元分类推广到多类的可能方法的数量随着类的数量呈指数级增加。有迹象表明，最好的方法将取决于数据集。因此，我们对数据驱动的解决方案设计特别感兴趣，无论是基于先前的考虑还是基于对数据的实证检验。在这里，我们演示了如何使用递归控制语言来描述多类分类中的多种不同划分策略，包括最常用的划分策略。我们使用它来手动构造新的分区配置，以及检查那些自动设计的分区配置。八种不同的策略进行了测试，在八个不同的数据集使用支持向量机（SVM）作为基本的二元分类。数值结果表明，一个尺寸适合所有的解决方案，包括一对一是适当的大多数数据集。三个数据集使用不同的方法显示出更好的准确性。最佳解决方案的最大改善数据集利用数据的属性，产生的不确定系数36\%（0.016绝对增益）比一个-比。一个.对于相同的数据集，经验性地检查数据的自适应解决方案也比一对一更准确。一个是更快。
2021-01-24 cs.LG stat.ML
Policy-Based Radiative Transfer: Solving the $2$-Level Atom Non-LTE Problem using Soft Actor-Critic Reinforcement Learning
University of Applied Sciences and Arts Northwestern Switzerland (FHNW)（应用科学与艺术大学西北瑞士（FHNW））；Institute for Solar Physics (KIS)（太阳物理研究所（KIS））
本研究提出一种基于软演员-评论家强化学习的新方法，将2能级原子非LTE辐射转移问题转化为控制任务，学习满足统计平衡的源函数，无需构建lambda算子或预计算数据集，为复杂大气场景提供高效求解途径。
2025-04-22 astro-ph.SR cs.LG
LMKL-Net: A Fast Localized Multiple Kernel Learning Solver via Deep Neural Networks
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；Cambridge, MA 02139-1955（剑桥，马萨诸塞州 02139-1955（注意：此部分为地址，不应作为机构提取））
在本文中，我们提出使用LMKL-Net（一种前馈深度神经网络）解决局部化多核学习（LMKL）。与以前的作品相比，作为一个学习原则，我们提出{ \em parameterizing}的门函数学习内核组合权重和多类分类器在LMKL使用的注意力网络（AN）和多层感知器（MLP），分别。通过这种方式，我们可以通过AN和MLP的顺序应用（近似）学习LMKL中的（非线性）决策函数。根据基准数据集的经验，我们证明了整体LMKL-Net不仅可以在准确性方面优于最先进的MKL求解器，而且可以更快地训练{ \em两个数量级}，并且对于大规模学习来说内存占用要小得多。
2018-05-22 cs.CV cs.LG stat.ML
Sparse Universum Quadratic Surface Support Vector Machine Models for Binary Classification
University of Bojnord（博季努尔德大学）；Charles University（查理大学）；University of Minnesota（明尼苏达大学）；Northeastern University（东北大学）
在二进制分类中，提出了无核线性或二次支持向量机，以避免处理困难，如找到合适的核函数或调整其超参数。此外，Universum数据点，不属于任何类，可以利用嵌入先验知识到相应的模型，从而提高泛化性能。在本文中，我们设计了新的无核Universum二次曲面支持向量机模型。此外，我们提出了L1范数正则化版本，这有利于检测潜在的稀疏模式的Hessian的二次曲面和减少到标准的线性模型，如果数据点是（几乎）线性可分的。所提出的模型是凸的，这样标准的数值求解器可以用来解决他们。尽管如此，我们制定了一个最小二乘版本的L1范数正则化模型，接下来，设计一个有效的定制算法，只需要解决一个线性系统。这些模型的几个理论性质，然后报告/证明。最后，我们在人工和公共基准数据集上进行了数值实验，以证明所提出的模型的可行性和有效性。
2021-04-03 cs.LG math.OC
Alternating Multi-bit Quantization for Recurrent Neural Networks
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）；Shanghai Jiao Tong University（上海交通大学）
循环神经网络在许多应用中取得了优异的性能。然而，在资源有限的便携式设备上，模型通常太大而无法部署。对于服务器上具有大规模并发请求的应用程序，推理期间的延迟对于昂贵的计算资源也可能非常关键。在这项工作中，我们通过将网络（包括权重和激活）量化为多个二进制代码{-1，+1}来解决这些问题。我们制定的量化作为一个优化问题。在关键的观察，一旦量化系数是固定的二进制码可以得到有效的二叉搜索树，交替最小化，然后应用。我们测试了两个众所周知的RNN的量化，即，长短期记忆（LSTM）和门控递归单元（GRU），在语言模型上。与全精度计数器部分相比，通过2位量化，我们可以在CPU上实现约16倍的内存节省和约6倍的实推理加速，而精度只有合理的损失。通过3位量化，我们可以实现几乎没有损失的准确性，甚至超过原始模型，节省约10.5倍的内存和约3倍的实际推理加速。这两个结果都比现有的量化作品有很大的差距。我们扩展我们的交替量化图像分类任务。在RNN和前馈神经网络中，该方法也取得了优异的性能。
2018-02-01 cs.LG stat.ML
Quadratic Characterizations for Reachability Analysis of Neural Networks
Kevin T. Crofton Department of Aerospace and Ocean Engineering, Virginia Tech（凯文·T·克罗夫顿航空航天与海洋工程系，弗吉尼亚理工学院）；Federation ENAC ISAE-SUPAERO ONERA, Universite de Toulouse（ENAC ISAE-SUPAERO ONERA联盟，图卢兹大学）
本文提出了一种构建二维实平面上标量关系的验证二次特性的框架，通过局部生成候选二次不等式并全局验证，以提高神经网络可达性分析的精度和效率。
2026-10-12 cs.LG cs.SY eess.SY
Deep Learning with Low Precision by Half-wave Gaussian Quantization
UC San Diego（加州大学圣地亚哥分校）；Microsoft Research Redmond（微软雷德蒙德研究院）；Megvii Inc.（旷视科技）
研究了深度神经网络的激活量化问题。流行的二进制量化方法的检查表明，这包括近似一个经典的非线性，双曲正切，由两个函数：一个分段常数符号函数，用于前馈网络计算，和一个分段线性硬双曲正切函数，用于网络学习过程中的反向传播步骤。然后考虑了在最近的深度学习文献中广泛使用的近似ReLU非线性的问题。提出了一种半波高斯量化器（HWGQ）的前向近似和高效的实现，利用统计的网络激活和批量归一化操作中常用的文献。为了克服梯度失配的问题，由于使用不同的前向和后向近似，几个分段向后逼近器，然后研究。所得到的量化网络（表示为HWGQ-Net）的实现被证明比以前可用的低精度网络（具有1位二进制权重和2位量化激活）实现更接近全精度网络（如AlexNet，ResNet，GoogLeNet和VGG-Net）的性能。
2017-02-03 cs.AI cs.CV cs.LG
