On Accelerated Perceptrons and Beyond
Georgia Tech（佐治亚理工学院）；MIT（麻省理工学院）
Rosenblatt的经典Perceptron算法可用于找到线性阈值函数以正确地分类$n$线性可分离的数据点，假设类由某个裕度$γ> 0$分离。基本结果是Perceptron在$Ω(1/γ^{2})$迭代后收敛。有几个最近的作品，设法提高这个率的二次因子，$Ω(\sqrt{\log n}/γ)$，更复杂的算法。在本文中，我们将这些现有的结果统一在一个框架下，表明它们都可以通过使用现代加速技术解决最小-最大问题的镜头来描述，主要是通过乐观的在线学习。然后，我们表明，所提出的框架还可以改善标准感知器设置之外的一系列问题的结果。具体来说，a）对于间隔最大化问题，我们将现有的结果从$O(\log t/t^2)$改进为$O(1/t^2)$，其中$t$是迭代次数; b）我们首次给出了经典Nesterov加速梯度下降（NAG）算法的隐偏差性质，并证明了NAG算法可以以$O(1/t^2)$速率最大化间隔; c）对于经典的$p$ -范数感知器问题，我们给出了一个具有$Ω(\sqrt{(p-1)\log n}/γ)$收敛速度的算法，而现有算法存在$Ω({(p-1)}/γ^2)$收敛速度的问题。
2022-10-17 cs.LG math.OC stat.ML
Perceptron like Algorithms for Online Learning to Rank
University of Michigan（密歇根大学）
感知器是一个经典的在线学习分类函数的算法。在本文中，我们提供了一个新的扩展的感知器算法的学习排序问题的信息检索。我们考虑流行的列表式性能指标，如归一化贴现累积增益（NDCG）和平均精度（AP）。感知器用于分类的现代观点是，它只是在线梯度下降（OGD）的一个实例，在错误轮次期间，使用铰链损失函数。出于这种解释，我们提出了一个新的家庭列表，大利润率排名代理。这个家族的成员可以被认为是铰链缺失的类似物。利用所提出的家庭的一定的自约束属性，我们提供了一个保证的累积NDCG（或AP）引起的损失，我们的感知器般的算法。我们表明，如果存在一个完美的甲骨文排名器，可以正确地排名在一个在线的排名数据序列中的每个实例，有一定的利润率，该序列上的感知算法的累积损失是有界的常数，无论序列的长度。这个结果让人想起Novikoff的分类感知器收敛定理。此外，我们证明了一个下界的累积损失可实现的任何确定性算法，假设存在完美的预言排名。下界表明，我们的感知机界是不紧，我们提出了另一个，\emph{purely online}，算法达到了下界。我们提供了模拟和大型商业数据集的实证结果来证实我们的理论结果。
2016-08-23 cs.LG stat.ML
Margins, Kernels and Non-linear Smoothed Perceptrons
Carnegie Mellon University（卡内基梅隆大学）
本文研究了在RKHS中寻找非线性分类函数的问题，提出了一种加速平滑算法，具有与经典核感知机相似的收敛特性，并给出了在无分类器存在时的分离定理。
2015-05-15 cs.AI cs.LG cs.NA
Quantum Perceptron Models
Microsoft Research（微软研究院）
我们展示了量子计算如何在感知器模型的计算和统计复杂性方面提供非平凡的改进。我们开发了两个量子算法的感知器学习。第一种算法利用量子信息处理来确定分离超平面，其使用在数据点$N$的数量中次线性的多个步骤，即$O(\sqrt{N})$。第二个算法说明了如何通过量子手段将$O(\frac{1}{γ^2})$的经典错误界进一步改进为$O(\frac{1}{\sqrtγ})$，其中$γ$表示裕度。这种改进是通过将量子振幅放大应用于感知器模型的版本空间解释来实现的。
2016-02-15 cs.LG quant-ph stat.ML
Efficient Online Large-Margin Classification via Dual Certificates
Discipline of Business Analytics, The University of Sydney（商业分析系，悉尼大学）；Tepper School of Business, Carnegie Mellon University（商学院，卡内基梅隆大学）
本文提出一种基于对偶证书的在线大间隔分类算法，利用平移不变性获得更优的错误界限，在特定参数下每序列最多两次错误，且计算效率与现有算法相当，准确性显著提升。
2025-09-24 cs.LG math.OC
Learning Entropy and Spatial Adaptation Dynamics of Multilayer Perceptrons for Structural Point Extraction
Czech Technical University in Prague（捷克技术大学布拉格分校）；University of South Bohemia in Ceske Budejovice（南捷克大学捷克布杰约维采分校）
提出空间学习熵（SLEM）方法，通过分析MLP在图像样本学习中的权重自适应，识别对网络学习重要的图像点与区域，为特征提取提供新视角。
2026-06-08 cs.LG
Plateaus, Optima, and Overfitting in Multi-Layer Perceptrons: A Saddle-Saddle-Attractor Scenario
Department of Mathematics, Hokkaido University（北海道大学数学系）；RIES, Hokkaido University（北海道大学RIES）
本文研究了多层感知机训练过程中平坦区、近最优解与过拟合现象，揭示了动态起源，并展示了在合适条件下最优解会坍缩为单一吸引子。
2026-04-17 cs.LG nlin.AO
Learning Dynamic Classes of Events using Stacked Multilayer Perceptron Networks
Aalborg University（奥尔堡大学）
人们经常使用网络搜索引擎来查找关于感兴趣的事件的信息，例如，体育比赛、政治选举、节日和娱乐新闻。在本文中，我们研究的问题，检测事件相关的查询，这是第一步，然后选择一个合适的时间感知检索模型。通常，可以通过用户搜索行为的各种时间模式在查询流中观察事件相关信息需求，例如，流行事件的尖峰和重复事件的周期性。然而，用户搜索不受欢迎的事件也是常见的，这些事件可能不会在查询流中表现出时间变化，例如，最近发生的过去事件、由纪念日或类似事件引发的历史事件以及预期发生的未来事件。为了解决检测事件的动态类别的挑战，我们提出了一种新的深度学习模型来将给定的查询分类为预定的多个事件类型的集合。我们提出的模型，堆叠多层感知器（S-MLP）网络，由多层感知器作为一个基本的学习单元。我们组装堆叠单元，以进一步了解连续层中中子之间的复杂关系。为了评估我们提出的模型，我们使用真实世界的查询和一组手动创建的地面实况进行实验。初步结果表明，我们提出的深度学习模型明显优于最先进的分类模型。
2016-07-01 cs.IR cs.LG
Dynamics of Supervised and Reinforcement Learning in the Non-Linear Perceptron
Institute of Neuroscience（神经科学研究所）；University of Oregon（俄勒冈大学）
本文用随机过程方法推导非线性感知机二分类学习的流动方程，揭示监督与强化学习下输入噪声对学习及遗忘曲线的影响，并用MNIST验证。
2025-02-24 cs.LG q-bio.NC stat.ML
Rethinking Breiman's Dilemma in Neural Networks: Phase Transitions of Margin Dynamics
Hong Kong University of Science and Technology（香港科技大学）
自机器学习中的感知器出现以来，为了提高分类器的鲁棒性，扩大训练数据的间隔一直是一种重要的策略。然而，Breiman（1999）提出了一个两难问题，即边际分布的均匀改善并不一定会减少泛化误差。在本文中，我们重新审视Breiman的困境，在深度神经网络最近提出的频谱归一化的利润率，从一个新的角度来看，基于相变的归一化利润率分布的训练动态。分类器在数据上的归一化余量分布可以分为两部分：低/小余量，例如错误分类样本的一些负余量，以及高置信度正确分类样本的高/大余量，它们在训练过程中通常表现不同。训练和测试数据集的低裕度通常在训练中有效地减少，同时减少训练和测试错误;而高裕度可能会表现出不同的动态，反映了模型的表达能力和数据复杂性之间的权衡。当数据复杂度与模型表现力相当时，训练和测试数据的高裕度分布在训练期间经历类似的下降-增加相变。在这种情况下，人们可以预测的趋势，推广或测试错误的边缘为基础的推广界限限制Rademacher复杂性，在本文中显示在两种方式与早期停止时间利用这种相变。另一方面，过度表达的模型可能具有低和高的训练裕度，这些训练裕度都在经历均匀的改进，并且在测试裕度动态中具有明显的相变。这再次证实了与过度参数化神经网络相关的Breiman困境，其中边缘无法预测过度拟合。
2021-01-01 cs.LG stat.ML
Gradient Descent as a Perceptron Algorithm: Understanding Dynamics and Implicit Acceleration
Applied AI Institute, Moscow, Russia（应用人工智能研究所，莫斯科，俄罗斯）
本文研究了梯度下降在神经网络训练中的优化动态和隐式加速现象，通过非线性模型分析显示梯度下降步骤等价于广义感知机算法，揭示了非线性模型在迭代复杂度上的优势。
2026-05-21 cs.LG cs.NA math.NA
Tractability from overparametrization: The example of the negative perceptron
Stanford University（斯坦福大学）
该研究针对负感知机这一非凸优化问题，在比例渐近随机模型下推导了过参数化阈值的上下界，分析了线性规划算法的求解阈值，发现二者存在差距，为过参数化与问题易处理性的关联提供了理论结果。
2023-07-04 cs.LG math.PR math.ST
Exact full-RSB SAT/UNSAT transition in infinitely wide two-layer neural networks
Bocconi University（博科尼大学）；Sapienza Università di Roma（罗马第一大学（萨皮恩扎大学））
本研究利用完全RSB猜想精确计算了负感知机和无限宽两层神经网络的SAT/UNSAT相变值，发现Overlap间隙使AMP算法定理失效，并证明梯度下降因偏向不可达的非典型状态而无法达到最大容量。
2025-04-01 cond-mat.dis-nn cs.LG math.PR
The RL Perceptron: Generalisation Dynamics of Policy Learning in High Dimensions
Gatsby Computational Neuroscience Unit（Gatsby计算神经科学单元）；UCL（大学学院）；Imperial College London（伦敦帝国理工学院）；International School of Advanced Studies (SISSA)（国际先进研究学校（SISSA））；Trieste, Italy（意大利特里斯特）；Sainsbury Wellcome Centre（萨金斯堡韦尔科中心）；CIFAR Azrieli Global Scholar（CIFAR阿兹里埃利全球学者）；CIFAR
该研究提出可解的高维强化学习模型，推导其动力学闭式方程与最优学习调度方案，揭示多种学习特性，并通过游戏实验验证速度-精度权衡，推动高维RL理论与实践的衔接。
2024-12-20 cond-mat.dis-nn cs.LG
Data-driven Method for Estimating Aircraft Mass from Quick Access Recorder using Aircraft Dynamics and Multilayer Perceptron Neural Network
City University of Hong Kong（香港城市大学）
从安全管理和性能优化的角度来看，准确的飞机质量估计对航空公司至关重要。使飞机超载乘客和行李可能会导致安全危险。相比之下，没有充分利用飞机的有效载荷运载能力会损害其运营效率和航空公司的盈利能力。然而，精确确定每次飞行的飞机质量是不可行的，因为对包括有效载荷在内的每个飞机部件进行称重是不切实际的。现有的飞机质量估算方法依赖于飞机和发动机的性能参数，这些参数通常被认为是专有信息。此外，这些参数的值在不同的操作条件下变化，而其他参数的值可能会受到较大的估计误差。本文提出了一种数据驱动的方法，包括使用快速访问记录器（QAR）-一个数字飞行数据记录器-安装在所有飞机上，以记录初始飞机爬升质量在每次飞行。该方法要求用户使用物理模型从QAR记录的数千个其他参数中选择适当的参数。所选择的数据随后被处理并作为输入提供给多层感知器神经网络，用于建立初始爬升飞机质量预测模型。因此，所提出的方法提供了基于模型和数据驱动的飞机质量估计方法的优点。由于该方法不明确依赖于任何飞机或发动机参数，因此它普遍适用于所有飞机类型。在这项研究中，所提出的方法被应用到一组波音777- 300 ER飞机，其结果表明合理的准确性。航空公司可以使用这个工具来更好地利用飞机的有效载荷。
2020-12-10 cs.LG cs.SY eess.SY
The Stochastic Gradient Descent for the Primal L1-SVM Optimization Revisited
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
我们重新考虑随机（次）梯度方法的无约束原始L1-SVM优化。我们观察到，如果学习率与步数成反比，即，任何训练模式被提供给算法的次数，更新规则可以被转换成经典的具有容限的感知器中的一个，其中容限阈值随着步骤的数目线性地增加。此外，如果我们通过可能随机排列的训练集重复循环，则通过权重向量的扩展自然定义的对偶变量作为其上产生裕度误差的模式的线性组合，在每个完整循环结束时自动服从对偶优化中产生的框约束。这使得双拉格朗日运行下界的主要目标趋于它在最佳状态，并提供了一个上限的相对精度实现，这提供了一个有意义的停止标准。此外，我们提出了一种机制，重复呈现相同的模式，以保持上述性质的算法。最后，我们给出了实验证据，沿着这些线路构造的算法表现出显着改善的性能。
2014-01-25 cs.AI cs.LG
Neuron Block Dynamics for XOR Classification with Zero-Margin
RIKEN AIP（日本理化学研究所 Advanced Institute for Probing the Universe）；University of Tokyo（东京大学）
本文研究了零边距非线性分类中的神经块动力学，通过高斯XOR问题分析，揭示了神经元聚类和块级信号协调现象，并展示了在无边距假设下泛化性的分析方法。
2026-01-30 cs.LG stat.ML
Conditional Forecasting of Margin Calls using Dynamic Graph Neural Networks
Università degli Studi di Milano（米兰大学）；European Systemic Risk Board Secretariat, European Central Bank（欧洲系统性风险委员会秘书处、欧洲中央银行）；ETH Zurich（苏黎世联邦理工学院）
本研究提出一种动态图神经网络架构，在利率互换交易网络模拟数据上验证其可准确预测21天内的净变动保证金，为金融压力测试和系统性风险监测提供新工具。
2024-10-30 cs.LG q-fin.RM stat.ML
