Perceptron like Algorithms for Online Learning to Rank
University of Michigan（密歇根大学）
感知器是一个经典的在线学习分类函数的算法。在本文中，我们提供了一个新的扩展的感知器算法的学习排序问题的信息检索。我们考虑流行的列表式性能指标，如归一化贴现累积增益（NDCG）和平均精度（AP）。感知器用于分类的现代观点是，它只是在线梯度下降（OGD）的一个实例，在错误轮次期间，使用铰链损失函数。出于这种解释，我们提出了一个新的家庭列表，大利润率排名代理。这个家族的成员可以被认为是铰链缺失的类似物。利用所提出的家庭的一定的自约束属性，我们提供了一个保证的累积NDCG（或AP）引起的损失，我们的感知器般的算法。我们表明，如果存在一个完美的甲骨文排名器，可以正确地排名在一个在线的排名数据序列中的每个实例，有一定的利润率，该序列上的感知算法的累积损失是有界的常数，无论序列的长度。这个结果让人想起Novikoff的分类感知器收敛定理。此外，我们证明了一个下界的累积损失可实现的任何确定性算法，假设存在完美的预言排名。下界表明，我们的感知机界是不紧，我们提出了另一个，\emph{purely online}，算法达到了下界。我们提供了模拟和大型商业数据集的实证结果来证实我们的理论结果。
2016-08-23 cs.LG stat.ML
Margins, Kernels and Non-linear Smoothed Perceptrons
Carnegie Mellon University（卡内基梅隆大学）
本文研究了在RKHS中寻找非线性分类函数的问题，提出了一种加速平滑算法，具有与经典核感知机相似的收敛特性，并给出了在无分类器存在时的分离定理。
2015-05-15 cs.AI cs.LG cs.NA
Quantum Perceptron Models
Microsoft Research（微软研究院）
我们展示了量子计算如何在感知器模型的计算和统计复杂性方面提供非平凡的改进。我们开发了两个量子算法的感知器学习。第一种算法利用量子信息处理来确定分离超平面，其使用在数据点$N$的数量中次线性的多个步骤，即$O(\sqrt{N})$。第二个算法说明了如何通过量子手段将$O(\frac{1}{γ^2})$的经典错误界进一步改进为$O(\frac{1}{\sqrtγ})$，其中$γ$表示裕度。这种改进是通过将量子振幅放大应用于感知器模型的版本空间解释来实现的。
2016-02-15 cs.LG quant-ph stat.ML
Quantum Perceptron Revisited: Computational-Statistical Tradeoffs
Aix-Marseille Université（艾克斯-马赛大学）；École Normale Superieure de Lyon（里昂高等师范学院）；CNRS（法国国家科学研究中心）
量子机器学习算法可以提供比经典算法更快的速度;然而，它们是否也可以实现良好的泛化仍然不清楚。最近，Wiebe等人提出了两个量子感知器模型，它们使用Grover搜索对经典感知器算法进行了二次改进。虽然第一个模型降低了训练集大小的复杂性，但第二个模型提高了感知器错误数量的界限。本文提出了一种量子-经典混合感知器算法，该算法比经典感知器具有更低的复杂度和更好的泛化能力。我们表现出一个二次改进的经典感知器的样本数量和利润率的数据。我们推导出一个约束的假设返回我们的算法，这与经典的在线感知器得到的相比毫不逊色的预期误差。我们使用数值实验来说明量子感知器学习中计算复杂性和统计准确性之间的权衡，并讨论了将量子感知器模型实现为近期量子设备的一些关键实际问题，由于固有的噪声，其实际实现是一个严峻的挑战。然而，潜在的好处使纠正这一点值得。
2022-06-20 cs.LG quant-ph
A Generic Online Parallel Learning Framework for Large Margin Models
Peking University（北京大学）
为了加快训练过程，许多现有系统使用并行技术用于在线学习算法。然而，目前的研究主要集中在随机梯度下降算法上，而对其他算法的研究较少。我们提出了一个通用的在线并行学习框架的大利润率模型，并分析了我们的框架流行的大利润率算法，包括MIRA和结构化感知器。我们的框架是无锁的，易于在现有系统上实现。实验表明，我们的框架系统可以获得接近线性的速度增加运行线程，并没有损失的准确性。
2017-03-02 cs.CL cs.LG
Linear Separation via Optimism
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
二进制线性分类从机器学习文献的早期就已经被探索过了。也许最经典的算法是Perceptron，其中维护用于分类示例的权重向量，并在发现不正确的示例时进行添加更新。感知器已经被彻底研究，几十年来已经提出了几个版本。关于感知器的关键理论事实是，只要存在具有一定裕度$γ> 0$的完美线性分类器，则找到这样的完美线性分离器所需的更新次数由$\frac{1}{γ^2}$限定。从未完全解决的问题是：是否存在一种算法，可以用更少的更新来实现这一点？在本文中，我们回答这一点是肯定的：我们提出了乐观感知算法，一个简单的过程，发现一个分离的超平面不超过$\frac{1}γ$更新。我们还通过实验表明，这种方法可以显着优于感知器。
2020-11-17 cs.LG stat.ML
Efficient Online Large-Margin Classification via Dual Certificates
Discipline of Business Analytics, The University of Sydney（商业分析系，悉尼大学）；Tepper School of Business, Carnegie Mellon University（商学院，卡内基梅隆大学）
本文提出一种基于对偶证书的在线大间隔分类算法，利用平移不变性获得更优的错误界限，在特定参数下每序列最多两次错误，且计算效率与现有算法相当，准确性显著提升。
2025-09-24 cs.LG math.OC
Generative diffusion for perceptron problems: statistical physics analysis and efficient algorithms
Department of Computing Sciences, BIDSA Bocconi University（计算科学系，BIDSA 伯克利大学）
本文提出基于统计物理的生成扩散算法，用于高效采样非凸感知机问题的解空间，通过分析发现负边距情况下可高效采样，而二进制权重则需通过特定势能函数和退火过程实现高效采样。
2025-12-02 cond-mat.dis-nn cs.LG
On Quantum Perceptron Learning via Quantum Search
Aix-Marseille Université, CNRS, LIS（艾克斯-马赛大学，法国国家科学研究中心，LIS实验室）；Institut Universitaire de France（法国大学研究院）
本文修正了量子版本空间感知机算法的复杂度假设，提出两种量子增强切割平面算法，利用Grover搜索和量子行走搜索，分析了查询与算术复杂度，揭示了边际、维度与量子资源间的权衡。
2026-06-23 cs.LG quant-ph stat.ML
The Strategic Perceptron
University of Maryland（马里兰大学）；Northwestern University（西北大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Amazon（亚马逊）
经典的感知器算法提供了一个简单而优雅的学习线性分类器的过程。在每一步中，该算法观察样本的位置和标签，并在出错时相应地更新当前预测器。然而，在存在期望被分类为阳性并且能够以有限的量修改其位置的策略性试剂的情况下，分类器可能无法观察试剂的真实位置，而是试剂假装的位置。与具有完美位置知识的原始设置不同，在这种情况下，Perceptron算法无法实现其保证，并且我们说明了预测器永远在两个解决方案之间振荡的示例，即使存在完美的大余量线性分类器，也会产生无限数量的错误。我们的主要贡献是提供了一个修改后的感知器风格的算法，使有限数量的错误存在的战略代理与$\ell_2$和加权$\ell_1$操纵成本。在我们的基线模型中，操纵成本的知识（即，代理可以操纵的程度）。在我们最一般的模型中，我们放松了这一假设，并提供了一种算法，该算法可以学习和改进分类器及其成本估计，即使在操作成本未知的情况下也可以实现良好的错误范围。
2021-03-22 cs.GT cs.LG stat.ML
Exact full-RSB SAT/UNSAT transition in infinitely wide two-layer neural networks
Bocconi University（博科尼大学）；Sapienza Università di Roma（罗马第一大学（萨皮恩扎大学））
本研究利用完全RSB猜想精确计算了负感知机和无限宽两层神经网络的SAT/UNSAT相变值，发现Overlap间隙使AMP算法定理失效，并证明梯度下降因偏向不可达的非典型状态而无法达到最大容量。
2025-04-01 cond-mat.dis-nn cs.LG math.PR
Cumulative Sum Ranking
Pontifícia Univesidade Católica do Rio de Janeiro（里约热内卢天主教大学）
有序回归的目标是找到一个规则，从给定的集合中排列项目。几个学习算法来解决这个预测问题，建立一个二进制分类器的集成。投影排名使用相互依赖的二进制感知器。这些感知器共享相同的方向向量，但使用不同的偏置值。类似的方法使用独立的方向向量和偏置。为了组合二进制预测，大多数采用简单的计数算法。在这里，我们引入了一种新的累积和评分函数来组合二进制预测。建议的得分值聚合了每个相关二元分类的强度，即项目的排名有多大。我们表明，我们的建模铸造有序回归作为一个结构化的感知器问题。因此，我们简化了它的制定和描述，这导致两个简单的在线学习算法。第二个算法是第一个算法的被动攻击版本。我们证明了在一定的秩可分性条件下，这两种算法收敛。此外，我们提供的错误界的两个在线算法。对于被动-攻击版本，我们假设分离裕度的知识，这显着提高了相应的错误界。此外，我们表明，投影排名是我们的预测算法的一个特殊情况。从神经网络架构的角度来看，我们的实证研究结果表明，有序回归的cusum单元层，而不是通常的softmax层的多类问题。
2019-11-25 cs.LG stat.ML
The Stochastic Gradient Descent for the Primal L1-SVM Optimization Revisited
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
我们重新考虑随机（次）梯度方法的无约束原始L1-SVM优化。我们观察到，如果学习率与步数成反比，即，任何训练模式被提供给算法的次数，更新规则可以被转换成经典的具有容限的感知器中的一个，其中容限阈值随着步骤的数目线性地增加。此外，如果我们通过可能随机排列的训练集重复循环，则通过权重向量的扩展自然定义的对偶变量作为其上产生裕度误差的模式的线性组合，在每个完整循环结束时自动服从对偶优化中产生的框约束。这使得双拉格朗日运行下界的主要目标趋于它在最佳状态，并提供了一个上限的相对精度实现，这提供了一个有意义的停止标准。此外，我们提出了一种机制，重复呈现相同的模式，以保持上述性质的算法。最后，我们给出了实验证据，沿着这些线路构造的算法表现出显着改善的性能。
2014-01-25 cs.AI cs.LG
Certified Robust Models with Slack Control and Large Lipschitz Constants
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出校准Lipschitz间隔损失（CLL），通过显式校准损失以控制松弛，解决最小化Lipschitz常数导致的过度平滑和准确率下降问题，在较大常数下提升鲁棒性并超越SOTA。
2023-09-12 cs.CV cs.LG stat.ML
Minimax Optimal Convergence of Gradient Descent in Logistic Regression via Large and Adaptive Stepsizes
University of California, Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
该研究针对线性可分数据的逻辑回归，提出大且自适应步长的梯度下降方法，证明其在预热步骤后可立即获得极小风险，且步复杂度达极小极大最优，还扩展到多种损失函数和两层网络。
2025-04-18 cs.LG stat.ML
FADO: A Deterministic Detection/Learning Algorithm
本文提出并研究了一种对抗性场景的检测技术（称为确定性检测）。这种技术提供了一种替代的检测方法，以防通常的随机方法不适用：这可能是因为所研究的现象不遵循随机抽样方案，样本是高维的，随后的多重检验校正使结果过于保守，样本量太小，无法得到渐近结果（例如，中心极限定理）踢，或者不能允许随机方法固有的小概率故障。相反，本文设计了一种基于机器学习和在线学习理论的方法：这种检测算法-名为在线故障检测（FADO）-具有检测能力的理论保证。发现一个版本的余量调节FADO的检测性能。一个精确的表达式推导出的性能的边界，并提出评估所涉及的数量的影响的实验结果。场景检测的案例研究被用来说明该方法。该技术与线性感知器规则密切相关，继承了其计算吸引力和对各种扩展的灵活性。
2017-11-07 cs.LG stat.ML
Bandit Multiclass Linear Classification: Efficient Algorithms for the Separable Case
Yahoo Research（雅虎研究院）；New York University（纽约大学）；University of Southern California（南加州大学）；Microsoft Research（微软研究院）
我们研究了带Bandit反馈的高效在线多类线性分类问题，其中所有样本都属于$K$类之一，并且位于$d$维欧氏空间中.以前的工作已经离开了设计有效的算法有限的错误界限时，数据是线性可分的利润$γ$的挑战。在这项工作中，我们向这个问题迈出了第一步。我们考虑两个概念的线性可分性：强和弱。1.在强线性可分性条件下，我们设计了一个有效的算法，达到了$O\left( K/γ^2 \right)$的近最优错误界。2.在弱线性可分性条件下，我们设计了一个错误界为$\min (2^{\widetilde{O}(K \log^2 (1/γ))}, 2^{\widetilde{O}(\sqrt{1/γ} \log K)})$的有效算法。我们的算法基于内核感知器，其灵感来自于（Klivans和Servedio，2008）关于不正确学习半空间交集的工作。
2019-06-18 cs.LG stat.ML
Typical and atypical solutions in non-convex neural networks with discrete and continuous weights
Bocconi University（博科尼大学）
该研究分析二元与连续负边界感知机两种非凸神经网络的解景观，揭示次优平坦极小值与主导解的结构差异、约束密度阈值的影响，及平坦极小值对泛化性能的提升作用。
2023-07-24 cond-mat.dis-nn cs.LG math.PR
