Ahpatron: A New Budgeted Online Kernel Learning Machine with Tighter Mistake Bound
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）
针对预算在线核学习的错误界问题，提出新型模型Ahpatron，通过基于主动更新感知机AVP的半样本移除投影预算维护机制，实现更紧错误界，性能在同或更小预算下优于现有最优算法。
2023-12-12 cs.LG stat.ML
Fundamental Bounds on Online Strategic Classification
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）；University of California, Berkeley（加州大学伯克利分校）
研究战略智能体可操纵特征时的在线二分类问题，证明其与非战略情形存在根本差异，给出确定性算法的最优犯错界，并设计随机算法实现次线性遗憾。
2024-06-25 cs.GT cs.LG
Strategic Classification under Unknown Personalized Manipulation
Toyota Technological Institute of Chicago（芝加哥丰田技术学院）
本文研究个性化且未知的球操纵下的策略分类，在多种信息场景中给出在线错误界与PAC样本复杂度，并证明非球操纵下即使完全观测也存在$Ω(|H|)$下界。
2024-01-15 cs.GT cs.LG
PRIL: Perceptron Ranking Using Interval Labeled Data
IIIT Hyderabad（印度国际信息技术学院海得拉巴分校）
本文提出了一种利用区间标记数据学习排序分类器的在线学习算法PRIL，并证明了该算法的正确性。如果存在一个理想的分类器，使得它给出的秩总是在它的标签区间内，我们证明了它在有限步内的收敛性。然后，我们推广这个错误界结果的一般情况下。我们还提供了所提出的算法的遗憾界。我们提出了一个乘法更新算法PRIL称为M-PRIL。我们提供了它的正确性和收敛性结果。我们通过展示PRIL在各种数据集上的性能来展示PRIL的有效性。
2018-02-12 cs.LG
The Maximum Cosine Framework for Deriving Perceptron Based Linear Classifiers
Technion（以色列理工学院）；University of Haifa（海法大学）
在这项工作中，我们引入了一个数学框架，称为最大余弦框架或MCF，用于导出新的线性分类器。该方法是基于选择一个适当的界限之间的夹角的余弦目标函数和算法的。为了证明其正确性，我们使用MCF来展示如何重新生成侵略性ROMMA的更新规则。此外，我们构造了一个余弦界，我们建立了最大余弦感知算法，或简称为MCP算法。我们证明了MCP和感知器具有相同的错误界。此外，我们证明了MCP在真实数据集上的良好性能。实验表明，在单遍学习的限制下，MCP算法的性能优于PA和积极ROMMA。
2017-07-04 cs.LG
Perceptron like Algorithms for Online Learning to Rank
University of Michigan（密歇根大学）
感知器是一个经典的在线学习分类函数的算法。在本文中，我们提供了一个新的扩展的感知器算法的学习排序问题的信息检索。我们考虑流行的列表式性能指标，如归一化贴现累积增益（NDCG）和平均精度（AP）。感知器用于分类的现代观点是，它只是在线梯度下降（OGD）的一个实例，在错误轮次期间，使用铰链损失函数。出于这种解释，我们提出了一个新的家庭列表，大利润率排名代理。这个家族的成员可以被认为是铰链缺失的类似物。利用所提出的家庭的一定的自约束属性，我们提供了一个保证的累积NDCG（或AP）引起的损失，我们的感知器般的算法。我们表明，如果存在一个完美的甲骨文排名器，可以正确地排名在一个在线的排名数据序列中的每个实例，有一定的利润率，该序列上的感知算法的累积损失是有界的常数，无论序列的长度。这个结果让人想起Novikoff的分类感知器收敛定理。此外，我们证明了一个下界的累积损失可实现的任何确定性算法，假设存在完美的预言排名。下界表明，我们的感知机界是不紧，我们提出了另一个，\emph{purely online}，算法达到了下界。我们提供了模拟和大型商业数据集的实证结果来证实我们的理论结果。
2016-08-23 cs.LG stat.ML
Cumulative Sum Ranking
Pontifícia Univesidade Católica do Rio de Janeiro（里约热内卢天主教大学）
有序回归的目标是找到一个规则，从给定的集合中排列项目。几个学习算法来解决这个预测问题，建立一个二进制分类器的集成。投影排名使用相互依赖的二进制感知器。这些感知器共享相同的方向向量，但使用不同的偏置值。类似的方法使用独立的方向向量和偏置。为了组合二进制预测，大多数采用简单的计数算法。在这里，我们引入了一种新的累积和评分函数来组合二进制预测。建议的得分值聚合了每个相关二元分类的强度，即项目的排名有多大。我们表明，我们的建模铸造有序回归作为一个结构化的感知器问题。因此，我们简化了它的制定和描述，这导致两个简单的在线学习算法。第二个算法是第一个算法的被动攻击版本。我们证明了在一定的秩可分性条件下，这两种算法收敛。此外，我们提供的错误界的两个在线算法。对于被动-攻击版本，我们假设分离裕度的知识，这显着提高了相应的错误界。此外，我们表明，投影排名是我们的预测算法的一个特殊情况。从神经网络架构的角度来看，我们的实证研究结果表明，有序回归的cusum单元层，而不是通常的softmax层的多类问题。
2019-11-25 cs.LG stat.ML
Efficient Online Large-Margin Classification via Dual Certificates
Discipline of Business Analytics, The University of Sydney（商业分析系，悉尼大学）；Tepper School of Business, Carnegie Mellon University（商学院，卡内基梅隆大学）
本文提出一种基于对偶证书的在线大间隔分类算法，利用平移不变性获得更优的错误界限，在特定参数下每序列最多两次错误，且计算效率与现有算法相当，准确性显著提升。
2025-09-24 cs.LG math.OC
Interpolating Classifiers Make Few Mistakes
University of Chicago（芝加哥大学）；University of California, Berkeley（加州大学伯克利分校）
本文对最小范数插值分类器（MNIC）的遗憾性和推广性进行了初步分析。MNIC是最小再生核希尔伯特空间范数的函数，其在有限数据集上完美地内插标签模式。我们推导出MNIC的错误界和一个正则化的变体，适用于所有的数据集。这个界限来自矩阵逆的基本性质。在数据独立同分布的假设下，错误界意味着MNIC以与插值解的范数成正比且与数据点的数量成反比的速率推广。该速率与针对边缘分类器和感知器推导的类似速率相匹配。我们推导出几种合理的生成模型，其中插值分类器的范数是有界的，或者在$n$中以次线性的速率增长。我们还表明，只要人口类条件分布是充分可分离的总变差，然后MNIC推广速度快。
2021-07-29 cs.LG cs.NA math.NA
Quantum Perceptron Revisited: Computational-Statistical Tradeoffs
Aix-Marseille Université（艾克斯-马赛大学）；École Normale Superieure de Lyon（里昂高等师范学院）；CNRS（法国国家科学研究中心）
量子机器学习算法可以提供比经典算法更快的速度;然而，它们是否也可以实现良好的泛化仍然不清楚。最近，Wiebe等人提出了两个量子感知器模型，它们使用Grover搜索对经典感知器算法进行了二次改进。虽然第一个模型降低了训练集大小的复杂性，但第二个模型提高了感知器错误数量的界限。本文提出了一种量子-经典混合感知器算法，该算法比经典感知器具有更低的复杂度和更好的泛化能力。我们表现出一个二次改进的经典感知器的样本数量和利润率的数据。我们推导出一个约束的假设返回我们的算法，这与经典的在线感知器得到的相比毫不逊色的预期误差。我们使用数值实验来说明量子感知器学习中计算复杂性和统计准确性之间的权衡，并讨论了将量子感知器模型实现为近期量子设备的一些关键实际问题，由于固有的噪声，其实际实现是一个严峻的挑战。然而，潜在的好处使纠正这一点值得。
2022-06-20 cs.LG quant-ph
Low congestion online routing and an improved mistake bound for online prediction of graph labeling
Kasetsart University（泰国农业大学）；Chulalongkorn University（朱拉隆功大学）
在本文中，我们展示了一定的在线低拥塞路由问题和在线预测的图形标记之间的连接。更具体地说，我们证明了，如果存在一个路由方案，保证拥塞的$α$的任何边缘，存在一个在线预测算法的错误界$α$倍的切割大小，这是由标签划分图顶点的切割的大小。利用已知的$O(\log n)$对$n$的界，我们得到了一个改进的预测算法。与以前的方法，移动到向量空间中的问题，使用图拉普拉斯算子的图形问题，并依赖于感知器算法的分析，我们的证明是纯粹的组合。此外，我们的方法直接推广到标签不是二进制的情况。
2008-09-12 cs.DM cs.DS cs.LG
Online Prediction of Switching Graph Labelings with Cluster Specialists
University College London（伦敦大学学院）
我们解决的问题，预测标签的图形在一个在线设置时，标签随时间而变化。我们提出了一种算法的基础上专家的方法，我们开发的机器集群专家概率利用集群结构的图形。我们的算法有两个变种，其中之一令人惊讶的是，只需要$\mathcal{O}(\log n)$时间上的任何审判$t$上的$n$ -顶点图，指数加速现有的方法。我们证明了我们的算法的两个变种切换错误绑定的保证。此外，这些错误的界限平滑地随着连续标记之间的变化幅度而变化。我们在Chicago Divvy Bicycle Sharing数据上进行了实验，结果表明我们的算法显著优于现有算法（内核化的感知器）以及几个自然基准。
2019-06-17 cs.LG stat.ML
Strategic Littlestone Dimension: Improved Bounds on Online Strategic Classification
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；University of California, Berkeley（加州大学伯克利分校）；Chinese University of Hong Kong（香港中文大学）
本文提出战略 Littlestone 维度，用于刻画在线战略分类中操纵图与假设类的联合复杂度，并给出可实现及不可知设置下的最优或改进遗憾界。
2024-07-16 cs.GT cs.LG
Bandit Multiclass Linear Classification: Efficient Algorithms for the Separable Case
Yahoo Research（雅虎研究院）；New York University（纽约大学）；University of Southern California（南加州大学）；Microsoft Research（微软研究院）
我们研究了带Bandit反馈的高效在线多类线性分类问题，其中所有样本都属于$K$类之一，并且位于$d$维欧氏空间中.以前的工作已经离开了设计有效的算法有限的错误界限时，数据是线性可分的利润$γ$的挑战。在这项工作中，我们向这个问题迈出了第一步。我们考虑两个概念的线性可分性：强和弱。1.在强线性可分性条件下，我们设计了一个有效的算法，达到了$O\left( K/γ^2 \right)$的近最优错误界。2.在弱线性可分性条件下，我们设计了一个错误界为$\min (2^{\widetilde{O}(K \log^2 (1/γ))}, 2^{\widetilde{O}(\sqrt{1/γ} \log K)})$的有效算法。我们的算法基于内核感知器，其灵感来自于（Klivans和Servedio，2008）关于不正确学习半空间交集的工作。
2019-06-18 cs.LG stat.ML
Online Similarity Prediction of Networked Data from Known and Unknown Graphs
Università dell’Insubria（因苏布里亚大学）；University College London（伦敦大学学院）
我们认为在线相似性预测问题的网络数据。我们首先将此任务与更标准的类预测问题相关联，表明给定任意的类预测算法，我们可以构建一个具有“几乎”相同错误界的相似性预测算法，反之亦然。在注意到这个一般的建设是计算上不可行的，我们的目标是我们的研究{ \em可行}相似性预测算法的网络数据。我们最初假设网络结构对于学习者是{ \em已知}的。在这里，我们观察到矩阵Winnow \cite{w07}有一个接近最优的错误保证，在每轮的立方预测时间的代价。这促使我们努力实现一个有效的感知算法，具有较弱的错误保证，但只有多对数预测时间。然后，我们的重点转向具有挑战性的情况下，网络的结构最初是{ \em未知}的学习者。在这种新的设置，网络结构只是逐步揭示，我们得到了一个错误有界的算法，每轮的二次预测时间。
2013-03-15 cs.LG
Multiclass Linear Perceptrons with Multiplicative Margins
Luleå University of Technology（吕勒奥理工大学）；Institute of Information Technologies and Systems（信息技术与系统研究所）；La Trobe University（拉筹伯大学）；Örebro University（厄勒布鲁大学）；Research Institutes of Sweden（瑞典研究院）
本文提出带乘性间隔机制的多类线性感知机，推导其损失函数与错误界，实验显示其性能优于标准感知机及经典基线，可用于多种机器学习相关场景。
2026-09-01 cs.LG cs.NE
Should Decision-Makers Reveal Classifiers in Online Strategic Classification?
Harvard University（哈佛大学）；TTIC；UC Berkeley（伯克利大学）
本文研究在线策略分类中隐藏分类器对决策者表现的影响，证明在智能体基于历史分类器加权平均进行操纵时，决策者错误数会以与操纵图最大入度和折扣因子相关的倍数增加，从而揭示隐藏分类器可能适得其反。
2025-06-02 cs.GT cs.LG
Provably Accurate and Scalable Linear Classifiers in Hyperbolic Spaces
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
许多高维实际数据集都具有由图或时间序列诱导的层次结构。这样的数据集很难在欧几里得空间中处理，人们经常在其他空间形式中寻找低维嵌入来执行所需的学习任务。对于分层数据，选择的空间是双曲空间，因为它保证了树状结构的低失真嵌入。双曲空间的几何学具有在欧几里得空间中没有遇到的性质，当试图严格分析算法解决方案时，这些性质构成了挑战。我们提出了一个统一的框架，学习可扩展的和简单的双曲线性分类与可证明的性能保证。我们的方法的要点是专注于庞加莱球模型和制定的分类问题，使用切空间形式主义。我们的研究结果包括一个新的双曲感知器算法，以及一个高效和高精度的凸优化设置双曲支持向量机分类。此外，我们调整我们的方法，以适应二阶感知器，其中数据是基于二阶信息（相关性）进行预处理，以加速收敛，和战略感知器，其中潜在的操纵数据以在线方式到达，并顺序作出决定。庞加莱二阶感知器和策略感知器的优异性能表明，该框架可以扩展到双曲空间中的一般机器学习问题。我们的实验结果，关于合成的，单细胞RNA-seq表达测量，CIFAR 10，Fashion-MNIST和mini-ImageNet，建立了所有算法可证明收敛，并具有与欧几里得对应算法相当的复杂性。随附代码可在https://github.com/thupchnsky/PoincareLinearClassification上找到。
2022-03-11 cs.LG
Learnability Gaps of Strategic Classification
Stanford（斯坦福大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Technion（以色列理工学院）；Toyota Technological Institute of Chicago（丰田芝加哥理工学院）
本文研究策略性分类与标准学习之间的可学习性差距，证明可学习类别在完全信息、仅操纵后数据及未知操纵图等设定下均策略性可学习，并给出近乎紧的样本复杂度、遗憾和错误界。
2024-02-29 cs.GT cs.LG
On Randomized Algorithms in Online Strategic Classification
University of Maryland（马里兰大学）；Harvard University（哈佛大学）
研究在线策略分类中随机化算法的优势，在可实现和不可知场景下分别给出基于Littlestone维度和操纵图最大度的改进界限，并证明随机化可突破确定性算法的下界。
2026-06-17 cs.GT cs.LG
Guess-and-Learn (G&L): Measuring the Cumulative Error Cost of Cold-Start Adaptation
本文提出Guess-and-Learn (G&L) v1.0框架，通过顺序标注中的累积错误轨迹衡量模型冷启动适应成本，并在MNIST和AG News上揭示不同模型的早期学习效率差距。
2025-08-29 cs.LG
Conservative classifiers do consistently well with improving agents: characterizing statistical and online learning
Northwestern University（西北大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Alphabetical order（字母顺序）；University of Chicago（芝加哥大学）
本文研究了改进智能体对分类器的影响，提出了一种非对称的最小一致概念类，并在可实现设置中精确刻画了带改进的proper学习。通过欧几里得球改进集，解决了开放性问题，降低了泛化误差并改进了在线学习界限。
2025-08-07 cs.GT cs.LG cs.MA
