Implicit Target Shift in Online Learning: Characterization and Correction
Department of Physics(物理系);Washington University in St. Louis(圣路易斯华盛顿大学);Department of Neuroscience(神经科学系)
本文研究了在线学习中目标偏移的本质,提出通过目标修正使在线核学习与离线学习等效,并在图像分类任务中验证了其有效性。
2026-10-06 cs.LG stat.ML
Beyond Implicit Bias: The Insignificance of SGD Noise in Online Learning
SEAS, Harvard University(哈佛大学工程与应用科学学院);Kempner Institute, Harvard University(哈佛大学坎普纳研究所)
本文通过图像和语言数据的实证分析,发现在线(单轮)学习中 SGD 噪声不带来隐式偏置优势,其好处仅限于计算效率,并据此提出在线 SGD 可视为沿无噪声梯度下降“黄金路径”的含噪步骤,挑战了传统理解。
2024-06-07 cs.LG stat.ML
Temporal Variability in Implicit Online Learning
Università di Milano(米兰大学);Boston University(波士顿大学)
在在线学习的背景下,隐式算法从实用的角度来看是非常成功的。然而,最严格的遗憾分析只显示了在线镜像下降的边际改善。在这项工作中,我们揭示了这种行为进行了仔细的遗憾分析。我们证明了一个新的静态遗憾界,依赖于时间的变化序列的损失函数,一个数量,这是经常遇到的考虑动态竞争对手。例如,我们表明,如果时间变异性是恒定的,并且学习率被适当地调整,而不需要平滑损失,则后悔可以是恒定的。此外,我们提出了一个自适应算法,实现了这个遗憾界的时间变化性的先验知识,并证明了一个匹配的下限。最后,我们在分类和回归数据集上验证了我们的理论发现。
2020-11-06 cs.LG stat.ML
Infer Implicit Contexts in Real-time Online-to-Offline Recommendation
Koubei, Alibaba Group(阿里巴巴集团口碑);Tsinghua University(清华大学)
理解用户上下文对于成功的推荐至关重要,特别是对于O2O推荐,如Yelp,Groupon和口碑。与传统推荐中个人偏好大多是静态的不同,O2O推荐应该是动态的,以捕捉用户在时间和位置上的变化。然而,精确地推断用户的实时的【形】上下文信息,特别是那些隐式的,是非常困难的,这是O2O推荐的核心挑战。在本文中,我们提出了一种新的方法,称为混合注意力约束去噪自动编码器(MACDAE),推断隐式上下文,从而提高质量的实时的【形】O2O推荐。在MACDAE中,我们首先利用用户,项目和显式上下文之间的交互来推断用户的隐式上下文,然后将学习到的隐式上下文表示组合到端到端模型中以进行推荐。MACDAE在实际系统中工作得很好。我们对所提出的方法进行了离线和在线评估。在几个真实世界的数据集(Yelp,Dianping和Koubei)上的实验表明,我们的方法可以实现比最先进的显着改进。此外,在线A/B测试表明,在现实世界的流量中,点击率提高了2.9%,转化率提高了5.6%。我们的模型已经在口碑网的“猜你喜欢”推荐产品中得到了应用。
2019-07-08 cs.IR cs.LG stat.ML
Tuning-Free Online Robust Principal Component Analysis through Implicit Regularization
Department of Electrical Engineering, Indian Institute of Technology Madras(电子工程系,印度理工学院马德拉斯)
针对标准在线鲁棒主成分分析(OR-PCA)依赖数据集敏感调参的问题,提出利用修正梯度下降的隐式正则化效应实现免调参,在模拟与真实数据集上表现优于或等同于调参后的OR-PCA,提升了大规模数据集的可扩展性。
2025-08-14 cs.CV cs.LG stat.ML
Stabilized Sparse Online Learning for Sparse Data
Columbia University(哥伦比亚大学)
随机梯度下降(SGD)通常用于大规模机器学习问题的优化。Langford等人(2009)介绍了一种稀疏在线学习方法,通过截断梯度来诱导稀疏性。然而,对于高维稀疏数据,由于特征稀疏性的异质性,该方法收敛速度慢且方差大。为了缓解这个问题,我们引入了一个稳定的截断随机梯度下降算法。我们采用软阈值方案的权重向量,其中施加的收缩是自适应的每个功能中可用的信息量。所得到的稀疏权重向量的可变性进一步控制的稳定性选择集成的信息截断。为了更好地收敛,我们采用了一种退火策略的截断率,这导致了一个平衡的权衡之间的探索和利用学习稀疏的权重向量。数值实验表明,该算法在预测精度、稀疏性和稳定性方面优于原算法。
2017-05-09 cs.LG stat.ML
CausalTAD: Causal Implicit Generative Model for Debiased Online Trajectory Anomaly Detection
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);DiDi Global Inc.(滴滴全球公司)
本文提出因果隐式生成模型CausalTAD,通过do-演算消除路网偏好混杂偏置,以 $P({T}|do({C}))$ 作为异常判据,在训练轨迹和分布外数据上均显著提升轨迹异常检测性能。
2024-12-25 cs.LG
Learning Neural Ranking Models Online from Implicit User Feedback
University of Virginia(弗吉尼亚大学)
现有的在线学习排序(OL 2 R)解决方案仅限于线性模型,这是不足以捕捉查询和文档之间可能的非线性关系。在这项工作中,为了释放OL 2 R中表示学习的力量,我们提出直接从用户的隐式反馈(例如,点击)在飞行中收集。我们专注于RankNet和LambdaRank,由于它们在离线设置中的巨大经验成功和广泛采用,并基于使用神经切线核的神经网络的收敛分析来控制臭名昭著的探索-利用权衡。具体而言,在每轮结果服务中,仅对两个文档之间的预测排名顺序不确定的文档对进行探索;否则,将在结果排名中遵循排名器的预测顺序。我们证明了在标准假设下,我们的OL 2 R解决方案实现了间隙依赖的遗憾上限$O(\log^2(T))$,其中的遗憾是定义在$T$轮的错序对的总数。在两个公共学习排序基准数据集上对一组广泛的最先进的OL 2 R基线进行比较,证明了所提出的解决方案的有效性。
2022-01-17 cs.IR cs.LG
Implicitly Normalized Online PCA: A Regularized Algorithm with Exact High-Dimensional Dynamics
Machine Learning and Information Processing Group, KUIS AI Center(机器学习与信息处理组,KUIS人工智能中心);Department of Electrical and Electronics Engineering(电子与电气工程系)
隐式归一化在线主成分分析(INO-PCA)通过动态范数演变和正则化更新,在高维极限下实现对问题相关信息的有效编码和利用,优于Oja算法并适应非平稳环境。
2025-12-01 cs.LG stat.ML
Implicit Look-alike Modelling in Display Ads: Transfer Collaborative Filtering to CTR Estimation
University College London(伦敦大学学院);MediaGamma Limited(MediaGamma有限公司)
用户行为定位在在线广告中至关重要。与赞助搜索关键字定位和上下文广告页面内容定位相比,用户行为定位通过跟踪用户的在线行为来建立用户的兴趣档案,然后根据每个用户的兴趣提供相关的广告,这导致更高的定位准确性,从而更好地改善广告效果。当前的用户分析方法包括构建关键字和主题标签或将用户映射到层次分类法。然而,据我们所知,有没有以前的工作,明确调查用户在线访问的相似性,并将这种相似性到他们的广告响应预测。在这项工作中,我们提出了一个通用的框架,学习用户简档的基础上,他们的在线浏览行为,并将学习到的知识,他们的广告响应的预测。在技术上,我们提出了一个基于概率潜在因素图模型的迁移学习模型,其中用户的广告响应配置文件是从他们的在线浏览配置文件生成的。基于真实世界数据的大规模实验表明,我们的解决方案在一些强基线上有显着的改善。
2016-01-11 cs.IR cs.LG
BubbleRank: Safe Online Learning to Re-Rank via Implicit Click Feedback
University of Amsterdam(阿姆斯特丹大学);Google Research(谷歌研究院);DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
在本文中,我们研究的问题,安全的在线学习重新排名,用户的反馈是用来提高显示列表的质量。学习排序传统上被研究在两个设置。在离线设置中,排名通常从法官创建的相关性标签中学习。这种方法通常已成为工业排名应用(如搜索)的标准。然而,这种方法缺乏探索,因此受到离线训练数据的信息内容的限制。在在线设置中,算法可以对列表进行实验,并以顺序的方式从反馈中学习。Bandit算法非常适合这种设置,但它们倾向于从头开始学习用户偏好,这导致了高昂的初始探索成本。这对排名列表中的安全探索提出了额外的挑战。我们提出了BubbleRank,一个强盗算法的安全重新排名,结合了离线和在线设置的优势。该算法从一个初始的基本列表开始,并通过逐渐将排名较高的不太有吸引力的项目交换为排名较低的更有吸引力的项目来在线改进它。我们证明了BubbleRank的n步遗憾的上限,优雅地降低了初始基础列表的质量。我们的理论研究结果得到了大规模现实世界点击数据集上的广泛实验的支持。
2019-06-29 cs.LG stat.ML
CoSyn: Detecting Implicit Hate Speech in Online Conversations Using a Context Synergized Hyperbolic Network
IIIT-Delhi(德里印度理工学院);University of Maryland College Park(马里兰大学帕克分校)
本文提出CoSyn,一种上下文协同双曲神经网络,通过结合用户与对话上下文并利用双曲空间建模,有效检测在线对话中的隐式仇恨言论,在6个数据集上性能显著优于基线。
2023-10-24 cs.AI cs.CL cs.LG
IR-MCL: Implicit Representation-Based Online Global Localization
University of Bonn(波恩大学);University of Oxford(牛津大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
确定移动机器人的状态是机器人导航系统的重要组成部分。在本文中,我们解决了使用2D LiDAR数据估计机器人在室内环境中的姿态的问题,并研究了现代环境模型如何改善金标准蒙特卡罗定位(MCL)系统。我们提出了一个神经占用字段隐式地表示使用神经网络的场景。使用预训练的网络,我们可以通过体渲染合成任意机器人姿势的2D LiDAR扫描。基于隐式表示,我们可以获得合成和实际扫描之间的相似性作为观察模型,并将其集成到MCL系统中进行精确定位。我们评估我们的方法对自我记录的数据集和三个公开的。我们表明,我们可以准确和有效地定位机器人使用我们的方法超越了最先进的方法的定位性能。实验表明,所提出的隐式表示能够预测更准确的2D LiDAR扫描,从而为我们基于粒子滤波的定位提供改进的观察模型。我们的方法代码将在https://github.com/PRBonn/ir-mcl上提供。
2023-02-03 cs.AI cs.LG cs.RO
A closer look at temporal variability in dynamic online learning
Università di Milano(米兰大学);Boston University(波士顿大学)
本文研究了在信息充分的在线学习情境下,动态后悔的设置问题。特别是,我们分析的损失函数的时间变异性的遗憾界。通过假设序列的损失函数不随时间变化很大,我们表明,它是有可能招致改进的遗憾界相比,现有的结果。我们的方法的关键是在优化过程中使用损失函数(而不是它的梯度)。在隐式算法分析的最新进展的基础上,我们提出了一个适应的隐式版本的在线镜像下降的动态设置。我们所提出的算法不仅是自适应的损失函数的时间变化,但也比较器的序列的路径长度时,一个上限是已知的。此外,我们的分析表明,我们的结果是紧密的,不能得到改善,没有进一步的假设。接下来,我们将展示如何将我们的算法应用于专家建议的学习设置或复合损失函数的设置。最后,当路径长度的上限是不固定的事先,我们展示了如何结合贪婪的策略与现有的强自适应算法,以最佳的竞争对不同的序列的比较器同时进行。
2021-02-15 cs.LG
An Implicit Form of Krasulina's k-PCA Update without the Orthonormality Constraint
University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校);Google Brain(谷歌大脑)
我们对在线$k$ -PCA问题的两个常用更新,即Krasulina和Oja的更新,提出了新的见解。我们发现,Krasulina的更新对应于一个投影梯度下降步骤的正交$k$ -帧的Stiefel流形上,而Oja的更新相当于一个梯度下降步骤使用的非投影梯度。根据这些观察,我们推导出Krasulina的$k$ -PCA更新的更多\emph{implicit}形式,即尽可能多地使用未来梯度信息的版本。最有趣的是,我们的隐式Krasulina更新通过绕过正交约束避免了昂贵的QR分解步骤。我们表明,新的更新实际上对应于一个在线EM步骤应用于概率$k$ -PCA模型。更新的概率视图允许我们在分布式设置中组合多个模型。我们的实验表明,隐式Krasulina更新产生优越的收敛性,同时显着更快。我们还提供了强有力的证据表明,新的更新可以受益于并行性和更稳定的w.r.t.调整学习率。
2019-09-11 cs.LG stat.ML
Precise Regret Bounds for Log-loss via a Truncated Bayesian Algorithm
Purdue University(普渡大学)
我们研究了序贯一般在线回归,也被称为序贯概率分配,对数损失下相比,对广泛的一类专家。我们专注于获得紧密的,往往匹配,下限和上限的顺序极大极小后悔,被定义为超额损失,它招致了一类专家。在证明了一个一般的上界后,我们考虑了从Lipschitz类到有界Hessian类的一些特定的专家类,并导出了匹配的上下界和可证明的最优常数。我们的边界适用于数据维度和轮数的广泛值。为了得到下限,我们使用来自信息论的工具(例如,Shtarkov和)和上界,我们诉诸新的“光滑截断覆盖”的专家类。这使我们能够找到建设性的证据,通过应用一个简单而新颖的截断贝叶斯算法。我们的证明比现有的证明简单得多,但提供了更严格的(通常是最优的)界限。
2022-05-07 cs.IT cs.LG math.IT
Faster Margin Maximization Rates for Generic and Adversarially Robust Optimization Methods
College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院);Google Research(谷歌研究院);School of Electrical and Computer Engineering, Georgia Institute of Technology(佐治亚理工学院电气与计算机工程学院);School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院工业与系统工程学院)
针对 mirror descent、steepest descent 及对抗训练隐式偏差速率较慢的问题,本文将优化转化为正则化双线性博弈的在线学习动态,并利用遗憾界得到显著更快的最大间隔收敛速率。
2024-04-07 cs.LG
Implicit Interpretation of Importance Weight Aware Updates
Boston University(波士顿大学)
该研究针对次梯度下降学习率调优难的问题,基于广义隐式FTRL框架首次证明在线学习场景下IWA更新的遗憾上界严格优于普通梯度更新,表明IWA更新是近似隐式/近端更新,补充了其理论解释。
2023-07-22 cs.LG
Implicit Riemannian Optimism with Applications to Min-Max Problems
Zuse Institute Berlin(柏林Zuse研究所);Carlos III University of Madrid(马德里卡洛斯三世大学)
本文提出基于非精确隐式更新的Hadamard流形黎曼乐观在线学习算法,能处理流形内约束且不依赖几何常数,并据此开发了极小极大问题算法,首次几乎匹配欧几里得问题下界的梯度预言机复杂度。
2025-01-30 cs.LG math.OC
Inverse Multiobjective Optimization Through Online Learning
Amazon(亚马逊);University of Pittsburgh(匹兹堡大学)
我们研究的问题,学习的目标函数或约束的多目标决策模型的基础上,一组顺序到达的决定。特别是,这些决策可能不准确,可能带有测量噪声,或者是决策者有限理性的结果。在本文中,我们提出了一个通用的在线学习框架来处理这个学习问题,使用逆多目标优化。更准确地说,我们开发了两个在线学习算法与隐式更新规则,可以处理噪声数据。数值结果表明,这两种算法都能很好地学习参数,并且对噪声具有很好的鲁棒性。
2022-12-24 cs.LG math.OC
Spectrally-truncated kernel ridge regression and its free lunch
University of California, Los Angeles(加州大学洛杉矶分校)
核岭回归(KRR)是一种广为人知且流行的非参数回归方法,具有许多理想的性质,包括在估计属于常见再生核希尔伯特空间(RKHS)的函数时的极小极大率最优性。然而,由于需要在密集的$n \times n$核矩阵上操作,该方法对于大数据集是计算密集的,其中$n$是样本量。最近,各种近似方案解决KRR已被认为是,和一些分析。一些方法,如Nyström近似和草图已被证明可以保持KRR的速率最优性。在本文中,我们考虑最简单的近似,即,频谱截断的核心矩阵,其最大的$r < n$特征值。我们推导出一个精确的表达式,这个截断KRR的最大风险,在单位球的RKHS。这一结果可用于研究谱截断水平和正则化参数之间的精确权衡。我们发现,只要RKHS是无穷维的,有一个阈值上的$r$,在此之上,频谱截断KRR令人惊讶地优于完整的KRR的极小极大风险,其中最小值是采取了正则化参数。这加强了现有的结果近似计划,通过显示,不仅一个不失去的速率,截断实际上可以提高性能,为所有有限的样本(以上的阈值)。此外,我们证明了谱截断实现的隐式正则化不能代替Hilbert范数正则化。两者都需要达到最佳性能。
2019-10-12 cs.LG math.ST stat.ML
Implicit Temporal Differences
The Technion - Israel Institute of Technology(以色列理工学院);Harvard University(哈佛大学)
在强化学习中,TD($λ$)算法是一种基本的策略评估方法,具有高效的在线实现,适用于大规模问题。TD($λ$)的一个实际缺点是其对步长选择的敏感性。这是一个经验上众所周知的事实,大的步长导致快速收敛,代价是更高的方差和不稳定的风险。在这项工作中,我们介绍了隐式TD($λ$)算法,它具有相同的功能和计算成本的TD($λ$),但显着更稳定。我们提供了一个理论解释这种稳定性和典型的基准任务的隐式TD($λ$)的实证评估。我们的研究结果表明,隐式TD($λ$)优于标准TD($λ$)和一个国家的最先进的方法,自动调整步长,从而显示出广泛的适用性的承诺。
2014-12-21 cs.LG stat.ML
Consistent Position Bias Estimation without Online Interventions for Learning-to-Rank
Cornell University(康奈尔大学)
呈现偏差是从搜索引擎中的隐式反馈中学习时的关键挑战之一,因为它由于排名中的位置、显著性和其他呈现因素而将相关性信号与无信息信号混淆。虽然最近显示了如何反事实的学习排序(LTR)方法\cite{Joachims/etal/17a}可以证明克服演示偏差,如果观察倾向是已知的,它仍然显示如何准确地估计这些倾向。在本文中,我们提出了第一种方法来产生一致的倾向估计没有手动相关性判断,破坏性干预,或限制性的相关性建模假设。我们只需要我们有来自多个不同排名函数的隐式反馈数据。此外,我们认为,我们的估计技术适用于扩展类的上下文基于位置的倾向模型,其中倾向不仅取决于位置,但也可观察到的查询和文档的功能。初步的模拟研究证实,该方法是可扩展的,准确的,和强大的。
2018-06-09 cs.IR cs.LG stat.ML
Efficient learning by implicit exploration in bandit problems with side observations
SequeL team, INRIA Lille – Nord Europe(SequeL团队,INRIA里尔–北欧地区)
本文提出了一种在部分可观测模型下实现近最优后悔保证的算法,通过隐式探索策略在不预先知晓观察系统的情况下提升效率,同时定义了新的部分信息设置以解决在线组合优化问题。
2026-04-27 cs.LG stat.ML
Self-Commitment Latency: A Reward-Free Probe for Prompted Implicit Hacking
Stanford University(斯坦福大学);Tsinghua University(清华大学)
提出自承诺延迟指标,通过测量推理上下文对模型自身最终答案的承诺时机,无需奖励信号即可检测提示隐式劫持,在GSM8K数据集上达到AUROC 0.878-0.926。
2026-06-04 cs.AI cs.LG
Exploratory Preference Optimization: Harnessing Implicit Q*-Approximation for Sample-Efficient RLHF
Microsoft(微软公司)
提出探索性偏好优化(XPO)算法,通过在 DPO 目标中增加探索奖励实现 RLHF 在线探索,兼具理论可证明的样本高效性与实证优越性。
2024-05-31 cs.AI cs.CL cs.LG
Online Attentive Kernel-Based Temporal Difference Learning
Jiangsu Key Laboratory of Big Data Security & Intelligent Processing, Nanjing University of Posts and Telecommunications(南京邮电大学江苏省大数据安全与智能处理重点实验室);National Engineering Laboratory for Agri-product Quality Traceability, Beijing Technology and Business University(北京工商大学农产品质量安全追溯技术及应用国家工程实验室);State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Jiangsu Key Lab of Image and Video Understanding for Social Security, School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院江苏省社会安全图像与视频理解重点实验室)
随着现实世界中不确定性的增加,在线强化学习(RL)由于其快速学习能力和提高数据效率而受到越来越多的关注。然而,在线RL经常遭受复杂的价值函数近似(VFA)和灾难性干扰,这使得深度神经网络难以应用于完全在线设置中的在线RL算法。因此,一个更简单和更适应的方法来评估价值函数与基于核的模型。稀疏表示在处理干扰方面更优越,这表明与当前的稀疏表示方法相比,竞争性稀疏表示应该是可学习的,非先验的,非截断的和显式的。在稀疏表示的学习过程中,利用注意力机制来表征稀疏化程度,并在核函数的基础上引入光滑注意函数.在本文中,我们提出了一个在线的基于核的时间差分(OAKTD)算法使用两个时标优化,并提供我们所提出的算法的收敛性分析。实验评估表明,OAKTD优于几个在线基于内核的时间差(OKTD)学习算法,除了时间差(TD)学习算法与瓷砖编码的公共山地车,Acrobot,CartPole和水坑世界任务。
2022-01-22 cs.AI cs.LG
Online and Stable Learning of Analysis Operators
Department of Mathematics, University of Innsbruck(因斯布鲁克大学数学系)
本文提出四种在线学习分析算子的迭代算法,基于优化原则,改进了分析K-SVD和分析SimCO,通过投影梯度下降、隐式欧拉方案和奇异值策略,在合成和图像数据上表现出更好的恢复率和更快的收敛速度。
2018-02-01 cs.LG cs.NA math.NA
Generalized Implicit Follow-The-Regularized-Leader
Boston University(波士顿大学)
本文提出广义隐式 FTRL 框架,利用 Fenchel-Young 不等式替代损失线性化,统一并扩展了 FTRL、隐式 FTRL、aProx 和 Mirror-Prox 等算法,可直接改进最坏情况遗憾上界,并以相同计算复杂度恢复隐式 OMD 的时间变化界。
2023-05-31 cs.LG math.OC stat.ML
Generalized Inverse Optimization through Online Learning
University of Pittsburgh(匹兹堡大学);Duke University(杜克大学)
逆优化是一种强大的学习偏好和限制的范例,可以根据一组外部信号和相应的决策对来解释决策者的行为。然而,大多数逆优化算法是专门设计在批量设置,其中所有的数据是预先可用的。因此,很少在适合于实时应用的在线设置中使用这些方法。在本文中,我们提出了一个通用的框架,通过在线学习逆优化。具体来说,我们开发了一个在线学习算法,使用隐式更新规则,可以处理噪声数据。此外,在额外的规律性假设的数据和模型,我们证明了我们的算法收敛速度为$\mathcal{O}(1/\sqrt{T})$,是统计上一致的。在我们的实验中,我们表明,在线学习方法可以学习的参数具有很高的精度,是非常强大的噪声,并实现了显着提高计算效率的批处理学习方法。
2018-11-02 cs.LG math.OC stat.ML