BubbleRank: Safe Online Learning to Re-Rank via Implicit Click Feedback
University of Amsterdam(阿姆斯特丹大学);Google Research(谷歌研究院);DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
在本文中,我们研究的问题,安全的在线学习重新排名,用户的反馈是用来提高显示列表的质量。学习排序传统上被研究在两个设置。在离线设置中,排名通常从法官创建的相关性标签中学习。这种方法通常已成为工业排名应用(如搜索)的标准。然而,这种方法缺乏探索,因此受到离线训练数据的信息内容的限制。在在线设置中,算法可以对列表进行实验,并以顺序的方式从反馈中学习。Bandit算法非常适合这种设置,但它们倾向于从头开始学习用户偏好,这导致了高昂的初始探索成本。这对排名列表中的安全探索提出了额外的挑战。我们提出了BubbleRank,一个强盗算法的安全重新排名,结合了离线和在线设置的优势。该算法从一个初始的基本列表开始,并通过逐渐将排名较高的不太有吸引力的项目交换为排名较低的更有吸引力的项目来在线改进它。我们证明了BubbleRank的n步遗憾的上限,优雅地降低了初始基础列表的质量。我们的理论研究结果得到了大规模现实世界点击数据集上的广泛实验的支持。
2019-06-29 cs.LG stat.ML
Online Data Selection Is Implicit Alignment
East China Normal University(华东师范大学);Shanghai University(上海大学)
研究将在线数据选择视为隐式对齐机制,给定相同条件比较多种在线选择器在无偏好优化时引起的行为漂移,提出评估和量化方法,引入ADA和AAS,可在保持数据效率时限制安全和风格轴漂移。
2026-07-09 cs.LG
Implicit Parameter-free Online Learning with Truncated Linear Models
Boston University(波士顿大学)
无参数算法是不需要设置学习率的在线学习算法。他们实现了最佳的后悔相对于初始点和任何竞争对手之间的距离。然而,无参数算法不考虑损失的几何形状。最近,在随机优化文献中,有人提出使用截断线性下限,通过更紧密地建模损失来产生更好的性能。特别是,截断线性模型大大减少了过冲损失函数的最小值的问题。不幸的是,截断线性模型不能与无参数算法一起使用,因为更新的计算成本非常高。在本文中,我们提出了新的无参数算法,可以利用截断的线性模型,通过一个新的更新,有一个“隐式”的味道。基于一种新的分解的遗憾,新的更新是有效的,只需要一个梯度在每一步,永远不会超过截断模型的最小值,并保留了有利的参数自由属性。我们还进行了实证研究,证明我们的算法的实际效用。
2022-03-19 cs.LG
From Implicit to Explicit feedback: A deep neural network for modeling sequential behaviours and long-short term preferences of online users
Hanoi University of Science and Technology(河内理工大学);VCCorp Corporation(VCCorp公司)
在这项工作中,我们研究了在推荐系统中使用多种类型的行为的优势。直觉上,每个用户都必须做一些隐式动作(例如,点击)之前做出明确的决定(例如,购买)。以往的研究表明,内隐和外显反馈有不同的作用,一个有用的建议。然而,这些研究要么分别利用内隐和外显行为,要么忽略了用户和项目之间的顺序交互的语义。此外,我们假设用户的偏好是长期和短期利益的组合。在本文中,我们提出了一些深度学习架构。第一种是隐式到显式(ITE),通过用户的行为序列来利用用户的兴趣。以及两个版本的ITE与双向编码器表示,从Transformers为基础的(BERT为基础的)架构称为BERT-ITE和BERT-ITE-Si,它结合了用户的长期和短期的喜好,没有和副信息,以提高用户的表示。实验结果表明,我们的模型优于以前的国家的最先进的,也证明了我们的意见,利用隐式显式顺序的有效性,以及结合长期和短期的偏好在两个大规模的数据集。
2021-07-26 cs.LG
An Implicit Form of Krasulina's k-PCA Update without the Orthonormality Constraint
University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校);Google Brain(谷歌大脑)
我们对在线$k$ -PCA问题的两个常用更新,即Krasulina和Oja的更新,提出了新的见解。我们发现,Krasulina的更新对应于一个投影梯度下降步骤的正交$k$ -帧的Stiefel流形上,而Oja的更新相当于一个梯度下降步骤使用的非投影梯度。根据这些观察,我们推导出Krasulina的$k$ -PCA更新的更多\emph{implicit}形式,即尽可能多地使用未来梯度信息的版本。最有趣的是,我们的隐式Krasulina更新通过绕过正交约束避免了昂贵的QR分解步骤。我们表明,新的更新实际上对应于一个在线EM步骤应用于概率$k$ -PCA模型。更新的概率视图允许我们在分布式设置中组合多个模型。我们的实验表明,隐式Krasulina更新产生优越的收敛性,同时显着更快。我们还提供了强有力的证据表明,新的更新可以受益于并行性和更稳定的w.r.t.调整学习率。
2019-09-11 cs.LG stat.ML
CoSyn: Detecting Implicit Hate Speech in Online Conversations Using a Context Synergized Hyperbolic Network
IIIT-Delhi(德里印度理工学院);University of Maryland College Park(马里兰大学帕克分校)
本文提出CoSyn,一种上下文协同双曲神经网络,通过结合用户与对话上下文并利用双曲空间建模,有效检测在线对话中的隐式仇恨言论,在6个数据集上性能显著优于基线。
2023-10-24 cs.AI cs.CL cs.LG
Learning Neural Ranking Models Online from Implicit User Feedback
University of Virginia(弗吉尼亚大学)
现有的在线学习排序(OL 2 R)解决方案仅限于线性模型,这是不足以捕捉查询和文档之间可能的非线性关系。在这项工作中,为了释放OL 2 R中表示学习的力量,我们提出直接从用户的隐式反馈(例如,点击)在飞行中收集。我们专注于RankNet和LambdaRank,由于它们在离线设置中的巨大经验成功和广泛采用,并基于使用神经切线核的神经网络的收敛分析来控制臭名昭著的探索-利用权衡。具体而言,在每轮结果服务中,仅对两个文档之间的预测排名顺序不确定的文档对进行探索;否则,将在结果排名中遵循排名器的预测顺序。我们证明了在标准假设下,我们的OL 2 R解决方案实现了间隙依赖的遗憾上限$O(\log^2(T))$,其中的遗憾是定义在$T$轮的错序对的总数。在两个公共学习排序基准数据集上对一组广泛的最先进的OL 2 R基线进行比较,证明了所提出的解决方案的有效性。
2022-01-17 cs.IR cs.LG
Implicit Look-alike Modelling in Display Ads: Transfer Collaborative Filtering to CTR Estimation
University College London(伦敦大学学院);MediaGamma Limited(MediaGamma有限公司)
用户行为定位在在线广告中至关重要。与赞助搜索关键字定位和上下文广告页面内容定位相比,用户行为定位通过跟踪用户的在线行为来建立用户的兴趣档案,然后根据每个用户的兴趣提供相关的广告,这导致更高的定位准确性,从而更好地改善广告效果。当前的用户分析方法包括构建关键字和主题标签或将用户映射到层次分类法。然而,据我们所知,有没有以前的工作,明确调查用户在线访问的相似性,并将这种相似性到他们的广告响应预测。在这项工作中,我们提出了一个通用的框架,学习用户简档的基础上,他们的在线浏览行为,并将学习到的知识,他们的广告响应的预测。在技术上,我们提出了一个基于概率潜在因素图模型的迁移学习模型,其中用户的广告响应配置文件是从他们的在线浏览配置文件生成的。基于真实世界数据的大规模实验表明,我们的解决方案在一些强基线上有显着的改善。
2016-01-11 cs.IR cs.LG
IR-MCL: Implicit Representation-Based Online Global Localization
University of Bonn(波恩大学);University of Oxford(牛津大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
确定移动机器人的状态是机器人导航系统的重要组成部分。在本文中,我们解决了使用2D LiDAR数据估计机器人在室内环境中的姿态的问题,并研究了现代环境模型如何改善金标准蒙特卡罗定位(MCL)系统。我们提出了一个神经占用字段隐式地表示使用神经网络的场景。使用预训练的网络,我们可以通过体渲染合成任意机器人姿势的2D LiDAR扫描。基于隐式表示,我们可以获得合成和实际扫描之间的相似性作为观察模型,并将其集成到MCL系统中进行精确定位。我们评估我们的方法对自我记录的数据集和三个公开的。我们表明,我们可以准确和有效地定位机器人使用我们的方法超越了最先进的方法的定位性能。实验表明,所提出的隐式表示能够预测更准确的2D LiDAR扫描,从而为我们基于粒子滤波的定位提供改进的观察模型。我们的方法代码将在https://github.com/PRBonn/ir-mcl上提供。
2023-02-03 cs.AI cs.LG cs.RO
Implicit Temporal Differences
The Technion - Israel Institute of Technology(以色列理工学院);Harvard University(哈佛大学)
在强化学习中,TD($λ$)算法是一种基本的策略评估方法,具有高效的在线实现,适用于大规模问题。TD($λ$)的一个实际缺点是其对步长选择的敏感性。这是一个经验上众所周知的事实,大的步长导致快速收敛,代价是更高的方差和不稳定的风险。在这项工作中,我们介绍了隐式TD($λ$)算法,它具有相同的功能和计算成本的TD($λ$),但显着更稳定。我们提供了一个理论解释这种稳定性和典型的基准任务的隐式TD($λ$)的实证评估。我们的研究结果表明,隐式TD($λ$)优于标准TD($λ$)和一个国家的最先进的方法,自动调整步长,从而显示出广泛的适用性的承诺。
2014-12-21 cs.LG stat.ML
Efficient learning by implicit exploration in bandit problems with side observations
SequeL team, INRIA Lille – Nord Europe(SequeL团队,INRIA里尔–北欧地区)
本文提出了一种在部分可观测模型下实现近最优后悔保证的算法,通过隐式探索策略在不预先知晓观察系统的情况下提升效率,同时定义了新的部分信息设置以解决在线组合优化问题。
2026-04-27 cs.LG stat.ML
Fully Dynamic Online Selection through Online Contention Resolution Schemes
Meta
我们研究完全动态的在线选择问题的对抗/随机设置,包括贝叶斯在线选择,先知不等式,张贴价格机制,随机探测问题的组合约束。在经典的“增量”版本的问题中,选定的元素保持活跃,直到输入序列结束。另一方面,在问题的完全动态版本中,元素在有限的时间间隔内保持活跃,然后离开。例如,该模型将任务与具有任务/工人依赖的工作时间的工人进行在线匹配,以及易腐货物的顺序发布定价。在线竞争解决方案(OCRS)的概念给出了对抗环境中在线选择问题的一种成功方法,该方案使用先验信息来制定潜在优化问题的线性松弛,其最佳分数解对于输入序列的任何对抗顺序都是在线舍入的。我们的主要贡献是提供了一个通用的方法来构建一个OCRS的完全动态在线选择问题。然后,我们展示了如何使用这样的OCRS构造无悔算法的部分信息模型与半强盗反馈和对抗性的输入。
2023-01-08 cs.AI cs.LG
Online Saddle Point Problem and Online Convex-Concave Optimization
China University of Petroleum(中国石油大学);College of Information Science and Engineering(信息科学与工程学院)
该研究围绕在线鞍点问题提出OCCO框架,以广义对偶间隙为性能度量,建立其与OCO的平行关系,开发两种相关算法并验证有效性,同时指出动态纳什均衡悔值存在固有缺陷。
2023-12-15 cs.LG math.OC
Speaker Diarization as a Fully Online Learning Problem in MiniVox
Columbia University(哥伦比亚大学);New York University(纽约大学)
我们提出了一种新的机器学习框架,在完全在线学习的情况下进行实时的多说话人日志化和识别,而无需事先注册和预训练。我们的贡献是双重的。首先,我们提出了一个新的基准来评估很少研究的完全在线扬声器日记化问题。我们建立在现有的现实世界的话语数据集自动策划MiniVox,一个实验环境,产生无限配置的连续多扬声器语音流。其次,我们考虑了具有阶段性显示奖励的在线学习的实际问题,并引入了基于半监督和自监督学习方法的解决方案。此外,我们提供了一个可行的基于Web的识别系统,交互式地处理新用户的加入的冷启动问题,通过将旧武器的表示转移到新的可扩展的上下文强盗。我们证明了我们提出的方法在在线MiniVox框架中获得了鲁棒性能。
2020-10-22 cs.AI cs.HC cs.LG
CausalTAD: Causal Implicit Generative Model for Debiased Online Trajectory Anomaly Detection
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);DiDi Global Inc.(滴滴全球公司)
本文提出因果隐式生成模型CausalTAD,通过do-演算消除路网偏好混杂偏置,以 $P({T}|do({C}))$ 作为异常判据,在训练轨迹和分布外数据上均显著提升轨迹异常检测性能。
2024-12-25 cs.LG
Consistent Position Bias Estimation without Online Interventions for Learning-to-Rank
Cornell University(康奈尔大学)
呈现偏差是从搜索引擎中的隐式反馈中学习时的关键挑战之一,因为它由于排名中的位置、显著性和其他呈现因素而将相关性信号与无信息信号混淆。虽然最近显示了如何反事实的学习排序(LTR)方法\cite{Joachims/etal/17a}可以证明克服演示偏差,如果观察倾向是已知的,它仍然显示如何准确地估计这些倾向。在本文中,我们提出了第一种方法来产生一致的倾向估计没有手动相关性判断,破坏性干预,或限制性的相关性建模假设。我们只需要我们有来自多个不同排名函数的隐式反馈数据。此外,我们认为,我们的估计技术适用于扩展类的上下文基于位置的倾向模型,其中倾向不仅取决于位置,但也可观察到的查询和文档的功能。初步的模拟研究证实,该方法是可扩展的,准确的,和强大的。
2018-06-09 cs.IR cs.LG stat.ML
Fully Unconstrained Online Learning
Boston University(波士顿大学);Google Research(谷歌研究院)
提出一种无需预知Lipschitz常数和比较点范数的在线学习算法,在所有能实现次线性遗憾的场景下均匹配了已知信息下的最优遗憾界。
2024-05-30 cs.LG math.OC stat.ML
Exploratory Preference Optimization: Harnessing Implicit Q*-Approximation for Sample-Efficient RLHF
Microsoft(微软公司)
提出探索性偏好优化(XPO)算法,通过在 DPO 目标中增加探索奖励实现 RLHF 在线探索,兼具理论可证明的样本高效性与实证优越性。
2024-05-31 cs.AI cs.CL cs.LG
A closer look at temporal variability in dynamic online learning
Università di Milano(米兰大学);Boston University(波士顿大学)
本文研究了在信息充分的在线学习情境下,动态后悔的设置问题。特别是,我们分析的损失函数的时间变异性的遗憾界。通过假设序列的损失函数不随时间变化很大,我们表明,它是有可能招致改进的遗憾界相比,现有的结果。我们的方法的关键是在优化过程中使用损失函数(而不是它的梯度)。在隐式算法分析的最新进展的基础上,我们提出了一个适应的隐式版本的在线镜像下降的动态设置。我们所提出的算法不仅是自适应的损失函数的时间变化,但也比较器的序列的路径长度时,一个上限是已知的。此外,我们的分析表明,我们的结果是紧密的,不能得到改善,没有进一步的假设。接下来,我们将展示如何将我们的算法应用于专家建议的学习设置或复合损失函数的设置。最后,当路径长度的上限是不固定的事先,我们展示了如何结合贪婪的策略与现有的强自适应算法,以最佳的竞争对不同的序列的比较器同时进行。
2021-02-15 cs.LG
Distributed Online Learning with Multiple Kernels
University of Southern California(南加州大学);Hanyang University(汉阳大学)
我们考虑的问题,学习一个非线性函数在一个网络的学习者在一个完全分散的方式。另外假设在线学习,其中每个学习者在本地接收连续流数据。这种学习模型被称为完全分布式在线学习(或完全分散式在线联邦学习)。针对该模型,我们提出了一种新的多核学习框架,称为DOMKL。建议的DOMKL是通过利用在线交替方向法的乘数和分布式对冲算法的原则。我们从理论上证明了DOMKL在T个时隙上可以实现最佳的次线性遗憾,这意味着网络中的每个学习者都可以学习一个共同的函数,该函数与事后的最佳函数之间的差距越来越小。我们的分析还表明,DOMKL产生了与最先进的集中式方法相同的渐近性能,同时保持边缘学习器的本地数据。通过对真实数据集的数值测试,我们证明了所提出的DOMKL在各种在线回归和时间序列预测任务上的有效性。
2021-02-26 cs.LG
Fully Online Meta-Learning Without Task Boundaries
UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
虽然深度网络可以学习复杂的功能,如分类器,检测器和跟踪器,但许多应用程序需要模型不断适应不断变化的输入分布,不断变化的任务和不断变化的环境条件。事实上,这种不断积累知识并利用过去的经验在连续设置中快速学习新任务的能力是智能系统的关键属性之一。对于复杂和高维问题,简单地用标准学习算法(例如梯度下降)不断更新模型可能导致缓慢的自适应。元学习可以提供一个强大的工具来加速适应,但传统上是在批量设置中研究。在本文中,我们研究了如何将元学习应用于解决这种性质的在线问题,同时适应不断变化的任务和输入分布,并对模型进行元训练,以便在未来更快地适应。将元学习扩展到在线环境中存在其自身的挑战,尽管一些先前的方法已经研究了相关问题,但它们通常需要任务的离散概念,具有已知的地面实况任务边界。这些方法通常按顺序适应每个任务,在任务之间重置模型,而不是在任务之间连续适应。在许多现实世界的设置中,这样的离散边界是不可用的,甚至可能不存在。为了解决这些设置,我们提出了一种完全在线的元学习(FOML)算法,它不需要任何关于任务边界的基础知识,并且保持完全在线,而不会重置回预先训练的权重。我们的实验表明,FOML能够比Rainbow-MNIST,CIFAR 100和CELEBA数据集上最先进的在线学习方法更快地学习新任务。
2022-02-18 cs.CV cs.LG
Implicit Riemannian Optimism with Applications to Min-Max Problems
Zuse Institute Berlin(柏林Zuse研究所);Carlos III University of Madrid(马德里卡洛斯三世大学)
本文提出基于非精确隐式更新的Hadamard流形黎曼乐观在线学习算法,能处理流形内约束且不依赖几何常数,并据此开发了极小极大问题算法,首次几乎匹配欧几里得问题下界的梯度预言机复杂度。
2025-01-30 cs.LG math.OC
Inverse Multiobjective Optimization Through Online Learning
Amazon(亚马逊);University of Pittsburgh(匹兹堡大学)
我们研究的问题,学习的目标函数或约束的多目标决策模型的基础上,一组顺序到达的决定。特别是,这些决策可能不准确,可能带有测量噪声,或者是决策者有限理性的结果。在本文中,我们提出了一个通用的在线学习框架来处理这个学习问题,使用逆多目标优化。更准确地说,我们开发了两个在线学习算法与隐式更新规则,可以处理噪声数据。数值结果表明,这两种算法都能很好地学习参数,并且对噪声具有很好的鲁棒性。
2022-12-24 cs.LG math.OC
Fully Distributed Online Training of Graph Neural Networks in Networked Systems
Rice University(莱斯大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
针对网络系统中GNN集中训练范式的局限,提出通信高效的全分布式在线训练方法,仅少量增加消息传递轮次与消息大小,在多类任务及三种学习范式下均验证有效。
2024-12-08 cs.DC cs.LG
High-Probability Nash Regret for Decentralized Learning in Markov $α$-Potential Games: Episodic and Fully Online Asynchronous Algorithms with Applications to Markov Congestion Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对马尔可夫α-势博弈,提出KL投影自然策略梯度算法,在情节式和完全在线异步设置下实现高概率纳什遗憾界,消除分布不匹配系数,并应用于马尔可夫拥塞博弈的在线作业调度。
2026-09-15 cs.GT cs.LG cs.MA
Fully Online Decentralized Learning in Stochastic Games with Unknown Independent Chains
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对未知独立链随机博弈,提出完全在线分散的镜像下降算法,以O(T^{-1/2})遗憾率逼近平稳NE,避免指数复杂度,并给出近似粗相关均衡保证。
2026-10-02 cs.GT cs.LG cs.MA