One-Step Bellman Alignment Enables Provably Efficient Transfer in Online RL
Department of Technology, Operations, & Statistics, New York University(纽约大学技术、运营与统计系);Department of Operations Research & Financial Engineering, Princeton University(普林斯顿大学运筹学与金融工程系);Department of Computer Science, Dartmouth College(达特茅斯学院计算机科学系)
提出一步贝尔曼对齐作为在线强化学习中迁移的正确抽象,并通过重加权目标(RWT)实现算子级修正,在RKHS函数逼近下建立了与任务迁移复杂度相关的遗憾界。
2026-05-23 cs.LG stat.ML
Use the Online Network If You Can: Towards Fast and Stable Reinforcement Learning
Technical University of Darmstadt(德累斯顿技术大学);German Research Center for AI (DFKI)(德国人工智能研究中心(DFKI));Robotics Institute Germany (RIG)(德国机器人研究所(RIG));University of Würzburg(弗赖堡大学)
本文提出了一种新的更新规则,通过在目标网络和在线网络之间取最小估计来改进价值函数学习,从而实现更快且更稳定的强化学习。
2026-05-18 cs.LG
Online Target Q-learning with Reverse Experience Replay: Efficiently finding the Optimal Policy for Linear MDPs
Google Research(谷歌研究院);University of California, Berkeley(加州大学伯克利分校);MIT(麻省理工学院)
Q学习是一种流行的强化学习(RL)算法,其在函数逼近的实践中被广泛使用(Mnih等人,2015)。相比之下,现有的理论结果是悲观的Q学习。例如,(Baird,1995)表明,Q-学习即使在线性MDP的线性函数近似下也不会收敛。此外,即使对于具有同步更新的表格MDP,Q学习也被证明具有次优的样本复杂度(Li等人,2021;Azar等人,2013年)。这项工作的目标是弥合Q学习的实际成功与相对悲观的理论结果之间的差距。我们工作的出发点是观察到,在实践中,Q-学习被用于两个重要的修改:(i)使用两个网络进行训练,同时称为在线网络和目标网络(在线目标学习,或OTL),以及(ii)经验重放(ER)(Mnih等人,2015)。虽然已经观察到它们在Q学习的实际成功中发挥了重要作用,但文献中缺少对这两种修改如何改善Q学习收敛行为的透彻理论理解。通过将Q学习与OTL和反向经验重放(RER)(一种经验重放形式)仔细结合,我们提出了新的方法Q-Rex和Q-RexDaRe(Q-Rex +数据重用)。我们表明,Q-Rex有效地找到了线性MDP的最佳策略(或更一般地为MDP与零固有贝尔曼误差线性近似(ZIBEL)),并提供样本复杂性的非渐近界-第一个这样的结果为Q-学习方法为这类MDP在标准假设下。此外,我们证明了Q-RexDaRe实际上在表格设置中实现了接近最佳的样本复杂度,改进了现有的香草Q学习结果。
2021-10-19 cs.LG math.OC
Targeted Advertising on Social Networks Using Online Variational Tensor Regression
本文提出首个基于张量的上下文老虎机框架TensorUCB,用于在线定向广告,通过在线变分算法处理多模式张量,显著提升影响力最大化任务性能。
2025-01-25 cs.LG cs.SI
Completion-Aware Cross-Fidelity Offline-to-Online Reinforcement Learning for Multi-Line Bus Holding
Central South University(中南大学)
针对运营车队无法探索及模拟器与目标动态差异问题,提出完成度感知的跨保真度离线到在线强化学习方法,用于多线路公交驻站控制,解决低乘客时间与不完整行程并存的失效模式。
2026-10-20 cs.AI cs.LG
Predicting Periodicity with Temporal Difference Learning
University of Alberta(阿尔伯塔大学)
时间差分(TD)学习是强化学习中的一种重要方法,因为它结合了动态规划和蒙特卡罗方法的思想,允许在线和增量无模型学习。TD学习的一个关键思想是,它以价值函数的形式学习有关环境的预测知识,从中可以导出其行为以解决长期顺序决策问题。代理的兴趣范围,即TD学习代理预测未来的即时或长期程度,通过贴现率参数进行调整。在本文中,我们介绍了另一种观点的贴现率,从数字信号处理的洞察力,包括复值贴现。我们的研究结果表明,将贴现率设置为适当选择的复数,可以通过TD学习在线和增量估计感兴趣信号的离散傅里叶变换(DFT)。因此,我们扩展了知识的类型表示的价值函数,我们发现是特别有用的识别周期性的奖励序列的影响。
2018-09-20 cs.AI cs.LG eess.SP
Chasing Moving Targets with Online Self-Play Reinforcement Learning for Safer Language Models
研究传统大语言模型安全对齐问题,引入Self-RedTeam算法,通过在线自我博弈多智能体强化学习持续共同进化攻防策略,有理论安全保障,实证效果好,推动从被动修补到主动协同进化转变。
2026-07-07 cs.CL cs.LG cs.MA
Improving Data Efficiency for LLM Reinforcement Fine-tuning Through Difficulty-targeted Online Data Selection and Rollout Replay
UIUC(伊利诺伊大学香槟分校);New York University(纽约大学);University of Texas at Austin(得克萨斯大学奥斯汀分校);Microsoft(微软)
本文提出通过难度目标在线数据选择和回放机制提升大语言模型强化微调的数据效率,实验表明可减少62%的微调时间并保持同等性能。
2026-02-16 cs.AI cs.CL cs.LG
Online Prototype Alignment for Few-shot Policy Transfer
University of Science and Technology of China(中国科学技术大学);Institute of Computing Technology, CAS(中国科学院计算技术研究所);Cambricon Technologies(寒武纪科技);University of Chinese Academy of Sciences, China(中国科学院大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所)
针对传统强化学习域适应方法依赖大量目标域数据、视觉差异大时易失效的问题,提出基于功能相似性的在线原型对齐框架,通过针对性探索关联跨域元素,实现少样本下更优的策略迁移性能。
2023-06-12 cs.AI cs.LG
Continuous Attribution of Episodical Outcomes for More Efficient and Targeted Online Measurement
Airbnb(爱彼迎)
在线实验平台以低成本和大规模收集用户反馈。一些系统甚至支持实时或接近实时的数据处理,并且可以不断更新指标和统计数据。许多常用的指标,如点击和页面浏览量,可以观察到没有太多的延迟。然而,许多重要的信号只能在几个小时或几天后才能观察到,噪音会在事件发生的持续时间内增加。当情节性结果遵循一系列复杂的用户-产品交互时,很难理解哪些交互导致最终结果。我们没有明显的归因逻辑来将积极或消极的结果与我们在不同时间所做的行动和选择联系起来。这种归因逻辑对于以更细的粒度解锁更有针对性和更有效的测量至关重要,最终可能导致强化学习的全部功能。在本文中,我们借用因果代理的想法,使用领先指标,逐步观察,并将其作为价值函数来跟踪最终结果的进展,并逐步归因于各种用户-产品交互步骤的长期结果建模。将这种方法应用于Airbnb的客人预订指标,结果差异显著减少了50%至85%,同时与预订指标本身保持良好一致。连续归因允许我们为每个产品页面浏览量分配一个效用分数,并且该分数可以灵活地进一步聚合到各种感兴趣的单元,例如搜索和列表。我们提供了多个归因的实际应用,以说明其多功能性。
2022-10-28 cs.LG stat.AP
Reverse Flow Matching: A Unified Framework for Online Reinforcement Learning with Diffusion and Flow Policies
Zeyang Li(李泽阳);Sunbochen Tang(唐顺波晨);Navid Azizan(阿齐兹安纳维)
针对在线强化学习中扩散与流策略缺乏目标样本的问题,提出反向流匹配框架,通过后验均值估计和Langevin Stein算子构造控制变量,统一了噪声期望与梯度期望两类方法,并扩展到流策略,提升训练效率与稳定性。
2026-06-11 cs.LG cs.SY eess.SY
Implicit Target Shift in Online Learning: Characterization and Correction
Department of Physics(物理系);Washington University in St. Louis(圣路易斯华盛顿大学);Department of Neuroscience(神经科学系)
本文研究了在线学习中目标偏移的本质,提出通过目标修正使在线核学习与离线学习等效,并在图像分类任务中验证了其有效性。
2026-10-06 cs.LG stat.ML
Online Multi-target regression trees with stacked leaf models
University of São Paulo(圣保罗大学);State University of Londrina(隆德里纳州立大学)
当前机器学习面临的挑战之一是如何处理数据流中以越来越高的速率出现的数据。需要新的预测学习策略来应对高吞吐量数据和概念漂移。其中一个需要新的学习策略的数据流挖掘任务是多目标回归,因为它适用于大量的现实问题。虽然已经提出了可靠和有效的学习策略,批量多目标回归,很少有人提出多目标在线学习数据流。此外,大多数现有的解决方案在进行预测时不考虑目标间相关性的发生。在这项工作中,我们提出了一种新的在线学习策略的多目标回归数据流。该策略扩展了现有的在线决策树学习算法,以探索目标间的依赖关系,同时进行预测。为此,所提出的策略,称为堆叠单目标Hoeffding树(SST-HT),使用目标间的依赖关系作为一个额外的信息源,以提高预测精度。在整个广泛的实验设置,我们评估我们的建议对国家的最先进的决策树为基础的算法在线多目标回归。根据实验结果,SST-HT提出了优越的预测精度,在处理时间和内存需求的小增加。
2020-03-10 cs.LG stat.ML
Multi-step Online Unsupervised Domain Adaptation
Purdue University(普渡大学)
在本文中,我们解决在线无监督领域自适应(OUDA)问题,其中目标数据是未标记的,并按顺序到达。针对OUDA问题,传统的方法主要是将每个到达的目标数据转换到源域,没有充分考虑到达目标数据之间的时间相关性和累积统计性。我们提出了一个多步框架的OUDA问题,它建立了一个新的方法来计算的平均目标子空间的几何解释的启发下,在欧几里德空间。该平均目标子空间包含到达的目标数据之间的累积时间信息。此外,作为预处理步骤,将从平均目标子空间计算的变换矩阵应用于下一个目标数据,使目标数据更接近源域。在四个数据集上的实验证明了我们提出的多步OUDA框架中每一步的贡献及其性能优于以前的方法。
2020-02-20 cs.LG stat.ML
Online Learning in Periodic Zero-Sum Games
University of Washington(华盛顿大学);SUTD(新加坡科技设计大学)
冯·诺依曼的极小极大定理是博弈论中的一个开创性成果,它指出零和博弈存在一个本质上唯一的均衡解。经典的学习结果建立在这个定理上,表明在零和博弈中,在线无悔动态收敛到时间平均意义上的均衡。在过去的几年里,一个关键的研究方向集中在表征这种动态的日常行为。在这个方向的一般结果表明,广泛的类在线学习动态循环,正式庞加莱经常性,在零和游戏。我们分析了这些在线学习行为的鲁棒性的情况下,定期零和游戏的时不变的平衡。这个模型概括了通常的重复博弈公式,同时也是一个现实的和自然的模型,玩家之间的重复竞争,取决于外源环境的变化,如时间的影响,每周的趋势,和季节性。有趣的是,即使在最简单的这种情况下,时间平均收敛也可能失败,尽管平衡是固定的。相比之下,使用新的分析方法,我们表明,庞加莱递归证明推广,尽管这些动力系统的复杂性,非自治的性质。
2021-11-05 cs.GT cs.LG cs.MA
Homogeneous Online Transfer Learning with Online Distribution Discrepancy Minimization
Nanjing University(南京大学)
迁移学习是一种成功的学习方法,它将相关但不同的源领域的知识迁移到目标领域。在线迁移学习(OTL)是一个更具挑战性的问题,其中目标数据以在线方式到达。大多数OTL方法通过给每个分类器分配一个权值,并不断调整权值,直接将源分类器和目标分类器结合起来。然而,这些方法很少注意减少域之间的分布差异。本文提出了一种新的在线迁移学习方法,该方法寻求一种新的特征表示,使得边缘分布和条件分布差异可以同时在线减少。我们专注于多源域的在线迁移学习,并使用对冲策略来利用来自源域的知识。我们分析了所提出的算法的理论性质,并提供了一个上错误界。在两个真实世界数据集上的综合实验表明,我们的方法比最先进的方法有很大的优势。
2019-12-31 cs.LG stat.ML
Predictive Linear Online Tracking for Unknown Targets
ETH Zürich(苏黎世联邦理工学院);inspire AG(inspire AG公司);Institute for Dynamic Systems and Control, ETH Zürich(苏黎世联邦理工学院动态系统与控制研究所)
针对未知非平稳运动目标,提出PLOT算法,利用带指数遗忘的递推最小二乘学习时变模型并结合滚动时域控制,证明动态遗憾为O(√(TV_T)),且在真实四旋翼上验证并开源。
2024-06-13 cs.LG cs.SY eess.SY
ISEE.U: Distributed online active target localization with unpredictable targets
针对不可预测目标的定位问题,提出分布式在线主动学习算法ISEE.U,通过局部费希尔信息矩阵估计优化控制以提升定位精度,无需调参,在非预设目标轨迹场景下性能优于现有最优算法且计算速度快百倍。
2023-08-21 cs.LG cs.RO cs.SY
Optimal Hidden-Target Learning for Online Inventory Optimization on General Convex Sets
UIUC(伊利诺伊大学厄巴纳-香槟分校)
针对一般凸容量集上的在线库存优化问题,提出隐藏目标投影方法,将遗憾从逆概率依赖改进为平方根逆概率依赖,并证明匹配下界,同时首次给出强凸损失的 polylog 遗憾和动态遗憾保证。
2026-06-15 cs.LG cs.SY eess.SY
Periodic Online Testing for Sparse Systolic Tensor Arrays
Electrical and Computer Engineering Democritus University of Thrace, Greece(电子与计算机工程系德米特里乌斯大学)
本文提出一种针对稀疏脉动张量阵列的在线错误检查技术,仅需4个测试向量即可在计算前检测并定位永久故障,在3个CNN上验证显示其具备高故障覆盖率且开销极小。
2025-04-25 cs.AR cs.LG
Online Knowledge Distillation with Diverse Peers
Zhejiang University(浙江大学);ZJU-LianlianPay Joint Research Center(浙江大学-连连支付联合研究中心);Zhejiang University of Technology(浙江工业大学)
蒸馏是一种有效的知识转移技术,它使用强大的教师模型的预测分布作为软目标来训练参数化程度较低的学生模型。然而,并不总是能找到一个受过训练的高能力教师。最近提出的在线变体使用多个学生模型的聚合中间预测作为目标来训练每个学生模型。虽然群体衍生的目标提供了一个很好的配方,教师免费蒸馏,群体成员均匀化迅速与简单的聚集功能,导致早期饱和的解决方案。在这项工作中,我们提出了在线知识蒸馏与不同的同行(OKDDip),它执行两级蒸馏过程中的培训与多个辅助同行和一个组长。在第一级蒸馏中,每个辅助节点持有一组单独的聚合权重,这些聚合权重是通过基于注意力的机制生成的,以从其他辅助节点的预测中得出自己的目标。从不同的目标分布中学习有助于提高同伴的多样性,从而提高基于群体的蒸馏的有效性。执行第二级蒸馏以将辅助对等体的集合中的知识进一步传递给组长,即,用于推理的模型。实验结果表明,所提出的框架始终提供更好的性能比国家的最先进的方法,而不牺牲训练或推理的复杂性,证明了所提出的两级蒸馏框架的有效性。
2019-12-05 cs.LG stat.ML
Fairness-Aware Multi-Group Target Detection in Online Discussion
Dept. of Computer Science, The University of Texas at Austin(德克萨斯大学奥斯汀分校计算机科学系);Department of Data, Analytics, Technology, and Artificial Intelligence, ESADE(ESADE大学数据、分析、技术和人工智能系);The Information School, The University of Texas at Austin(德克萨斯大学奥斯汀分校信息学院)
本文研究了在线讨论中目标群体检测的公平性影响,提出了一种公平性意识的多群体目标检测方法,减少了群体间的偏见并提升了预测性能。
2026-06-18 cs.LG
Open Problem: Is There an Online Learning Algorithm That Learns Whenever Online Learning Is Possible?
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
这个开放的问题是,是否存在一种用于二进制分类的在线学习算法,该算法保证,对于所有目标概念,仅在假设点X的(可能是随机的)序列允许这样的学习算法可以存在于该序列的情况下,产生次线性数量的错误。作为一个次要的问题,它还问是否一个特定的简洁的条件完全确定是否一个给定的(可能是随机的)序列的点X承认存在的在线学习算法保证一个次线性数量的错误,为所有的目标概念。
2021-07-20 cs.AI cs.LG math.PR
Online Feedback Efficient Active Target Discovery in Partially Observable Environments
提出 DiffATD,利用扩散置信分布与增量奖励模型平衡探索和利用,在无预训练、部分可观测且预算固定条件下高效发现目标。
2025-10-19 cs.AI cs.LG stat.ML
Smoothed Online Optimization for Target Tracking: Robust and Learning-Augmented Algorithms
University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);Akamai Technologies(Akamai技术公司)
本文提出SOOTT框架整合跟踪、扰动和切换成本,并设计鲁棒算法BEST及学习增强变体CoRT,在预测准确时提升性能且保持鲁棒性,通过工作负载调度案例验证了有效性。
2025-09-07 cs.LG cs.SY eess.SY
Online Multi-Source Domain Adaptation through Gaussian Mixtures and Dataset Dictionary Learning
Université Paris-Saclay(巴黎-萨克雷大学);CEA, List(法国原子能和替代能源委员会List研究所);Ecole Centrale de Lyon(里昂中央理工学院)
针对流式目标域的在线多源域适应问题,提出基于Wasserstein几何的在线高斯混合模型与数据集字典学习新方法,在Tennessee Eastman Process基准上实现实时适应并作为数据流记忆。
2024-07-29 cs.LG stat.ML
Online Conformal Prediction for Non-Exchangeable Panel Data
Department of Management Science and Engineering(管理科学与工程系)
本文提出了一种简单的在线符合框架,用于非交换面板数据,通过利用在线面板预测的关键特征,即当需要对一个单位进行预测时,相关单位的同期结果可能已观察到,可以作为校准面板。该方法利用了适应性量来形成预测集,从而在长期内提供覆盖保证。
2026-10-07 cs.LG stat.ME stat.ML
Data Techniques For Online End-to-end Speech Recognition
Amazon Alexa(亚马逊 Alexa)
从业者通常需要在短时间内为新用例构建ASR系统,因为域内数据有限。虽然最近开发的端到端方法在很大程度上简化了建模管道,但它们仍然存在数据稀疏问题。在这项工作中,我们探索了一些简单的实现技术,用于以端到端的方式构建在线ASR系统,在目标域中有少量的转录数据。这些技术包括目标域中的数据增强,使用先前在大型源域上训练的模型进行域适应,以及使用适应的双向模型作为教师对未转录的目标域数据进行知识蒸馏;它们适用于具有不同类型资源的真实场景。我们的实验表明,每种技术是独立的有用的在线ASR性能的改善在目标域。
2020-07-26 cs.CL cs.LG eess.AS
A Multi-stage Framework with Mean Subspace Computation and Recursive Feedback for Online Unsupervised Domain Adaptation
Purdue University(普渡大学);Qualcomm Technologies Inc.(高通技术公司)
在本文中,我们解决了在线无监督领域自适应(OUDA)问题,并提出了一种新的多阶段框架,以解决现实世界的情况下,目标数据是未标记的,并在批量顺序到达在线。为了将数据从源和目标域投影到一个公共子空间并实时操作投影数据,我们提出的框架提出了一种新的方法,称为增量计算均值子空间(ICMS)技术,该技术计算Grassmann流形上的均值目标子空间的近似,并被证明是Karcher均值的近似。此外,从平均目标子空间计算的变换矩阵被应用于递归反馈阶段中的下一个目标数据,使目标数据更接近源域。变换矩阵的计算和下一个目标子空间的预测通过考虑格拉斯曼流形上的目标子空间的流之间的累积时间依赖性来利用递归反馈阶段的性能。利用预先训练好的源分类器对变换后的目标数据进行分类预测,然后利用变换后的数据和预测的标签对分类器进行更新。在六个数据集上进行了广泛的实验,深入研究了我们提出的框架中每个阶段的效果和贡献,以及在分类精度和计算速度方面与以前的方法相比的性能。此外,传统的基于流形的学习模型和基于神经网络的学习模型上的实验表明,我们提出的框架适用于各种类型的学习模型。
2022-06-24 cs.CV cs.LG eess.IV
Approachability in unknown games: Online learning meets multi-objective optimization
Israel Institute of Technology (Technion)(以色列理工学院);ENSAE ParisTech(巴黎高等经济与统计学院);GREGHEC: HEC Paris — CNRS(GREGHEC:巴黎高等商学院——法国国家科学研究中心)
在可接近性的标准设置中,有两个参与者和一个目标集。参与者反复玩一个已知的向量值博弈,其中第一个参与者希望使平均向量值收益收敛到目标集合,而另一个参与者试图将其从该集合中排除。我们本着在线学习的精神重新审视这个设置,并不假设第一个玩家知道游戏结构:她在每一轮都收到一个任意向量值的奖励向量。她希望接近最小的(“最好的”)可能的集合,给出了事后观察到的平均收益。即使在最初的目标集无法实现,而且不清楚应该采用哪种扩展目标集的情况下,标准设定的这种扩展也会产生影响。我们表明,这是不可能的,在一般情况下,接近最好的目标设定在事后,并提出可实现的,但雄心勃勃的替代目标。我们还提出了实现这些目标的具体战略。我们的方法不需要投影到一个目标集,相当于在情节中执行的标量后悔最小化算法之间切换。被认为是全球成本最小化和样本路径约束下的可接近性的应用。
2016-06-17 cs.LG math.ST stat.ML
SimPer: Simple Self-Supervised Learning of Periodic Targets
MIT(麻省理工学院);University of Washington(华盛顿大学);Google(谷歌)
从人类生理学到环境演化,自然界中的重要过程往往表现出有意义的、强烈的周期性或准周期性变化。由于其固有的标签稀缺性,学习有用的表示周期性任务有限或没有监督是非常有益的。然而,现有的自监督学习(SSL)方法忽略了数据中固有的周期性,并且无法学习捕获周期或频率属性的表示。在本文中,我们提出了SimPer,一个简单的对比SSL制度,用于学习数据中的周期性信息。为了利用周期性归纳偏差,SimPer引入了定制的增强,特征相似性度量和广义对比损失,以学习有效和鲁棒的周期表示。在人类行为分析、环境传感和医疗保健领域的常见现实任务上进行的广泛实验验证了SimPer与最先进的SSL方法相比的卓越性能,突出了其有趣的特性,包括更好的数据效率、对虚假相关的鲁棒性以及对分布偏移的泛化。代码和数据可在https://github.com/YyzHarry/SimPer上获得。
2023-02-21 cs.AI cs.CV cs.LG
Real-Time Sampling-based Online Planning for Drone Interception
Massachusetts Institute of Technology(麻省理工学院)
针对动态环境下高速在线规划的约束与不确定性问题,提出基于采样、用神经网络推理替代非线性优化的在线规划算法,经仿真与真实环境验证,可高效实现无人机拦截的高速实时规划与非结构化场景适应。
2025-02-20 cs.LG cs.RO cs.SY
ACDC: Online Unsupervised Cross-Domain Adaptation
Nanyang Technological University(南洋理工大学);Singapore Institute of Manufacturing Technology(新加坡制造技术研究院)
我们考虑在线无监督的跨领域自适应问题,其中两个独立但相关的数据流具有不同的特征空间-一个完全标记的源流和一个未标记的目标流-一起学习。出现了独特的特征和挑战,例如协变量偏移、异步概念偏移和对比数据吞吐量。我们提出了ACDC,一个对抗性的无监督领域自适应框架,它可以用一个完整的自进化神经网络结构来处理多个数据流,对这些挑战做出反应。ACDC将三个模块封装到一个模型中:一个提取特征的去噪自动编码器,一个执行域转换的对抗模块,以及一个学习源流并预测目标流的估计器。ACDC是一个灵活且可扩展的框架,具有很少的超参数可调性。我们的实验结果下的prequential测试,然后训练协议表明,在基线方法的目标精度的改善,在某些情况下,实现了超过10%的增加。
2021-10-04 cs.LG
Online Spatio-Temporal Learning with Target Projection
IBM Research – Zurich(IBM苏黎世研究院);Delft University of Technology(代尔夫特理工大学);ETH Zurich(苏黎世联邦理工学院)
本文提出OSTTP在线时空学习算法,以目标投影消除BPTT的时间反向传播、权重对称和时空更新锁定问题,并在时序任务及忆阻神经形态硬件上验证其有效性。
2023-04-26 cs.LG cs.NE
Recommending Influenceable Targets based on Influence Propagation through Activity Behaviors in Online Social Media
Amity Institute of Information Technology (AIIT), Amity University(阿米蒂信息技术学院(AIIT),阿米蒂大学)
在线社交媒体(OSM)是一个平台,通过它,用户通过消息传递,发布,反应,标记和分享不同的内容以及其他社交活动将自己呈现给连接的世界。如今,它对行业,商业和社会的各个方面以及用户生活产生了巨大的影响。在OSN平台中,接触目标用户是大多数企业和其他组织的主要关注点之一。识别和推荐有影响力的目标有助于高效和有效地吸引适当的受众。在本文中,一个有效的模型已被讨论在自我中心的OSN,结合一个有效的影响力测量推荐系统,以产生一个列表中的所有连接的网络成员中的任何特定的社交网络用户的最具影响力的目标用户。首先,基于所有活动更新了交互网络成员的列表。基于情感类型的特定影响力类别,推荐具有最相似活动的交互网络成员。之后,通过分析这些更新的交互网络成员列表中的最有影响力的网络成员的活动内容相对于主用户的活动内容的相似性和频率,在所需数量的基础上,以适当的排名来识别这些最有影响力的网络成员。通过这两个连续的阶段,主要用户的顶级影响力目标的有效列表已经从任何社交网络的自我中心观点中区分出来。
2020-06-04 cs.IR cs.LG cs.SI
OmniDraft: A Cross-vocabulary, Online Adaptive Drafter for On-device Speculative Decoding
Qualcomm AI Research(高通人工智能研究)
OmniDraft提出统一框架,使单个草稿模型可适配任意目标模型并动态适应用户数据,通过在线n-gram缓存和混合蒸馏微调解决跨词表问题,实现设备端推测解码1.5-2倍加速。
2025-10-14 cs.CL cs.LG
Fast Direct: Query-Efficient Online Black-box Guidance for Diffusion-model Target Generation
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Centre for Frontier AI Research, Agency for Science, Technology and Research(新加坡科技研究局前沿人工智能研究中心);Institute of High Performance Computing, Agency for Science, Technology and Research(新加坡科技研究局高性能计算研究所)
针对现有引导扩散模型依赖可微目标或预收集数据的问题,提出在线黑盒引导算法Fast Direct,通过构建伪目标更新噪声序列,实现查询高效的图像与3D分子目标生成,效率提升6至44倍。
2025-03-29 cs.AI cs.LG
When Drafts Evolve: Speculative Decoding Meets Online Learning
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);University of California, San Diego(加州大学圣地亚哥分校)
本文提出OnlineSpec框架,利用交互反馈持续进化草稿模型,通过动态遗憾最小化建立在线学习性能与推测系统加速率的联系,实现24%的加速提升。
2026-08-07 cs.AI cs.LG
Online Test-Time Adaptation for Generalizable Dynamic Graph Anomaly Detection
The Hong Kong Polytechnic University(香港理工大学);Institute of Information Processing and Automation, Zhejiang University of Technology(浙江工业大学信息处理与自动化研究所);University of Illinois at Chicago (UIC)(伊利诺伊大学芝加哥分校)
针对可泛化动态图异常检测现有方法的局限,提出OTTA-DGAD方法,通过时序自图提取动态原型并结合内存缓冲区,在10个真实世界数据集上实现了最优性能。
2026-11-13 cs.LG
Accurate Online Posterior Alignments for Principled Lexically-Constrained Decoding
IIT Bombay(印度理工学院孟买分校)
机器翻译中的在线对齐是指当目标序列仅被部分解码时将目标词与源词对齐的任务。良好的在线对齐有助于重要的应用程序,例如词汇约束翻译,其中用户定义的字典用于将词汇约束注入翻译模型。我们提出了一种新的后对齐技术,是真正的在线执行和优越的对齐出错率相比,现有的方法。我们提出的推理技术联合考虑对齐和令牌概率的原则性方式,可以无缝集成在现有的约束波束搜索解码算法。在五个语言对,包括两个遥远的语言对,我们实现了一致的下降对齐出错率。当部署在七个词汇约束的翻译任务,我们实现了显着的改进,特别是在BLEU的约束位置。
2022-04-02 cs.CL cs.LG
Causal neural set filtering for online multi-target tracking
Hangzhou Applied Acoustics Research Institute(杭州应用声学研究所)
针对Transformer多目标跟踪的冗余计算问题,提出因果神经集合滤波(CNSF),通过仅编码当前测量并递归传递状态,结合Sinkhorn关联和卡尔曼更新,在模拟测试集上显著降低GOSPA并提升推理速度。
2026-09-16 cs.AI cs.LG
Memory Merge DQN: Sensitivity Weighted Target Updates for Stable Value Learning
Deakin University(迪肯大学);Federation University(联邦大学);UNSW(新南威尔士大学)
研究针对深度Q网络目标网络更新的权衡问题,提出内存合并深度Q网络机制,通过保留近期在线网络副本记忆,依Q值灵敏度合并参数构建目标网络,实验表明该方法能提升稳定性与最终性能。
2026-07-23 cs.LG
CAROL: Context-Aware Online Learning for Fuzzer Scheduling
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Georgia Institute of Technology(佐治亚理工学院)
CAROL利用模糊器当前上下文(奖励趋势、等待时间等)进行在线调度,在Magma基准上相比集成基线多触发漏洞,并在五个C++程序中发现120个新崩溃缺陷。
2026-09-09 cs.LG cs.SE
A novel online multi-label classifier for high-speed streaming data applications
提出了一种基于极限学习机的高速在线神经网络多标签分类器。在多标签分类中,每个输入数据样本属于一个或多个目标标签。传统的二值分类和多类分类是多标签分类的子集,其中每个样本只属于一个目标类。多标签分类问题比二进制和多类分类问题复杂得多,因为目标标签的数量和对应于每个输入样本的每个目标标签都要被识别。所提出的工作利用极端学习机的高速特性来实现流数据的实时多标签分类。针对高速流数据多标签分类问题,提出了一种新的基于阈值的在线序贯学习算法。所提出的方法进行了实验,从不同的应用领域,如多媒体,文本和生物学的六个不同的数据集。汉明损失,准确性,训练时间和测试时间的建议的技术进行了比较与9个不同的国家的最先进的方法。实验结果表明,该方法在性能和速度方面优于现有的多标签分类器。
2016-09-01 cs.AI cs.LG cs.NE
An Online Convex Optimization Approach to Blackwell's Approachability
Technion – Israel Institute of Technology(以色列理工学院)
布莱克威尔在20世纪50年代提出了向量收益重复博弈中可接近性的概念,以及可接近性的几何条件和相应的策略,这些策略依赖于计算{ \em转向方向}作为从当前平均收益向量到(凸)目标集的投影。最近,Abernethy,Batlett和Hazan(2011)提出了一类可接近性算法,该算法依赖于在线线性规划的无遗憾属性来计算合适的转向方向序列。这是第一次进行的目标集是凸锥,然后推广到任何凸集嵌入到一个更高的维凸锥。在本文中,我们提出了一个更直接的配方,依赖于支持函数的集合,随着合适的在线凸优化算法,这导致了一般类的逼近算法。我们进一步表明,Blackwell的原始算法及其收敛性作为一个特殊情况。
2015-03-01 cs.GT cs.LG
TWICE: Two-Clock, Two-Window Learning for Long-Horizon Conversion Prediction in Online Advertising
Kuaishou Technology(快手科技)
研究在线广告中延迟反馈下的长期转化预测问题,提出TWICE框架,将长期点击后转化率分解,利用双时钟提供互补监督训练模型,实验证明该方法有效,提升了快手广告系统的相关指标。
2026-07-29 cs.IR cs.LG
Online Multiple Pedestrians Tracking using Deep Temporal Appearance Matching Association
Hyundai Motor Company(现代汽车公司);RMIT University(皇家墨尔本理工大学);SI-Analytics Company, Ltd.(SI分析有限公司);GIST(韩国科学技术院)
在在线多目标跟踪中,行人视觉场景之间的外观和几何相似性建模非常重要。与几何模型相比,外观模型中的固有信息的更高维度在许多方面是有问题的。然而,由于最近基于深度学习的方法的成功,处理高维外观信息变得可行。在众多的深度神经网络中,具有三重丢失的连体网络作为一种有效的外观特征提取器被广泛采用。由于Siamese网络可以独立地提取每个输入的特征,因此可以更新和维护特定于目标的特征。但是,它不适用于需要与其他输入进行比较的多目标设置。为了解决这个问题,我们提出了一种新的轨迹外观模型的基础上的联合推理网络。所提出的方法使两个输入的比较用于自适应外观建模,并有助于消除目标观测匹配的歧义和身份一致性的巩固。不同的实验结果支持我们的方法的有效性。我们的工作在CVPR 2019举办的BMTT MOTChallenge 2019中被评为第三名。该代码可在https://github.com/yyc9268/Deep-TAMA上获得。
2020-10-09 cs.CV cs.LG eess.IV
Online Speculative Decoding
UC Berkeley(加州大学伯克利分校);UCSD(加州大学圣迭戈分校);Google Inc.(谷歌公司);SJTU(上海交通大学)
本文提出在线投机解码,通过基于用户查询数据持续更新草稿模型来适应查询分布,从而提升令牌接受率并显著降低大语言模型推理延迟。
2024-06-10 cs.AI cs.CL cs.LG
Online Bayesian Meta-Learning for Cognitive Tracking Radar
Virginia Tech(弗吉尼亚理工大学);US Army Research Laboratory(美国陆军研究实验室)
认知雷达的一个关键组成部分是泛化能力,或在一系列感知环境中实现一致的性能,因为物理场景的各个方面可能会随时间而变化。这对基于学习的波形选择方法提出了挑战,因为在一个场景中有效的传输策略在另一个场景中可能是非常次优的。我们解决这个问题的战略偏见的学习算法,通过利用高层次的结构跟踪实例,称为元学习。在这项工作中,我们开发了一种在线元学习方法,用于波形敏捷跟踪。该方法使用从先前目标跟踪中获得的信息来加速和增强新跟踪实例中的学习。这导致在样本有效的学习,通过利用固有的相似性,在跟踪场景中,由于共同的物理元素,如目标类型或杂波统计的一类有限状态目标通道。我们制定的贝叶斯学习的框架内的在线波形选择问题,并提供先验依赖的性能界限的元学习问题,使用概率近似正确(PAC)贝叶斯理论。我们提出了一个计算上可行的元后验采样算法,并研究了在不同场景的仿真研究中的性能。最后,我们研究了与波形敏捷跟踪的在线元学习相关的潜在性能优势和实际挑战。
2023-02-07 cs.IT cs.LG cs.SY