Freezing and Sleeping: Tracking Experts that Learn by Evolving Past Posteriors
Centrum Wiskunde & Informatica (CWI)(数学和计算机科学中心(CWI))
弗罗因德提出的一个问题是如何有效地跟踪一个更大的专家集的一小部分。这个问题在Bousquet和Warfall于2001年推出混合过去后验(MPP)算法时得到了解决。在弗罗因德问题中,专家通常被认为是黑箱。然而,在本文中,我们重新审视弗氏问题的情况下,专家有内部结构,使他们能够学习。在这种情况下,问题有两种可能的解释:专家应该从所有数据中学习,还是只从他们正在跟踪的子序列中学习?MPP算法解决了第一种情况。我们的贡献是推广MPP以解决第二种选择。我们得到的结果适用于任何专家结构,可以使用(专家)隐马尔可夫模型进行形式化。奇怪的是,对于我们的解释,有\emph{two}自然的参考方案:冻结和睡眠。对于每个方案,我们提供了一个有效的预测策略,并证明了相关的损失界。
2010-08-27 cs.LG
AutoSIGHT: Automatic Eye Tracking-based System for Immediate Grading of Human experTise
University of Notre Dame(诺丁汉大学)
本文提出AutoSIGHT系统,基于眼动追踪特征自动区分专家与非专家,在虹膜PAD任务上5秒窗口AUROC达0.751,30秒达0.8306,并公开数据集,推动人机专业知识动态权衡研究。
2025-08-01 cs.AI cs.CV cs.LG
Tracking a Small Set of Experts in Online Convex Optimization
Princeton University(普林斯顿大学);Google DeepMind(谷歌DeepMind)
该研究针对在线凸优化中跟踪小专家集的问题,证明了离散化应用Bousquet-Warmuth算法的低效性,在超图植入团猜想下确立了信息论与多项式时间可实现遗憾的分离。
2026-10-15 cs.LG math.OC stat.ML
Online Deep Learning for Improved Trajectory Tracking of Unmanned Aerial Vehicles Using Expert Knowledge
Nanyang Technological University(南洋理工大学);Aarhus University(奥胡斯大学)
本工作提出了一种基于在线学习的控制方法,用于同时使用深度学习和专家知识来改进无人机的轨迹跟踪。所提出的方法不需要精确的系统模型进行控制,它是对系统动态变化以及操作的不确定性鲁棒性。学习分为两个阶段:离线(前)培训和在线(后)培训。在前者中,常规控制器执行一组轨迹,并且基于输入-输出数据集,训练基于深度神经网络(DNN)的控制器。在后者中,模仿传统控制器的经过训练的DNN控制系统。与文献中现有的论文不同,该网络仍在针对DNN训练阶段未使用的不同轨迹集进行训练。由于规则库,其中包含的专家知识,所提出的框架学习系统动态和操作的不确定性实时。实验结果表明,所提出的在线学习为基础的方法提供了更好的轨迹跟踪性能相比,只有离线训练的网络。
2019-05-26 cs.LG cs.RO
Optimal Tracking in Prediction with Expert Advice
Bilkent University(比尔肯特大学);Turkcell Teknoloji(土耳其电信技术公司);DataBoss A.S.(DataBoss公司)
我们研究了专家建议设置的预测,其目的是通过组合一组专家产生的决策来产生决策,例如,独立运行的算法在专家建议设定的预测条件下,我们得到了最小-最大最优动态后悔,我们可以以最佳方式与专家决策的时变(不一定是固定的)组合竞争。我们的最终算法是真正在线的,没有先验信息,如时间范围或损失范围,这是常用的不同的算法在文献中。我们的遗憾保证和最小-最大下限都是在一般考虑到专家损失可能具有时变特性并且可能无界的情况下推导出来的。我们的算法可以适用于限制性的情况下,损失反馈和决策。我们的保证是普遍的,即,我们的最终算法可以提供对任何竞争者序列的最小-最大优化方式与对数复杂度的遗憾保证。请注意,据我们所知,对于专家建议问题的预测,我们的算法是第一个在没有先验知识的情况下产生这种普遍最优,自适应和真正在线保证的算法。
2022-08-07 cs.LG math.OC
Tracking the Best Expert in Non-stationary Stochastic Environments
Institute of Information Science(信息科学研究所);Academia Sinica(中央研究院)
研究了非平稳随机环境中多臂强盗和专家的动态后悔问题。我们引入了一个新的参数$Λ$,它衡量的总统计方差的损失分布在$T$轮的过程,并研究这个数额如何影响后悔。我们研究了$Λ$和$Γ$之间的相互作用,它计算分布变化的次数,以及$Λ$和$V$之间的相互作用,它测量分布随时间的偏离程度。我们发现一个惊人的结果是,即使当$Γ$、$V$和$Λ$都被限制为常数时,在强盗情境下的后悔下限仍然随着$T$而增长。另一个亮点是,在完全信息设置中,通过恒定的$Γ$和$Λ$可以实现恒定的后悔,因为它可以独立于$T$,而通过恒定的$V$和$Λ$,后悔仍然具有$T^{1/3}$依赖性。我们不仅提出了具有上界保证的算法,而且证明了它们的匹配下界。
2019-06-21 cs.LG
Efficient Tracking of Large Classes of Experts
University of Alberta(阿尔伯塔大学);Computer and Automation Research Institute of the Hungarian Academy of Sciences(匈牙利科学院计算机与自动化研究所);Queen’s University(女王大学);ICREA(加泰罗尼亚研究与高级研究机构);Pompeu Fabra University(庞培法布拉大学)
在预测单个序列的框架中,要构建顺序预测方法,其表现几乎与给定类别的最佳专家一样好。我们认为预测策略,竞争的切换策略,可以将一个给定的序列分割成几个块的类,并遵循不同的“基地”专家在每个块的意见。通常,该算法的性能是通过后悔来衡量的,后悔定义为相对于事后为要预测的特定序列选择的最佳切换策略的超额损耗。在本文中,我们构造的预测策略的低计算成本的情况下,基础专家的集合是大的。特别地,我们提供了一种方法,该方法可以将为基类设计的任何预测算法$\A$转换为跟踪算法。所得到的跟踪算法可以利用$\A$的预测性能和潜在的计算效率,在某种意义上,它可以以仅比$\A$大$O(n^γ \ln n)$倍的时间和空间复杂度来实现,其中$n$是时间范围,而$γ\ge 0$是算法的参数。适当地选择$\A$,我们的算法实现了最佳顺序的遗憾界的$γ>0$,只有$O(\ln n)$倍大于最佳顺序的$γ=0$的所有典型的遗憾界类型,我们检查。例如,对于对数损失下的切换参数的二进制序列的预测,我们的方法实现了最佳的$O(\ln n)$后悔率与时间复杂度$O(n^{1+γ}\ln n)$的任何$γ\in (0,1)$。
2012-07-10 cs.IT cs.LG math.IT
Online Residual Learning from Offline Experts for Pedestrian Tracking
ETH Zürich(苏黎世联邦理工学院);inspire AG(inspire AG公司)
针对在线行人轨迹预测,本文提出 ORL,将多个离线预测与递推最小二乘在线残差校正结合,并通过专家建议框架和自适应 softmax 聚合,实现遗憾保证与最佳性能。
2024-09-09 cs.LG cs.SY eess.SY
Tracking the Best Expert Privately
Apple(苹果公司);UMich(密歇根大学);UIC(芝加哥大学伊利诺伊分校)
本文研究差分隐私下的追踪最佳专家问题,分别针对变化随机、无知和自适应对手设计动态遗憾算法,并证明自适应情形在高隐私区间存在线性遗憾下界。
2025-03-12 cs.LG
Online Data Thinning via Multi-Subspace Tracking
Duke University(杜克大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
在一个无处不在的大规模流数据时代,数据的可用性远远超过了专家人类分析师的能力。在许多情况下,这些数据要么被丢弃,要么未经处理地存储在数据中心。本文提出了一种在线数据细化的方法,在该方法中,大规模的流数据集被筛选,以保留独特的,异常的,或显着的元素,以便及时的专家分析。该方法的核心是基于动态低秩高斯混合模型的在线异常检测方法。具体地,与高斯分量相关联的高维协方差矩阵与低秩模型相关联。根据这个模型,大多数观测位于子空间的并集附近。低秩建模减轻了与高维数据的异常检测相关的维数灾难,子空间聚类和子空间跟踪的最新进展允许所提出的方法适应动态环境。此外,该方法允许二次采样,对缺失数据具有鲁棒性,并使用小批量在线优化方法。由此产生的算法是可扩展的,高效的,并且能够实时操作。广域运动图像和电子邮件数据库上的实验说明了所提出的方法的有效性。
2016-09-12 cs.LG stat.ML
Mixture of Pre-processing Experts Model for Noise Robust Deep Learning on Resource Constrained Platforms
Georgia Institute of Technology(佐治亚理工学院)
边缘设备上的深度学习由于不断减少的功率预算而需要节能操作。为了更长的电池寿命,在数据采集期间故意的低质量数据,以及来自低成本传感器的自然噪声降低了目标输出的质量,这阻碍了在边缘设备上采用深度学习。为了克服这些问题,我们提出了简单而有效的混合预处理专家(MoPE)模型来处理各种图像失真,包括低分辨率和噪声图像。我们还建议使用经过对抗训练的自动编码器作为有噪图像的预处理专家。我们评估了我们提出的方法用于各种机器学习任务,包括MS-COCO 2014数据集上的目标检测,MOT-Challenge数据集上的多目标跟踪问题,以及UCF 101数据集上的人类活动分类。实验结果表明,该方法在不牺牲干净图像准确性的前提下,在噪声环境下获得了更好的检测、跟踪和活动分类精度。与基线目标检测网络相比,我们提出的MoPE的内存和计算开销分别为0.67%和0.17%。
2019-04-29 cs.CV cs.LG stat.ML
Soft-Bayes: Prod for Mixtures of Experts with Log-Loss
DeepMind(深度思维)
我们认为预测与专家的意见下的日志损失的目标是获得高效和强大的算法。我们认为,现有的算法,如指数梯度,在线梯度下降和在线牛顿步骤不足以满足这两个要求。我们的主要贡献是Prod算法的分析,该算法对任何数据序列都是鲁棒的,并且相对于每轮专家的数量在线性时间内运行。尽管无界性质的对数损失,我们得到一个界,是独立的最大损失和最大的梯度,只取决于专家的数量和时间范围。此外,我们给出了一个贝叶斯解释的Prod和适应的算法,以获得跟踪遗憾。
2019-01-08 cs.LG stat.ML
Adapting to Non-stationarity with Growing Expert Ensembles
Carnegie Mellon University(卡内基梅隆大学);Northwestern University(西北大学);University of Colorado(科罗拉多大学)
当处理具有复杂非平稳性的时间序列时,对个体实现的低追溯后悔比期望中的低预期风险是一个更合适的目标。在线学习算法提供了这种形式的有力保证,并且经常被提议用于非平稳过程,因为它们能够在不同的预测者或“专家”之间切换。然而,现有的方法假设一组专家的预测是结合在一起,都在一开始,这是不合理的,当处理一个真正的历史或进化系统。我们展示了如何修改“固定份额”算法,以跟踪最好的专家,以应付一个稳定增长的专家组,通过拟合新的模型,新的数据,因为它变得可用,并获得遗憾的范围不断增长的合奏。
2011-06-28 cs.LG physics.data-an stat.ME
Policy-Controlled Generalized Share: A General Framework with a Transformer Instantiation for Strictly Online Switching-Oracle Tracking
本文提出PCGS框架,通过Transformer控制器实现严格在线切换Oracle跟踪,提供路径加权遗憾保证和动态遗憾保证,实验显示其在非平稳环境下表现优异。
2026-03-30 cs.LG q-fin.ST
Tracking environmental policy changes in the Brazilian Federal Official Gazette
Universidade de São Paulo(圣保罗大学);Política por Inteiro
尽管巴西的大部分能源来自可再生能源,但由于密集的农业和亚马逊雨林等生物群落的砍伐,巴西是世界上最大的温室气体排放国之一,保护亚马逊雨林对遵守《巴黎协定》至关重要。尽管如此,无论游说团体或主流政治取向如何,所有政府法律行动每天都在《巴西联邦官方公报》上公布。然而,由于当局每天发布数百项法令,手动分析所有这些过程并找出哪些过程可能造成严重的环境危害是绝对繁重的。在本文中,我们提出了一种策略,组成自动化技术和领域的专家知识来处理所有的数据从BFOG。我们还提供了政府行动跟踪器,这是一个高度策划的数据集,葡萄牙语,由领域专家注释,关于巴西环境政策的联邦政府行为。最后,我们在该数据集中建立并比较了四种不同的NLP模型。我们的最佳模型获得了F1评分$0.714 \pm 0.031$。今后,这一系统应有助于在最低限度的人力监督下扩大对所有官方文件的高质量跟踪,并有助于提高社会对政府行为的认识。
2022-02-11 cs.IR cs.LG
Protected probabilistic classification
本文提出了一种保护概率预测模型不受数据分布变化影响的方法,集中在分类的情况下,特别注意二进制分类。这在机器学习的应用中是重要的,其中训练的预测算法的质量可能在其开发过程中显著下降。我们的技术是基于最近的工作共形测试鞅和旧的工作预测专家的意见,即跟踪最好的专家。
2021-10-22 cs.LG
Clustering with Fast, Automated and Reproducible assessment applied to longitudinal neural tracking
Rice University(莱斯大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Department of Electrical and Computer Engineering, Rice University(莱斯大学电气与计算机工程系);Department of Mathematics, University of Texas at Austin(德克萨斯大学奥斯汀分校数学系)
在许多领域,从神经跟踪到数据库实体解析,人类专家对聚类的手动评估是快速开发可扩展和专业聚类方法的瓶颈。为了解决这个问题,我们开发了C-FAR,一种新的方法,快速,自动化和可重复的多层次聚类算法同时评估。我们的算法需要任何数量的层次聚类树作为输入,然后策略性地查询对人类的反馈,并输出这些树提名的最佳聚类。虽然它适用于任何利用成对比较进行评估的领域中的大型数据集,但我们的旗舰应用是尖峰排序中的聚类聚合步骤,即将记录中的波形(尖峰)分配给神经元的任务。在96个神经元的模拟数据上,包括漂移和25%的黑障,我们的算法产生了相对于地面真实值的接近完美的跟踪。我们的运行时线性缩放输入树的数量,使其成为一个有竞争力的计算工具。这些结果表明,C-FAR非常适合作为聚类任务中的模型选择和评估工具。
2020-03-19 cs.LG q-bio.QM stat.ML
Discontinuity-Sensitive Optimal Control Learning by Mixture of Experts
Duke University(杜克大学)
本文提出了一种高精度的参数最优控制问题解的间断敏感学习方法。从模型预测控制到强化学习的许多任务可以通过学习作为问题参数的函数的最优解来解决。然而,非凸性,离散同伦类,控制切换造成不连续的参数解决方案映射,从而使学习困难的传统连续函数逼近。提出了一种由一个分类器和多个回归器组成混合专家模型(MoE)。不同参数的最优轨迹被聚类,使得在每个聚类中轨迹是问题参数的连续函数。基准问题的数值例子表明,训练分类器和回归单独优于联合训练的MoE。利用适当选择的聚类,该方法不仅利用较少的训练数据和较少的模型参数实现较低的预测误差,而且与传统的通用函数近似模型(例如,神经网络)。
2019-07-02 cs.LG cs.RO math.OC
DF-MoE: Generalizable Deepfake Detection via Multimodal Sparse Mixture-of-Experts
University of Bucharest(布加勒斯特大学);Technical University Munich(慕尼黑工业大学);University of Tübingen(蒂宾根大学)
该研究针对视听深度伪造检测的泛化难题,提出DF-MoE框架,通过多预训练模型提取多模态线索并结合MoE主干网络,在五个基准数据集上实现优于现有方法的检测性能。
2026-08-25 cs.AI cs.CV cs.LG