Sequential Weakly Labeled Multi-Activity Localization and Recognition on Wearable Sensors using Recurrent Attention Networks
School of Electrical and Automation Engineering, Nanjing Normal University(南京师范大学电气与自动化工程学院);School of Electronic and Information Engineering, Nanjing University of Information Science and Technology(南京信息工程大学电子与信息工程学院)
针对现有注意力模型仅能处理单活动弱标注数据的局限,提出循环注意力网络RAN,可基于粗粒度序列弱标签同时实现多活动类型推断与定位,有效降低人工标注成本,在自建及公开数据集上验证了有效性。
2021-08-03 cs.LG eess.SP stat.ML
Constraint-aware Learning of Probabilistic Sequential Models for Multi-Label Classification
Ukrainian Catholic University Lviv Ukraine;HUN-REN Alfr\' e d R\' e nyi Institute of Mathematics E \"o tv \"o s Lor\' a nd University Budapest Hungary;University of Oxford Oxford UK;Ukrainian Catholic University;HUN-REN Alfr\' e d R\' e nyi Institute of Mathematics;E \"o tv \"o s Lor\' a nd University;University of Oxford
本文研究带逻辑约束的大规模多标签分类,提出将单标签分类器接入表达性序列模型以建模联合分布,并实验证明该架构能在训练中利用约束、在推理时强制执行约束。
2025-07-20 cs.AI cs.LG cs.LO
Sequential Multi-Class Labeling in Crowdsourcing
Nanyang Technological University(南洋理工大学)
我们考虑一个众包平台,其中工人对众包者提出的问题的回答被用来确定多类标签问题的隐藏状态。由于工人可能不可靠,我们建议进行顺序提问,其中向工人提出的问题是根据之前的问题和答案设计的。我们提出了一个部分可观测马尔可夫决策过程(POMDP)框架,以确定最佳的提问策略,受众包的预算约束。由于这种POMDP制定一般是棘手的,我们开发了一个次优的方法的基础上,一个$q$ ary Ulam-Rényi游戏。我们还提出了一个采样启发式,它可以与标准的POMDP求解器,使用我们的Ulam-Rényi策略。我们通过模拟证明,我们的方法优于基于纠错编码的非顺序策略,并且不利用工人以前的反应。
2018-05-19 cs.CY cs.HC cs.LG
Multi-Resolution Weak Supervision for Sequential Data
Stanford University(斯坦福大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
由于手动标记训练数据缓慢且昂贵,最近的工业和科学研究工作已经转向更弱或更嘈杂的监督源形式。然而,现有的弱监督方法无法对序列数据(如视频)的多分辨率源进行建模,这些数据可以将标签分配给序列中的单个元素或元素集合。弱监管的一个关键挑战是在不使用标记数据的情况下估计这些源的未知精度和相关性。多分辨率源加剧了这一挑战,这是由于复杂的相关性和样本复杂性在序列的长度上缩放。我们提出了Dugong,这是第一个对具有复杂相关性的多分辨率弱监督源进行建模的框架,可以为训练数据分配概率标签。在理论上,我们证明了儒艮,在温和的条件下,可以唯一地恢复未观察到的精度和相关参数,并使用参数共享,以改善样本的复杂性。我们的方法将临床医生验证的标签分配给人口规模的生物医学视频存储库,帮助超过传统监督36.8 F1点,并解决了机器学习因缺乏专家标记数据而受到严重限制的关键用例。平均而言,在几个视频和传感器分类任务中,Dugong比传统监督方法提高了16.0 F1点,比现有的弱监督方法提高了24.2 F1点。
2019-10-21 cs.CV cs.LG stat.ML
Uncertainty Prediction for Deep Sequential Regression Using Meta Models
IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
为序贯回归生成高质量的不确定性估计,特别是深度递归网络,仍然是一个具有挑战性和开放性的问题。现有的方法往往作出限制性的假设(如平稳性),但在实践中仍然表现不佳,特别是在现实世界的非平稳信号和漂移的存在。本文介绍了一种灵活的方法,可以产生对称和非对称的不确定性估计,不作任何假设平稳性,并优于漂移和非漂移情况下的竞争基线。这项工作有助于使序贯回归在现实世界的应用中更加有效和实用,并且是一般序贯不确定性量化建模工具箱的强大新添加。
2021-07-22 cs.LG stat.ML
Adversarial Resilience in Sequential Prediction via Abstention
University of Pennsylvania(宾夕法尼亚大学);Purdue University(普渡大学);Technion(以色列理工学院);Google Research, Israel(谷歌研究院(以色列));University of California, Berkeley(加利福尼亚大学伯克利分校)
本文提出介于随机与完全对抗之间的序列预测模型,允许对干净标签对抗样本无成本弃权,并给出依赖 VC 维而非 Littlestone 维的学习器及不确定性度量。
2024-01-25 cs.DS cs.LG stat.ML
Can Transformers Learn Sequential Function Classes In Context?
本研究通过引入滑动窗口序列函数类,在玩具级GPT-2模型上验证了Transformer能在上下文中学习非文本序列函数,且对标签噪声具有鲁棒性,为理解ICL的序列性机制奠定基础。
2023-12-21 cs.AI cs.CL cs.LG
Classification with Trust: A Supervised Approach based on Sequential Ellipsoidal Partitioning
International Institute of Information Technology Bangalore(班加罗尔国际信息技术研究所)
分类器性能的标准度量,例如准确性和灵敏度,并不揭示对数据预测标签的信任或信心。虽然其他度量,如标签的计算概率或与超平面的有符号距离可以作为信任度量,但这些都受到启发式阈值的影响。本文提出了一种基于凸优化的监督分类器,该分类器将数据集顺序地划分为多个椭球,每个椭球包含几乎所有相同标签的点。通过陈述基于该划分的分类规则,然后应用贝叶斯公式来计算分配给根据这些规则确定的测试数据点的标签的信任得分。所提出的序贯椭圆分割分类器(SEP-C)暴露了数据集的不规则性,例如重叠程度,而不需要单独的探索性数据分析。没有超参数的分类规则也不受类别不平衡、底层数据分布或特征数量的影响。当数据集不是线性可分的时,SEP-C不需要使用非线性内核。SEP-C的性能以及与其他方法的比较在XOR问题、圆数据集和其他开源数据集上得到了证明。
2023-02-21 cs.LG
Causal Label Recovery in Payment Networks
Mastercard(麦star卡)
针对支付网络中标签存在的四种系统偏差,提出序列三重稳健(STR)估计器,同时纠正所有偏差并达到半参数效率界,实现基于数天而非数月数据的训练。
2026-05-28 cs.AI cs.LG stat.ML
A Survey on Self-supervised Pre-training for Sequential Transfer Learning in Neural Networks
University of California, San Diego(加利福尼亚大学圣迭戈分校)
深度神经网络通常在监督学习框架下进行训练,其中模型使用标记数据学习单个任务。从业者可以利用未标记或相关数据来提高模型性能,而不是仅仅依赖于标记数据,这些数据通常更容易访问和无处不在。用于迁移学习的自监督预训练正在成为一种越来越流行的技术,用于使用未标记数据来改善最先进的结果。它首先在大量未标记的数据上预训练模型,然后使模型适应感兴趣的目标任务。在这篇综述中,我们调查自监督学习方法及其应用程序中的顺序迁移学习框架。我们概述了自监督学习和迁移学习的分类,并强调了一些在不同领域设计预训练任务的突出方法。最后,我们讨论了最近的趋势,并建议未来的调查领域。
2020-07-01 cs.LG stat.ML
Sequential inductive prediction intervals
Combient Mix (Silo AI)(Combient Mix(Silo AI))
该研究结合序贯检验理论提出序贯归纳预测区间,并给出三参数 PAC 定义,通过模拟以高概率实现近乎尖锐的界。
2023-12-08 cs.LG math.ST stat.ME
Online Learning via Sequential Complexities
University of Pennsylvania(宾夕法尼亚大学);University of Michigan(密歇根大学)
我们考虑的顺序预测的问题,并提供工具来研究相关的游戏的极大极小值。经典的统计学习理论提供了几个有用的复杂性措施,研究学习i.i.d.数据我们提出的顺序复杂性可以看作是这些措施的顺序设置的扩展。发达国家的理论证明,产生精确的学习保证顺序预测的问题。特别是,我们在线学习的监督学习设置的必要和充分条件。几个例子表明我们的框架的效用:我们可以建立可学习性,而不必展示一个明确的在线学习算法。
2014-08-12 cs.LG stat.ML
Truth Discovery in Sequence Labels from Crowds
Iowa State University(爱荷华州立大学);Lehigh University(理海大学)
针对众包序列标注中复杂依赖关系导致的聚合难题,提出基于优化的聚合方法$AggSLC$,联合考虑任务特征与工人可靠性,理论证明其有限步收敛,在多数据集上优于现有方法。
2023-07-01 cs.HC cs.LG
Generic Bounds on the Maximum Deviations in Sequential Prediction: An Information-Theoretic Analysis
NYU(纽约大学)
在本文中,我们通过信息论的方法推导出一般的最大偏差的顺序预测的预测误差的界限。的基本界限只取决于条件熵的数据点被预测给定以前的数据点。在渐近的情况下,当且仅当预测误差是白色的,均匀分布的边界实现。
2021-05-11 cs.IT cs.LG eess.SP
Class-Incremental Lifelong Learning in Multi-Label Classification
Suzhou University of Science and Technology(苏州科技大学);Suzhou Institute of Trade & Commerce(苏州经贸职业技术学院);Tianjin University(天津大学)
现有的班级增量式终身学习研究数据都是单标签的,这限制了其对多标签数据的适应性。本文研究了终身多标签(LML)分类方法,该方法在序列多标签分类数据流中建立一个在线类增量分类器。在LML分类中,对带有部分标签的数据进行训练可能会导致旧类中更严重的灾难性遗忘。为了解决这个问题,该研究提出了一个增强的图卷积网络(AGCN)的增强相关矩阵(ACM)的顺序部分标签任务。两个基准测试的结果表明,该方法是有效的LML分类和减少遗忘。
2022-07-16 cs.AI cs.LG
Star Temporal Classification: Sequence Classification with Partially Labeled Data
Meta AI;Zoom AI(Zoom人工智能);Apple(苹果公司)
我们开发了一个算法,可以学习部分标记和未分割的序列数据。大多数序列损失函数,如连接主义时间分类(CTC),打破了许多标签丢失。我们解决这个问题与星时间分类(STC),它使用一个特殊的星令牌,允许对齐,其中包括所有可能的令牌时,令牌可能会丢失。我们将STC表示为加权有限状态转换器(WFSTs)的组合,并使用GTN(一个用于WFSTs的自动微分框架)来计算梯度。我们进行了广泛的实验自动语音识别。这些实验表明,STC可以恢复大部分的监督基线的性能时,高达70%的标签丢失。我们还进行了手写识别实验,以表明我们的方法很容易适用于其他序列分类任务。
2022-03-03 cs.LG cs.SD eess.AS
Context-Aware Selective Label Smoothing for Calibrating Sequence Recognition Model
South China University of Technology(华南理工大学);Pazhou Laboratory(琶洲实验室);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Alibaba Group(阿里巴巴集团)
尽管深度神经网络(DNN)在顺序数据上取得了成功(即,场景文本和语音)识别,它遭受过度置信问题,主要是由于训练中的过度拟合以及交叉熵损失,这可能使决策不太可靠。置信度校准是解决这一问题的有效方法之一。然而,大多数现有的置信度校准方法针对非序列数据,这是有限的,如果直接应用于序列数据,因为序列中的内在上下文依赖性或类特定的统计先验很少被利用。最后,我们提出了一种上下文感知的选择性标签平滑(CASLS)方法来校准序列数据。CASLS充分利用序列中的上下文依赖性,构造不同类别的上下文预测统计的混淆矩阵。然后使用类特定的出错率来调整平滑强度的权重,以实现自适应校准。在场景文本识别和语音识别等序列识别任务上的实验结果表明,该方法具有较好的性能。
2023-03-13 cs.AI cs.LG
Sequential Randomized Matrix Factorization for Gaussian Processes: Efficient Predictions and Hyper-parameter Optimization
United Technologies Research Center(联合技术研究中心)
本文提出了一种序列随机低秩矩阵分解方法,使用高斯过程框架增量预测未知函数在测试点处的值。众所周知,在高斯过程框架中,计算瓶颈是(正则化)核矩阵的求逆和定义核的超参数的计算。本文的主要贡献是双重的。首先,我们形式化了一种在流媒体场景中使用随机矩阵分解算法计算核矩阵逆的方法,即,数据是随着时间递增地生成的。所提出的方法的准确性和计算效率的指标进行比较,对一个批处理方法的基础上使用的随机矩阵分解和现有的流方法的基础上近似高斯过程的一组有限的基向量。其次,我们扩展的顺序因式分解方法的一类核函数的超参数可以有效地优化。所有结果都在两个公开的数据集上得到了证明。
2017-11-19 cs.LG stat.ML
Sequential online prediction in the presence of outliers and change points: an instant temporal structure learning approach
Nanjing University of Posts and Telecommunications(南京邮电大学);Zhejiang University(浙江大学)
在本文中,我们考虑序列在线预测(SOP)的流数据中存在的异常值和变化点。我们提出了一个即时TEMporal结构学习(INTEL)算法来解决这个问题。我们的INTEL算法是在充分考虑在线预测和异常检测之间的双重性的基础上开发的。我们首先采用加权高斯过程模型(WGP)的混合物,以涵盖预期的可能的时间结构的数据。然后,基于这种WGP混合物丰富的建模能力,我们开发了一种有效的技术来即时学习(捕获)政权转移后的数据的时间结构。这种即时学习仅通过调整混合模型的一个超参数值来实现。一个加权的推广的产品的专家(POE)模型用于融合预测产生的多个GP模型。一旦实际观测值严重偏离融合预测,则声明为离群值。如果连续声明了一定数量的离群值,则声明了变化点。使用不同的真实数据集进行了广泛的实验。结果表明,该算法是显着优于基准方法的SOP中存在的异常值和变化点。
2020-02-11 cs.LG stat.ML
Sequential Predictive Conformal Inference for Time Series
Georgia Institute of Technology(佐治亚理工学院)
本文提出序贯预测共形推断(SPCI)算法,通过利用时间序列残差的时间依赖性自适应估计条件分位数,解决不可交换序列的共形预测问题,并在保证覆盖率的同时显著缩小预测区间宽度。
2023-05-30 cs.LG stat.ME stat.ML
Sequential modeling of Sessions using Recurrent Neural Networks for Skip Prediction
FindHotel
推荐系统在音乐流媒体服务中发挥着至关重要的作用,特别是以个性化播放列表的形式。探索这些收听会话内的用户交互对于理解单个会话的上下文中的用户偏好是有益的。在“Spotify顺序跳过预测测试”中,WSDM和Spotify正在挑战人们理解用户顺序与音乐交互的方式。我们在本文中描述了我们的解决方案的方法,并提出进一步改进的模型。所提出的模型最初生成会话的固定向量表示,并且将此附加信息并入编码器-解码器风格的架构中。该方法在比赛中获得了第七名,在测试集上的平均准确率为0.604。解决方案代码可在https://github.com/sainathadapa/spotify-sequential-skip-prediction上获得。
2019-04-23 cs.IR cs.LG
On the potential of sequential and non-sequential regression models for Sentinel-1-based biomass prediction in Tanzanian miombo forests
UiT The Arctic University of Norway(挪威北极大学);KSAT Kongsberg Satellite Services(康斯伯格卫星服务公司);NORCE Norwegian Research Centre(挪威NORCE研究中心);Norwegian University of Life Sciences(挪威生命科学大学);Sokoine University of Agriculture(索科因农业大学)
本研究得出的回归模型,地上生物量(AGB)估计在坦桑尼亚的miombo林地,利用哨兵-1数据的高可用性和低成本。有限的森林冠层的C波段SAR传感器的渗透以及稀疏的可用地面实况限制了他们的有用性,在传统的AGB回归模型。因此,我们建议使用AGB预测的基础上机载激光扫描(ALS)数据作为替代响应变量的SAR数据。这极大地增加了可用的训练数据,并为捕获精细尺度AGB动态的灵活回归模型打开了大门。这成为一种顺序建模方法,其中第一个回归阶段将原位数据与ALS数据联系起来,并生成AGB预测图;我们执行后续阶段,该图与Sentinel-1数据相关。我们开发了一个传统的,参数回归模型和替代非参数模型在这个阶段。后者使用条件生成对抗网络(cGAN)将Sentinel-1图像转换为基于ALS的AGB预测图。神经网络中的卷积滤波器使它们与上下文相关。我们将序贯模型与传统的非序贯回归模型进行了比较,所有模型都是在有限的AGB地面参考数据上训练的。结果表明,我们新提出的基于非序列Sentinel-1的回归模型在定量上比序列模型表现得更好,但对细尺度AGB动态的敏感性较低。基于cGAN的序列模型最好地再现了基于ALS的AGB预测的分布。他们也达到了较低的RMSE对原位AGB数据比参数序贯模型,表明进一步发展的潜力。
2022-05-31 cs.CV cs.LG
Generalization of metric classification algorithms for sequences classification and labelling
Bauman Moscow State Technical University(莫斯科鲍曼国立技术大学)
本文讨论了度量分类算法的改进问题。特别是,它研究了算法的k-最近的邻居,其应用程序的顺序数据。提出了一种度量分类算法的推广方法。作为它的一部分,已经开发了一种算法来解决序列数据的分类和标记问题。文中还讨论了所开发的分类算法与现有算法相比的优点。在开放数据集CoNLL 2000上进行了组块识别实验,并与CRF算法进行了比较。
2016-12-16 cs.CL cs.LG
Active Sequential Two-Sample Testing
Arizona State University(亚利桑那州立大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);IBM Research(IBM研究中心)
本文提出首个主动序贯双样本检验框架,通过自适应分类模型主动标注高依赖度特征,在控制第一类错误的同时显著提升检验功效。
2024-06-28 cs.LG stat.ME
Fundamental Limitations in Sequential Prediction and Recursive Algorithms: $\mathcal{L}_{p}$ Bounds via an Entropic Analysis
New York University(纽约大学)
在本文中,我们得到的基本$\mathcal{L}_{p}$界序列预测和递归算法通过熵分析。这两类问题的研究通过调查的基本熵的数据和/或噪声的关系,和派生的下限都可以量化的条件熵表征。我们还从创新的角度研究了类属界限的实现条件。
2021-05-11 cs.IT cs.LG eess.SP
Unsupervised Sequence Classification using Sequential Output Statistics
Microsoft Research(微软研究院)
我们考虑使用序列输出统计来学习没有标记数据的序列分类器。该问题是非常有价值的,因为在训练数据中获得标签通常是昂贵的,而顺序输出统计(例如,语言模型)可以独立于输入数据获得,因此成本低或没有成本。为了解决这个问题,我们提出了一个无监督学习成本函数,并研究其性质。我们表明,与早期的作品相比,它是不太倾向于被困在平凡的解决方案,并避免了需要一个强大的生成模型。虽然它的函数形式的优化是困难的,随机原始-对偶梯度法的发展,有效地解决问题。在真实数据集上的实验结果表明,新的无监督学习方法给出了显着低于其他基线方法的错误。具体地说,它达到的测试误差约为完全监督学习的两倍。
2017-05-26 cs.LG
Multi-Objective Non-parametric Sequential Prediction
Technion – Israel Institute of Technology(以色列理工学院)
在线学习的研究主要集中在最小化一个目标函数。然而,在许多实际应用中,必须同时考虑多个目标函数。最近,一个算法,用于处理多个目标函数的i.i.d.案件已经提交。在本文中,我们将多目标框架扩展到平稳和遍历过程的情况下,从而允许观测之间的依赖关系。我们首先确定一个无症状的下限为任何预测策略,然后提出一个算法,其预测达到最优解,同时满足任何连续和凸约束条件。
2017-03-19 cs.LG
Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models
Università di Bologna(博洛尼亚大学);BMW Group(宝马集团);Technische Universität München(慕尼黑工业大学);Google(谷歌)
模糊性在许多机器学习任务中固有地存在,但特别是对于很少考虑的顺序模型,因为大多数只输出单个预测。在这项工作中,我们提出了一个扩展的多假设预测(MHP)模型来处理模糊的预测与连续的数据,这是特别重要的,因为往往多个未来是同样可能的。我们的方法可以应用于最常见的递归架构,并可以与任何损失函数一起使用。此外,我们引入了一种新的度量模糊的问题,这是更好地适合占的不确定性,并符合我们的直观理解的正确性,在存在多个标签。我们测试我们的方法在几个实验和跨不同的任务处理时间序列数据,如轨迹预测和机动预测,取得了可喜的成果。
2020-03-10 cs.CV cs.LG stat.ML
Revisiting Active Sequential Prediction-Powered Mean Estimation
University of California San Diego(加州大学圣地亚哥分校)
本文重新审视主动顺序预测驱动的均值估计问题,提出基于不确定性建议和常数概率的混合方案,并通过非渐近分析建立了数据依赖的置信区间界。
2026-04-20 cs.LG stat.ML
Deeply AggreVaTeD: Differentiable Imitation Learning for Sequential Prediction
Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院)
研究人员已经证明了在顺序决策问题(例如,机器人控制、顺序预测)与深度神经网络模型。人们通常可以获得接近最佳的预言机,这些预言机可以在训练期间在任务上取得良好的性能。我们证明了AggreVaTeD --(Ross & Bagnell,2014)的模仿学习(IL)方法的策略梯度扩展--可以利用这样的预言机,以更少的训练数据实现更快,更好的解决方案,而不是信息较少的强化学习(RL)技术。同时使用前馈和经常性的神经网络预测,我们提出了随机梯度程序的顺序预测任务,依赖性解析从原始图像数据,以及各种高维机器人控制问题。我们还提供了一个全面的理论研究IL,表明我们可以预期高达指数级较低的样本复杂性与学习AggreVaTeD比RL算法,这支持我们的实证研究结果。我们的研究结果和理论表明,所提出的方法可以实现优越的性能相对于预言机时,演示是次优的。
2017-03-03 cs.LG
Sequential Difference Maximization: Generating Adversarial Examples via Multi-Stage Optimization
Information Engineering University(信息工程大学);Key Laboratory of Cyberspace Security, Ministry of Education of China(网络安全重点实验室)
本研究重构对抗样本生成的优化目标,提出三层优化框架的SDM梯度攻击方法,经实验验证其攻击性能与成本效益优于现有SOTA,还可结合对抗训练提升防御效果。
2025-08-31 cs.AI cs.CV cs.LG
Knowledge Elicitation via Sequential Probabilistic Inference for High-Dimensional Prediction
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);Aalto University(阿尔托大学)
在小样本和大量协变量的情况下进行预测,即“小n,大p”问题,是一个具有挑战性的问题。这种设置在多种应用中遇到,例如精密医学,其中获得额外的样本可能非常昂贵甚至不可能,并且最近已经致力于寻找准确预测的原则性解决方案。然而,一个有价值的额外信息来源,领域专家,尚未得到有效利用。我们制定的知识启发一般作为一个概率推理过程,专家知识依次查询,以提高预测。在稀疏线性回归的特定情况下,我们假设专家具有关于回归系数的值或关于特征的相关性的知识,我们提出了一种算法和计算近似,用于快速有效的交互,其顺序地识别最翔实的特征以查询专家知识。在模拟和真实用户的实验中,我们的方法的评估表明,预测精度已经提高了专家的一个小的努力。
2017-07-13 cs.AI cs.HC cs.LG
Churn Prediction with Sequential Data and Deep Neural Networks. A Comparative Analysis
Humboldt University of Berlin(柏林洪堡大学);IÉSEG School of Management(埃塞克高等商学院);Audencia Business School(南特高等商学院)
用于预测的现成机器学习算法(诸如正则化逻辑斯谛回归)在没有预先使用这种顺序数据的聚合过程的情况下不能利用时变特征的信息。然而,递归神经网络提供了一种替代方法,通过该方法,时变特征可以容易地用于建模。本文评估了神经网络的性能流失建模使用近,频率和货币价值的数据,从金融服务提供商。结果表明,RFM变量与LSTM神经网络相结合,比具有常用人口统计变量的正则化逻辑斯谛回归模型具有更大的前十分位提升和预期最大利润指标。此外,我们表明,使用LSTM的拟合概率作为逻辑斯谛回归的特征,与仅具有静态特征的模型相比,后者的样本外性能提高了25%。
2019-09-24 cs.LG stat.AP stat.ML
Truthful Calibration Measures for Sequential Prediction
Khoury College of Computer Sciences(科里计算机科学学院);Northeastern University(东北大学);Northwestern University(西北大学);Microsoft Research(微软研究院)
研究序列二元预测中完全真实性与校准度量的兼容性,证明完全真实性与完备性、可靠性不兼容,提出两种归约构造近似真实校准度量,改进了已有近似真实性保证。
2026-10-21 cs.DS cs.GT cs.LG
Using Ontologies To Improve Performance In Massively Multi-label Prediction Models
Stanford University(斯坦福大学);Google Brain(谷歌大脑)
大规模多标签预测/分类问题出现在医疗保健或生物学等环境中,非常精确的预测是有用的。大规模多标签问题的一个挑战是标签的频率分布通常是长尾的,这导致很少有稀有标签的正面例子。我们提出了一个解决这个问题的方法,通过修改一个神经网络的输出层,创建一个贝叶斯网络的sigmoids,利用标签之间的本体关系,以帮助共享信息之间的罕见和更常见的标签。我们将这种方法应用于疾病预测(ICD-9代码)和蛋白质功能预测(基因本体论术语)这两个大规模多标签任务,并获得了每个标签AUROC和不太常见标签平均精度的显着改善。
2019-05-28 cs.AI cs.LG stat.ML
A Confidence-based Acquisition Model for Self-supervised Active Learning and Label Correction
Heinrich Heine Universität Düsseldorf(海因里希·海涅杜塞尔多夫大学)
针对序列任务标注成本高且质量易降的问题,提出基于池的主动学习框架CAMEL,仅需专家标注部分序列并结合自监督与标签校正机制,显著提升效率并改善数据集质量。
2025-03-07 cs.CL cs.LG
Towards Out-of-Distribution Sequential Event Prediction: A Causal Treatment
Shanghai Jiao Tong University(上海交通大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Shanghai AI Laboratory(上海人工智能实验室)
序列事件预测的目标是基于一系列历史事件来估计下一个事件,其应用于序列推荐、用户行为分析和临床治疗。在实践中,下一事件预测模型是用一次收集的序列数据训练的,并且需要推广到遥远未来新到达的序列,这要求模型处理从训练到测试的时间分布偏移。在本文中,我们首先从数据生成的角度揭示了一个负面的结果,即现有的最大似然估计方法由于潜在的上下文混淆而导致分布偏移失败,即,历史事件和下一个事件的共同原因。然后,我们设计了一个基于后门调整的新学习目标,并进一步利用变分推理使其易于处理序列学习问题。最重要的是,我们提出了一个框架与层次分支结构学习上下文特定的表示。针对不同任务的综合实验(例如,顺序推荐)证明了我们的方法的有效性,适用性和可扩展性与各种现成的模型作为骨干。
2023-01-15 cs.IR cs.LG
DistMatch: Adaptive Binning via Distribution Matching for Robust Sequential Conformal Prediction
University of California, Berkeley(加州大学伯克利分校);University of Tokyo(东京大学)
提出DistMatch方法,利用Kolmogorov-Smirnov统计量递归划分残差以实现近似可交换性,结合在线分位数回归进行局部自适应推理,提升序列共形预测对分布偏移的鲁棒性。
2026-05-30 cs.LG
Sequential Prediction of Social Media Popularity with Deep Temporal Context Networks
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Academia Sinica(中央研究院);University of Surrey(萨里大学);Microsoft Research(微软研究院)
流行度的预测对社交媒体有着深远的影响,因为它提供了从进化的社会系统中揭示个人偏好和公众关注的机会。以前的研究,虽然取得了可喜的成果,但忽略了社会数据的一个显著特征,即,顺序性例如,随着时间的推移,在线内容的流行度随着社交媒体的连续发布流而产生。为了研究流行度的顺序预测,我们提出了一种新的预测框架,称为深度时间上下文网络(DTCN),将时间上下文和时间注意力考虑在内。我们的DTCN包含三个主要组件,从嵌入,学习到预测。通过联合嵌入网络,我们在公共嵌入空间中获得了多模态用户帖子数据的统一深度表示。然后,基于随时间的嵌入数据序列,时间上下文学习尝试递归地学习两个自适应时间上下文以获得顺序流行度。最后,一种新的时间注意力被设计来预测新的流行度(一个新的用户帖子对的流行度)与跨多个时间尺度的时间相干性。在我们发布的约60万张Flickr照片的图像数据集上进行的实验表明,DTCN的性能优于最先进的深度预测算法,在流行度预测(斯皮尔曼排名相关性)方面平均相对性能提高了21.51%。
2017-12-12 cs.AI cs.LG cs.SI
Combining Sequential and Aggregated Data for Churn Prediction in Casual Freemium Games
IT University of Copenhagen(哥本哈根信息技术大学);Tactile Games ApS(Tactile Games 公司)
在免费增值游戏中,玩家的收入来自应用内购买和玩家接触的广告。玩家玩游戏的时间越长,他或她在游戏中产生收入的机会就越高。在这种情况下,能够及时检测玩家何时即将退出游戏(流失),以便做出反应并尝试将玩家留在游戏中,从而延长他或她的游戏寿命是非常重要的。在这篇文章中,我们将研究如何通过使用不同的神经网络架构将顺序数据和聚合数据相结合来改进当前的流失预测技术。比较分析的结果表明,这两种数据类型的组合授予的预测精度的提高,无论是纯粹的顺序或纯粹的聚合数据的基础上的预测。
2022-09-06 cs.AI cs.LG
A Combination Model for Time Series Prediction using LSTM via Extracting Dynamic Features Based on Spatial Smoothing and Sequential General Variational Mode Decomposition
JiangXi University of Finances and Economics(江西财经大学)
本文提出一种结合序列广义变分模态分解与空间平滑LSTM的组合模型,通过提取市场联动动态特征提升销售量时间序列预测精度。
2024-06-05 cs.LG eess.SP
Exploiting Smoothness in Statistical Learning, Sequential Prediction, and Stochastic Optimization
Michigan State University(密歇根州立大学)
在过去的几年里,凸优化和学习问题之间的密切联系,在统计和序列框架,已经转移了算法机器学习的重点,以检查这种相互作用。特别地,一方面,这种交织在重新评估学习算法的性能方面提出了新的挑战,包括在由凸性强加的假设下的泛化和遗憾界限,例如损失函数的分析性质(例如,Lipschitzness、强凸性和光滑性)。另一方面,规模空前的数据集的出现,要求开发新的和更有效的优化算法来解决大规模的学习问题。本论文的首要目标是重新评估统计学习、序贯预测/在线学习和随机优化中损失函数的平滑性,并阐明其后果。特别是,我们研究如何平滑的损失函数可能是有益的或有害的,在这些设置中的样本复杂性,统计一致性,遗憾分析,收敛速度,并研究如何平滑可以利用设计更有效的学习算法。
2014-07-19 cs.LG
Rationales for Sequential Predictions
Columbia University(哥伦比亚大学);Harvard University(哈佛大学);Cornell Tech(康奈尔科技校区)
序列模型是现代NLP系统的重要组成部分,但它们的预测很难解释。我们认为模型的解释,通过理据,上下文的子集,可以解释个别模型的预测。我们通过求解一个组合优化来找到序列的基本原理:最好的基本原理是预测与完整序列相同的输出的输入令牌的最小子集。枚举所有子集是棘手的,因此我们提出了一种高效的贪心算法来逼近这一目标。该算法,这是所谓的贪婪合理化,适用于任何模型。为了使这种方法有效,当对上下文的不完整子集进行预测时,模型应该形成兼容的条件分布。这个条件可以通过一个短的微调步骤来实现。本文研究了贪婪合理化在语言建模和机器翻译中的应用。与现有的基线相比,贪婪合理化是最好的优化组合目标,并提供最忠实的理由。在一个新的数据集的注释顺序的理由,贪婪的理由是最相似的人类的理由。
2021-11-17 cs.CL cs.LG
Modeling and Analyzing the Influence of Non-Item Pages on Sequential Next-Item Prediction
Julius-Maximilians-Universität (JMU)(尤利乌斯-马克西米利安-维尔茨堡大学(JMU))
提出HypTrails框架将非项目页面纳入顺序推荐,证明其非项目页面能提升模型对下一个项目的预测能力。
2025-04-01 cs.IR cs.LG
A Hybrid Framework for Sequential Data Prediction with End-to-End Optimization
Bilkent University(比尔肯特大学)
本文提出一种端到端混合框架,将LSTM递归特征提取与soft GBDT梯度提升回归相结合,通过随机梯度下降联合优化,有效缓解传统非线性预测对手工特征和模型选择的需求,并在多个真实数据集上取得显著性能提升。
2022-08-04 cs.LG eess.SP stat.ML
A Combination Model Based on Sequential General Variational Mode Decomposition Method for Time Series Prediction
JiangXi University of Finances and Economics(江西财经大学)
本文针对非平稳、趋势性和季节性金融时间序列,提出SGVMD-ARIMA非线性组合模型,并通过与ARIMA、LSTM及经典分解模型对比,验证其在预测精度上的普遍优势。
2024-06-07 cs.LG eess.SP
A Variational-Sequential Graph Autoencoder for Neural Architecture Performance Prediction
University of Mannheim(曼海姆大学)
在计算机视觉研究中,自动化建筑工程的过程,神经结构搜索(NAS),已经获得了很大的兴趣。在过去,NAS是很难访问的研究人员没有访问大规模的计算系统,由于非常长的计算时间的循环搜索和评估新的候选架构。NAS-Bench-101数据集促进了对经典方法(如监督学习)的范式转变,以评估神经架构。在本文中,我们提出了一个图形编码器建立在图神经网络(GNN)。我们证明了所提出的编码器对可见架构类型以及不可见架构类型(即,zero shot预测)。我们还提供了一个新的变序图自动编码器(VS-GAE)的基础上提出的图形编码器。VS-GAE专门用于利用GNN对不同长度的图进行编码和解码。不同采样方法的实验表明,我们的VS-GAE学习的嵌入空间增加了准确性预测任务的稳定性。
2020-08-26 cs.CV cs.LG
Sequential Outlier Detection based on Incremental Decision Trees
Bilkent University(比尔肯特大学)
我们引入了一个在线离群点检测算法来检测序列观测数据流中的离群点。为此,我们使用两阶段过滤及对冲方法。在第一阶段,我们构造一个多模态的概率密度函数来模拟正态样本。在第二阶段,给定一个新的观测值,如果上述密度函数的值在新观测点处低于指定的阈值,则将其标记为异常。为了构造我们的多模态密度函数,我们使用增量决策树来构造观测空间的一组子空间。我们训练一个指数族的单分量密度函数使用的意见,其中落在每个子空间表示的树。这些单组分密度函数,然后自适应地组合,以产生我们的多模态密度函数,这是实现的最佳凸组合的子空间上定义的密度函数的性能。当我们观察到更多的样本时,我们的树会增长并产生更多的子空间。因此,我们的建模能力随着时间的推移而增加,同时减轻了过拟合问题。为了选择我们的阈值水平来标记观察结果,我们使用自适应阈值方案。我们表明,我们的自适应阈值水平达到了最佳的预先固定的阈值水平,它知道在事后的观察标签的性能。我们的算法提供了显着的性能改进,在我们广泛的实验,涉及合成以及真实的数据。
2018-03-09 cs.LG
Sequential Diagnosis Prediction with Transformer and Ontological Representation
Australian Artificial Intelligence Institute, FEIT, University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所);School of Information Technology and Electrical Engineering, The University of Queensland(昆士兰大学信息技术与电气工程学院)
电子健康记录(EHR)上的顺序诊断预测已被证明对于医疗领域的预测分析至关重要。EHR数据是患者与医疗系统交互的顺序记录,具有时间性、不规则性和数据不充分性的许多固有特征。最近的一些工作训练医疗保健预测模型,通过利用EHR数据中的顺序信息,但他们是脆弱的不规则的,时间的EHR数据与入院/出院的状态,和数据不足。为了缓解这一问题,我们提出了一个端到端的强大的基于变换的模型称为SETOR,它利用神经常微分方程来处理患者的访问与承认的时间戳和每次访问的停留时间之间的不规则间隔,以减轻数据不足的限制,通过整合医学本体,并通过采用多层Transformer块来捕获患者的访问之间的依赖关系。在两个真实医疗数据集上进行的实验表明,我们的序列诊断预测模型SETOR不仅比以前的最先进的方法,无论训练数据充足或不足,取得更好的预测结果,而且还派生出更多的可解释的医疗代码嵌入。实验代码可以在GitHub仓库(https://github.com/Xueping/SETOR)上找到。
2021-09-07 cs.AI cs.LG
Dynamic Hypergraph-Enhanced Prediction of Sequential Medical Visits
University of Southern California(南加州大学);University of California, Berkeley(加利福尼亚大学伯克利分校);Texas Tech University(德克萨斯理工大学);Southern Methodist University(南卫理公会大学)
提出DHCE动态超图模型,通过区分急慢性病并融合医学语言模型编码的临床事件,提升电子健康记录中的连续诊断预测性能。
2025-01-06 cs.AI cs.LG
Graph Sequential Neural ODE Process for Link Prediction on Dynamic and Sparse Graphs
Monash University(莫纳什大学);Griffith University(格里菲斯大学)
动态图上的链接预测是图挖掘中的一个重要任务。基于动态图神经网络(DGNN)的现有方法通常需要大量的历史数据(随时间的交互),这在实践中并不总是可用的。随着时间的推移,丢失的链接是图形数据中的一种常见现象,它进一步加剧了这个问题,从而创建了极其稀疏和动态的图形。为了解决这个问题,我们提出了一种新的方法,基于神经过程,称为图顺序神经ODE过程(GSNOP)。具体来说,GSNOP结合了神经过程和神经常微分方程的优点,将动态图上的链接预测建模为动态变化的随机过程。通过定义函数上的分布,GSNOP将不确定性引入到预测中,使其推广到更多的情况,而不是过度拟合稀疏数据。GSNOP对于可以与任何DGNN集成以考虑用于链接预测的时间和几何信息的模型结构也是不可知的。在三个动态图数据集上的大量实验表明,GSNOP可以显着提高现有DGNN的性能,并优于其他神经过程变体。
2022-11-15 cs.LG cs.SI
What is Next when Sequential Prediction Meets Implicitly Hard Interaction?
Wuhan University of Technology(武汉理工大学);NEC Corporation(日本电气股份有限公司);University of Southern Queensland(南昆士兰大学)
源序列和它们的下一个目标之间的硬交互学习是具有挑战性的,这存在于无数的顺序预测任务中。在训练过程中,大多数现有的方法都集中在由错误反应引起的明确的硬交互上。然而,模型可能通过捕获可学习模式的子集来进行正确的响应,这会导致与一些未学习模式的隐式硬交互。因此,其泛化性能被削弱。在序贯预测中,由于大量相似候选目标的干扰,该问题变得更加严重。为此,我们提出了一个硬感知交互学习框架(HAIL),主要由两个基本的顺序学习网络和互斥蒸馏(MED)。基础网络被不同地初始化以学习不同的视图模式,从而获得不同的训练经验。以正确反应的不可能性的形式的经验由MED从彼此中提取,MED提供互斥知识以找出隐含的硬交互。此外,我们推断,不似然本质上是引入了额外的梯度,以推动正确反应的模式学习。我们的框架可以很容易地扩展到更多的对等网络。对涵盖网络和物理空间的四个数据集进行了评估。实验结果表明,我们的框架优于几个国家的最先进的方法在基于top-k的指标。
2022-02-14 cs.LG
Unifying Isolated and Overlapping Audio Event Detection with Multi-Label Multi-Task Convolutional Recurrent Neural Networks
University of Oxford(牛津大学);NIHR Oxford Biomedical Research Centre(英国国家健康研究所牛津生物医学研究中心)
我们提出了一个基于卷积递归神经网络的多标签多任务框架,以统一检测孤立和重叠的音频事件。该框架利用了卷积递归神经网络架构的强大功能;卷积层学习有效的特征,更高的递归层在这些特征上执行顺序建模。此外,输出层被设计为处理任意程度的事件重叠。在循环输出序列中的每个时间步,输出三元组专用于每个感兴趣的事件类别,以联合建模事件发生和时间边界。也就是说,网络通过估计每个循环时间步长处的起始和偏移位置来联合确定该类别的事件是否发生以及何时发生。然后,我们介绍了网络训练的三个连续损失:多标签分类损失,距离估计损失和置信度损失。我们在两个数据集上表现出良好的泛化能力:ITC-Irst用于孤立音频事件检测,TUT-SED-Synthetic-2016用于重叠音频事件检测。
2019-02-18 cs.LG cs.SD eess.AS
Sequential Predictions based on Algorithmic Complexity
本文研究了基于单调Kolmogorov复杂度Km=-logm的序列预测问题,即基于泛确定性/单部分MDL的序列预测问题。m是非常接近Solomonoff的普遍先验M,后者是一个很好的预测,在确定性以及概率环境中,性能是衡量收敛的后验或损失。尽管如此接近M,但很难评估m的预测质量,因为对它们的后验的接近程度知之甚少,这是预测的重要量。我们表明,对于确定性的可计算环境,“后验”和损失的m收敛,但快速收敛只能显示在序列上,序列外的收敛速度可能很慢。在概率环境中,一般来说,后验和损失都不会收敛。
2005-08-05 cs.IT cs.LG math.IT