Predicting the Future is like Completing a Painting!
International University of Rabat(拉巴特国际大学);College of Engineering and Architecture(工程与建筑学院)
这篇文章是一个相对于科学预测的更大的研究框架的介绍性工作。它是科学与科学哲学的混合体,因此我们可以称之为实验科学哲学。作为第一个结果,我们介绍了一种新的预测方法的基础上完成的图像,命名为预测方法的图像修补(FM 2 I)。事实上,时间序列预测被转换成完全基于图像和信号的处理程序。在将时间序列数据转换成其对应的图像之后,数据预测问题实质上变成图像修补问题,即,完成图像中缺失的数据。广泛的实验评估进行了使用由著名的M3竞争提出的大型数据集。结果表明,FM2I是一个有效的和强大的工具,时间序列预测。它在准确性方面取得了显著的效果,优于最好的M3预测方法。
2020-11-09 cs.AI cs.CV cs.LG
Learning to Act by Predicting the Future
Intel Labs(英特尔实验室)
我们提出了一种沉浸式环境中的感觉运动控制方法。我们的方法利用了一个高维的感觉流和一个低维的测量流。这些流的共时结构提供了丰富的监督信号,这使得能够通过与环境的交互来训练感觉运动控制模型。该模型使用监督学习技术进行训练,但没有外部监督。它根据来自复杂三维环境的原始感官输入学习行动。所提出的公式使学习没有一个固定的目标,在训练时,追求动态变化的目标在测试时。我们进行了大量的实验,在三维模拟的基础上,经典的第一人称游戏厄运。结果表明,所提出的方法优于复杂的先前配方,特别是在具有挑战性的任务。结果还表明,经过训练的模型成功地在环境和目标之间进行了泛化。使用所提出的方法训练的模型赢得了Visual Doom AI竞赛的完整死亡竞赛赛道,该竞赛是在以前从未见过的环境中举行的。
2017-02-14 cs.AI cs.CV cs.LG
Predicting decision-making in the future: Human versus Machine
Korea University(高丽大学);Kyung Hee University(庆熙大学)
深度神经网络(DNN)在数据预测方面已经取得了显著的成功,甚至已经被用于基于有限的输入来预测未来的行为。这就提出了一个问题:这些系统真的像人类一样“理解”事件吗?在这里,我们使用驾驶模拟中事故情况拍摄的视频来解决这个问题。在这种情况下,驾驶员必须在撞上突然出现的障碍物或将车从先前指示的悬崖上转向之间做出选择。我们比较了人类和DNN在事件发生前预测这一决定的时间函数。DNN在早期时间点的表现优于人类,但在后来的时间点表现相当。有趣的是,时空图像操作和Grad-CAM可视化揭示了一些预期的行为,但也突出了DNN在时间处理方面的潜在差异。
2021-10-09 cs.AI cs.CV
Future Segmentation Using 3D Structure
Google Brain(谷歌大脑);University of Texas at Austin(得克萨斯大学奥斯汀分校)
预测未来以预测事件和动作的结果是自主智能体的关键属性;特别是对于必须严重依赖于实时的视觉数据进行决策的智能体。朝着这个能力,我们解决的任务,预测未来的帧分割流的单目视频利用场景的3D结构。我们的框架是基于可学习的子模块,能够预测像素级场景语义标签,深度和相邻帧的相机自我运动。我们进一步提出了一个基于递归神经网络的模型,能够预测未来的自我运动轨迹作为一系列过去的自我运动步骤的函数。最终,我们观察到,利用模型中的3D结构有助于成功预测,在未来的语义分割中实现最先进的准确性。
2018-11-28 cs.CV
Predicting Future Pedestrian Motion in Video Sequences using Crowd Simulation
Pontifical Catholic University of Rio Grande do Sul(南里奥格兰德天主教大学)
在过去的几十年里,人类和群体分析已经成为一个重要的领域,一些当前和相关的应用涉及到估计未来的运动的行人在真实的视频序列。本文提出了一种方法,提供运动估计的真实行人在下一秒,使用人群模拟。我们的方法是基于物理学和几何学,并使用BioCrowds作为人群模拟方法来估计未来的位置的人在视频序列。结果表明,我们的估计方法即使对于可能发生事件的复杂视频也能很好地工作。当提前2秒以上估计32个行人的未来运动时,达到的最大平均误差为$2.72$ cm。本文讨论了这一点和其他结果。
2019-04-10 cs.CV cs.GR
Seeing My Future: Predicting Situated Interaction Behavior in Virtual Reality
Peking University(北京大学);Eastern Institute of Technology, Ningbo(宁波东部技术研究所);Shanghai Jiao Tong University(上海交通大学)
本文提出一个分层且意图感知的框架,利用认知机制和动态图卷积网络预测虚拟现实中的情境交互行为,在真实世界基准和实时VR环境中取得卓越性能。
2025-10-12 cs.CV cs.LG
Predicting 3D Human Dynamics from Video
University of California, Berkeley(加州大学伯克利分校)
给定一个人在行动的视频,我们可以很容易地猜测这个人未来的3D运动。在这项工作中,我们提出了也许是第一种方法来预测未来的3D网格模型序列的人从过去的视频输入。我们这样做的周期性运动,如步行,也像保龄球和蹲在体育或锻炼视频中看到的行动。虽然在计算机视觉中出现了大量的未来预测问题,但大多数方法都是从3D过去预测3D未来或从2D过去输入预测2D未来。在这项工作中,我们专注于从过去的图像序列预测3D未来运动的问题,这在自主系统中有大量的实际应用,这些系统必须从视觉输入中安全地在人们周围运行。受自回归模型在语言建模任务中的成功启发,我们学习了一个中间潜在空间,并在此基础上预测未来。当输入域与输出域不同时,这有效地促进了自回归预测。我们的方法可以在没有3D地面真实标签的情况下在野外获得的视频序列上进行训练。该项目的视频网站可以在https://jasonyzhang.com/phd上找到。
2019-08-20 cs.CV
Predicting the Future: A Jointly Learnt Model for Action Anticipation
Queensland University of Technology(昆士兰科技大学)
受人类神经结构的动作预测的启发,我们提出了一个动作预测模型,通过预测视觉和时间的未来,使合理的未来行动的预测。与当前最先进的方法相比,首先学习模型来预测未来的视频特征,然后使用这些特征执行动作预测,所提出的框架联合学习执行两个任务,未来的视觉和时间表示合成,以及早期动作预测。联合学习框架确保预测的未来嵌入为动作预测任务提供信息。此外,通过广泛的实验评估,我们证明了使用视觉和时间语义的场景的效用,并说明如何通过经常性的生成对抗网络(GAN)框架,这种表示合成可以实现。我们的模型在多个数据集上的表现优于当前最先进的方法:UCF 101,UCF 101 -24,UT-交互和电视人机交互。
2019-12-16 cs.CV
Predicting Future Instance Segmentation by Forecasting Convolutional Features
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院);New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
预测未来事件是智能行为的重要前提。视频预测已被研究作为一个代理任务,实现这一目标。最近的工作已经表明,为了预测未来帧的语义分割,在语义级的预测比预测RGB帧然后分割这些帧更有效。在本文中,我们考虑更具挑战性的问题,未来的实例分割,另外分割出个别对象。为了处理每个图像不同数量的输出标签,我们在Mask R-CNN实例分割模型的固定大小卷积特征空间中开发了一个预测模型。我们将Mask R-CNN的“检测头”应用于预测的特征,以产生未来帧的实例分割。实验表明,该方法显着提高了基于光流和重新利用的实例分割架构的强基线。
2018-10-03 cs.CV
Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models
Università di Bologna(博洛尼亚大学);BMW Group(宝马集团);Technische Universität München(慕尼黑工业大学);Google(谷歌)
模糊性在许多机器学习任务中固有地存在,但特别是对于很少考虑的顺序模型,因为大多数只输出单个预测。在这项工作中,我们提出了一个扩展的多假设预测(MHP)模型来处理模糊的预测与连续的数据,这是特别重要的,因为往往多个未来是同样可能的。我们的方法可以应用于最常见的递归架构,并可以与任何损失函数一起使用。此外,我们引入了一种新的度量模糊的问题,这是更好地适合占的不确定性,并符合我们的直观理解的正确性,在存在多个标签。我们测试我们的方法在几个实验和跨不同的任务处理时间序列数据,如轨迹预测和机动预测,取得了可喜的成果。
2020-03-10 cs.CV cs.LG stat.ML
Predicting the Future from First Person (Egocentric) Vision: A Survey
University of Catania(卡塔尼亚大学);Philips Research(飞利浦研究院)
以自我为中心的视频可以带来大量关于人类如何感知世界和与环境交互的信息,这对于分析人类行为是有益的。由于可穿戴设备的日益普及以及新的大规模自我中心数据集提供的机会,自我中心视频分析的研究正在迅速发展。随着计算机视觉技术继续以越来越快的速度发展,与预测未来相关的任务开始从理解现在的需要发展。预测未来人类活动、轨迹和与物体的交互在诸如人机交互、工业和日常生活场景的辅助可穿戴技术、娱乐和虚拟或增强现实等应用中至关重要。这项调查总结了在未来预测的背景下,从以自我为中心的愿景,概述了应用程序,设备,存在的问题,常用的数据集,模型和输入方式的研究进展。我们的分析强调,从自我中心的视觉进行未来预测的方法可以在一系列应用中产生重大影响,进一步的研究工作应该致力于任务的标准化和考虑现实世界场景的数据集的建议,例如具有工业职业的数据集。
2021-07-28 cs.CV
FLaRA: Predicting Future Latent Representations for Accident Anticipation
Department of Information Engineering, University of Florence(佛罗伦萨大学信息工程系);Verizon Connect
提出FLaRA架构,通过预测未来潜在表示实现事故预警,在Nexar等数据集上达到最优性能。
2026-06-15 cs.CV
Predicting Scene Parsing and Motion Dynamics in the Future
NUS Graduate School for Integrative Science and Engineering (NGS), NUS(新加坡国立大学综合科学与工程研究生院);Department of ECE, NUS(新加坡国立大学电子与计算机工程系);Adobe Research(Adobe 研究院);Tencent AI Lab(腾讯人工智能实验室);Qihoo 360 AI Institute(奇虎360人工智能研究院)
预测未来的能力对于智能系统(例如自动驾驶汽车和机器人)来说非常重要,可以及早规划并做出相应的决策。未来的场景解析和光流估计是两个关键任务,帮助代理更好地了解他们的环境,因为前者提供密集的语义信息,即什么对象将出现,他们将出现在哪里,而后者提供密集的运动信息,即对象将如何移动。在本文中,我们提出了一种新的模型,同时预测场景解析和光流在未观察到的未来视频帧。据我们所知,这是联合预测场景解析和运动动态的第一次尝试。具体地,场景解析通过将光流分解成不同组来实现结构化运动预测,而光流估计为场景解析带来可靠的逐像素对应。通过利用这种互利关系,与大规模Cityscapes数据集上的成熟基线和单个预测模型相比,我们的模型显示出更好的解析和运动预测结果。此外,我们还证明了我们的模型可以用来预测车辆的转向角,这进一步验证了我们的模型学习场景动态的潜在表示的能力。
2017-11-09 cs.CV
SMArtCast: Predicting soil moisture interpolations into the future using Earth observation data in a deep learning framework
Deep Planet ltd(Deep Planet有限公司)
土壤水分是作物健康的关键组成部分,监测土壤水分可以采取进一步行动,提高产量或防止灾难性的死亡。由于气候变化增加了极端天气事件的可能性,降低了天气的可预测性,农作物更有可能出现非最佳土壤湿度。在这项工作中,我们使用了一系列LSTM架构来分析来自卫星图像的土壤水分和植被指数的测量结果。系统学会预测这些测量值的未来值。这些空间稀疏的值和指数被用作内插方法的输入特征,该内插方法推断未来时间点的空间密集湿度图。这有可能为监测能力有限的地区可能不利于作物生长的土壤湿度提供预警。
2020-04-24 cs.CV eess.IV
Scene Transformer: A unified architecture for predicting multiple agent trajectories
Google Research(谷歌研究院);Waymo(Waymo公司)
预测多个智能体的运动对于动态环境中的规划是必要的。这项任务对于自动驾驶来说是具有挑战性的,因为智能体(例如车辆和行人)及其相关行为可能是多种多样的,并且相互影响。大多数先前的工作都集中在预测独立的未来为每个代理的基础上所有过去的运动,并针对这些独立的预测进行规划。然而,针对独立预测的规划可能会使表示不同代理之间的未来交互可能性变得具有挑战性,从而导致次优规划。在这项工作中,我们制定了一个模型来预测所有代理人的行为,产生一致的未来,占代理人之间的相互作用。受最近语言建模方法的启发,我们使用掩蔽策略作为对模型的查询,使人们能够调用单个模型以多种方式预测智能体行为,例如可能以自动驾驶汽车的目标或完整未来轨迹或环境中其他智能体的行为为条件。我们的模型架构采用注意力结合功能的道路元素,代理交互和时间步长。我们在自动驾驶数据集上评估了我们的边缘和联合运动预测方法,并在两个流行的数据集上实现了最先进的性能。通过结合场景为中心的方法,代理置换等变模型,和序列掩蔽策略,我们表明,我们的模型可以统一各种运动预测任务,从联合运动预测条件预测。
2022-03-04 cs.CV cs.LG cs.RO
Predicting Responses to a Robot's Future Motion using Generative Recurrent Neural Networks
Australian Centre for Field Robotics(澳大利亚野外机器人中心;悉尼大学);University of Sydney
机器人在人群或牛群中导航需要能够预测附近个体的未来运动,并了解这些预测如何响应机器人的未来行动。使用循环神经网络(RNNs)的最先进的轨迹预测模型目前不考虑机器人的计划未来的行动,因此不能预测一个人将如何移动,以响应机器人的计划路径。我们提出了一种方法,适应RNNs使用机器人的下一个计划行动作为输入旁边的当前位置附近的个人。这允许模型从真实世界的观察中学习个体对机器人运动的反应。通过将机器人的动作与训练中周围人的反应联系起来,我们表明,我们不仅能够提高近距离互动的预测准确性,而且还能够预测周围人对模拟动作的可能反应。这允许使用模型来模拟状态转换,而不需要对代理交互进行任何假设。我们将此模型应用于不同的数据集,包括与车辆和自行车交互的行人人群,以及与机器人车辆交互的牲畜。
2020-01-28 cs.AI cs.CV cs.RO
BiFF: Bi-level Future Fusion with Polyline-based Coordinate for Interactive Trajectory Prediction
The Hong Kong University of Science and Technology(香港科技大学)
针对交互智能体联合轨迹预测研究不足的问题,本文提出BiFF双层未来融合方法,结合基于折线的坐标设计,在Waymo Open Motion Dataset交互预测基准上实现了当前最优性能。
2023-08-19 cs.CV cs.RO
Future-State Predicting LSTM for Early Surgery Type Recognition
ICube, University of Strasbourg, CNRS, IHU Strasbourg(斯特拉斯堡大学ICube、法国国家科学研究中心、斯特拉斯堡大学医院研究所);University Hospital of Strasbourg(斯特拉斯堡大学医院);IRCAD(消化癌症外科研究所);IHU Strasbourg(斯特拉斯堡大学医院研究所)
这项工作提出了一种新的方法,早期识别类型的腹腔镜手术从其视频。早期识别算法可以有益于“智能”OR系统的开发,该系统可以提供自动上下文感知辅助,并且还能够实现快速数据库索引。然而,这项任务面临着腹腔镜领域视频特有的挑战,例如手术之间的高度视觉相似性和视频持续时间的巨大变化。为了捕捉这些视频中的时空依赖性,我们选择卷积神经网络(CNN)和长短期记忆(LSTM)网络的组合作为模型。然后,我们提出了两个互补的方法,以提高早期识别性能。第一种方法是CNN微调方法,该方法鼓励基于腹腔镜视频的初始帧来区分手术。第二种方法被称为“未来状态预测LSTM”,训练LSTM来预测与未来帧相关的信息,这有助于区分不同类型的手术。我们在包含9种手术类型的425个腹腔镜视频(Laparo425)的大型数据集上评估了我们的方法,并且仅观察了手术的前10分钟,平均准确率达到75%。从实践的角度来看,这些结果是非常有希望的,也是令人鼓舞的其他类型的图像引导手术。
2019-09-05 cs.CV
Predicting Future Cognitive Decline with Hyperbolic Stochastic Coding
Arizona State University(亚利桑那州立大学);Mayo Clinic Arizona(梅奥诊所亚利桑那分院);Illinois Institute of Technology(伊利诺伊理工大学);Banner Alzheimer’s Institute(班纳阿尔茨海默病研究所);University of Southern California(南加州大学);University of Michigan(密歇根大学)
双曲几何已经成功地应用于具有一般拓扑结构的大脑皮层和皮层下表面的建模。然而,类似于其他基于表面的脑形态分析方法,这种方法通常生成高维特征。它限制了他们在认知衰退预测研究中的统计能力,特别是在受试者数量有限的数据集中。为了解决上述限制,我们提出了一个新的框架称为双曲随机编码(HSC)。我们的初步实验结果表明,我们的算法在各种分类任务上取得了优异的成绩。我们的工作可能会丰富基于表面的脑成像研究工具,并可能导致诊断和预后指标,可用于个性化治疗策略。
2021-02-21 cs.CV eess.IV
Multiple Object Forecasting: Predicting Future Object Locations in Diverse Environments
University of Warwick(华威大学)
本文介绍了多目标预测(MOF)的问题,其中的目标是预测未来的边界框跟踪对象。与现有的主要从鸟瞰角度考虑问题的对象轨迹预测的工作相比,我们从对象级别的角度制定问题,并要求预测完整的对象边界框,而不是单独的轨迹。为了解决这个问题,我们引入了Citywalks数据集,它由超过20万个高分辨率视频帧组成。CityWalks由来自10个欧洲国家的21个城市在各种天气条件下记录的镜头和超过3.5k的独特行人轨迹组成。为了进行评估,我们调整了现有的MOF轨迹预测方法,并在MOT-17数据集上确认了跨数据集的可推广性,而无需进行微调。最后,我们提出了STED,一种新的编解码器架构的MOF。STED结合了视觉和时间特征来建模对象运动和自我运动,并且优于现有的MOF方法。代码和数据集链接:https://github.com/olly-styles/Multiple-Object-Forecasting
2020-01-07 cs.CV
Rules of the Road: Predicting Driving Behavior with a Convolutional Model of Semantic Interactions
Zoox(Zoox公司);Caltech(加州理工学院)
我们专注于在复杂的,现实世界的驾驶场景中预测实体的未来状态的问题。以前的研究使用低级别信号来预测短时间范围,并且没有解决如何利用行业自动驾驶系统严重依赖的关键资产:(1)大型3D感知工作,提供具有丰富属性的智能体的高度准确的3D状态,以及(2)详细准确的环境语义地图(车道,交通灯,人行横道等)。我们提出了一种统一的表示,它在空间网格中编码这种高级语义信息,允许使用深度卷积模型来融合复杂的场景上下文。这使得学习实体-实体和实体-环境交互能够在代理行为的整体时间模型内的每个时间步中进行简单的前馈计算。我们提出了不同的方法来模拟未来的分布在未来的状态,使用标准的监督学习。我们引入了一个新的数据集,提供了行业级的丰富感知和语义输入,并通过经验表明,我们可以有效地学习驾驶行为的基本原理。
2019-06-21 cs.CV cs.LG cs.RO
A Probabilistic Disease Progression Model for Predicting Future Clinical Outcome
Cornell(康奈尔大学);Electrical and Computer Eng, Cornell(康奈尔大学电气与计算机工程学院)
在这项工作中,我们考虑的问题,预测的过程中进行性疾病,如癌症或阿尔茨海默氏症。进展性疾病通常始于可能在诊断之前的轻微症状,每个患者都遵循自己的轨迹。患者轨迹表现出野生变异性,这可能与许多因素,如基因型,年龄或性别。另一层复杂性是,在现实生活中,每个患者可用的数据量和类型可能会有很大差异。例如,对于一名患者,我们可能没有既往病史,而对于另一名患者,我们可能在多个既往时间点获得了详细的临床评估。本文提出了一种概率模型,可以处理多种模式(包括图像和临床评估)和不规则时间和缺失条目的可变患者历史,以预测未来时间点的临床评分。我们使用S形函数来模拟潜在的疾病进展,这在我们的生成模型中引起了临床观察。我们实施了一个近似贝叶斯推理策略,建议的模型,以估计参数的数据从一个大的受试者群体。此外,贝叶斯框架使模型能够根据测试对象可能获得的历史观察结果自动微调其预测。我们将我们的方法应用于具有超过3000名受试者的纵向阿尔茨海默病数据集[23],并对不同场景下的预测性能进行了详细的实证分析,并与几个基准进行了比较。我们还演示了如何可以询问所提出的模型,以收集有关阿尔茨海默病的时间动态的见解。
2018-03-13 cs.CV cs.LG stat.ML
Tracking People by Predicting 3D Appearance, Location & Pose
UC Berkeley(加州大学伯克利分校)
在本文中,我们提出了一种方法来跟踪人在单目视频中,通过预测他们未来的3D表示。为了实现这一目标,我们首先以稳健的方式将人从单个帧提升到3D。该提升包括关于人的3D姿势、他或她在3D空间中的位置以及3D外观的信息。当我们跟踪一个人时,我们会在tracklet表示中收集随时间变化的3D观察结果。考虑到我们观察的3D性质,我们为前面的每个属性构建时间模型。我们使用这些模型来预测轨迹的未来状态,包括3D位置,3D外观和3D姿态。对于未来的帧,我们以概率的方式计算轨迹片段的预测状态与单帧观测之间的相似性。关联通过简单的匈牙利匹配来解决,匹配用于更新相应的tracklet。我们根据各种基准评估我们的方法,并报告最先进的结果。
2021-12-08 cs.CV
Ordinal Learning: Longitudinal Attention Alignment Model for Predicting Time to Future Breast Cancer Events from Mammograms
Netherlands Cancer Institute (NKI)(荷兰癌症研究所);GROW School for Oncology and Development Biology, Maastricht University(马斯特里赫特大学GROW肿瘤学与发育生物学学院);Macao Polytechnic University(澳门理工大学);Radboud University Medical Centre(拉德堡德大学医学中心)
针对现有乳腺X线影像乳腺癌风险预测模型忽略事件时间排序、对乳腺组织纵向变化探索不足的问题,提出序数学习方法OA-BreaCR,在两类预测任务上性能更优且具备可解释性,助力乳腺癌精准筛查预防。
2024-09-10 cs.CV eess.IV
Integrating Travel Behavior Forecasting and Generative Modeling for Predicting Future Urban Mobility and Spatial Transformations
North Dakota State University(北达科他州立大学)
本研究整合时间融合Transformer与生成对抗网络,分别预测出行模式和生成未来卫星图像,以提升城市交通规划决策的准确性与可持续性。
2025-03-27 cs.CV
Predicting Future Opioid Incidences Today
Arizona State University(亚利桑那州立大学)
根据疾病控制中心(CDC)的数据,仅在2017年,阿片类药物的流行就在美国夺去了72,000多人的生命。尽管在地方,州和联邦层面做出了各种努力,但该流行病的影响正在逐渐恶化,这一事实证明,2016年至2017年期间,阿片类药物相关死亡人数增加了12.5%。预测分析可以通过为多个层面的利益相关者提供决策工具(从医疗保健专业人员到政策制定者再到第一响应者),在抗击疫情方面发挥重要作用。从过去的数据中生成阿片类药物发病率热图,帮助这些利益相关者可视化阿片类药物流行的深远影响。热图的这种事后创建仅提供回顾性信息,因此,对于当前或未来时间范围内的预防行动可能没有那么有用。在本文中,我们提出了一种新的深度神经架构,它可以学习阿片类药物发生率数据中微妙的时空变化,并准确预测未来的热图。我们在两个开源数据集上评估了我们的模型的有效性-(i)辛辛那提海洛因过量数据集,和(ii)康涅狄格州药物相关死亡数据集。
2019-06-20 cs.CV cs.CY cs.HC
Predicting Long-horizon Futures by Conditioning on Geometry and Time
Carnegie Mellon University(卡内基梅隆大学)
本研究针对视频预测的多模态与高计算成本问题,通过时间戳条件改造预训练图像扩散模型,引入深度/灰度等不变模态降低数据需求,提出更优采样策略并构建新基准,验证了方法的有效性。
2024-04-17 cs.CV
Palm: Predicting Actions through Language Models @ Ego4D Long-Term Action Anticipation Challenge 2023
ETH Zürich(苏黎世联邦理工学院)
提出Palm方案,串联图像描述模型与大型语言模型,基于输入视频的帧描述和动作标签预测未来动作,在EGO4D LTA挑战赛中取得最佳性能。
2023-06-28 cs.CV
Predicting tongue motion in unlabeled ultrasound videos using convolutional LSTM neural network
Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);University of Michigan(密歇根大学);Columbia University in the City of New York(纽约哥伦比亚大学);National University of Defense Technology(国防科技大学)
言语产生研究的一个挑战是根据过去的一小段时间的舌头运动来预测未来的舌头运动。本研究利用卷积长短期记忆(ConvLSTM)网络解决了未标记超声视频中说话者相关的舌头运动预测问题。该模型已在两个不同的超声语料库进行了测试。ConvLSTM在基于8个先前帧预测9个\textsuperscript{th}帧方面优于3维卷积神经网络(3DCNN),并且还表现出仅预测未来帧中的舌头轮廓的良好能力。进一步的测试表明,ConvLSTM还可以学习预测紧随其后的帧之外的更远帧中的舌头运动。我们的代码可在https://github.com/shuiliwanwu/ConvLstm-ultrasound-videos上获得。
2019-02-19 cs.CV cs.LG cs.MM
Time-Agnostic Prediction: Predicting Predictable Video Frames
UC Berkeley(加州大学伯克利分校)
预测可以说是智能系统最基本的功能之一。一般来说,预测未来或两个航点之间的事件是非常困难的。然而,大多数现象自然会通过相对可预测的瓶颈-虽然我们无法预测机器人手臂在静止和举起物体之间的精确轨迹,但我们可以肯定它一定会拿起物体。为了利用这一点,我们将视觉预测从严格的时间概念中分离出来。虽然常规方法以规则间隔的时间间隔预测帧,但我们的时间不可知预测器(TAP)不与特定时间绑定,使得它们可以替代地发现可预测的“瓶颈”帧,而不管它们何时发生。我们评估我们的方法,未来和中间帧预测在三个机器人操作任务。我们的预测不仅具有更高的视觉质量,而且还对应于时间扩展任务中的连贯语义子目标。
2018-10-23 cs.CV cs.LG stat.ML
Predicting Human Activities Using Stochastic Grammar
University of California, Los Angeles(加州大学洛杉矶分校);Xi’an Jiaotong University(西安交通大学)
本文提出了一种新的方法来预测未来的人类活动,从部分观察的RGB-D视频。由于人类活动的非马尔可夫性质以及人类与环境之间的复杂关系,使得人类活动预测变得困难。我们使用一个随机语法模型来捕捉事件的组成结构,整合人类的行动,对象,和他们的启示。我们用时空与或图(ST-AOG)来表示事件。ST-AOG由定义在子活动上的时间随机语法和表示子活动的空间图组成,子活动包括人类动作、对象及其启示。未来的子活动预测使用的时间语法和Earley解析算法。然后相应地推断出相应的动作、对象和示能表示标签。大量的实验表明,我们的模型在语义事件解析和未来活动预测方面的有效性。
2017-08-02 cs.CV
Deep Sequence Learning for Video Anticipation: From Discrete and Deterministic to Continuous and Stochastic
The Australian National University(澳大利亚国立大学)
视频预测是在给定有限的部分观察的情况下预测一个/多个未来表示的任务。这是一项具有挑战性的任务,因为在有限的观察下,未来的表示可能非常模糊。基于任务的性质,视频预期可以从两个角度考虑:细节水平和预测未来的确定性水平。在这项研究中,我们从预测确定性未来的粗表示开始,然后转向预测随机过程的连续和细粒度的未来表示。前者的例子是视频动作预测,其中我们感兴趣的是预测一个动作标签给定的部分观察到的视频和后者的例子是预测多个不同的人类运动的延续给定的部分观察到的一个。特别是,在这篇论文中,我们作出了一些贡献的文学视频预测…
2020-10-09 cs.CV
ObjectForesight: Predicting Future 3D Object Trajectories from Human Videos
School of Computer Science \& Engineering, University of Washington The Robotics Institute, Carnegie Mellon University
本文提出ObjectForesight模型,通过短时视视频预测物体6自由度姿态和轨迹,实现几何一致且时间连贯的预测,提升物体感知和泛化能力。
2026-03-22 cs.CV
Learning Temporally Equivariance for Degenerative Disease Progression in OCT by Predicting Future Representations
Medical University of Vienna(维也纳医科大学)
提出时间等变对比学习(TC)方法,通过预测未来表示并保持对无关变换的不变性,有效捕捉纵向OCT中退行性疾病进展,在AMD进展预测上优于现有方法。
2024-12-20 cs.CV
Predicting Future States with Spatial Point Processes in Single Molecule Resolution Spatial Transcriptomics
University of Texas at Arlington(德克萨斯大学阿灵顿分校);Aristotle University of Thessaloniki(亚里士多德大学塞萨洛尼基分校)
本文提出基于XGBoost和空间点过程(Ripley's K函数)的流程,在单分子分辨率空间转录组学中预测果蝇胚胎Sog-D活跃细胞在AP和DV轴的未来分布,实现类似RNA Velocity的发育生物学预测。
2025-02-05 cs.CV q-bio.TO
"If you could see me through my eyes": Predicting Pedestrian Perception
University of Lübeck(吕贝克大学)
在城市交通中,行人是特别脆弱的道路使用者。随着自动驾驶的到来,可以专门开发新技术来保护行人。我们提出了一个机器学习工具链来训练人工神经网络作为行人行为的模型。在初步研究中,我们使用合成数据模拟一个特定的行人过马路的情况下,训练一个变分自编码器和一个长短期记忆网络来预测行人的未来视觉感知。我们可以准确地预测行人在相关时间范围内的未来感知。通过迭代地将这些预测帧输入到这些网络中,它们可以用作行人的模拟,正如我们的结果所示。这种经过训练的网络以后可以用来预测行人的行为,甚至从自动驾驶汽车的角度来看。另一个未来的扩展将是用真实世界的视频数据重新训练这些网络。
2022-03-22 cs.CV cs.MA
Predicting Action Tubes
Oxford Brookes University(牛津布鲁克斯大学)
在这项工作中,我们提出了一种方法来预测一个完整的“动作管”(一组时间上连接的边界框)在修剪视频只是通过观察它的一个较小的子集。预测在不久的将来将发生的动作是必不可少的许多计算机视觉为基础的应用,如自动驾驶或手术机器人。重要的是,它必须以实时和在线的方式完成。我们提出了一个管道预测网络(TPnet),它联合预测过去,现在和未来的边界框以及它们的动作分类得分。在测试时,TPnet用于(时间)滑动窗口设置,并且其预测被放入管估计框架中,以不仅针对视频的观察部分而且针对未观察部分来构建/预测视频长动作管。此外,所提出的动作管预测器有助于完成未观察到的视频片段的动作管。我们定量地证明了后者的能力,以及TPnet在标准动作检测基准之一- J-HMDB-21数据集上提高了最先进的检测性能的事实。
2018-08-23 cs.AI cs.CV cs.RO
Predicting Shape Development: a Riemannian Method
Istanbul Technical University(伊斯坦布尔理工大学);Imperial College London(帝国理工学院);Zuse Institute Berlin(柏林朱瑟研究所);Freie Universität Berlin(柏林自由大学)
本文提出一种基于黎曼形状空间和分层统计建模的形状预测方法,在预测阿尔茨海默病海马体发展和人体运动任务中优于深度学习方法。
2023-08-28 cs.CV math.DG q-bio.TO
Fusion-GRU: A Deep Learning Model for Future Bounding Box Prediction of Traffic Agents in Risky Driving Videos
University of Washington(华盛顿大学);Stony Brook University(石溪大学)
针对自车运动、短时观测及多线索融合难题,本文提出 Fusion-GRU 编码器-解码器模型,结合自注意力聚合与 GRU 解码器,在 ROL 和 HEV-I 上实现有效的交通参与者未来边界框预测。
2023-08-12 cs.CV
InfoGCN++: Learning Representation by Predicting the Future for Online Human Skeleton-based Action Recognition
University of Texas Austin(德克萨斯大学奥斯汀分校);Purdue University(普渡大学)
针对骨架动作识别需观察完整动作、难以实时分类的问题,本文提出InfoGCN++,结合Neural Ordinary Differential Equations预测未来运动并建模隐状态连续演化,在三个基准上达到或超过现有方法。
2023-10-16 cs.CV