Learning to Generate Long-term Future Narrations Describing Activities of Daily Living
Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局前沿人工智能研究中心);Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局高性能计算研究所)
提出长期未来叙述生成任务及视觉语言模型ViNa,通过整合长视频与叙述预测未来日常活动,并在Ego4D数据集上验证,还引入未来视频检索应用以辅助任务规划。
2025-03-03 cs.CV
Prediction and Description of Near-Future Activities in Video
University of California, Riverside(加州大学河滨分校);Comcast AI(康卡斯特人工智能实验室)
现有的人类活动分析的工作大多集中在识别或早期识别的活动标签从完整或部分的观察。类似地,几乎所有现有的视频描述方法都关注视频中观察到的事件。在没有观察到预测活动的帧的情况下预测未来活动的标签和标题是一个具有挑战性的问题,具有需要预期响应的重要应用。在这项工作中,我们提出了一个系统,可以推断的标签和标题的一系列未来的活动。我们提出的用于未来活动序列的标签预测的网络有三个分支,其中第一个分支从场景中存在的对象中获取视觉特征,第二个分支获取观察到的连续活动特征,第三个分支捕获最后观察到的活动特征。然后,使用基于序列到序列学习的方法将预测的标签和观察到的场景上下文映射到有意义的字幕。在四个具有挑战性的活动分析数据集和视频描述数据集上的实验表明,我们的标签预测方法实现了与最先进技术相当的性能,我们的字幕框架优于最先进技术。
2021-05-27 cs.CV
When will you do what? - Anticipating Temporal Occurrences of Activities
University of Bonn(波恩大学)
分析视频中的人类行为最近受到了越来越多的关注。虽然大多数作品都专注于对观察到的视频帧进行分类和标记,或者预测最近的未来,但在几秒钟内进行长期预测是一项具有许多实际应用的任务,尚未得到解决。在本文中,我们提出了两种方法来预测相当大量的未来行动和他们的持续时间。CNN和RNN都经过训练,可以根据之前看到的内容学习未来的视频标签。我们表明,我们的方法即使对于具有大量不同动作的长视频也能对未来进行准确的预测,甚至可以处理嘈杂或错误的输入信息。
2018-04-03 cs.CV
Predicting Deeper into the Future of Semantic Segmentation
Facebook AI Research(Facebook 人工智能研究院);Inria Grenoble, Laboratoire Jean Kuntzmann, Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学 Jean Kuntzmann 实验室、法国国家信息与自动化研究所格勒诺布尔中心);New York University(纽约大学)
预测未来的能力是智力的一个重要属性。它在实时系统中也非常重要,例如在机器人或自动驾驶中,这些系统依赖于视觉场景理解进行决策。虽然预测的原始RGB像素值在未来的视频帧已经在以前的工作中进行了研究,在这里,我们介绍了预测未来帧的语义分割的新任务。给定一个视频帧序列,我们的目标是预测未来一秒或更长时间内尚未观察到的视频帧的分割图。我们开发了一个自回归卷积神经网络,学习迭代生成多帧。我们在Cityscapes数据集上的结果表明,直接预测未来的分割比预测然后分割未来的RGB帧要好得多。在未来的半秒内的预测结果在视觉上是令人信服的,并且比基于使用光流的扭曲语义分割的基线的预测结果准确得多。
2017-08-08 cs.CV cs.LG
Group Activity Recognition in Computer Vision: A Comprehensive Review, Challenges, and Future Perspectives
School of Computer Science, Universiti Sains Malaysia(马来西亚理科大学计算机科学学院);School of Engineering, College of Technology and Business, Guangzhou(广州工商学院工程学院)
本文综述了计算机视觉中群体活动识别的方法,从传统到基于HRNN、关系模型等最新技术,比较性能并总结挑战与未来方向。
2023-07-25 cs.AI cs.CV
Action Anticipation By Predicting Future Dynamic Images
Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);ANU(澳大利亚国立大学)
人类的行动预测方法通过观察正在进行的行动的一小部分来预测未来的行动。这对于计算机必须尽早对人类行为做出反应的应用至关重要,例如自动驾驶,人机交互,辅助机器人等。在本文中,我们提出了一种方法,通过预测最合理的未来人类运动的人类行为预测。我们使用动态图像来表示人体运动,并使用定制的损失函数来鼓励生成模型产生准确的未来运动预测。我们的方法在JHMDB-21上比目前性能最好的动作预测方法高出4%,在UT-Interaction上高出5.2%,在UCF 101-24基准测试中高出5.1%。
2018-08-01 cs.CV
Predicting Future Occupancy Grids in Dynamic Environment with Spatio-Temporal Learning
University of Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Univ Lyon(里昂大学);INSA Lyon(里昂国立应用科学学院)
可靠地预测高度动态的城市环境的未来占用率是安全自主导航的重要前提。预测中常见的挑战包括预测其他车辆的相对位置,对不同交通条件下的车辆动力学进行建模,以及消除周围的物体。为了应对这些挑战,我们提出了一个时空预测网络管道,它分别从环境和语义标签中获取过去的信息,以生成未来的占用预测。与当前的SOTA相比,我们的方法预测占用时间为3秒,并且来自nuScenes数据集的环境相对复杂。我们的实验结果表明,时空网络的能力,了解场景动态,而不需要高清地图和明确的建模动态对象。我们公开发布基于nuScenes的占用网格数据集,以支持进一步的研究。
2022-05-06 cs.AI cs.CV
Predicting decision-making in the future: Human versus Machine
Korea University(高丽大学);Kyung Hee University(庆熙大学)
深度神经网络(DNN)在数据预测方面已经取得了显著的成功,甚至已经被用于基于有限的输入来预测未来的行为。这就提出了一个问题:这些系统真的像人类一样“理解”事件吗?在这里,我们使用驾驶模拟中事故情况拍摄的视频来解决这个问题。在这种情况下,驾驶员必须在撞上突然出现的障碍物或将车从先前指示的悬崖上转向之间做出选择。我们比较了人类和DNN在事件发生前预测这一决定的时间函数。DNN在早期时间点的表现优于人类,但在后来的时间点表现相当。有趣的是,时空图像操作和Grad-CAM可视化揭示了一些预期的行为,但也突出了DNN在时间处理方面的潜在差异。
2021-10-09 cs.AI cs.CV
Back to the Future: Predicting Traffic Shockwave Formation and Propagation Using a Convolutional Encoder-Decoder Network
Texas A&M University(德州农工大学)
这项研究提出了一种深度学习方法来预测交通冲击波的传播。深度神经网络的输入是研究段的时空图,网络的输出是以时空图的形式预测的冲击波在研究段上的(未来)传播。所提出的方法的主要特点是能够提取嵌入在时间-空间图中的特征来预测交通冲击波的传播。
2019-05-04 cs.CV cs.LG eess.SP
Future Segmentation Using 3D Structure
Google Brain(谷歌大脑);University of Texas at Austin(得克萨斯大学奥斯汀分校)
预测未来以预测事件和动作的结果是自主智能体的关键属性;特别是对于必须严重依赖于实时的视觉数据进行决策的智能体。朝着这个能力,我们解决的任务,预测未来的帧分割流的单目视频利用场景的3D结构。我们的框架是基于可学习的子模块,能够预测像素级场景语义标签,深度和相邻帧的相机自我运动。我们进一步提出了一个基于递归神经网络的模型,能够预测未来的自我运动轨迹作为一系列过去的自我运动步骤的函数。最终,我们观察到,利用模型中的3D结构有助于成功预测,在未来的语义分割中实现最先进的准确性。
2018-11-28 cs.CV
ReHAR: Robust and Efficient Human Activity Recognition
Lehigh University(利哈伊大学);Department of Computer Science and Engineering, Lehigh University(利哈伊大学计算机科学与工程系);cse.lehigh.edu(cse.lehigh.edu(注:此为邮箱后缀,非机构))
设计一个能够在预测单人活动和群体活动方面取得良好性能的方案是一项具有挑战性的任务。在本文中,我们提出了一种新的鲁棒和高效的人类活动识别方案称为ReHAR,它可以用来处理单个人的活动和群体活动预测。首先,我们为每个视频帧生成光流图像。然后,将视频帧及其对应的光流图像馈送到单帧表示模型中以生成表示。最后,LSTM用于基于生成的表示来预测最终活动。整个模型是端到端训练的,以允许为最终的活动识别生成有意义的表示。我们使用两个著名的数据集来评估ReHAR:NCAA篮球数据集和UCFSports Action数据集。实验结果表明,与现有方法相比,本文提出的ReHAR方法具有更高的活动识别准确率和更短的计算时间。
2018-02-27 cs.CV
PALM: Predicting Actions through Language Models
ETH Zürich(苏黎世联邦理工学院);Google(谷歌公司);KU Leuven(鲁汶大学);INSAIT, Sofia(索菲亚 INSAIT 研究院)
PALM结合动作识别与视觉语言模型,利用LLM提示策略和最大边际相关性示例选择,在Ego4D等基准上实现长期动作预期的最优性能。
2024-07-18 cs.CV
Predicting Future Pedestrian Motion in Video Sequences using Crowd Simulation
Pontifical Catholic University of Rio Grande do Sul(南里奥格兰德天主教大学)
在过去的几十年里,人类和群体分析已经成为一个重要的领域,一些当前和相关的应用涉及到估计未来的运动的行人在真实的视频序列。本文提出了一种方法,提供运动估计的真实行人在下一秒,使用人群模拟。我们的方法是基于物理学和几何学,并使用BioCrowds作为人群模拟方法来估计未来的位置的人在视频序列。结果表明,我们的估计方法即使对于可能发生事件的复杂视频也能很好地工作。当提前2秒以上估计32个行人的未来运动时,达到的最大平均误差为$2.72$ cm。本文讨论了这一点和其他结果。
2019-04-10 cs.CV cs.GR
BiFF: Bi-level Future Fusion with Polyline-based Coordinate for Interactive Trajectory Prediction
The Hong Kong University of Science and Technology(香港科技大学)
针对交互智能体联合轨迹预测研究不足的问题,本文提出BiFF双层未来融合方法,结合基于折线的坐标设计,在Waymo Open Motion Dataset交互预测基准上实现了当前最优性能。
2023-08-19 cs.CV cs.RO
Predicting 3D Human Dynamics from Video
University of California, Berkeley(加州大学伯克利分校)
给定一个人在行动的视频,我们可以很容易地猜测这个人未来的3D运动。在这项工作中,我们提出了也许是第一种方法来预测未来的3D网格模型序列的人从过去的视频输入。我们这样做的周期性运动,如步行,也像保龄球和蹲在体育或锻炼视频中看到的行动。虽然在计算机视觉中出现了大量的未来预测问题,但大多数方法都是从3D过去预测3D未来或从2D过去输入预测2D未来。在这项工作中,我们专注于从过去的图像序列预测3D未来运动的问题,这在自主系统中有大量的实际应用,这些系统必须从视觉输入中安全地在人们周围运行。受自回归模型在语言建模任务中的成功启发,我们学习了一个中间潜在空间,并在此基础上预测未来。当输入域与输出域不同时,这有效地促进了自回归预测。我们的方法可以在没有3D地面真实标签的情况下在野外获得的视频序列上进行训练。该项目的视频网站可以在https://jasonyzhang.com/phd上找到。
2019-08-20 cs.CV
Predicting the Future: A Jointly Learnt Model for Action Anticipation
Queensland University of Technology(昆士兰科技大学)
受人类神经结构的动作预测的启发,我们提出了一个动作预测模型,通过预测视觉和时间的未来,使合理的未来行动的预测。与当前最先进的方法相比,首先学习模型来预测未来的视频特征,然后使用这些特征执行动作预测,所提出的框架联合学习执行两个任务,未来的视觉和时间表示合成,以及早期动作预测。联合学习框架确保预测的未来嵌入为动作预测任务提供信息。此外,通过广泛的实验评估,我们证明了使用视觉和时间语义的场景的效用,并说明如何通过经常性的生成对抗网络(GAN)框架,这种表示合成可以实现。我们的模型在多个数据集上的表现优于当前最先进的方法:UCF 101,UCF 101 -24,UT-交互和电视人机交互。
2019-12-16 cs.CV
Predicting Future Instance Segmentation by Forecasting Convolutional Features
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院);New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
预测未来事件是智能行为的重要前提。视频预测已被研究作为一个代理任务,实现这一目标。最近的工作已经表明,为了预测未来帧的语义分割,在语义级的预测比预测RGB帧然后分割这些帧更有效。在本文中,我们考虑更具挑战性的问题,未来的实例分割,另外分割出个别对象。为了处理每个图像不同数量的输出标签,我们在Mask R-CNN实例分割模型的固定大小卷积特征空间中开发了一个预测模型。我们将Mask R-CNN的“检测头”应用于预测的特征,以产生未来帧的实例分割。实验表明,该方法显着提高了基于光流和重新利用的实例分割架构的强基线。
2018-10-03 cs.CV
Predicting the Future with Transformational States
University of Pennsylvania(宾夕法尼亚大学);Ryerson University(瑞尔森大学)
一个聪明的观察者观察世界,不仅看到什么,而且看到什么在移动,什么可以移动。换句话说,观察者看到了世界的现状在未来会如何变化。我们提出了一个模型,预测未来的图像,通过学习代表目前的状态和它的转换只给出了一个序列的图像。为此,我们引入了一个体系结构,该体系结构具有由两个组件组成的潜在状态,这两个组件分别用于捕获(i)当前图像状态和(ii)当前和未来状态之间的转换。我们将这种潜在状态与递归神经网络(RNN)核心耦合,该核心通过使用学习算子应用累积状态转换将过去状态转换为未来状态来预测未来帧。我们描述了如何将该模型集成到编码器-解码器卷积神经网络(CNN)架构中,该架构使用加权残差连接来整合过去的表示与未来的表示。从质量上讲,我们的方法生成的图像序列是稳定的,并在多个预测帧上捕捉逼真的运动,而不需要对抗性训练。从定量上看,我们的方法实现的预测结果与标准图像预测基准(Moving MNIST、KTH和UCF 101)的最新结果相当。
2018-03-26 cs.AI cs.CV cs.LG
Predicting the Future from First Person (Egocentric) Vision: A Survey
University of Catania(卡塔尼亚大学);Philips Research(飞利浦研究院)
以自我为中心的视频可以带来大量关于人类如何感知世界和与环境交互的信息,这对于分析人类行为是有益的。由于可穿戴设备的日益普及以及新的大规模自我中心数据集提供的机会,自我中心视频分析的研究正在迅速发展。随着计算机视觉技术继续以越来越快的速度发展,与预测未来相关的任务开始从理解现在的需要发展。预测未来人类活动、轨迹和与物体的交互在诸如人机交互、工业和日常生活场景的辅助可穿戴技术、娱乐和虚拟或增强现实等应用中至关重要。这项调查总结了在未来预测的背景下,从以自我为中心的愿景,概述了应用程序,设备,存在的问题,常用的数据集,模型和输入方式的研究进展。我们的分析强调,从自我中心的视觉进行未来预测的方法可以在一系列应用中产生重大影响,进一步的研究工作应该致力于任务的标准化和考虑现实世界场景的数据集的建议,例如具有工业职业的数据集。
2021-07-28 cs.CV
FLaRA: Predicting Future Latent Representations for Accident Anticipation
Department of Information Engineering, University of Florence(佛罗伦萨大学信息工程系);Verizon Connect
提出FLaRA架构,通过预测未来潜在表示实现事故预警,在Nexar等数据集上达到最优性能。
2026-06-15 cs.CV
Predicting Scene Parsing and Motion Dynamics in the Future
NUS Graduate School for Integrative Science and Engineering (NGS), NUS(新加坡国立大学综合科学与工程研究生院);Department of ECE, NUS(新加坡国立大学电子与计算机工程系);Adobe Research(Adobe 研究院);Tencent AI Lab(腾讯人工智能实验室);Qihoo 360 AI Institute(奇虎360人工智能研究院)
预测未来的能力对于智能系统(例如自动驾驶汽车和机器人)来说非常重要,可以及早规划并做出相应的决策。未来的场景解析和光流估计是两个关键任务,帮助代理更好地了解他们的环境,因为前者提供密集的语义信息,即什么对象将出现,他们将出现在哪里,而后者提供密集的运动信息,即对象将如何移动。在本文中,我们提出了一种新的模型,同时预测场景解析和光流在未观察到的未来视频帧。据我们所知,这是联合预测场景解析和运动动态的第一次尝试。具体地,场景解析通过将光流分解成不同组来实现结构化运动预测,而光流估计为场景解析带来可靠的逐像素对应。通过利用这种互利关系,与大规模Cityscapes数据集上的成熟基线和单个预测模型相比,我们的模型显示出更好的解析和运动预测结果。此外,我们还证明了我们的模型可以用来预测车辆的转向角,这进一步验证了我们的模型学习场景动态的潜在表示的能力。
2017-11-09 cs.CV
SMArtCast: Predicting soil moisture interpolations into the future using Earth observation data in a deep learning framework
Deep Planet ltd(Deep Planet有限公司)
土壤水分是作物健康的关键组成部分,监测土壤水分可以采取进一步行动,提高产量或防止灾难性的死亡。由于气候变化增加了极端天气事件的可能性,降低了天气的可预测性,农作物更有可能出现非最佳土壤湿度。在这项工作中,我们使用了一系列LSTM架构来分析来自卫星图像的土壤水分和植被指数的测量结果。系统学会预测这些测量值的未来值。这些空间稀疏的值和指数被用作内插方法的输入特征,该内插方法推断未来时间点的空间密集湿度图。这有可能为监测能力有限的地区可能不利于作物生长的土壤湿度提供预警。
2020-04-24 cs.CV eess.IV
Predicting the Future is like Completing a Painting!
International University of Rabat(拉巴特国际大学);College of Engineering and Architecture(工程与建筑学院)
这篇文章是一个相对于科学预测的更大的研究框架的介绍性工作。它是科学与科学哲学的混合体,因此我们可以称之为实验科学哲学。作为第一个结果,我们介绍了一种新的预测方法的基础上完成的图像,命名为预测方法的图像修补(FM 2 I)。事实上,时间序列预测被转换成完全基于图像和信号的处理程序。在将时间序列数据转换成其对应的图像之后,数据预测问题实质上变成图像修补问题,即,完成图像中缺失的数据。广泛的实验评估进行了使用由著名的M3竞争提出的大型数据集。结果表明,FM2I是一个有效的和强大的工具,时间序列预测。它在准确性方面取得了显著的效果,优于最好的M3预测方法。
2020-11-09 cs.AI cs.CV cs.LG
Learning to Act by Predicting the Future
Intel Labs(英特尔实验室)
我们提出了一种沉浸式环境中的感觉运动控制方法。我们的方法利用了一个高维的感觉流和一个低维的测量流。这些流的共时结构提供了丰富的监督信号,这使得能够通过与环境的交互来训练感觉运动控制模型。该模型使用监督学习技术进行训练,但没有外部监督。它根据来自复杂三维环境的原始感官输入学习行动。所提出的公式使学习没有一个固定的目标,在训练时,追求动态变化的目标在测试时。我们进行了大量的实验,在三维模拟的基础上,经典的第一人称游戏厄运。结果表明,所提出的方法优于复杂的先前配方,特别是在具有挑战性的任务。结果还表明,经过训练的模型成功地在环境和目标之间进行了泛化。使用所提出的方法训练的模型赢得了Visual Doom AI竞赛的完整死亡竞赛赛道,该竞赛是在以前从未见过的环境中举行的。
2017-02-14 cs.AI cs.CV cs.LG
Scene Transformer: A unified architecture for predicting multiple agent trajectories
Google Research(谷歌研究院);Waymo(Waymo公司)
预测多个智能体的运动对于动态环境中的规划是必要的。这项任务对于自动驾驶来说是具有挑战性的,因为智能体(例如车辆和行人)及其相关行为可能是多种多样的,并且相互影响。大多数先前的工作都集中在预测独立的未来为每个代理的基础上所有过去的运动,并针对这些独立的预测进行规划。然而,针对独立预测的规划可能会使表示不同代理之间的未来交互可能性变得具有挑战性,从而导致次优规划。在这项工作中,我们制定了一个模型来预测所有代理人的行为,产生一致的未来,占代理人之间的相互作用。受最近语言建模方法的启发,我们使用掩蔽策略作为对模型的查询,使人们能够调用单个模型以多种方式预测智能体行为,例如可能以自动驾驶汽车的目标或完整未来轨迹或环境中其他智能体的行为为条件。我们的模型架构采用注意力结合功能的道路元素,代理交互和时间步长。我们在自动驾驶数据集上评估了我们的边缘和联合运动预测方法,并在两个流行的数据集上实现了最先进的性能。通过结合场景为中心的方法,代理置换等变模型,和序列掩蔽策略,我们表明,我们的模型可以统一各种运动预测任务,从联合运动预测条件预测。
2022-03-04 cs.CV cs.LG cs.RO
Seeing My Future: Predicting Situated Interaction Behavior in Virtual Reality
Peking University(北京大学);Eastern Institute of Technology, Ningbo(宁波东部技术研究所);Shanghai Jiao Tong University(上海交通大学)
本文提出一个分层且意图感知的框架,利用认知机制和动态图卷积网络预测虚拟现实中的情境交互行为,在真实世界基准和实时VR环境中取得卓越性能。
2025-10-12 cs.CV cs.LG
Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models
Università di Bologna(博洛尼亚大学);BMW Group(宝马集团);Technische Universität München(慕尼黑工业大学);Google(谷歌)
模糊性在许多机器学习任务中固有地存在,但特别是对于很少考虑的顺序模型,因为大多数只输出单个预测。在这项工作中,我们提出了一个扩展的多假设预测(MHP)模型来处理模糊的预测与连续的数据,这是特别重要的,因为往往多个未来是同样可能的。我们的方法可以应用于最常见的递归架构,并可以与任何损失函数一起使用。此外,我们引入了一种新的度量模糊的问题,这是更好地适合占的不确定性,并符合我们的直观理解的正确性,在存在多个标签。我们测试我们的方法在几个实验和跨不同的任务处理时间序列数据,如轨迹预测和机动预测,取得了可喜的成果。
2020-03-10 cs.CV cs.LG stat.ML
Predicting Future Cognitive Decline with Hyperbolic Stochastic Coding
Arizona State University(亚利桑那州立大学);Mayo Clinic Arizona(梅奥诊所亚利桑那分院);Illinois Institute of Technology(伊利诺伊理工大学);Banner Alzheimer’s Institute(班纳阿尔茨海默病研究所);University of Southern California(南加州大学);University of Michigan(密歇根大学)
双曲几何已经成功地应用于具有一般拓扑结构的大脑皮层和皮层下表面的建模。然而,类似于其他基于表面的脑形态分析方法,这种方法通常生成高维特征。它限制了他们在认知衰退预测研究中的统计能力,特别是在受试者数量有限的数据集中。为了解决上述限制,我们提出了一个新的框架称为双曲随机编码(HSC)。我们的初步实验结果表明,我们的算法在各种分类任务上取得了优异的成绩。我们的工作可能会丰富基于表面的脑成像研究工具,并可能导致诊断和预后指标,可用于个性化治疗策略。
2021-02-21 cs.CV eess.IV
Future-State Predicting LSTM for Early Surgery Type Recognition
ICube, University of Strasbourg, CNRS, IHU Strasbourg(斯特拉斯堡大学ICube、法国国家科学研究中心、斯特拉斯堡大学医院研究所);University Hospital of Strasbourg(斯特拉斯堡大学医院);IRCAD(消化癌症外科研究所);IHU Strasbourg(斯特拉斯堡大学医院研究所)
这项工作提出了一种新的方法,早期识别类型的腹腔镜手术从其视频。早期识别算法可以有益于“智能”OR系统的开发,该系统可以提供自动上下文感知辅助,并且还能够实现快速数据库索引。然而,这项任务面临着腹腔镜领域视频特有的挑战,例如手术之间的高度视觉相似性和视频持续时间的巨大变化。为了捕捉这些视频中的时空依赖性,我们选择卷积神经网络(CNN)和长短期记忆(LSTM)网络的组合作为模型。然后,我们提出了两个互补的方法,以提高早期识别性能。第一种方法是CNN微调方法,该方法鼓励基于腹腔镜视频的初始帧来区分手术。第二种方法被称为“未来状态预测LSTM”,训练LSTM来预测与未来帧相关的信息,这有助于区分不同类型的手术。我们在包含9种手术类型的425个腹腔镜视频(Laparo425)的大型数据集上评估了我们的方法,并且仅观察了手术的前10分钟,平均准确率达到75%。从实践的角度来看,这些结果是非常有希望的,也是令人鼓舞的其他类型的图像引导手术。
2019-09-05 cs.CV
Multiple Object Forecasting: Predicting Future Object Locations in Diverse Environments
University of Warwick(华威大学)
本文介绍了多目标预测(MOF)的问题,其中的目标是预测未来的边界框跟踪对象。与现有的主要从鸟瞰角度考虑问题的对象轨迹预测的工作相比,我们从对象级别的角度制定问题,并要求预测完整的对象边界框,而不是单独的轨迹。为了解决这个问题,我们引入了Citywalks数据集,它由超过20万个高分辨率视频帧组成。CityWalks由来自10个欧洲国家的21个城市在各种天气条件下记录的镜头和超过3.5k的独特行人轨迹组成。为了进行评估,我们调整了现有的MOF轨迹预测方法,并在MOT-17数据集上确认了跨数据集的可推广性,而无需进行微调。最后,我们提出了STED,一种新的编解码器架构的MOF。STED结合了视觉和时间特征来建模对象运动和自我运动,并且优于现有的MOF方法。代码和数据集链接:https://github.com/olly-styles/Multiple-Object-Forecasting
2020-01-07 cs.CV
Ordinal Learning: Longitudinal Attention Alignment Model for Predicting Time to Future Breast Cancer Events from Mammograms
Netherlands Cancer Institute (NKI)(荷兰癌症研究所);GROW School for Oncology and Development Biology, Maastricht University(马斯特里赫特大学GROW肿瘤学与发育生物学学院);Macao Polytechnic University(澳门理工大学);Radboud University Medical Centre(拉德堡德大学医学中心)
针对现有乳腺X线影像乳腺癌风险预测模型忽略事件时间排序、对乳腺组织纵向变化探索不足的问题,提出序数学习方法OA-BreaCR,在两类预测任务上性能更优且具备可解释性,助力乳腺癌精准筛查预防。
2024-09-10 cs.CV eess.IV
Predicting Future Opioid Incidences Today
Arizona State University(亚利桑那州立大学)
根据疾病控制中心(CDC)的数据,仅在2017年,阿片类药物的流行就在美国夺去了72,000多人的生命。尽管在地方,州和联邦层面做出了各种努力,但该流行病的影响正在逐渐恶化,这一事实证明,2016年至2017年期间,阿片类药物相关死亡人数增加了12.5%。预测分析可以通过为多个层面的利益相关者提供决策工具(从医疗保健专业人员到政策制定者再到第一响应者),在抗击疫情方面发挥重要作用。从过去的数据中生成阿片类药物发病率热图,帮助这些利益相关者可视化阿片类药物流行的深远影响。热图的这种事后创建仅提供回顾性信息,因此,对于当前或未来时间范围内的预防行动可能没有那么有用。在本文中,我们提出了一种新的深度神经架构,它可以学习阿片类药物发生率数据中微妙的时空变化,并准确预测未来的热图。我们在两个开源数据集上评估了我们的模型的有效性-(i)辛辛那提海洛因过量数据集,和(ii)康涅狄格州药物相关死亡数据集。
2019-06-20 cs.CV cs.CY cs.HC