Learning from Memory: Non-Parametric Memory Augmented Self-Supervised Learning of Visual Features
Institute of Computing, University of Campinas(坎皮纳斯大学计算学院);University of Oslo(奥斯陆大学)
本文提出一种利用非参数记忆增强神经网络的自监督学习方法,通过随机记忆块正则化训练并强制图像视图一致性,在无需额外正则化器的情况下实现稳定训练并获得高可迁移表示。
2024-07-03 cs.CV cs.LG
Simulating reaction time for Eureka effect in visual object recognition using artificial neural network
Center for Information and Neural Networks (CiNet), Advanced ICT Research Institute, NICT(信息与神经网络中心(CiNet),高级信息通信技术研究所,日本信息通信研究机构);Osaka University(大阪大学)
人类大脑可以在观察一段时间后识别隐藏在严重退化图像中的物体,这被称为一种尤里卡效应,可能与人类的创造力有关。先前的心理学研究表明,这种“尤里卡识别”的基础是多种随机活动的神经过程。在这里,我们构建了一个基于人工神经网络的模型,模拟人类尤里卡识别的特点。
2022-06-30 cs.AI cs.CV cs.LG
Decoding Dynamic Visual Experience from Calcium Imaging via Cell-Pattern-Aware Pretraining
Interdisciplinary Program in Artificial Intelligence(人工智能跨学科项目);Seoul National University(首尔国立大学);NSF AI Institute for Artificial and Natural Intelligence (ARNI)(国家科学基金会人工智能与自然智能研究院);Columbia University(哥伦比亚大学);Mila (Quebec AI Institute)(蒙特利尔人工智能研究所);Dept. of Neurology & Neurosurgery(神经病学与神经外科系);McGill University(麦吉尔大学);Montreal Neurological Institute, McGill University(麦吉尔大学蒙特利尔神经科学研究所);School of Computer Science, McGill University(麦吉尔大学计算机科学学院);Learning in Machines and Brains Program, CIFAR(机器与大脑学习计划,CIFAR);Department of Psychology(心理学系);Department of Brain and Cognitive Sciences(脑与认知科学系)
本文提出POYO-CAP方法,通过预训练提升神经解码鲁棒性,实验证明其在Allen脑观察数据集上比从头训练有12-13%的提升,并实现模型规模的平稳扩展。
2026-05-08 cs.LG q-bio.NC
Supervised Stochastic Neighbor Embedding Using Contrastive Learning
University of Geneva(日内瓦大学)
本研究将自监督对比学习扩展至全监督设置,提出一种有监督随机近邻嵌入方法,通过在低维空间中拉近同类样本、推开异类样本,有效利用标签信息以优化数据可视化。
2023-09-15 cs.LG
A Unified Framework for Stochastic Matrix Factorization via Variance Reduction
National University of Singapore(新加坡国立大学)
我们提出了一个统一的框架,以加快现有的随机阵分解(SMF)算法,通过减少方差。我们的框架是一般的,它包括几个著名的SMF配方在文献中。我们进行了非渐近收敛分析我们的框架,并得出计算和样本的复杂性,我们的算法收敛到一个$ε$ -平稳点的期望。此外,广泛的SMF配方类的广泛实验表明,我们的框架始终产生更快的收敛和更准确的输出字典相对于国家的最先进的框架。
2017-05-22 cs.LG math.OC stat.ML
Efficient On-policy Visual-RL via Stochastic Decoupled Policy Gradient
Yale University(耶鲁大学);Shanghai Jiao Tong University(上海交通大学);University of Sydney(悉尼大学)
提出随机解耦策略梯度(SDPG)方法,通过轨迹滚动的随机扰动估计策略梯度,在单GPU上数小时内端到端训练多样化的视觉运动控制策略,显著降低计算和内存开销,并在视觉MuJoCo基准测试中优于基线方法。
2026-05-26 cs.AI cs.CV cs.LG
A General Framework for Analyzing Stochastic Dynamics in Learning Algorithms
Harvard University(哈佛大学)
分析学习算法的挑战之一是目标值和随机噪声之间的循环纠缠。这也被称为“鸡和蛋”现象,传统上,没有原则性的方法来处理这个问题。人们通常是利用动力系统的特殊结构来解决问题,因此分析结果很难推广。在这项工作中,我们提出了一个精简的三步配方来解决“鸡和蛋”的问题,并给出了一个一般的框架,用于分析学习算法中的随机动力学。我们的框架由概率论的标准技术组成,如停时和鞅浓度。我们通过对三个非常不同的学习问题进行统一分析,展示了我们框架的强大功能和灵活性,这些学习问题具有最后的一致性和强一致高概率收敛保证。这些问题是强凸函数的随机梯度下降,流主成分分析和线性强盗与随机梯度下降更新。我们要么改进,要么匹配所有三个动态的最先进的边界。
2022-09-28 cs.DS cs.LG math.OC
Visual-based Autonomous Driving Deployment from a Stochastic and Uncertainty-aware Perspective
The Hong Kong University of Science and Technology(香港科技大学)
端到端的基于视觉的模仿学习在自动驾驶中得到了广泛的应用。当部署经训练的基于视觉的驾驶策略时,通常直接应用确定性命令而不考虑输入数据的不确定性。这种政策在现实世界中的应用可能会带来巨大的损害。在本文中,我们遵循最近的real-to-sim管道,在使用训练策略时将测试世界图像转换回训练域。在翻译过程中,使用一个随机发生器来随机或定向地生成各种在训练域下风格化的图像。基于这些翻译的图像,训练的不确定性感知模仿学习策略将输出预测动作和由任意损失函数激励的数据不确定性。通过不确定性感知的模仿学习策略,我们可以很容易地在生成的图像中选择具有最低不确定性的最安全的图像。在Carla导航基准测试中的实验表明,我们的策略优于以前的方法,特别是在动态环境中。
2019-07-18 cs.AI cs.CV cs.RO
StochasT: Learning with Stochastic Turn Depth for Visual Instruction Tuning
Boston University(波士顿大学);Rutgers University(罗格斯大学)
针对视觉指令微调中多轮训练与单轮测试不匹配的问题,提出StochasT方法,通过随机分组语言任务为不同大小的轮次深度,增强模型在单轮和多轮场景下的鲁棒性。
2026-07-02 cs.CL cs.CV cs.LG
Visual Dynamics: Stochastic Future Generation via Layered Cross Convolutional Networks
我们研究的问题,从一个单一的输入图像合成的一些可能的未来帧。与以确定性或非参数方式解决此问题的传统方法相比,我们建议以概率方式对未来帧进行建模。我们的概率模型使我们能够从单个输入图像中采样和合成许多可能的未来帧。为了合成物体的真实运动,我们提出了一种新的网络结构,即交叉卷积网络;该网络将图像和运动信息分别编码为特征图和卷积核。在实验中,我们的模型表现良好的合成数据,如2D形状和动画游戏精灵,并在现实世界的视频帧。我们对学习的网络表示进行了分析,表明它正在隐式地学习对象外观和运动的紧凑编码。我们还展示了它的一些应用,包括视觉类比制作和视频外推。
2019-08-09 cs.AI cs.CV cs.LG
Stochastic Neighbor Embedding of Multimodal Relational Data for Image-Text Simultaneous Visualization
Kyoto University(京都大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);NAVER Corporation(NAVER公司)
多模态关系数据分析近年来变得越来越重要,用于探索不同领域的数据,诸如从社交网络服务(例如,Flickr)。已经开发了各种数据分析方法用于可视化;举一个例子,t-随机邻居嵌入(t-SNE)计算低维特征向量,以便它们的相似性保持观察到的数据向量。然而,t-SNE是专为一个单一的数据域,但不是多模态数据,本文的目的是在可视化的多模态关系数据组成的数据向量在多个域与这些向量之间的关系。通过扩展t-SNE,本文提出了多模态关系随机邻居嵌入(MR-SNE),即(1)首先计算增强关系,其中我们观察跨域的关系,并通过观察到的数据向量计算每个域内的关系,以及(2)将增强关系联合嵌入到低维空间。通过可视化的Flickr和动物与属性2数据集,建议MR-SNE与其他基于图嵌入的方法进行了比较,MR-SNE展示了有前途的性能。
2020-05-02 cs.CL cs.CV cs.HC
Bi-modal First Impressions Recognition using Temporally Ordered Deep Audio and Stochastic Visual Features
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
提出了一种基于短视频中大五人格特征的第一印象识别方法。大五人格特质(Big Five Personality Traits)是一个描述人类人格的模型,使用五个大类:外向性,可接受性,尽责性,神经质和开放性。我们训练两个双模态端到端深度神经网络架构,使用时间有序的音频和新的随机视觉特征,从几帧,没有过拟合。我们的经验表明,训练后的模型表现非常好,即使是在从一小部分输入进行训练之后。我们的方法在ChaLearn 2016年的外观人格分析(APA)比赛中使用ChaLearn APA2016数据集进行评估,并取得了优异的性能。
2016-10-31 cs.CV
A stochastic model of human visual attention with a dynamic Bayesian network
NTT Communication Science Laboratories, NTT Corporation(日本电信电话株式会社NTT通信科学实验室);Stanford University(斯坦福大学);Okinawa National College of Technology(冲绳工业高等专门学校)
人类视觉科学领域的最新研究表明,人类对视觉显示器上的刺激的反应是不确定的。人们可以同时关注同一视觉输入上的不同位置。基于这些知识,我们提出了一个新的随机模型的视觉注意力,通过引入一个动态贝叶斯网络来预测人类通常集中在视频场景的可能性。该模型由4层动态贝叶斯网络组成。我们的模型提供了一个框架,模拟和结合的视觉显着性反应和认知状态的一个人来估计最可能出席的地区。基于马尔可夫链蒙特卡罗的粒子滤波器和流处理的基于样本的推理与多核处理器使我们能够估计人类的视觉注意力在近实时的。实验结果表明,我们的模型在预测人类视觉注意力方面比以前的确定性模型表现得更好。
2010-04-01 cs.CV cs.MM cs.NE
Gaussian RAM: Lightweight Image Classification via Stochastic Retina-Inspired Glimpse and Reinforcement Learning
Seoul National University(首尔大学)
以往对图像分类的研究主要集中在网络的性能上,而不是实时操作或模型压缩。我们提出了高斯深度循环视觉注意力模型(GDRAM)--一种基于强化学习的轻量级深度神经网络,用于大规模图像分类,其性能优于使用整个图像作为输入的传统CNN(卷积神经网络)。受生物视觉识别过程的启发,我们的模型模拟了具有高斯分布的视网膜的随机位置。我们评估了大型杂乱MNIST,大型CIFAR-10和大型CIFAR-100数据集的模型,这些数据集的宽度和高度都调整为128。
2020-11-12 cs.CV cs.LG
Stochastic Channel Decorrelation Network and Its Application to Visual Tracking
School of Optics and Photonics, Beijing Institute of Technology(北京理工大学光电学院)
深度卷积神经网络(CNN)由于其自动提取良好特征的强大能力而在计算机视觉的许多领域占据主导地位。然而,许多基于深度CNN的计算机视觉任务缺乏训练数据,而深度模型中有数百万个参数。显然,这两个双相违反事实将导致许多设计不良的深度CNN的参数冗余。因此,我们深入研究了现有的CNN,发现网络参数的冗余来自卷积层内不同通道中特征之间的相关性。为了解决这个问题,我们提出了随机信道去相关(SCD)块,在每次迭代中,随机选择卷积层内的多对信道,并计算它们的归一化互相关(NCC)。然后提出了一个平方最大容限损失作为SCD的目标,以抑制相关性和保持信道之间的分集显式。所提出的SCD是非常灵活的,可以简单地应用于任何当前现有的CNN模型。基于SCD和全卷积Siamese网络,提出了一种视觉跟踪算法,验证了SCD的有效性。
2018-08-20 cs.CV
Online Class Incremental Learning on Stochastic Blurry Task Boundary via Mask and Visual Prompt Tuning
Kyung Hee University(庆熙大学)
本文提出随机模糊任务边界在线类别增量场景 Si-Blurry,并通过实例级 logit 掩码、对比视觉提示、梯度相似性 focal loss 与自适应特征缩放缓解遗忘和类别不平衡。
2023-08-18 cs.CV cs.LG
Crop Planning using Stochastic Visual Optimization
TCS Research(塔塔咨询服务研究部)
随着世界人口的增加和可耕地的减少,提高可用农业土地的生产力变得至关重要。考虑到天气和土壤特性,农民需要做出关键的决定,例如种植哪种种子以及种植比例,以最大限度地提高生产力。这些决定是不可逆转的,任何外部因素的异常行为,如天气,都可能对作物的生产力产生灾难性的影响。一个农民非常想要的品种可能无法获得或供应短缺,因此,评估哪个品种或哪些品种更有可能被种植地区的农民选择以满足需求是非常关键的。在本文中,我们介绍了我们的可视化分析工具ViSeed,展示了先正达2016年作物数据挑战1中的数据。该工具有助于预测最佳大豆种子品种或适当比例的品种组合,这更有可能被种植地区的农民选择。它还允许分析从我们的方法生成的解决方案,并通过提供有见地的可视化来帮助决策过程
2017-10-25 cs.CV cs.CY
Information-Regularized Attention for Visual-Centric Reasoning
FAIR at Meta(Meta 的 FAIR 部门);Rochester Institute of Technology(罗切斯特理工学院)
针对视觉语言模型中的对象幻觉、视觉基础弱和灾难性遗忘问题,提出信息正则化注意力机制,通过随机注意力显式调控视觉信息注入,改善表示学习稳定性。
2026-07-02 cs.CV cs.LG
Polarimetric SAR Image Smoothing with Stochastic Distances
Universidade Federal de Alagoas(阿拉戈斯联邦大学)
极化合成孔径雷达(PolSAR)图像正在成为遥感应用的重要信息源。这种类型的成像产生的最完整的格式由每个图像坐标中的复值埃尔米特矩阵组成,因此,它们的可视化是具有挑战性的。它们还遭受斑点噪声,这降低了信噪比。在文献中已经提出了旨在保留不同特征的平滑技术,并且类似地,使用从厄米特正矩阵的锥到不同颜色表示空间的投影来增强某些特征。在这项工作中,我们提出了使用模型之间的随机距离,描述这种类型的数据在一个长尾松山类型的平滑技术。所得到的图像显示出良好的可视化性能(降噪与保存的细节),在所有考虑的可视化空间。
2012-07-03 cs.CV cs.GR cs.IT
Sound2Sight: Generating Visual Dynamics from Sound and Context
Mitsubishi Electric Research Laboratories(三菱电机研究实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
跨模态的学习关联对于鲁棒的多模态推理至关重要,特别是在推理过程中可能缺少模态时。在本文中,我们研究这个问题的背景下,音频条件的视觉合成-一个任务,这是很重要的,例如,在遮挡推理。具体来说,我们的目标是生成未来的视频帧和它们的运动动态条件的音频和一些过去的帧。为了解决这个问题,我们提出了Sound 2Sight,这是一个深度变分框架,它被训练来学习基于音频和过去帧的联合嵌入的每帧随机先验。这种嵌入是通过一个多头注意力为基础的视听Transformer编码器学习。然后对所学习的先验进行采样,以进一步调节视频预测模块以生成未来帧。随机先验允许模型对与所提供的音频和过去上下文一致的多个可能的未来进行采样。此外,为了提高所生成的帧的质量和一致性,我们提出了一个多模式的视频,区分合成和一个真正的视听剪辑。我们在两个新的数据集上实证评估了我们的方法,即(i)带有惊喜障碍的多模态随机移动MNIST,(ii)Youtube绘画;以及现有的Audio-Set Drums数据集。我们广泛的实验表明,Sound 2Sight在生成的视频质量方面明显优于最先进的技术,同时还能生成多样化的视频内容。
2020-07-23 cs.CV cs.LG cs.SD
Stochastic Dynamics for Video Infilling
University of Southern California(南加州大学);Nanyang Technological University(南洋理工大学);Columbia University(哥伦比亚大学)
在本文中,我们介绍了一个随机动态视频填充(SDVI)框架,以产生视频中的长间隔之间的帧。我们的任务不同于视频插值,其目的是产生过渡帧之间的每两帧的时间间隔很短,并增加时间分辨率。我们的任务,即视频填充,然而,目的是填充长时间间隔与合理的帧序列。我们的框架模型的填充作为一个受约束的随机生成过程,并从推断的分布顺序采样动态。SDVI由两部分组成:(1)双向约束传播模块,以保证帧之间的时空相干性,(2)随机采样过程,以从推断的分布生成动态。实验结果表明,SDVI可以生成清晰的、内容变化的帧序列。此外,生成的序列中的运动是真实的,并且能够从给定的开始帧平滑地转移到终端帧。我们的项目网站是https://xharlie.github.io/projects/project_sites/SDVI/video_results.html
2019-06-07 cs.AI cs.CV cs.LG
Show, Attend and Tell: Neural Image Caption Generation with Visual Attention
受最近机器翻译和目标检测工作的启发,我们引入了一个基于注意力的模型,它可以自动学习描述图像的内容。我们描述了我们如何可以训练这个模型在一个确定性的方式使用标准的反向传播技术和随机最大化的变分下限。我们还通过可视化展示了模型如何能够自动学习将目光固定在突出对象上,同时在输出序列中生成相应的单词。我们在三个基准数据集上验证了注意力的使用:Flickr8k,Flickr30k和MS COCO。
2016-04-19 cs.CV cs.LG
Stochastic Geometry Models for Texture Synthesis of Machined Metallic Surfaces: Sandblasting and Milling
Fraunhofer ITWM(弗劳恩霍夫工业数学研究所);University of Kaiserslautern-Landau(凯泽斯劳滕-兰道大学)
针对表面缺陷检测训练数据不足的问题,基于表面形貌测量开发了喷砂与铣削金属表面的随机几何纹理合成模型,为构建数字孪生提供支持。
2024-03-20 cs.CE cs.CV
StochasticSplats: Stochastic Rasterization for Sorting-Free 3D Gaussian Splatting
Google DeepMind(谷歌DeepMind);University of British Columbia(不列颠哥伦比亚大学);Google(谷歌);Runway ML;Simon Fraser University(西蒙菲莎大学);University of Toronto(多伦多大学)
本研究提出将3D高斯泼溅与基于蒙特卡洛的无偏随机光栅化相结合,消除了传统深度排序需求,实现了计算时间与渲染质量的灵活权衡,在合理视觉质量下比有序光栅化快四倍以上。
2025-03-31 cs.CV cs.GR
Motion Prediction Under Multimodality with Conditional Stochastic Networks
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
给定视觉历史,视频场景的多个未来结果是同等可能的,换句话说,未来结果的分布具有多个模式。众所周知,多模态很难用标准回归器或分类器处理:前者回归到平均值,后者离散化连续的高维输出空间。在这项工作中,我们提出了随机神经网络架构,通过随机性来处理这种多模态:对象,身体关节或帧的未来轨迹表示为随机(而不是确定性)变量的深度,非线性变换。这些随机变量从简单的高斯分布中采样,其均值和方差由卷积编码器在视觉历史上的输出参数化。我们引入了新的卷积架构,用于预测未来的身体关节轨迹,其性能优于完全连接的替代方案\cite{DBLP:journals/corr/WalkerDGH16}。我们通过光流扭曲引入随机空间Transformers来预测未来帧,其性能优于其确定性等效方案\cite{DBLP:journals/corr/PatrauceanHC15}。训练随机网络涉及随机变量的难以处理的边缘化。我们比较了各种训练方案,这些方案通过以下方式处理这种边缘化:a)从先验中直接采样,b)条件变分自编码器\cite{NIPS2015_5775,DBLP:journals/corr/WalkerDGH16},以及c)建议的K-最佳样本损失,该损失在固定的“预测预算”下惩罚最佳预测。我们展示了在不同的未来不确定性下的对象轨迹预测、人体关节轨迹预测和视频预测的实验结果,定量和定性地验证了我们的架构选择和训练方案。
2017-05-05 cs.CV
Co-training $2^L$ Submodels for Visual Recognition
Meta AI / FAIR Paris(Meta人工智能/巴黎基础人工智能研究院);Sorbonne University(索邦大学)
我们介绍了子模型协同训练,一种与协同训练、自蒸馏和随机深度相关的正则化方法。给定一个待训练的神经网络,对于每个样本,我们隐式地实例化两个改变的网络,"子模型“,具有随机深度:我们只激活层的一个子集。每个网络都充当另一个网络的软老师,提供损失来补充单一热门标签提供的常规损失。我们的方法被称为cosub,使用一组权重,不涉及预先训练的外部模型或时间平均。实验表明,子模型协同训练是有效的训练骨干识别任务,如图像分类和语义分割。我们的方法与多种架构兼容,包括RegNet,ViT,PiT,XCiT,Swin和ConvNext。我们的训练策略在可比的环境中提高了他们的成绩。例如,在ImageNet-21 k上使用cosub预训练的ViT-B在ImageNet-val上获得87.4%的top-1 acc.@448。
2022-12-09 cs.CV
Stochastic Prediction of Multi-Agent Interactions from Partial Observations
Google Research(谷歌研究院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
我们提出了一种方法,学习整合时间信息,从一个学习的动态模型,模糊的视觉信息,从一个学习的视觉模型,在交互代理的上下文中。我们的方法基于图结构的变分递归神经网络(Graph-VRNN),该网络经过端到端训练,可以推断(部分观察到的)世界的当前状态,并预测未来状态。我们证明了我们的方法在两个体育数据集上的表现优于各种基线,一个是基于真实的篮球轨迹,另一个是由足球游戏引擎生成的。
2019-02-25 cs.CV cs.LG stat.ML
NeRD: a Neural Response Divergence Approach to Visual Salience Detection
Aimetis Corp.(Aimetis公司)
在本文中,提出了一种新的方法,通过神经响应发散(NeRD)的视觉显著性检测,其中的突触部分的深度神经网络,以前训练复杂的对象识别,利用计算低级别的线索,可用于计算图像区域的独特性。基于这一概念,提出了一个有效的视觉显著性检测框架,使用深度卷积随机网络。使用CSSD和MSRA 10k自然图像数据集的实验结果表明,所提出的NeRD方法可以实现改进的性能相比,国家的最先进的图像显著性的方法,同时实现低计算复杂性所需的近实时计算机视觉应用。
2016-02-04 cs.CV
Quick and energy-efficient Bayesian computing of binocular disparity using stochastic digital signals
ISIR CNRS/UPMC(法国国家科学研究中心/巴黎第六大学智能系统与机器人研究所)
利用双目视差信息重建视觉场景的三维几何结构是计算机视觉和移动机器人领域的一个重要问题,它可以用贝叶斯推理问题来描述。然而,使用高级贝叶斯模型计算全视差分布通常是一个棘手的问题,并且即使使用简单的模型也证明在计算上具有挑战性。在本文中,我们将展示如何使用分布式内存和交替表示的数据作为随机比特流的概率硬件可以解决这个问题,具有高性能和能源效率。我们提出了一种方法来表示离散概率分布使用随机数据表示和贝叶斯融合使用这些表示,并显示该方法可以应用于偶校验计算。我们评估系统使用模拟随机实现,并讨论可能的硬件实现这种架构和它们的潜力,感觉运动处理和机器人。
2016-10-31 cs.AI cs.CV
Memorable Maps: A Framework for Re-defining Places in Visual Place Recognition
University of Essex(埃塞克斯大学);Queensland University of Technology(昆士兰科技大学)
本文提出了一个认知启发的不可知框架,用于构建视觉位置识别的地图。该框架的灵感来自人类的记忆性,利用传统的图像熵的概念和计算的静态内容的图像,从而提出了一个三重标准来评估的“记忆性”的图像的视觉位置识别。创建了一个名为“ESSEX3IN 1”的数据集,由来自室内,室外和自然场景的高度混乱的图像组成。当与最先进的视觉位置识别方法结合使用时,所提出的框架为这些技术提供了显着的性能提升,ESSEX3IN 1和其他公共数据集的结果证明了这一点。
2019-03-21 cs.CV cs.RO
Stochastic Light Field Holography
Northwestern University(西北大学);Reality Labs Research, Meta(Meta现实实验室研究部门);Princeton University(普林斯顿大学)
针对全三维全息显示中光瞳采样影响观看真实感的问题,提出匹配光场与Wigner函数投影算子、并用随机光瞳状态光场重聚焦图像监督的全息图生成算法。
2023-07-12 cs.CV cs.GR eess.IV
An Audio-Visual Dataset and Deep Learning Frameworks for Crowded Scene Classification
Austria Institute of Technology(奥地利技术研究院);University of Essex(埃塞克斯大学);FPT University(FPT大学);FPT Software Company Limited(FPT软件有限公司)
本文提出了一种视听场景分类(SC)的任务,输入视频被分为五个现实生活中拥挤的场景之一:“骚乱”,“噪音街”,“烟花事件”,“音乐事件”,和“体育氛围”。为此,我们首先从Youtube(野外场景)收集这五个拥挤的上下文的视听数据集(视频)。然后,提出了广泛的深度学习框架,以独立地部署音频或视觉输入数据。最后,融合从高性能深度学习框架获得的结果,以获得最佳准确度分数。我们的实验结果表明,音频和视觉输入因素独立地有助于SC任务的性能。值得注意的是,探索音频或视觉输入数据的深度学习框架的集合可以达到95.7%的最佳准确率。
2021-12-16 cs.CV cs.LG eess.IV
Recasting DiT for Extreme Image Compression with Hierarchical Visual Priors
Shanghai Jiao Tong University(上海交通大学);University of Sydney(悉尼大学)
本文提出PrismCodec,通过渐进式适配策略将预训练DiT重构为基于比特流的单步生成解码器,在多个图像数据集上较StableCodec显著降低了LPIPS和DISTS的BD-rate,提升了极端图像压缩的率-感知性能。
2026-10-14 cs.CV
Precipitation nowcasting using a stochastic variational frame predictor with learned prior distribution
Memorial University of Newfoundland(纽芬兰纪念大学)
我们建议使用一个随机变分帧预测深神经网络与学习的先验分布训练的二维降雨雷达反射率图的降水临近预报的前置时间长达2 1/2小时。我们与标准卷积LSTM网络进行了比较,并评估了两种方法的结构相似性指数的演变。案例研究表明,新的方法可以产生有意义的预测,而不会过度模糊的时间范围的利益。
2019-05-13 cs.CV cs.LG physics.ao-ph
LayoutVAE: Stochastic Scene Layout Generation From a Label Set
Simon Fraser University(西蒙弗雷泽大学);Borealis AI(北极光人工智能);University of British Columbia(不列颠哥伦比亚大学)
近年来,研究界对场景生成的兴趣越来越大。然而,用于从文本描述生成场景布局的模型在很大程度上忽略了文本所指示的结构内的看似合理的视觉变化。我们提出了LayoutVAE,一个基于变分自编码器的框架,用于生成随机场景布局。LayoutVAE是一个多功能的建模框架,允许在给定标签集的情况下生成完整的图像布局,或者在给定新标签的情况下为现有图像生成每个标签布局。此外,它还能够检测不寻常的布局,潜在地提供了一种方法来评估布局生成问题。在MNIST布局和具有挑战性的COCO 2017 Panoptic数据集上进行的大量实验验证了我们提出的框架的有效性。
2021-06-01 cs.CV
Blind Super-Resolution for Remote Sensing Images via Conditional Stochastic Normalizing Flows
Beijing Normal University(北京师范大学)
真实场景中的遥感图像会受到光学模糊、欠采样和附加噪声等多种因素的干扰,导致退化模型复杂多样。目前,主流的超分辨率算法只考虑单一的、固定的退化(如双三次插值),不能灵活处理真实场景中的复杂退化。因此,设计一种能够应对各种退化的超分辨率(SR)模型正逐渐引起研究者的关注。一些研究首先估计退化核,然后执行退化自适应SR,但面临的问题,估计误差放大和不足的高频细节的结果。基于生成对抗网络(GAN)的盲SR算法虽然在视觉效果上有了很大的提高,但仍存在伪纹理、模式崩溃和训练稳定性差等问题。在这篇文章中,我们提出了一种新的盲SR框架的基础上的随机归一化流(BlindSRSNF),以解决上述问题。BlindSRSNF通过显式优化似然的变分边界来学习给定低分辨率(LR)图像的高分辨率图像空间上的条件概率分布。BlindSRSNF易于训练,并且可以生成优于基于GAN的模型的照片般逼真的SR结果。此外,我们引入了基于对比学习的退化表示策略,以避免显式退化估计所带来的误差放大问题。综合实验结果表明,该算法在模拟LR和真实世界的RSIs上都能获得具有良好视觉感知质量的SR结果。
2022-10-14 cs.CV eess.IV
Stochastic Optimisation Framework using the Core Imaging Library and Synergistic Image Reconstruction Framework for PET Reconstruction
Finden Ltd(芬登有限公司);Rutherford Appleton Laboratory(卢瑟福·阿普尔顿实验室);Science & Technology Facilities Council(科学与技术设施委员会);National Physical Laboratory(国家物理实验室);Électricité de France(法国电力公司);CSIRO(联邦科学与工业研究组织);Technical University of Denmark(丹麦技术大学);University College London(伦敦大学学院);KU Leuven(鲁汶大学);Institute of Nuclear Medicine, University College London(伦敦大学学院核医学研究所)
本研究在开源CIL中引入随机优化框架,复现5种随机算法,结合SIRF在模拟2D PET数据集上对比验证,证实随机方法数据遍历收敛轮次少于标准确定性算法。
2024-06-21 cs.CV cs.NA eess.IV
An Inter-observer consistent deep adversarial training for visual scanpath prediction
Université d'Orléans(奥尔良大学);IULM University(IULM大学)
本文提出一种轻量级深度网络与观察者间一致性对抗训练相结合的方法,用于预测视觉扫视路径,通过判别网络作为动态损失建模随机性并保持观察者间分布一致,实验证明其性能具有竞争力。
2023-07-11 cs.CV
Motion and Context-Aware Audio-Visual Conditioned Video Prediction
National University of Singapore(新加坡国立大学)
本文将音视频条件视频预测解耦为运动与外观建模,利用音频-运动相关性预测光流,并通过运动记忆和上下文感知细化提升长期预测性能,在现有基准上取得有竞争力的结果。
2023-09-20 cs.CV
DRIVE: Deep Reinforced Accident Anticipation with Visual Explanation
Rochester Institute of Technology(罗切斯特理工学院)
交通事故预测旨在从行车记录仪视频中准确、及时地预测未来事故的发生,这对于有安全保障的自动驾驶系统至关重要。为了鼓励早期和准确的决策,现有的方法通常侧重于在未来事故发生之前捕获空间和时间背景的线索。然而,他们的决策缺乏视觉解释,忽视了与环境的动态互动。在本文中,我们提出了深度强化的事故预测与视觉解释,命名为驱动器。该方法模拟自下而上和自上而下的视觉注意力机制在dashcam观察环境,使建议的随机多任务代理的决定可以直观地解释由关注区域。此外,提出的密集预期奖励和稀疏固定奖励是有效的训练驱动模型与我们的改进强化学习算法。实验结果表明,DRIVE模型在多个真实世界的交通事故数据集上达到了最先进的性能。代码和预训练模型可在\url{https://www.rit.edu/actionlab/drive}上获得。
2021-09-06 cs.CV
VisualRouter: Query-Grounded Visual Sampling for Long Video Understanding
Tongji University(同济大学);University of Electronic Science and Technology of China(电子科技大学)
本文提出无训练即插即用框架VisualRouter,通过将查询分为全局或局部并采用对应采样策略,提升了大型视觉语言模型的长视频理解性能,在多个基准数据集上优于均匀采样及现有无训练方法。
2026-07-31 cs.CV
Picture It In Your Mind: Generating High Level Visual Representations From Textual Descriptions
ISTI-CNR(意大利国家研究委员会信息科学与技术研究所)
在本文中,我们解决的问题时,查询是一个简短的文字描述的图像用户正在寻找的图像搜索。我们选择通过学习将文本查询转换为视觉表示,将实际搜索过程实现为视觉特征空间中的相似性搜索。在视觉特征空间中搜索具有以下优点:对翻译模型的任何更新不需要重新处理在其上执行搜索的通常巨大的图像集合。我们提出了Text 2 Vis,这是一个神经网络,它在ImageNet的fc 6-fc 7层的视觉特征空间中,从一个简短的描述性文本中生成一个视觉表示。Text 2 Vis使用随机损失选择方法优化两个损失函数。以视觉为中心的损失旨在学习实际的文本到视觉特征映射,而以文本为中心的损失旨在对语言中表达的更高级别的语义概念进行建模,并对抗视觉损失的非相关视觉组件的过拟合。我们报告了MS-COCO数据集的初步结果。
2016-06-23 cs.CL cs.CV cs.IR