Texture Aware Autoencoder Pre-training And Pairwise Learning Refinement For Improved Iris Recognition
Indian Institute Of Technology Kharagpur(印度理工学院克勒格布尔分校)
本文提出了一种纹理感知的端到端可训练虹膜识别系统,专门针对虹膜等训练数据有限的数据集设计。我们建立在我们以前的阶段式学习框架与某些关键的优化和架构创新。首先,我们使用无监督的自动编码器学习来预训练第一阶段编码器网络,该学习在通常的重建损失之上使用额外的数据关系损失进行优化。数据相关性损失使得能够学习更好的纹理表示,这对于纹理丰富的数据集(如虹膜)至关重要。第1阶段特征表示的鲁棒性通过辅助去噪任务进一步增强。这种预训练证明有利于在数据受限的虹膜数据集上有效地训练深度网络。接下来,在第二阶段的监督细化中,我们为端到端的可训练虹膜识别系统设计了一个成对学习架构。成对学习包括训练管道本身内部的虹膜匹配任务,并且与通常的离线匹配相比,识别性能有显着提高。我们在三个公开可用的虹膜数据集上验证了我们的模型,并且对于数据集内和跨数据集配置,所提出的模型始终优于传统和深度学习基线
2022-02-15 cs.CV
Pairwise Body-Part Attention for Recognizing Human-Object Interactions
Shanghai Jiao Tong University(上海交通大学);Tencent YouTu Lab(腾讯优图实验室)
在人-物交互(HOI)识别中,传统的方法将人体视为一个整体,并对整个身体区域给予统一的关注。他们忽略了一个事实,即正常情况下,人类通过使用身体的某些部分与物体进行交互。本文认为,在HOI识别中,对不同的身体部位应给予不同的关注,并应进一步考虑不同身体部位之间的相关性。这是因为我们的身体部位总是协同工作。我们提出了一个新的成对身体部位注意力模型,它可以学习专注于关键部位,以及它们之间的相关性,用于HOI识别。该模型引入了一种新的基于注意力的特征选择方法和一种能够捕捉身体部位间成对相关性的特征表示方案。我们提出的方法在HIO数据集上的HOI识别中比最先进的结果提高了4%。我们将公开我们的模型和源代码。
2018-07-28 cs.CV
PAID: Pairwise Angular-Invariant Decomposition for Continual Test-Time Adaptation
University of Science and Technology of China(中国科学技术大学)
本文提出PAID方法,通过保持预训练权重的成对角度结构并仅更新幅值与正交矩阵,在四个CTTA基准上一致超越现有SOTA方法。
2025-07-03 cs.CV
NIR-to-VIS Face Recognition via Embedding Relations and Coordinates of the Pairwise Features
Yonsei University(延世大学)
近红外到可见光人脸识别是通过提取领域不变的特征来识别两个不同领域的人脸。然而,这是一个具有挑战性的问题,由于这两个不同的领域的特点,并缺乏近红外人脸数据集。为了减少域差异,同时使用现有的人脸识别模型,我们提出了一个“关系模块”,它可以简单地添加到任何人脸识别模型。从人脸图像中提取的局部特征包含了人脸各个部分的信息。基于两种不同的领域特征,使用局部特征之间的关系比直接使用它更具领域不变性。除了这些关系之外,诸如从嘴唇到下巴或眼睛到眼睛的距离的位置信息也提供域不变信息。在我们的关系模块中,关系层隐式地捕获关系,坐标层对位置信息进行建模。此外,我们提出的具有条件保证金的三重损失减少了训练中的类内变化,并导致额外的性能改进。与一般的人脸识别模型不同,我们的附加模块不需要使用大规模数据集进行预训练。建议的模块微调仅与CASIA NIR-VIS 2.0数据库。与两个基线模型相比,我们实现了14.81%的rank-1准确率和15.47%的验证率,FAR提高了0.1%。
2022-08-04 cs.CV
Beyond Pairwise Relations: Dynamic Manipulation Hypergraphs for Vision-Based Human Activity Recognition
School of Mathematics, Statistics and Computer Science, College of Science, University of Tehran(德黑兰大学理学院数学、统计与计算机科学学院)
研究基于视觉的人类活动识别中的细粒度操纵问题。提出动态操纵超图框架,通过多特征编码实体、谓词排序超边候选等进行建模。实验表明该方法在HO-F1上优于成对图和静态超图,证明时变高阶关系建模的价值。
2026-07-21 cs.CV
Compare More Nuanced:Pairwise Alignment Bilinear Network For Few-shot Fine-grained Learning
University of Technology Sydney(悉尼科技大学)
人类的认知能力是逐步发展的。通常,孩子们在有限的监督下学会区分从粗到细的各种物体。受这种学习过程的启发,我们提出了一个简单而有效的模型,用于Few-Shot Fine-Grained(FSFG)识别,试图利用元学习来解决具有挑战性的细粒度识别任务。所提出的方法,称为成对对齐双线性网络(PABN),是一个端到端的深度神经网络。与传统的用于细粒度分类的深度双线性网络不同,该网络采用自双线性池来捕获图像的细微特征,该模型使用一种新的成对双线性池来比较基础图像和查询图像之间的细微差异,以学习深度距离度量。为了匹配基本图像特征与查询图像特征,我们在提出的成对双线性池之前设计了特征对齐损失。在四个细粒度分类数据集和一个通用的Few-Shot数据集上的实验结果表明,该模型的性能优于现有的Few-Shot细粒度方法和一般的Few-Shot方法.
2019-04-11 cs.CV
Pairwise Emotional Relationship Recognition in Drama Videos: Dataset and Benchmark
Alibaba Group(阿里巴巴集团)
识别人的情绪状态是视频理解中一项基本但具有挑战性的任务。在本文中,我们提出了一个新的任务在这一领域,命名为成对情感关系识别(PERR)。该任务旨在识别给定视频片段中两个交互角色之间的情感关系。它不同于传统的情绪和社会关系识别任务。各种各样的信息,包括人物的外观,行为,面部表情,对话,背景音乐以及字幕,对最终结果的贡献不同,这使得任务更具挑战性,但在开发更先进的多模态模型时有意义。为了促进这项任务,我们开发了一个新的数据集,称为情感关系的互动(ERATO)的基础上戏剧和电影。ERATO是PERR任务的大规模多模态数据集,包含31,182个视频片段,持续约203个视频小时。与现有的数据集不同,ERATO包含以交互为中心的视频,具有多镜头,不同的视频长度,以及包括视觉,音频和文本在内的多种形式。作为一个小小的贡献,我们提出了一个基线模型组成的同步模态-时间注意(SMTA)单元融合多模态信息的PERR任务。与其他流行的注意力机制相比,我们提出的SMTA可以稳定地提高性能约1%.我们期望ERATO以及我们提出的SMTA为视频理解中的PERR任务开辟一条新的途径,并进一步推动多模态融合方法的研究。
2021-09-23 cs.CV
Dynamic Pose-Robust Facial Expression Recognition by Multi-View Pairwise Conditional Random Forests
Sorbonne Universités(索邦大学);UPMC Univ Paris 06(巴黎第六大学);CNRS(法国国家科学研究中心);ISIR UMR 7222(智能系统与机器人研究所)
人脸表情自动分类是智能人机交互系统发展的关键问题。尽管如此,这是一个具有挑战性的问题,涉及捕捉高维时空模式描述一个人的外观随时间的变化。这种表示经历了面部形态和环境因素以及头部姿势变化的巨大变化。在本文中,我们使用条件随机森林捕捉低级别的表达转换模式。更具体地说,异构衍生特征(例如,特征点移动或纹理变化)的图像对进行评估。当在视频帧上进行测试时,在当前帧和先前帧之间创建对,并且针对每个先前帧的预测用于从成对条件随机森林(PCRF)绘制树,其成对输出随时间平均以产生鲁棒估计。此外,PCRF收集还可以以用于多视图动态FER的头部姿态估计为条件。因此,我们的方法似乎是随机森林的自然扩展,用于学习时空模式,可能从多个角度。流行的数据集上的实验表明,我们的方法导致显着改善标准的随机森林,以及国家的最先进的方法在几个场景,包括一个新的多视图视频语料库生成的公开可用的数据库。
2016-07-21 cs.CV
Exploring Self-attention for Image Recognition
CUHK(香港中文大学);Intel Labs(英特尔研究院)
最近的研究表明,自我注意力可以作为图像识别模型的基本构建块。我们探索自我注意力的变化,并评估其有效性的图像识别。我们考虑两种形式的自我关注。一个是成对自注意,它推广了标准的点积注意,基本上是一个集合算子。另一种是局部自我注意,它比卷积更强大。我们的成对自我注意力网络与卷积网络相匹配或优于卷积网络,而补丁模型的性能大大优于卷积基线。我们还进行了实验,探索学习表示的鲁棒性,并得出结论,自我注意网络可能在鲁棒性和泛化方面有显着的好处。
2020-04-28 cs.CV
A Coarse-to-Fine Place Recognition Approach using Attention-guided Descriptors and Overlap Estimation
Institute of Cyber-Systems and Control, Zhejiang University(浙江大学智能系统与控制研究所)
针对场所识别中现有方法表示能力受限或穷举搜索耗时的问题,提出一种结合BEV特征提取、粗粒度匹配与细粒度验证的由粗到细方法,在KITTI和KITTI-360数据集上优于现有技术。
2024-07-23 cs.CV cs.RO
ModeTv2: GPU-accelerated Motion Decomposition Transformer for Pairwise Optimization in Medical Image Registration
School of Biomedical Engineering, Shenzhen University Medical School, Shenzhen University, Shenzhen, China(生物医学工程学院,深圳大学医学院,深圳大学,深圳,中国);Smart Medical Imaging, Learning and Engineering (SMILE) Lab, Shenzhen University, Shenzhen, China(智能医学影像、学习与工程(SMILE)实验室,深圳大学,深圳,中国);Medical UltraSound Image Computing (MUSIC) Lab, Shenzhen University, Shenzhen, China(医学超声影像计算(MUSIC)实验室,深圳大学,深圳,中国)
ModeTv2通过GPU加速的运动分解变换器和RegHead模块,提升医学图像配准的准确性、效率和通用性。
2025-03-16 cs.CV
Multimodal Emotion Recognition with Modality-Pairwise Unsupervised Contrastive Loss
Eurecat, Centre Tecnològic de Catalunya(加泰罗尼亚技术中心Eurecat);University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
情感识别涉及到几个现实世界的应用。随着可用模式的增加,情绪的自动理解正在更准确地执行。多模态情感识别(MER)的成功主要依赖于监督学习范式。然而,数据注释是昂贵的、耗时的,并且由于情感表达和感知取决于若干因素(例如,年龄、性别、文化)获得具有高可靠性的标签是困难的。受此启发,我们专注于MER的无监督特征学习。我们考虑离散的情感,并作为模态的文本,音频和视觉使用。我们的方法,是基于成对模式之间的对比损失,是MER文献中的第一次尝试。与现有的MER方法相比,我们的端到端特征学习方法有几个不同之处(和优点):i)它是无监督的,因此学习缺乏数据标记成本; ii)它不需要数据空间增强,模态对齐,大量的批量大小或时期; iii)它只在推理时应用数据融合; iv)它不需要在情感识别任务上预先训练的骨干。在基准数据集上的实验表明,该方法的性能优于几种基线方法和无监督学习方法。特别是,它甚至超过了一些监督MER的最先进的。
2022-07-23 cs.AI cs.CV cs.LG
Who did What at Where and When: Simultaneous Multi-Person Tracking and Activity Recognition
University at Albany, State University of New York(纽约州立大学奥尔巴尼分校)
我们提出了一个自举框架,以同时改进个人、交互和社交群体活动级别的多人跟踪和活动识别。的推断包括识别轨迹的所有行人演员,个人活动,成对的相互作用,和集体活动,鉴于观察到的行人检测。我们的方法使用图形模型来表示和解决联合跟踪和识别问题,通过多个阶段:(1)活动感知跟踪,(2)联合交互识别和遮挡恢复,以及(3)集体活动识别。我们解决了视觉跟踪的地点和时间问题,以及识别的人和什么问题。高阶之间的相关性的可见和闭塞的个人,成对的相互作用,组,和活动,然后使用超图制定贝叶斯框架内解决。几个基准测试的实验表明,我们的方法比国家的最先进的方法的优势。
2018-07-03 cs.CV
SPIRIT: Spatio-temporal Pairwise Relational Modeling of Instrument-Tissue Interactions for Surgical Action Triplet Recognition
University of Strasbourg(斯特拉斯堡大学);CNRS(法国国家科学研究中心);INSERM(法国国家健康与医学研究院);ICube(ICube实验室);IHU Strasbourg(斯特拉斯堡大学医院研究所);University of Pavia(帕维亚大学);University Digestive Health Care Center – Clarunis(克拉鲁尼斯大学消化保健中心);Università di Roma Tor Vergata(罗马第二大学);University Hospital of Strasbourg(斯特拉斯堡大学医院);University Hospital Zurich(苏黎世大学医院);University Hospital Bern(伯尔尼大学医院);University of Basel(巴塞尔大学)
提出SPIRIT框架,构建多中心手术数据集MultiBypass-4C-T40,通过建模三元组成分的成对关系提升多中心手术动作三元组识别性能。
2026-08-04 cs.CV
Context-Aware Palmprint Recognition via a Relative Similarity Metric
University of Edinburgh(爱丁堡大学);Nethermind;University of Waterloo(滑铁卢大学)
针对传统掌纹匹配度量无法捕捉数据集上下文相似性比较的问题,提出引入相对相似性度量(RSM)的方法,应用于CCNet架构后在同济数据集获0.000036%的最先进EER,提升了鲁棒性与判别力。
2025-04-15 cs.CV
Octave Mix: Data augmentation using frequency decomposition for activity recognition
Graduate School of Engineering(研究生院);University of Fukui(福井大学)
在活动识别的研究领域,虽然很难收集大量的测量传感器数据,但关于数据增强(DA)的讨论还不多。在这项研究中,我提出了Octave Mix作为一种新的基于传感器的活动识别的综合风格的DA方法。Octave Mix是一种简单的DA方法,它通过使用频率分解将低频和高频波形交叉来组合两种类型的波形。此外,我提出了一个DA集成模型及其训练算法,以获得对原始传感器数据的鲁棒性,同时保持各种各样的特征表示。我进行了实验,以评估我提出的方法使用四个不同的基准数据集的基于感知的活动识别的有效性。因此,我提出的方法达到了最佳的估计精度。此外,我发现,集成两个DA策略:Octave Mix with rotation和mixup with rotation,可以实现更高的精度。
2021-01-08 cs.CV
Pairwise Similarity Learning is SimPLE
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);The Alan Turing Institute(艾伦·图灵研究所)
本文提出一种无需特征归一化或角度间隔的简单无代理方法SimPLE,用于成对相似度学习,在开放集人脸识别、图像检索和说话人验证任务上显著优于现有最先进方法。
2023-10-13 cs.CV cs.LG
Feature Decomposition and Reconstruction Learning for Effective Facial Expression Recognition
Xiamen University(厦门大学);Vision Intelligence Center Meituan(美团视觉智能中心);University of Adelaide(阿德莱德大学)
在本文中,我们提出了一种新的特征分解和重构学习(FDRL)的方法,有效的面部表情识别。我们将表情信息视为不同表情之间的共享信息(表情相似性)和每个表情的独特信息(表情特定的变化)的组合。更具体地说,FDRL主要由两个关键网络组成:特征分解网络(FDN)和特征重建网络(FRN)。具体地说,FDN首先将从骨干网络提取的基本特征分解为一组面部动作感知潜在特征来建模表情相似性。然后,FRN捕获潜在特征的特征内和特征间的关系,以表征表情特定的变化,并重建表情特征。为此,在FRN中开发了两个模块,包括特征内关系建模模块和特征间关系建模模块。在实验室数据库(包括CK+、MMI和Oulu-CASIA)和野外数据库(包括RAF-DB和SFEW)上的实验结果表明,所提出的FDRL方法始终比现有的几种方法具有更高的识别精度。这清楚地突出了特征分解和重构对表达式分类的好处。
2021-04-21 cs.CV
Enhancing Handwritten Text Recognition with N-gram sequence decomposition and Multitask Learning
National Technical University of Athens(雅典国立技术大学)
手写文本识别领域中的当前最先进的方法主要是具有单字、字符级目标单元的单个任务。在我们的工作中,我们利用多任务学习方案,训练模型执行目标序列的分解,目标单元具有不同的粒度,从细到粗。我们认为这种方法是一种在训练过程中隐式地利用n-gram信息的方法,而最终的识别只使用unigram输出。为了突出这种多任务方法的内部Unigram解码的差异,突出了在训练步骤中由不同的n-gram施加的学习的内部表示的能力。我们选择n-gram作为我们的目标单位,我们的实验从unigrams到fourgram,即子字级粒度。这些多重分解是从具有特定于任务的CTC损失的网络中学习的。关于网络架构,我们提出了两种替代方案,即层次和块多任务。总的来说,我们提出的模型,即使只在unigram任务上进行评估,在贪心解码中,绝对2.52\% WER和1.02\% CER优于其对应的单任务,在推理过程中没有任何计算开销,暗示成功地实施了隐式语言模型。
2020-12-28 cs.CV
Dynamic Matrix Decomposition for Action Recognition
University of Engineering and Technology, Peshawar(白沙瓦工程技术大学)
设计一种自动分析视频中不同动作的技术,以检测感兴趣的活动的存在,今天是非常重要的。在本文中,我们探讨了一个强大的和动态的外观技术,以识别不同的动作活动。我们还利用低秩和结构化稀疏矩阵分解(LSMD)方法来更好地模拟这些活动。我们的方法是有效的编码本地化的时空特征,使本地运动发生在视频中的分析。我们提出的模型使用相邻帧的差异作为方法的输入,从而迫使它捕捉视频中发生的变化。我们的模型的性能进行测试的基准数据集的检测精度。与我们的模型取得的结果表明,我们的模型在检测动作活动的前景。
2019-02-20 cs.CV
Consistency-aware Shading Orders Selective Fusion for Intrinsic Image Decomposition
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(西安交通大学人工智能与机器人研究所)
我们解决的问题分解成反射率和阴影的一个单一的图像。其困难在于,在观测图像中,图像的组成部分--表面光、直接光和环境光--是强耦合的。我们建议通过按像素的相对亮度对像素进行排序来推断阴影,而无需事先知道图像分量的绝对值。通过两种方法估计两的明暗次序:亮度次序和局部明暗场的低阶拟合。亮度顺序是一个非局部的测量,它可以应用于任何一对像素,包括那些反射率和阴影都是不同的。低阶拟合用于平滑着色的局部区域内的像素对。它们一起可以捕获全局顺序结构和着色的局部变化。我们提出了一个一致性感知的选择性融合(CSF)整合成一个全球一致的顺序成对订单。迭代选择过程解决了由不同估计方法获得的成对阶之间的冲突。不一致或不可靠的成对顺序将自动从融合中排除,以避免污染全局顺序。在MIT Intrinsic Image数据集上的实验表明,该模型能够有效地恢复包括深度阴影在内的阴影。我们的模型在IIW数据集、UIUC阴影数据集和NYU-Depth数据集的自然图像上也能很好地工作,其中直射光和环境光的颜色是完全不同的。
2018-10-23 cs.CV
STAR: Zero-Shot Chinese Character Recognition with Stroke- and Radical-Level Decompositions
Jiangxi Normal University(江西师范大学)
近年来,零出手汉字识别引起了越来越多的关注。现有的方法主要是基于某些低级别的基于笔划的分解或基于中间级别的基于根的分解。考虑到笔划级和部首级分解可以提供不同层次的信息,本文将二者结合起来,提出了一种有效的zero-shot汉字识别方法。所提出的方法包括一个训练阶段和一个推理阶段。在训练阶段,我们采用两个类似的编码器-解码器模型来产生笔画和部首编码的估计,然后将其与真实编码一起用于形式化相关的笔画和部首损失以进行训练。引入相似性损失来正则化笔划和部首编码器,以产生具有高相关性的相同字符的特征。在推理阶段,两个关键模块,即,分别针对确定性和混淆性两种情况引入了笔划筛选模块和特征匹配模块。特别是,我们在FMM中引入了一个有效的笔划校正方案,以扩大最终推理的候选字符集。在手写体、印刷体艺术作品和街景场景的三个基准数据集上进行了大量的实验,以证明所提出的方法的有效性。数值结果表明,该方法在字符和部首zero-shot设置下均优于现有方法,在传统的可见字符设置下仍保持较好的性能。
2022-10-16 cs.CV
Dual Variational Generation for Low-Shot Heterogeneous Face Recognition
NLPR & CRIPAC, CASIA(中国科学院自动化研究所 国家模式识别实验室与模式识别国家重点实验室与智能感知与计算研究中心);University of Chinese Academy of Sciences(中国科学院大学);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心)
异构人脸识别(HFR)是一个具有挑战性的问题,因为大的领域差异和缺乏异构数据。本文将HFR看作一个对偶生成问题,提出了一种新的对偶变分生成(DVG)框架。该方法从噪声中产生大规模的新的具有相同身份的成对异质图像,以减小HFR的域间隙。具体来说,我们首先引入一个双变分自编码器来表示成对的异构图像的联合分布。然后,为了确保所生成的成对异构图像的身份一致性,我们施加一个分布对齐的潜在空间和成对的身份保持在图像空间。此外,HFR网络通过约束生成的成对异构图像之间的成对特征距离来减少域差异。在四个HFR数据库上进行的大量实验表明,我们的方法可以显着提高最先进的结果。相关代码可在https://github.com/BradyFU/DVG上获得。
2019-12-01 cs.CV
Orthogonal Deep Features Decomposition for Age-Invariant Face Recognition
Tencent AI Lab(腾讯人工智能实验室)
随着年龄的增长,人脸的外观会发生显著的类内变化,因此年龄不变人脸识别(AIFR)仍然是人脸识别领域的一个主要挑战。为了减少由年龄引起的类内差异,在本文中,我们提出了一种新的方法(即正交嵌入CNN,或OE-CNN)来学习年龄不变的深层人脸特征。具体来说,我们将深层人脸特征分解为两个正交分量来表示年龄相关和身份相关的特征。因此,对老化具有鲁棒性的身份相关特征随后用于AIFR。此外,为了补充现有的跨年龄人脸数据集,推进该领域的研究,我们构建了一个全新的大规模跨年龄人脸数据集(CAF)。在三个公共领域人脸老化数据集(MORPH Album 2、CACD-VS和FG-NET)上进行的大量实验表明了所提出方法的有效性和所构建的CAF数据集在AIFR上的价值。在最流行的通用人脸识别(GFR)数据集LFW上对我们的算法进行基准测试,还证明了GFR的泛化性能。
2018-10-17 cs.CV
Decomposition-Based Domain Adaptation for Real-World Font Recognition
我们提出了一个域自适应框架,以解决合成训练和真实世界的测试数据之间的域不匹配。我们展示了我们的方法上一个具有挑战性的细粒度分类问题:识别字体风格的文本图像。在这个任务中,生成大量的渲染字体示例非常容易,但很难获得真实世界的标记图像。在以前的字体识别方法中,这种真实到合成域的差距导致了对新真实数据的泛化能力差(Chen et al.(2014))。在本文中,我们介绍了一种卷积神经网络分解方法,利用一个大型的训练语料库的合成数据,以获得有效的特征进行分类。这是使用基于堆叠卷积自动编码器的自适应技术来完成的,堆叠卷积自动编码器利用大量未标记的真实世界文本图像与以特定方式预处理的合成数据相结合。所提出的DeepFont方法在我们收集的一个新的大型标记真实世界数据集上实现了高于80%(前5名)的准确率。
2015-04-01 cs.CV
Learn-to-Decompose: Cascaded Decomposition Network for Cross-Domain Few-Shot Facial Expression Recognition
Xiamen University(厦门大学);University College London(伦敦大学学院);Xiamen University of Technology(厦门理工学院)
现有的复合表情识别方法大多依赖于大规模的带标签的复合表情数据进行训练。然而,收集这些数据是劳动密集型和耗时的。在本文中,我们解决了复合FER任务中的跨域少样本学习(FSL)设置,它只需要在目标域的复合表达式的几个样本。具体来说,我们提出了一种新的级联分解网络(CDNet),它级联几个学习分解模块与共享参数的基础上的顺序分解机制,以获得一个可转移的特征空间。为了缓解在我们的任务中由于有限的基类而导致的过拟合问题,设计了一种部分正则化策略,以有效地利用情景训练和批量训练的最佳效果。通过在多个基本表达式数据集上进行类似任务的训练,CDNet学习了学习分解的能力,可以很容易地识别看不见的复合表达式。在实验室和野生化合物表达数据集上的广泛实验证明了我们提出的CDNet对几种最先进的FSL方法的优越性。代码可在:https://github.com/zouxinyi0625/CDNet.
2022-07-16 cs.CV
Grouped Spatial-Temporal Aggregation for Efficient Action Recognition
时间推理是视频分析的一个重要方面。3D CNN通过以无约束的方式联合探索时空特征显示出良好的性能,但它也增加了大量的计算成本。以前的工作试图通过解耦空间和时间滤波器来降低复杂度。在本文中,我们提出了一种新的分解方法,分解成空间和时间组的特征通道并行。这种分解可以使两个群体分别关注静态和动态线索。我们称之为分组时空聚合(GST)。这种分解是更有效的参数,使我们能够定量分析的空间和时间特征在不同层的贡献。我们验证了我们的模型在几个动作识别任务,需要时间推理,并显示其有效性。
2019-09-28 cs.CV
Reachability Is Not Generalization: Understanding Verb--Noun Decomposition in Assembly Action Recognition
Aalto University(阿尔托大学)
本文系统分析装配动作识别中动词-名词分解的组合泛化,发现其仅部分超越原子上限,受共现结构、词汇不对称和组件纠缠限制,并提出可移植诊断框架。
2026-10-02 cs.CV
Semantic Decomposition and Recognition of Long and Complex Manipulation Action Sequences
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Georg-August-Universität Göttingen(格奥尔格-奥古斯特-哥廷根大学)
在计算机视觉中,理解连续的人类动作是一个重要的问题。虽然存在着大量的工作在动作序列的识别,大多数方法遭受的问题,涉及运动,动作组合和场景上下文的巨大变化。在本文中,我们介绍了一种新的方法,语义分割和识别长而复杂的操作动作任务,如“准备早餐”或“做三明治”。我们表示操纵与我们最近推出的“语义事件链”(SEC)的概念,它捕获的基本时空结构的动作不变的运动,速度和场景上下文。仅基于提取的SEC中操纵对象和手之间的时空交互,该框架自动解析顺序或并发执行的各个操纵流。使用事件链,我们的方法进一步提取每个解析操作的基本原始元素。在不需要任何先验对象知识的情况下,所提出的框架还可以提取在语义上相似的操作中表现出相同作用的类对象场景实体。我们对最近的各种数据集进行了广泛的实验,以验证框架的鲁棒性。
2016-10-18 cs.CV
Global Proxy-based Hard Mining for Visual Place Recognition
Université Laval(拉瓦尔大学)
学习视觉位置识别的深度表示通常使用成对或三重损失函数来执行,这些损失函数高度依赖于在每次训练迭代中采样的示例的硬度。现有技术通过使用计算和内存昂贵的离线硬挖掘来解决这个问题,该离线硬挖掘包括在每次迭代时从训练集中识别最难的样本。在本文中,我们介绍了一种新的技术,执行全球硬小批量抽样的基础上代理。为此,我们向网络添加了一个新的端到端可训练分支,它生成了有效的位置描述符(每个位置一个代理)。因此,这些代理表示用于构建一个全局索引,该索引包含数据集中所有位置之间的相似性,允许在每次训练迭代时进行高度信息化的小批量采样。我们的方法可以与所有现有的成对和三重损失函数结合使用,具有可忽略不计的额外存储器和计算成本。我们进行了广泛的消融研究,并表明我们的技术在多个大规模基准(如匹兹堡,Mapillary-SLS和SPED)上带来了新的最先进的性能。特别是,我们的方法在具有挑战性的Nordland数据集上提供了超过100%的相对改进。我们的代码可在https://github.com/amaralibey/GPM上获得
2023-02-28 cs.CV
Unified Knowledge Distillation Framework: Fine-Grained Alignment and Geometric Relationship Preservation for Deep Face Recognition
Indian Institute of Science Education and Research(印度科学教育与研究学院)
提出统一知识蒸馏框架,通过实例级嵌入蒸馏和关系成对相似性蒸馏,实现细粒度对齐与几何关系保持,在多基准上超越现有方法,学生模型甚至超越教师。
2025-08-15 cs.CV cs.LG
Prior Information based Decomposition and Reconstruction Learning for Micro-Expression Recognition
Nanjing University of Posts and Telecommunications(南京邮电大学);Nanjing Institute of Technology(南京工程学院)
微表情识别(MER)吸引了广泛的研究兴趣,因为微表情(ME)可以推断真实的情感。先验信息可以指导模型有效地学习判别性ME特征。然而,大多数工作集中在研究具有更强的表示能力的一般模型,以适应性地聚合ME运动信息的整体方式,这可能会忽略的先验信息和属性的ME。为了解决这个问题,在先验信息的驱动下,ME的类别可以通过面部不同组件之间的动作之间的关系来推断,这项工作设计了一种新的模型,可以符合这种先验信息,并学习ME运动特征,以可解释的方式。具体而言,本文提出了一种基于分解和重构的图表示学习(DeRe-GRL)模型,以有效地学习高级别ME功能。DeRe-GRL包括两个模块:动作分解模块(ADM)和关系重构模块(RRM),其中ADM学习面部关键部件的动作特征,RRM探索这些动作特征之间的关系。ADM基于人脸关键组件,将基于图模型的骨干提取的几何运动特征划分为若干个子特征,学习映射矩阵将这些子特征映射为多个动作特征; RRM学习权值对所有动作特征进行加权,建立动作特征之间的关系。实验结果证明了所提出的模块的有效性,所提出的方法取得了竞争力的性能。
2023-03-03 cs.CV
ASD: Towards Attribute Spatial Decomposition for Prior-Free Facial Attribute Recognition
University of Shanghai for Science and Technology(上海理工大学);Nanjing University of Science and Technology(南京理工大学);Zhejiang University(浙江大学)
人脸属性的空间特征表示是人脸属性识别的一个重要挑战。最新的进展已经取得了可靠的性能,FAR受益于通过额外的先验信息的空间属性的描述。然而,额外的先验信息可能并不总是可用的,导致基于先验的方法的应用场景受到限制。同时,忽略了由于面部各部分固有的空间差异而导致的面部属性的空间模糊性。为了解决这些问题,我们提出了一种无先验的属性空间分解(ASD)方法,在没有任何额外的先验信息的情况下减轻了面部属性的空间模糊性。具体地说,分配嵌入模块(AEM)被提出来实现ASD的过程,该过程包括两个操作:属性到位置分配和位置到属性嵌入。属性到位置分配首先基于潜在因素分解特征图,分配每个空间位置上的属性分量的大小。然后,从所有位置分配属性组件来表示全局级属性嵌入。此外,相关矩阵最小化(CMM)被引入到扩大的属性嵌入的区分度。实验结果表明,与现有方法相比,该方法具有明显的优越性,同时也进一步验证了该方法在训练数据有限的情况下的可靠性能.
2022-10-25 cs.CV
FG-SGL: Fine-Grained Semantic Guidance Learning via Motion Process Decomposition for Micro-Gesture Recognition
Nanjing University of Posts and Telecommunications(南京邮电大学);University of Oulu(奥卢大学)
本文提出FG-SGL框架,通过整合细粒度和类别级语义引导视觉-语言模型感知局部微手势运动,利用细粒度文本数据和多级对比优化策略提升微手势识别性能。
2026-03-17 cs.CV
Combined Static and Motion Features for Deep-Networks Based Activity Recognition in Videos
University of Moratuwa(莫拉图瓦大学)
在深度学习环境中的视频活动识别-或其他-使用静态和预先计算的运动分量。结合这两个组件的方法,同时保持深度网络的负担较小,仍然没有得到研究。此外,还不清楚各个组成部分的贡献水平如何,以及如何控制贡献。在这项工作中,我们使用CNN生成的静态特征和运动特征的运动管的形式相结合。我们提出了三种模式相结合的静态和运动分量:基于方差比,主成分,和Cholesky分解。基于Cholesky分解的方法允许控制贡献。静态和运动特征的方差分析给出的比率与基于Cholesky分解的方法中使用的实验最优比率匹配良好。当使用三个流行的数据集进行测试时,所产生的活动识别系统更好或与现有的最先进的水平相当。研究结果还使我们能够表征数据集的运动信息的丰富性。
2018-10-16 cs.CV
Evaluating Artificial Systems for Pairwise Ranking Tasks Sensitive to Individual Differences
Graduate School of Information Sciences, Tohoku University(东北大学信息科学研究科);RIKEN Center for AIP(理化学研究所人工智能研究中心)
由于深度学习的进步,人工系统现在在几个模式识别任务中与人类竞争,例如对象类别的视觉识别。然而,这只是正确答案独立于人类感知存在的任务的情况。还有另一种类型的任务,预测的是人类的感知本身,其中通常存在个体差异。然后,不再有单一的“正确”答案来预测,这使得评估人工系统变得困难。针对对个体差异敏感的两两排序任务,提出了一种评价方法。给定由人工系统生成的多个项目对的排名结果,我们的方法量化了人类生成相同排名结果的概率,并判断它是否与人类生成的结果区分开来。我们引入了人类排序行为的概率模型,并提出了一种有效的计算方法的判断。为了从小样本中准确地估计模型参数,我们提出了一种方法,该方法使用注释者给出的置信度得分来对每个项目对进行排名。以一个根据物体的材料属性对图像对进行排序的任务为例,我们演示了所提出的方法是如何工作的。
2019-05-30 cs.AI cs.CV cs.LG
Sunrise or Sunset: Selective Comparison Learning for Subtle Attribute Recognition
图像识别的难度从一般的类别识别逐渐增加到细粒度识别,再到一些细微属性的识别,如温度、地理位置等。本文试图从日出和日落的分类入手,希望能给人们一点提示,告诉人们如何区分细微的属性。日出与日落是一项困难的识别任务,即使对人类来说也是一项挑战。为了理解这个新问题,我们首先收集了一个由来自不同地方的100多个网络摄像头组成的新数据集。由于现有的算法方法的准确性差,我们提出了一个新的成对学习策略,学习功能的选择对图像。实验表明,我们的方法超过基线方法的大幅度,甚至与人类相比,取得了更好的结果。我们还将我们的方法应用于现有的细微属性识别问题,如温度估计,并取得了最先进的结果。
2017-07-20 cs.CV
FineTec: Fine-Grained Action Recognition Under Temporal Corruption via Skeleton Decomposition and Sequence Completion
FineTec通过骨骼分解和序列补全方法,在受时间腐蚀影响下实现细粒度动作识别的高效准确识别。
2025-12-31 cs.CV
Improving the Annotation of DeepFashion Images for Fine-grained Attribute Recognition
Cortexica Vision Systems(Cortexica视觉系统公司)
DeepFashion是一个广泛使用的服装数据集,包含50个类别和超过20万张图像,其中每张图像都使用细粒度属性进行注释。该数据集通常用于服装识别,虽然它提供了全面的注释,但属性分布不平衡且重复,特别是对于训练细粒度属性识别模型。在这项工作中,我们通过分别关注每个类别,为细粒度属性识别任务量身定制了DeepFashion。在选择具有足够数量的图像进行训练的类别之后,我们删除非常稀缺的属性并合并每个类别中的重复属性,然后根据新的属性列表清理数据集。我们使用一个双线性卷积神经网络与成对排序损失函数的多标签细粒度属性识别,并表明新的注释改善了这样一个任务的结果。每个选定类别的详细注释供公众使用。
2018-07-31 cs.CV
Hierarchical Spatial Sum-Product Networks for Action Recognition in Still Images
Nanyang Technological University(南洋理工大学)
从静止图像中识别动作是近年来的研究热点。在本文中,我们提出了一个新的空间SPN(和积网络)的身体部位的空间配置的灵活数量的行动类模型。首先,我们通过无监督学习发现图像集合中的一组部分。然后,我们的新的空间SPN被应用到模型的空间关系,也是高阶相关的零件。为了学习鲁棒网络,我们进一步开发了一种分层空间SPN方法,该方法对子图像内部部分之间的成对空间关系进行建模,并通过SPN的额外层对子图像的相关性进行建模。我们的方法被证明是有效的两个基准数据集。
2016-07-08 cs.CV
TwistNet-2D: Learning Second-Order Channel Interactions via Spiral Twisting for Texture Recognition
McCormick School of Engineering, Northwestern University(西北大学工程学院);School of Mathematics, University of Science and Technology of China(中国科学技术大学数学学院);National University of Singapore(新加坡国立大学);College of Artificial Intelligence, Nankai University(南开大学人工智能学院);Guizhou University(贵州大学);Information Initiative Center, Hokkaido University(北海道大学信息初始化中心);School of New Energy, Jingchu University of Technology(荆楚科技大学新能源学院);Wenzhou University(温州大学)
TwistNet-2D通过螺旋扭转学习第二阶通道交互,提升纹理识别性能,参数高效且超越多种基线模型。
2026-02-10 cs.CV
Pattern recognition using inverse resonance filtration
Vinnitsa National Technical University(文尼察国立技术大学);InnoVinn Inc.(因诺文公司)
提出了一种基于逆共振滤波(IRF)的纹理模式识别方法。纹理图像信号波动本征谐波分解(EHD)的一组主谐振谐波用于IRF设计。结果表明,EHD对纹理图像线性位移具有不变性。纹理的识别是通过将纹理信号转换成非结构化的纹理信号来实现的,非结构化的纹理信号可以利用简单的统计参数进行纹理模式识别。异物上信号点的异常变化。考虑到纹理信号突变的存在,提出了两种二维EHD参数估计方法。第一种方法是基于对信号相位跳变不敏感的线性对称模型。特征多项式对称的条件提供了模型的平稳性和周期性。第二种方法是基于二维相关矩阵的奇异值分解(SVD)的主向量空间的矩阵束投影的特征值问题。提出了两种纹理图像异物分类检索方法。
2010-03-16 cs.CV
CatLIP: CLIP-level Visual Recognition Accuracy with 2.7x Faster Pre-training on Web-scale Image-Text Data
Apple(苹果公司)
本文提出CatLIP方法,将Web级图文数据预训练重构为分类任务以避免成对相似度计算,在实现2.7倍训练加速的同时,于检测和分割等视觉任务中保持了CLIP级的高表示质量。
2024-04-24 cs.AI cs.CL cs.CV
Pairwise-GAN: Pose-based View Synthesis through Pair-Wise Training
Research School of Computer Science, Australian National University(澳大利亚国立大学计算机科学研究学院)
三维人脸重建是计算机视觉的一个重要应用。然而,即使是最先进的模型仍然需要正面人脸作为输入,这限制了其在野外的使用场景。类似的困境也发生在人脸识别中。新的研究旨在恢复正面的脸从一个单一的侧面姿态的人脸图像已经出现。这一领域的最新技术是基于CycleGAN的Face-Transformation生成对抗网络。这启发了我们的研究,探索了两个模型在正面面部合成中的像素变换性能,Pix 2 Pix和CycleGAN。我们在Pix 2 Pix上进行了五种不同损失函数的实验以提高其性能,然后提出了一种新的用于正面人脸合成的网络Pairwise-GAN。Pairwise-GAN使用两个并行的U型网络作为生成器,PatchGAN作为生成器。详细的超参数进行了讨论。基于面部相似性比较的定量测量,我们的结果表明,与默认Pix 2 Pix模型相比,具有L1损失、梯度差损失和身份损失的Pix 2 Pix在平均相似性上提高了2.72%。此外,在平均相似度上,Pairwise-GAN的性能比CycleGAN高5.4%,比Pix 2 Pix高9.1%。
2020-09-13 cs.CV
Discriminating Spatial and Temporal Relevance in Deep Taylor Decompositions for Explainable Activity Recognition
Cardiff University(卡迪夫大学);Crime and Security Research Institute(犯罪与安全研究院);School of Computer Science & Informatics(计算机科学与信息学院);School of Engineering(工程学院)
当前可解释的人工智能技术已经成功地应用于图像处理。最近兴起的视频处理研究呼吁类似的工作,解构和解释时空模型。虽然许多技术是为2D卷积模型设计的,但其他技术本质上适用于任何输入域。一个这样的工作,深泰勒分解,传播相关性从模型输出分布到其输入,因此不限于图像处理模型。然而,通过利用一个简单的技术,删除运动信息,我们表明,这是不是这种情况下,这种技术是有效的,因为是在非图像任务的相关性。相反,我们提出了一种判别方法,产生一个天真的表示作为两个单独的对象的帧的空间和时间相关性。这种新的判别式相关模型揭示了归因于运动的帧中的相关性,这在最初的解释中是模糊的。我们观察到这种技术的有效性,从UCF-101动作识别数据集,其中两个在本文中演示的一系列样本。
2019-08-14 cs.CV cs.HC cs.LG
HRGE-Net: Hierarchical Relational Graph Embedding Network for Multi-view 3D Shape Recognition
Xi’an Jiaotong University(西安交通大学)
基于视图的方法通过投影的2D图像识别3D形状,实现了3D形状识别的最先进性能。基于视点的方法面临的一个重要挑战是如何将从二维图像中提取的多视点特征聚合成全局的三维形状描述符。在这项工作中,我们提出了一种新的功能聚合网络,通过充分调查的意见之间的关系。以多视图图像为节点构建关系图,通过对视图间的成对关系和相邻关系进行建模,设计关系图嵌入。通过逐步粗化图,构建层次关系图嵌入网络(HRGE-Net),将多视图特征聚合为全局形状描述子。大量的实验表明,HRGE-Net在基准数据集上实现了最先进的3D形状分类和检索性能。
2019-08-27 cs.CV
Multi-hop Relational Contrastive Learning: Extending Spatial Contrastive Pre-training Beyond Pairwise Relations
Department of Computer Science and Engineering(计算机科学与工程系);United International University(国际联合大学)
本文提出多跳关系对比学习框架,通过捕捉场景图中k跳路径的隐含空间依赖,提升空间感知能力,在GQA子集上实现了更优的检索和下游任务表现。
2026-05-15 cs.CV
A New Pairwise Deep Learning Feature For Environmental Microorganism Image Analysis
Northeastern University(东北大学);Kindai University(近畿大学);Jacobs University Bremen(不来梅雅各布大学);China Medical University(中国医科大学);Chengdu University of Information Technology(成都信息工程大学)
环境微生物为解决环境污染提供了一种高效、无害、低成本的解决方案。它们用于卫生、监测和分解环境污染物。然而,这取决于合适的微生物的适当鉴定。为了加快识别速度、降低识别成本、提高识别的一致性和准确性,提出了一种新的成对深度学习特征来分析微生物。成对深度学习特征技术结合了手工制作和深度学习特征的能力。在这种技术中,我们通过从以兴趣点位置为中心的补丁中提取深度学习特征来利用Shi和Tomasi兴趣点。然后,为了增加在附近兴趣点之间具有中间空间特征的潜在特征的数量,我们使用德洛内三角剖分定理和直线几何定理来配对附近的深度学习特征。利用支持向量机、k-NN和随机森林分类器对EM进行分类,证明了成对特征的潜力。配对特征获得了99.17%、91.34%、91.32%、91.48%和99.56%的出色结果,与非配对深度学习特征相比,准确率、F1分数、召回率、精确率和特异性分别提高了约5.95%、62.40%、62.37%、61.84%和3.23%。
2021-02-24 cs.CV
Zero-Shot Chinese Character Recognition with Stroke-Level Decomposition
Shanghai Key Laboratory of Intelligent Information Processing(上海市智能信息处理重点实验室);Fudan University(复旦大学)
汉字识别由于其广泛的应用而引起了人们的广泛兴趣。虽然人们对它进行了多年的研究,但这一领域的一些问题还没有完全解决,例如zero-shot问题。先前的基于字符和基于偏旁部首的方法没有从根本上解决zero-shot问题,因为在数据饥饿的条件下,测试集中的一些字符或偏旁部首可能不会出现在训练集中。受人类可以通过学习某些字符的笔顺来概括知道如何书写以前从未见过的字符这一事实的启发,我们提出了一种基于笔划的方法,将每个字符分解为一系列笔划,这些笔划是汉字的最基本单元。然而,我们观察到笔画序列和汉字之间存在一对多的关系。为了解决这个问题,我们采用了一种基于匹配的策略来将预测的笔画序列转换为特定的字符。我们评估所提出的方法对手写字符,印刷艺术字符,和场景字符。实验结果表明,该方法在字符zero-shot和激进的zero-shot任务上的性能优于现有的方法。此外,所提出的方法可以很容易地推广到其他语言的字符可以分解成笔画。
2021-06-22 cs.AI cs.CV
Algorithm and Hardware Co-Design of Energy-Efficient LSTM Networks for Video Recognition with Hierarchical Tucker Tensor Decomposition
Rutgers University(罗格斯大学);ScaleFlux Inc.(ScaleFlux公司)
长短期记忆(LSTM)是一种功能强大的深度神经网络,已广泛应用于许多序列分析和建模应用中。然而,LSTM网络的大模型尺寸问题使其实际部署仍然非常具有挑战性,特别是对于需要高维输入数据的视频识别任务。为了克服这一限制并充分释放LSTM模型的潜力,本文提出对高性能节能LSTM网络进行算法和硬件协同设计。在算法层面,我们建议开发基于完全分解分层塔克(FDHT)结构的LSTM,即FDHT-LSTM,它具有超低的模型复杂度,同时仍然具有高精度。为了充分获得这种有吸引力的算法优势,我们进一步开发了相应的定制硬件架构,以支持所提出的FDHT-LSTM模型的有效执行。通过对存储器访问机制的精心设计,底层硬件可以在不发生访问冲突的情况下,有效地支持复杂的矩阵变换。我们的评估结果表明,所提出的超紧凑FDHT-LSTM模型和相应的硬件加速器都实现了非常高的性能。与最先进的压缩LSTM模型相比,FDHT-LSTM在模型大小上减少了一个数量级,并且在不同的视频识别数据集上显著提高了准确性。同时,与最先进的张量分解面向模型的硬件TIE相比,我们提出的FDHT-LSTM架构在LSTM-Youtube工作负载上分别在吞吐量,面积效率和能源效率方面实现了更好的性能。对于LSTM-UCF工作负载,我们提出的设计也优于TIE,具有更高的吞吐量,更高的能源效率和相当的面积效率。
2022-12-05 cs.CV
Feature Learning by Multidimensional Scaling and its Applications in Object Recognition
Rensselaer Polytechnic Institute(伦斯勒理工学院)
我们提出了MDS特征学习框架,在该框架中,多维缩放(MDS)应用于高级别的成对图像距离来学习图像的固定长度向量表示。由我们称为MDS特征的学习特征捕获的图像的方面完全取决于采用何种图像距离测量。通过适当地选择语义敏感的图像距离,MDS特征提供了关于图像的丰富的语义信息,这是其他特征提取技术所不能捕获的。在我们的工作中,我们介绍了迭代Levenberg-Marquardt算法求解MDS,并研究了MDS特征学习与图像欧氏距离(IMED)和空间金字塔匹配(SPM)距离。我们目前的实验都合成数据和真实的图像-公开访问的UIUC汽车图像数据集。基于SPM距离的MDS特征在汽车识别任务中实现了卓越的性能。
2013-06-14 cs.CV
DECOMPL: Decompositional Learning with Attention Pooling for Group Activity Recognition from a Single Volleyball Image
Sabanci University(萨班哲大学)
群体活动识别(GAR)旨在检测场景中多个演员的活动。现有技术基于RGB、光流或关键点数据类型对时空特征进行建模。然而,同时使用时间性和这些数据类型显著增加了计算复杂性。我们的假设是,通过仅使用RGB数据而没有时间性,可以保持性能,精度损失可以忽略不计。为此,我们提出了一种新的GAR技术排球视频,DECOMPL,它由两个互补的分支。在视觉分支中,它以选择性的方式使用注意力池提取特征。在坐标分支中,它考虑参与者的当前配置并从框坐标中提取空间信息。此外,我们分析了排球数据集,最近的文献主要是基于,并意识到其标签方案降低了活动中的群体概念到个人行动者的水平。我们以系统的方式手动重新注释数据集,以强调组的概念。排球和集体活动的实验结果(来自另一个领域,即,而不是排球)数据集证明了所提出的模型DECOMPL的有效性,该模型在可比较的最先进技术中使用重新注释/原始注释提供了最佳/第二佳GAR性能。我们的代码,结果和新注释将在修订过程后通过GitHub提供。
2023-03-11 cs.CV cs.LG
Partial Information Decomposition via Normalizing Flows in Latent Gaussian Distributions
Texas A&M University(德克萨斯大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出基于归一化流的高斯偏信息分解(GPID)方法,通过信息保持编码器处理非高斯数据,并设计梯度算法提升计算效率,在合成与多模态基准上验证了其准确性与实用性。
2025-10-06 cs.AI cs.CL cs.CV
Automatic Cardiac Pathology Recognition in Echocardiography Images Using Higher Order Dynamic Mode Decomposition and a Vision Transformer for Small Datasets
Universidad Politécnica de Madrid(马德里理工大学);Centro Nacional de Investigaciones Cardiovasculares (CNIC)(国家心血管研究中心);Universidad Complutense de Madrid(马德里康普顿斯大学);Center for Computational Simulation (CCS)(计算仿真中心)
本文提出一种两阶段自动心脏病理识别系统,首次将高阶动态模式分解用于医学数据增强与特征提取,并训练适用于小数据集的视觉Transformer,在超声心动图序列上取得优于预训练CNN的效果。
2024-04-30 cs.CV cs.LG eess.IV