Leveraging Semantic Scene Characteristics and Multi-Stream Convolutional Architectures in a Contextual Approach for Video-Based Visual Emotion Recognition in the Wild
National Technical University of Athens(雅典国家技术大学)
在这项工作中,我们解决了在野外基于视频的视觉情感识别的任务。仅仅依赖于身体和面部特征的提取的标准方法在上述情感信息源由于头部/身体取向、低分辨率和不良照明而不可访问的情况下常常达不到准确的情感预测。我们希望通过利用视觉上下文的场景特征和属性的形式来缓解这个问题,作为更广泛的情感识别框架的一部分。时间段网络(TSN)构成了我们提出的模型的骨干。除了RGB输入模式外,我们还使用了密集的光流,遵循直观的多流方法,以实现更有效的运动编码。此外,我们将注意力转向基于行为的学习,并利用以行为为中心的数据作为预训练时空图卷积网络(ST-GCN)的手段,用于情感识别任务。我们在具有挑战性的肢体语言数据集(BoLD)上进行了大量实验,验证了我们的方法优于现有方法,同时通过将所有上述模块适当地整合到网络集成中,我们成功地超过了之前公布的最佳识别分数。
2021-05-16 cs.CV
LTGC: Long-tail Recognition via Leveraging LLMs-driven Generated Content
Beijing University of Chemical Technology(北京化工大学);Singapore University of Technology and Design(新加坡科技设计大学);Nanyang Technological University(南洋理工大学);Northwestern Polytechnical University(西北工业大学)
LTGC利用大语言模型的隐式知识生成多样化尾部数据,并结合新颖设计进行高效微调,在长尾基准上超越现有最先进方法。
2024-05-26 cs.CV
Leveraging Disease Progression Learning for Medical Image Recognition
Concordia University(康考迪亚大学);Princeton University(普林斯顿大学)
与自然图像不同,医学图像通常具有可用于神经网络学习的内在特征。例如,属于疾病的不同阶段的图像可以连续地遵循某一进展模式。在本文中,我们提出了一种利用疾病进展学习进行医学图像识别的新方法。在我们的方法中,顺序按疾病阶段的图像序列是由一个神经网络,该网络由一个共享的视觉模型的特征提取和长短期记忆网络的学习阶段序列。还包括辅助视觉输出,以捕获沿着疾病进展趋于离散的阶段特征。我们提出的方法在公共糖尿病视网膜病变数据集上进行了评估,与不使用疾病进展学习的基线方法相比,疾病分期准确性提高了约3.3%。
2018-09-01 cs.CV
Leveraging Context to Support Automated Food Recognition in Restaurants
Georgia Institute of Technology(佐治亚理工学院)
移动相机的普及导致了食物照片的急剧增加,这些照片反映了人们吃什么。在本文中,我们研究了如何拍摄我们在餐馆吃的东西可以用于自动化食品日记的目的。我们建议利用照片拍摄的背景,以及有关餐厅的其他信息,在线提供,再加上最先进的计算机视觉技术来识别正在消费的食物。为此,我们展示了基于图像的识别在餐馆吃的食物,通过训练一个分类器,从餐馆的在线菜单数据库的图像。我们评估了我们的系统在不受约束的,现实世界的设置与食物图像在10家餐馆在5种不同类型的食物(美国,印度,意大利,墨西哥和泰国)的性能。
2015-10-07 cs.CV
ST-Gait++: Leveraging spatio-temporal convolutions for gait-based emotion recognition on videos
Voxar Labs(沃克萨实验室);Centro de Informática(信息中心);Universidade Federal de Pernambuco(伯南布哥联邦大学);University of Twente(特文特大学)
提出ST-Gait++深度框架,利用时空图卷积网络分析步态进行情感识别,在E-Gait数据集上准确率较现有方法提升约5%,且收敛更快。
2024-05-22 cs.CV
Leveraging Image based Prior for Visual Place Recognition
University of Fukui(福井大学)
在这项研究中,我们提出了一种新的场景描述符的视觉位置识别。不同于流行的词袋场景描述符依赖于矢量量化的视觉特征库,我们提出的描述符是基于一个库的原始图像数据,如公开可用的照片集从谷歌街景和Flickr。库图像不需要与关于场景的视点和取向的空间信息相关联。因此,这些图像比数据库图像便宜;此外,它们很容易获得。我们提出的描述符直接挖掘图像库以发现地标(即,图像块),其适当地匹配输入查询/数据库图像。所发现的地标然后通过它们的姿态和形状被完整地描述(即,库图像ID、边界框),并用作输入图像的紧凑区别性场景描述符。我们评估我们的场景描述框架的有效性,通过比较其性能与以前的方法。
2015-05-14 cs.CV
Leveraging Foundation Models for Multimodal Graph-Based Action Recognition
School of Mathematics, Statistics and Computer Science, College of Science, University of Tehran(数学、统计与计算机科学学院,科学学院,塔里斯坦大学)
本文提出一种融合VideoMAE与BERT的自适应多模态图框架,通过动态图结构和任务特定注意力机制,在多个基准上超越现有方法,实现细粒度双手操作动作的鲁棒识别。
2025-10-06 cs.CV
Facial Masks and Soft-Biometrics: Leveraging Face Recognition CNNs for Age and Gender Prediction on Mobile Ocular Images
Halmstad University(哈尔姆斯塔德大学);University of Balearic Islands(巴利阿里群岛大学)
我们解决了使用智能手机拍摄的自拍眼部图像来估计年龄和性别的问题。由于强制使用口罩,部分面部遮挡已成为一个问题。此外,流动设备的使用激增,疫情进一步加快了向数字服务的迁移。然而,相关任务(例如身份或表情识别)中的现有技术解决方案采用大型卷积神经网络,由于硬件限制和可下载应用程序的大小限制,其在移动设备中的使用是不可行的。为了解决这个问题,我们调整了在ImageNet挑战赛中提出的两个现有的轻量级CNN,以及为移动人脸识别提出的两个额外的架构。由于使用自拍图像进行软生物特征预测的数据集有限,我们通过使用在ImageNet上预训练的网络来抵消过度拟合。此外,一些网络还被进一步预训练用于人脸识别,对于人脸识别,非常大的训练数据库是可用的。由于这两个任务采用相似的输入数据,我们假设,这种策略可以是有益的软生物特征估计。对所采用的架构进行了不同预训练的效果的全面研究,结果表明,在大多数情况下,在对网络进行微调以进行人脸识别后,可以获得更好的准确性。
2021-05-04 cs.CV
Efficiently Leveraging Linguistic Priors for Scene Text Spotting
University of Rochester(罗切斯特大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出用大型语料库的语言先验替代独热编码,并生成无需领域微调的文本分布,以提升自回归场景文本定位与识别的准确率和定位精度。
2024-02-27 cs.CV
Leveraging Foundation Model Automatic Data Augmentation Strategies and Skeletal Points for Hands Action Recognition in Industrial Assembly Lines
Faculty of Robot Science and Engineering, Northeastern University(东北大学机器人科学与工程学院);Foshan Graduate School, Northeastern University(东北大学佛山研究生院);College of Information Science and Engineering, Northeastern University(东北大学信息科学与工程学院);The State Key Laboratory of Synthetical Automation for Process Industries, Northeastern University(东北大学流程工业综合自动化国家重点实验室)
针对工业装配线手部动作识别中数据集不足和实时性差的问题,提出利用基础模型自动数据增强扩展数据集,并将动作识别转化为骨骼轨迹分类,在插线场景中准确率达98.8%,已部署于美的实际产线。
2024-03-14 cs.CV
Grasp-type Recognition Leveraging Object Affordance
Microsoft(微软公司);Applied Robotics Research(应用机器人研究部门)
机器人教学中的一个关键挑战是使用单个RGB图像和目标对象名称进行抓取类型识别。在这里,我们提出了一个简单而有效的管道,通过利用每个对象的抓取类型的先验分布来增强基于学习的识别。在流水线中,卷积神经网络(CNN)从RGB图像识别抓取类型。使用先验分布(即,示能表示),其与目标对象名称相关联。实验结果表明,该方法优于CNN的唯一和提供唯一的方法。结果突出的有效性,语言驱动的对象启示,以提高抓取类型的识别机器人教学。
2020-08-26 cs.CV cs.RO
Leveraging Model Fusion for Improved License Plate Recognition
Federal University of Paraná(巴拉那联邦大学);Federal Institute of Paraná(巴拉那联邦学院);Federal University of Technology-Paraná(巴拉那联邦理工大学)
本文研究多模型输出融合用于车牌识别,通过置信度选择和多数投票等策略组合最多12个模型,证明其在数据集内与跨数据集场景下可显著提升鲁棒性,并给出4至6个模型的速度—精度平衡方案。
2023-12-05 cs.CV
Leveraging Vision-Language Pre-training for Human Activity Recognition in Still Images
Department of Computing Science University of Aberdeen(计算科学系大学阿伯丁)
针对静态图像人类活动识别缺乏运动线索的问题,研究通过微调多模态CLIP模型,在285张MSCOCO标注图像上将识别准确率从从头训练CNN的41%提升至76%,验证了视觉-语言预训练对该任务的提升作用。
2025-06-16 cs.CL cs.CV
Leveraging Temporal Contextualization for Video Action Recognition
Seoul National University(首尔大学);NAVER AI Lab(NAVER AI实验室)
提出视频理解框架 TC-CLIP,通过逐层时间信息注入机制 TC 提取跨帧上下文 token 进行特征编码,并利用 VP 模块生成文本提示,在多种动作识别设置中验证了有效性。
2024-07-24 cs.CV
Leveraging Spatio-Temporal Dependency for Skeleton-Based Action Recognition
Yonsei University(延世大学)
针对现有基于骨架的动作识别方法多单独处理时空依赖的问题,提出融合STC模块与DK-GC的STC-Net,自适应建模时空依赖且无额外参数量,在四个基准上取得SOTA性能。
2023-07-19 cs.CV
Leveraging Large-Scale Face Datasets for Deep Periocular Recognition via Ocular Cropping
School of Information Technology, Halmstad University, Sweden(信息科技学院,哈姆斯塔德大学,瑞典);Computer Graphics and Vision and AI Group, University of Balearic Islands, Spain(计算机图形学与视觉与人工智能小组,巴利阿里群岛大学,西班牙)
我们专注于眼部生物识别技术,特别是眼周区域(眼睛周围的区域),它提供了高分辨率和最小的采集限制。我们评估了三种不同深度和复杂度的卷积神经网络架构,以评估其对眼周识别的有效性。这些网络是在从大规模VGGFace 2数据库中提取的1,907,572个眼部作物上训练的。这与现有的作品形成了鲜明的对比,现有的作品通常依赖于小规模的眼周数据集进行训练,只有几千张图像。实验是用来自VGGFace 2-Pose的眼部图像进行的,VGGFace 2的子集包含野生面部图像,以及UFPR-Periocular数据库,该数据库由通过移动设备捕获的自拍照组成,屏幕上有用户指导。由于VGGFace 2的不受控制的条件,使用眼部裁剪获得的相等出错率(EER)范围为9- 15%,明显高于使用全脸图像获得的3-6% EER。相比之下,UFPR-Periocular的性能明显更好(EER为1-2%),这要归功于更高的图像质量和更一致的采集协议。据我们所知,这是迄今为止UFPR数据集上报告的最低EER。
2025-10-30 cs.CV
Leveraging Vision-Language Large Models for Interpretable Video Action Recognition with Semantic Tokenization
Tianjin Agricultural University(天津农业大学);Walailak University(Walailak大学)
本文提出LVLM-VAR框架,利用视觉-语言大模型和语义标记化技术实现可解释的视频动作识别,在NTU RGB+D等基准上取得领先性能,并生成自然语言解释。
2025-09-06 cs.CV
Facial Recognition Leveraging Generative Adversarial Networks
School of Cyberspace Security, Hainan University(海南大学网络安全学院)
本文提出一种基于GAN的数据增强方法,通过改进的生成器和判别器提升人脸识别性能,在LFW基准测试中准确率提升12.7%。
2026-10-14 cs.CR cs.CV
Adversarial Robustness in RGB-Skeleton Action Recognition: Leveraging Attention Modality Reweighter
Tianjin University(天津大学);Lappeenranta-Lahti University of Technology(拉彭兰塔-拉蒂理工大学);Great Bay University(大湾区大学)
本文研究RGB-骨架动作识别模型的对抗鲁棒性,提出即插即用的注意力模态重加权器(AMR),利用注意力层重新加权两种模态以学习更鲁棒特征,在NTU-RGB+D 60数据集上抵御PGD20攻击时性能提升43.77%。
2024-07-29 cs.CV
ClipSitu: Effectively Leveraging CLIP for Conditional Predictions in Situation Recognition
本文提出ClipSitu XTF,一种基于CLIP视觉令牌的交叉注意力Transformer模型,通过有效利用CLIP的视觉-语言知识进行条件预测,在imSitu数据集的语义角色标注和情境定位任务上大幅超越现有最先进方法。
2023-09-11 cs.CV
Attribute-Based Deep Periocular Recognition: Leveraging Soft Biometrics to Improve Periocular Recognition
West Virginia University(西弗吉尼亚大学)
近年来,眼周识别已发展为一种有价值的生物特征识别方法,尤其是在面部识别可能不适用的野生环境中(例如,由于COVID-19大流行而导致的蒙面面部)。本文提出了一种新的深度眼周识别框架,称为基于属性的深度眼周识别(ADPR),它预测软生物特征,并将预测纳入眼周识别算法,以高精度确定眼周图像的身份。我们提出了一个端到端的框架,它使用几个共享的卷积神经网络(CNN)层(一个共同的网络),其输出馈送两个单独的专用分支(模态专用层);第一个分支分类眼周图像,而第二个分支预测softn生物特征。接下来,将这两个分支的特征融合在一起,以进行最终的眼周识别。所提出的方法是不同于现有的方法,因为它不仅使用一个共享的CNN特征空间来训练这两个任务联合,但它也融合预测的软生物特征与眼周特征的训练步骤,以提高整体眼周识别性能。我们提出的模型使用四个不同的公开数据集进行了广泛的评估。实验结果表明,我们的软生物特征为基础的眼周识别方法优于其他国家的最先进的方法在野外环境中的眼周识别。
2021-11-02 cs.CV eess.IV
Leveraging CLIP Encoder for Multimodal Emotion Recognition
Agency for Defense Development(国防发展机构);Sookmyung Women’s University(苏镜女子大学)
本文提出基于CLIP的标签编码器引导多模态情感识别框架MER-CLIP,利用标签语义增强跨模态表示,并在CMU-MOSI和CMU-MOSEI上取得最优性能。
2025-06-01 cs.CV
SPARK: SPAcecraft Recognition leveraging Knowledge of Space Environment
LMO
本文提出了SPARK数据集作为一个新的独特的空间目标多模态图像数据集。基于图像的物体识别是空间态势感知的一个重要组成部分,特别是对于在轨服务、主动清除碎片和卫星编队等应用。然而,由于缺乏足够的附加说明的空间数据,在开发数据驱动的航天器识别方法方面的研究工作受到限制。SPARK数据集是在真实的空间模拟环境下生成的,不同轨道情景的传感条件差异很大。它提供每种模式,RGB和深度约150k图像,以及航天器和碎片的11类。该数据集提供了一个基准测试和进一步开发对象识别,分类和检测算法以及空间传感条件下的多模态RGB深度方法的机会。初步实验评价验证了数据的相关性,并突出了空间环境特有的有趣的挑战性情景。
2021-04-14 cs.CV cs.LG
Eventful Transformers: Leveraging Temporal Redundancy in Vision Transformers
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
针对视觉Transformer用于视频识别时计算成本高的问题,提出Eventful Transformers,仅重处理随时间显著变化的token,可从现有模型转换且无需重训练,在两个基准数据集上实现2-4倍计算节省,准确率下降极小。
2023-08-25 cs.CV
Connecting the Dots: Leveraging Spatio-Temporal Graph Neural Networks for Accurate Bangla Sign Language Recognition
BUET(孟加拉国工程技术大学)
针对低资源孟加拉语手语缺乏词级数据集的问题,本文构建含611段视频、40个词的BdSL40,并提出3D CNN与时空GNN识别方法,GNN取得89% F1分数。
2024-01-22 cs.CV
LILA-BOTI : Leveraging Isolated Letter Accumulations By Ordering Teacher Insights for Bangla Handwriting Recognition
单词级手写光学字符识别(OCR)对于孟加拉语等形态丰富的语言来说仍然是一个挑战。复杂性来自于大量字母表的存在,几种变音形式的存在,以及复杂连词的出现。有些字素很少出现,但仍然是不可或缺的,这加剧了困难,因此需要解决类不平衡问题,以获得令人满意的结果。本文通过介绍两种知识蒸馏方法来解决这个问题:通过排序教师见解来利用孤立的字母积累(LILA-BOTI)和超级教师LILA-BOTI。在这两种情况下,卷积递归神经网络(CRNN)学生模型都是用从印刷孤立字符识别教师模型中获得的暗知识进行训练的。我们对\emph{BN-HTRd}和\emph{BanglaWriting}进行了数据集间测试作为我们的评估协议,从而建立了一个具有挑战性的问题,其结果将更好地反映对未知数据的性能。与基础模型(无KD)和传统KD相比,我们的评估实现了小类的F1-Macro分数增加3.5%,整体单词识别率增加4.5%。
2022-05-23 cs.AI cs.CV
From Recognition to Prediction: Leveraging Sequence Reasoning for Action Anticipation
School of Electrical and Information Engineering, Tianjin University(天津大学电气与信息工程学院);Lappeenranta-Lahti University of Technology LUT(拉彭兰塔-拉赫蒂理工大学LUT);School of Computing and Information Technology, Great Bay University(大湾区大学计算与信息技术学院)
本文提出端到端架构 ARR,将动作预判分解为动作识别与序列推理,并通过 NAP 和无监督解码器预训练学习动作统计关系,在三个数据集上验证了有效性。
2024-08-05 cs.CV
Leveraging Transfer Learning and Mobile-enabled Convolutional Neural Networks for Improved Arabic Handwritten Character Recognition
Systems Theory and Informatics Laboratory, University Moulay Ismail, Meknes, Morocco(穆拉伊姆大学系统理论与信息实验室);LMC, Polydisciplinary Faculty of Safi, Cadi Ayyad University, Morocco(卡迪·艾亚德大学萨菲多学科 faculty);College of Engineering and Information Technology, University of Dubai, Dubai, UAE(迪拜大学工程与信息技术学院)
本研究针对阿拉伯手写字符识别的计算需求高、数据集稀缺问题,结合迁移学习与四款轻量移动端卷积神经网络,在三个基准数据集上验证了全量微调策略的最优性及MobileNet等模型的性能优势,为资源高效的识别方案提供支撑。
2025-09-05 cs.CV
Leveraging Pre-trained Models for Robust Federated Learning for Kidney Stone Type Recognition
CINVESTAV(墨西哥国立理工研究中心);Universidad Nacional de Ingenieria(国立工程大学);Tecnologico de Monterrey(蒙特雷科技大学);CRAN UMR 7039(CRAN研究中心);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心)
本文提出一种结合预训练模型的鲁棒联邦学习框架,通过LPO和FRV两阶段训练,在两类肾结石数据集上分别达到84.1%和77.2%的准确率,以解决医疗诊断中的数据隐私与图像损坏鲁棒性问题。
2024-09-30 cs.CV
LowKey: Leveraging Adversarial Attacks to Protect Social Media Users from Facial Recognition
University of Maryland(马里兰大学);US Naval Academy(美国海军学院)
面部识别系统越来越多地被私营公司、政府机构和承包商部署,用于消费者服务和大规模监控项目。这些系统通常通过抓取用户图像的社交媒体配置文件来构建。对抗性扰动已经被提出用于绕过面部识别系统。然而,现有的方法在全规模系统和商业API上失败。我们开发了我们自己的对抗过滤器,它占了整个图像处理管道,并且对包括人脸检测和大规模数据库在内的工业级管道有效。此外,我们还发布了一个易于使用的Web工具,可以显著降低Amazon Rekognition和Microsoft Azure Face Recognition API的准确性,将其准确性降低到1%以下。
2021-01-25 cs.CR cs.CV cs.LG
Multi-View Video-Based Learning: Leveraging Weak Labels for Frame-Level Perception
RIKEN(理化学研究所)
本文提出一种利用序列级弱标签训练多视角视频基础模型的新框架,通过潜在损失函数获取各视角嵌入,提升下游帧级动作识别与检测的准确性。
2024-03-19 cs.CV
Leveraging Retrieval Augment Approach for Multimodal Emotion Recognition Under Missing Modalities
Inner Mongolia University(内蒙古大学)
本文提出RAMER框架,通过检索相似多模态情感数据填补缺失模态信息,提升缺失模态下多模态情感识别性能,实验证明其优于现有最先进方法。
2024-09-19 cs.AI cs.CV
Effectively Leveraging CLIP for Generating Situational Summaries of Images and Videos
Centre for Frontier AI Research(前沿人工智能研究中心);Institute of High-Performance Computing(高性能计算研究所);Agency for Science, Technology and Research(新加坡科技研究局)
本文提出 ClipSitu 及 ClipSitu XTF,利用 CLIP 嵌入和交叉注意力实现图像情境识别、定位与摘要,并扩展至视频任务。
2025-03-18 cs.CV
A Dataset of Inertial Measurement Units for Handwritten English Alphabets
IIT (BHU) Varanasi(印度理工学院(巴纳拉斯印度教大学)瓦拉纳西分校)
本文利用惯性测量单元采集印度多样化书写风格下的手写英文字母数据集,并通过端到端方法提升识别准确率,为多语言文化背景下的手写识别研究提供数据与系统支持。
2023-07-05 cs.CV
Leveraging Previous Facial Action Units Knowledge for Emotion Recognition on Faces
Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学)
本文提出利用基于 FACS 的面部动作单元(AUs)识别技术来扩展情感识别能力,并在多线索方法 EmotiRAM 的基础上改进了其面部编码模块。
2023-11-20 cs.AI cs.CV cs.LG
CLIP goes 3D: Leveraging Prompt Tuning for Language Grounded 3D Recognition
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出 CG3D 框架,通过点云、渲染图像与文本三元组及提示调优,将 CLIP 的零样本视觉-语言能力迁移到 3D 识别。
2023-04-18 cs.CV
Leveraging YOLO-World and GPT-4V LMMs for Zero-Shot Person Detection and Action Recognition in Drone Imagery
National Institute of Informatics (NII)(信息学研究所(NII))
本文研究零样本大型多模态模型在无人机感知中的应用,评估YOLO-World和GPT-4V在航拍影像中的行人检测与动作识别表现,发现YOLO-World检测性能良好,而GPT-4V在动作分类上较弱但擅长过滤区域提议和场景描述,为后续研究奠定基础。
2024-04-02 cs.CV cs.RO
Leveraging Large Language Models in Visual Speech Recognition: Model Scaling, Context-Aware Decoding, and Iterative Polishing
Beijing University of Posts and TelecommunicationsChina(北京邮电大学中国);Tsinghua UniversityChina(清华大学中国)
本文系统研究如何利用大语言模型提升视觉语音识别性能,提出规模扩展测试、上下文感知解码和迭代精炼三种方法,并通过实验验证其能显著改善VSR效果。
2025-05-27 cs.CV cs.SD eess.AS
Leveraging Visemes for Better Visual Speech Representation and Lip Reading
Iran University of Science and Technology(伊朗科技大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
针对现有唇读系统准确率低的问题,提出利用视位提取更具区分度与鲁棒性的视频特征的新方法,在Arman-AV数据集的多类唇读及视听语音任务上均优于现有最优方法,词错误率相对降低9.1%。
2023-07-19 cs.CV
LORD: Leveraging Open-Set Recognition with Unknown Data
e.solutions GmbH(e.solutions有限责任公司);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
针对现有开集识别方法依赖闭集分类器、难以应对分布外数据的问题,提出LORD框架,通过三种模型无关策略利用未知数据训练并显式建模开放空间,还验证了mixup可替代背景数据集提升性能。
2023-08-24 cs.CV cs.LG
Classifying the Unknown: In-Context Learning for Open-Vocabulary Text and Symbol Recognition
University of Rouen Normandy(鲁昂诺曼底大学);INSA of Rouen Normandy(鲁昂诺曼底国立应用科学学院);LITIS EA4108
Rosetta利用多模态上下文学习和上下文感知分词器,通过少量示例实现开放词汇的文本与符号分类,无需重新训练,并能识别训练集之外的新字母表和语言。
2025-04-09 cs.CV
CFE-PPAR: Compression-friendly encryption for privacy-preserving action recognition leveraging video transformers
Graduate School of Informatics(信息研究生院);Faculty of System Design(系统设计学部);Chiba University(千叶大学);Tokyo Metropolitan University(东京 Metropolitan 大学)
本文提出CFE-PPAR,一种压缩友好的加密方法,通过视频变换器实现加密视频的高效识别,优于现有方法。
2026-05-07 cs.AI cs.CR cs.CV
Nuanced Emotion Recognition Based on a Segment-based MLLM Framework Leveraging Qwen3-Omni for AH Detection
Qwen3-Omni
本文提出基于段落式MLLM框架的细致情绪识别方法,利用Qwen3-Omni模型在AH检测中实现85.1%的准确率,验证了多模态大语言模型在捕捉复杂情绪冲突中的优势。
2026-03-23 cs.AI cs.CV
Affect-DML: Context-Aware One-Shot Recognition of Human Affect using Deep Metric Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
人类情感识别是一个成熟的研究领域,具有许多应用,例如,在心理护理中,但是现有的方法假设所有感兴趣的情绪都是作为注释的训练样本先验地给出的。然而,通过新颖的心理学理论和在上下文中增加对情感的考虑,人类情感谱的粒度和细化的增加给数据汇集和标记工作带来了相当大的压力。在本文中,我们概念化的一次性识别的情绪的背景下-一个新的问题,旨在识别人类的情感状态在更细的粒子水平从一个单一的支持样本。为了解决这一具有挑战性的任务,我们遵循深度度量学习范式,并引入了一种多模态情感嵌入方法,该方法通过利用人类外观的互补信息和通过语义分割网络获得的语义场景上下文来最小化相同情感嵌入的距离。我们的上下文感知模型的所有流使用加权三重损失和加权交叉熵损失联合优化。我们进行彻底的实验,分类和数值的情感识别任务的分类数据集适应我们的一次性识别问题,揭示了人类的影响,从一个单一的例子分类是一项艰巨的任务。尽管如此,我们模型的所有变体都明显优于随机基线,同时利用语义场景上下文不断改进学习的表示,在一次性情感识别中设置最先进的结果。为了促进对人类情感状态的更普遍表征的研究,我们将在https://github.com/KPeng9510/Affect-DML下向社区公开我们的基准和模型。
2021-11-30 cs.CV
Leveraging BEV Representation for 360-degree Visual Place Recognition
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Hangzhou Normal University(杭州师范大学)
本文首次提出在360度视觉位置识别中利用BEV表示,通过结合3D网格特征提取、可变形注意力补偿及极坐标与离散傅里叶变换聚合,显著提升了旋转不变性和视觉-LiDAR融合性能。
2023-05-23 cs.CV cs.RO
HTR-ConvText: Leveraging Convolution and Textual Information for Handwritten Text Recognition
University of Information Technology(信息技术大学);Vietnam National University(越南国家大学)
HTR-ConvText通过结合卷积和文本信息,提升手写文本识别的精度与泛化能力,尤其在数据有限和书写多样情况下表现更优。
2025-12-04 cs.CV cs.LG
Enhancing Action Recognition by Leveraging the Hierarchical Structure of Actions and Textual Context
Department of Computer Technology, University of Alicante(阿拉贡大学计算机技术系);Institute of Computer Science, FORTH(希腊国家科研院计算机科学研究所)
本文提出一种结合动作层次结构和文本上下文的 transformer 架构进行动作识别,通过联合损失函数实现粗细粒度动作识别,在多个数据集上 top-1 准确率提升超 17%。
2025-11-03 cs.AI cs.CV
SelfEval: Leveraging the discriminative nature of generative models for evaluation
Meta;GenAI(生成式人工智能部门)
提出SelfEval方法,利用生成模型自身计算真实图像给定文本提示的似然以评估文本-图像生成扩散模型的文本对齐性,在多任务上与人类评估高度一致,且无需外部模型,还展现出与判别模型相当的识别性能。
2024-11-27 cs.CV cs.LG
Leveraging Recent Advances in Deep Learning for Audio-Visual Emotion Recognition
Powder AI Research(Powder AI 研究院);Université Paris-Est, LISSI, UPEC(巴黎东大学 LISSI 实验室 / 巴黎东克雷泰伊大学)
情绪表达是将我们的情绪状态或态度传达给他人的行为。它们通过语言和非语言交流来表达。复杂的人类行为可以通过研究多种形式的身体特征来理解;主要是面部,声音和身体姿势。近年来,自发多模态情感识别在人类行为分析中得到了广泛的研究。在本文中,我们提出了一种新的基于深度学习的视听情感识别方法。我们的方法利用了深度学习的最新进展,如知识蒸馏和高性能深度架构。基于模型级融合策略,融合了音频和视觉模态的深度特征表示。然后使用递归神经网络来捕获时间动态。我们提出的方法在预测RECOLA数据集的效价方面大大优于最先进的方法。此外,我们提出的视觉面部表情特征提取网络在AffectNet和Google面部表情比较数据集上的表现优于最先进的结果。
2021-09-14 cs.CV cs.LG cs.SD
Leveraging Frequency Analysis for Deep Fake Image Recognition
Ruhr-University Bochum(波鸿鲁尔大学)
深度神经网络可以生成非常逼真的图像,以至于人类通常很难将它们与实际照片区分开来。这些成就在很大程度上是由生成对抗网络(GANs)实现的。虽然深度伪造图像已经在图像域中进行了彻底的研究-这是图像取证领域的经典方法-但到目前为止,频域中的分析一直缺失。在本文中,我们解决了这个缺点,我们的结果表明,在频率空间中,GAN生成的图像表现出严重的伪影,可以很容易地识别。我们进行了全面的分析,表明这些工件在不同的神经网络架构,数据集和分辨率上是一致的。在进一步的研究中,我们证明了这些伪影是由所有当前GAN架构中的上采样操作引起的,这表明通过GANs生成图像的方式存在结构性和根本性问题。基于这种分析,我们展示了频率表示如何以自动化的方式识别深度假图像,超越了最先进的方法。
2020-06-26 cs.CV eess.IV
Leveraging Simultaneous Usage of Edge GPU Hardware Engines for Video Face Detection and Recognition
Khalifa University(哈利法大学)
本文提出在NVIDIA边缘Orin GPU上同时利用视频解码、人脸检测与识别等所有硬件引擎,通过并发与流水线化提升吞吐量并节省约5%功耗,满足实时约束。
2025-05-07 cs.AR cs.CV eess.IV
Leveraging Automatic Personalised Nutrition: Food Image Recognition Benchmark and Dataset based on Nutrition Taxonomy
Universidad Autonoma de Madrid(马德里自治大学);IMDEA Food Institute(IMDEA食品研究院)
本研究提出AI4Food-NutritionDB,首个结合食物图像与营养分类法的数据库,并提供标准基准与预训练模型,以支持个性化营养和食物识别研究。
2024-04-19 cs.CV cs.MM
Leveraging Modality-specific Representations for Audio-visual Speech Recognition via Reinforcement Learning
Nanyang Technological University(南洋理工大学);ZJU-Hangzhou Global Scientific and Technological Innovation Center(浙江大学杭州国际科创中心);Zhejiang University(浙江大学)
视听语音识别(AVSR)在提高语音识别的抗噪性方面取得了显著的成就。主流方法集中于融合音频和视觉输入以获得模态不变表示。然而,这种表示倾向于过度依赖音频模态,因为在干净的条件下,它比视频模态更容易识别。因此,AVSR模型低估了视觉流在噪声污染面前的重要性。为此,我们利用视觉模态特定的表示提供稳定的补充信息的AVSR任务。具体来说,我们提出了一个强化学习(RL)为基础的框架,称为MSRL,在自回归解码过程中,代理动态协调模态不变和模态特定的表示。我们定制了与特定于任务的指标直接相关的奖励函数(即,字出错率),这鼓励MSRL有效地探索最佳集成策略。在LRS3数据集上的实验结果表明,该方法在清洁和各种噪声条件下都达到了最先进的水平。此外,我们证明了更好的通用性MSRL系统比其他基线时,测试集包含不可见的噪声。
2023-02-02 cs.CV cs.MM cs.SD
Missingness-Conditioned Spatio-Temporal Fusion for Human Activity Recognition from Low-Quality Wearable Sensor Data
Department of Computer Science, Durham University(杜伦大学计算机科学系)
本文提出一种 manifold-一致的时空网络,用于在不完美传感条件下实现基于传感器的人体活动识别,通过双层腐蚀建模机制和双流时空架构,提升模型鲁棒性和表征稳定性。
2026-10-27 cs.AI cs.CV