Efficient Human Vision Inspired Action Recognition using Adaptive Spatiotemporal Sampling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta Reality Labs Research（Meta现实实验室）
利用视频中的时空冗余的自适应采样对于具有有限计算和电池资源的可穿戴设备上的始终在线动作识别至关重要。常用的固定采样策略是不感知上下文的，并且可能对视觉内容进行欠采样，从而对计算效率和准确性产生不利影响。受人类视觉感知机制中的中心凹视觉和前注意处理概念的启发，我们引入了一种新的自适应时空采样方案来实现高效的动作识别。我们的系统以低分辨率预扫描全局场景上下文，并决定跳过或请求显著区域的高分辨率特征以进行进一步处理。我们在EPIC-KITCHENS和UCF-101数据集上验证了该系统的动作识别能力，并表明与最先进的基线相比，我们提出的方法可以大大加快推理速度，并具有可容忍的准确性损失。源代码可在https://github.com/knmac/adaptive_spatiotemporal上获得。
2022-07-14 cs.CV
BIFRNet: A Brain-Inspired Feature Restoration DNN for Partially Occluded Image Recognition
State Key Laboratory of Media Convergence and Communication, Communication University of China（媒体融合与传播国家重点实验室，中国传媒大学）；Neuroscience and Intelligent Media Institute, Communication University of China（神经科学与智能媒体研究院，中国传媒大学）
部分遮挡图像识别（POIR）问题一直是人工智能的一个难题。处理POIR问题的常用策略是使用非遮挡特征进行分类。然而，当图像被严重遮挡时，由于可见部分只能提供有限的信息，这种策略将失去有效性。神经科学领域的研究表明，特征恢复是人脑识别部分遮挡图像的关键，它填补了被遮挡图像中的信息，被称为非模态补全。然而，特征恢复通常被CNN忽略，这可能是CNN对POIR问题无效的原因。受此启发，我们提出了一种新的脑启发特征恢复网络（BIFRNet）来解决POIR问题。它模仿腹侧视觉通路来提取图像特征，并模仿背侧视觉通路来区分遮挡和可见图像区域。此外，它还使用了一个知识模块来存储对象的先验知识，并使用一个完成模块来恢复被遮挡的特征基于可见特征和先验知识。在合成和真实遮挡图像数据集上的实验表明，BIFRNet在解决POIR问题方面优于现有方法。特别是对于严重遮挡的图像，BIRFRNet大幅超越其他方法，接近人脑性能。此外，灵感来自大脑的设计使BIFRNet更具可解释性。
2023-03-16 cs.AI cs.CV
Human-Inspired Topological Representations for Visual Object Recognition in Unseen Environments
University of Washington（华盛顿大学）
针对未见杂乱室内环境中的机器人视觉目标识别问题，受人类客体统一性推理机制启发，提出结合拓扑软聚类颜色嵌入与形状描述符的TOPS2描述符及THOR2框架，在真实数据集上优于现有方法，推动了低成本机器人的鲁棒识别。
2023-09-15 cs.CV cs.RO
Empirical Advocacy of Bio-inspired Models for Robust Image Recognition
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
深度卷积神经网络（DCNN）已经彻底改变了计算机视觉，并且通常被认为是人类视觉系统的良好模型。然而，目前DCNN存在许多缺点，这使得它们无法作为人类视觉的模型。人们不断尝试使用人类视觉系统的特征来提高神经网络对数据扰动的鲁棒性。我们提供了一个详细的分析，这样的生物启发的模型和它们的属性。为此，我们将几个生物启发模型的鲁棒性与其最具可比性的基线DCNN模型进行了基准测试。我们发现，生物启发的模型往往是对抗强大的，而不需要任何特殊的数据增强。此外，我们发现，在存在更多现实世界常见腐败的情况下，生物启发模型击败了对抗训练模型。有趣的是，我们还发现，与其他DCNN模型相比，生物启发模型倾向于使用低频和中频信息。我们发现，这种混合的频率信息使他们强大的对抗性扰动和常见的腐败。
2022-05-18 cs.CV
Class-Aware Universum Inspired Re-Balance Learning for Long-Tailed Recognition
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对少数类的数据增强是长尾识别的一种有效策略，因此发展了大量的方法。虽然这些方法都保证了样本数量的平衡，但增强样本的质量并不总是令人满意的识别，容易出现过拟合，缺乏多样性，语义漂移等问题。针对这些问题，我们提出了类感知的Universum启发再平衡学习（CaUIRL）用于长尾识别，这赋予了Universum从样本数量和质量两个方面重新平衡单个少数类的类意识能力。特别是，我们从理论上证明了CaUIRL学习的分类器是一致的，从贝叶斯的角度来看，在平衡条件下学习。此外，我们进一步开发了一种高阶混合方法，该方法可以自动生成类感知的Universum（CaU）数据，而无需借助任何外部数据。与传统的Universum不同，这种生成的Universum还考虑了域相似性，类可分性和样本多样性。在基准数据集上的大量实验表明，该方法具有令人惊讶的优势，特别是少数类的top1准确率比最先进的方法提高了1.9%-6%。
2022-08-11 cs.CV
Skeleton-based Hand-Gesture Recognition with Lightweight Graph Convolutional Networks
CNRS Sorbonne University（法国国家科学研究中心索邦大学）
图卷积网络（GCN）旨在将深度学习扩展到任意不规则域，即图。它们的成功高度依赖于输入图的拓扑结构是如何定义的，并且大多数现有的GCN架构依赖于预定义的或手工制作的图结构。在本文中，我们介绍了一种新的方法，学习输入图的拓扑结构（或连通性）作为GCN设计的一部分。我们的方法的主要贡献在于建立一个正交连接基础，最佳地聚合节点，通过他们的邻居，实现卷积之前。我们的方法还考虑了一个随机性标准，它作为一个正则化器，使学习的基础和底层的GCN轻量级，同时仍然是非常有效的。实验上进行的具有挑战性的任务，基于手势识别的GCN的学习w.r.t.的高效率。相关的工作。
2021-12-27 cs.CV
Analysis of Vessel Connectivities in Retinal Images by Cortically Inspired Spectral Clustering
Eindhoven University of Technology（埃因霍温理工大学）；Northeastern University（东北大学）
视网膜图像提供糖尿病视网膜病变、青光眼和高血压的早期迹象。这些体征可以根据微动脉瘤或较小的血管进行研究。诊断生物标志物是血管宽度和角度的变化，特别是在交界处，使用血管分割或跟踪来研究。血管路径也可能中断;交叉和分叉可能断开。本文提出了一种新的上下文方法的基础上的几何形状的初级视觉皮层（V1）来研究这些困难。我们已经分析了具体的问题，在连接核作为Fokker-Planck方程的基本解，这通常是用来表示多方向皮层连接的几何结构。利用由连通性核和强度特征构造的大的局部亲和矩阵上的谱聚类，在每个代表单个感知单元的分层拓扑中成功地识别了血管。
2016-05-23 cs.CV
Brain Inspired Face Recognition: A Computational Framework
本文提出了一种新的建议，一个有效的计算模型的人脸识别，它使用的线索，从分布式人脸识别机制的大脑，并通过收集工程等效的这些线索从现有的文献。三个不同的和广泛使用的功能：直方图的有向分量（HOG），本地二进制模式（LBP），和主成分（PC）提取的目标图像中使用的方式是简单的，但有效的。HOG和LBP特征进一步经历主成分分析以进行降维。我们的模型使用多层感知器（MLP）对这三个特征进行分类，并使用求和规则在决策层进行融合。计算理论首先通过使用来自大脑的信息处理机制的概念而发展。使用10个公开的数据集进行了广泛的实验，以验证我们提出的模型在识别具有极端变化的光照，姿态角，表情和背景的人脸的性能。与包括CNN和基于深度学习的方法在内的其他人脸识别算法相比，所获得的结果非常有前途。这突出表明，简单的计算过程，如果适当的棍棒，可以产生竞争的性能与最好的算法。
2023-01-15 cs.CV
A human-inspired recognition system for premodern Japanese historical documents
由于历史文献中文字和背景的噪声、破损等原因，使得历史文献的识别成为一个具有挑战性的问题。然而，在日本的历史文献中，不仅包含上述问题，近代以前的日本文字都是用草书书写的，而且是相连的。因此，基于字符分割的方法不能很好地工作。这导致了创建一个新的识别系统的想法。在本文中，我们提出了一个人类启发的文件阅读系统，以识别多行的前现代日本历史文件。在阅读过程中，人们利用眼睛运动来确定文本行的开始。然后，他们将眼睛从当前字符/单词移动到下一个字符/单词。他们还可以确定一行的结束或跳过一个图形移动到下一行。眼球运动与视觉加工过程相结合，在大脑中运作阅读过程。我们采用基于注意力的编码器-解码器来实现这个识别系统。首先，识别系统检测文本行的起始位置。第二，系统逐字符扫描识别，直到文本行完成。然后，系统继续检测下一个文本行的开始。重复这个过程，直到阅读整个文档。我们在PRMU Kuzushiji竞赛提供的前现代日本历史文件上测试了我们的人类启发识别系统。实验结果表明，我们提出的系统的优越性和有效性，通过实现序列出错率的9.87%和53.81%的水平2和3的数据集，分别。这些结果优于参加PRMU Kuzushiji比赛的任何其他系统。
2019-05-14 cs.CV cs.DL
Causality-inspired Discriminative Feature Learning in Triple Domains for Gait Recognition
Huazhong University of Science and Technology（华中科技大学）；School of EIC（电子信息与通信学院）；Hubei Key Lab of Smart Internet（湖北省智能互联网重点实验室）
提出因果启发的CLTD模块，通过消除空间、时间、频谱三域混杂因素并引入对比学习，提升步态识别性能，且可无缝集成到现有方法中。
2024-07-17 cs.CV
Using brain inspired principles to unsupervisedly learn good representations for visual pattern recognition
University of Lisbon（里斯本大学）
虽然深度学习解决了视觉模式识别中的难题，但它在有大量标记训练数据的任务中大多是成功的。此外，基于全局反向传播的训练规则和所采用的层的数量表示偏离生物灵感。大脑能够以非常一般的方式执行大多数这些任务，从有限到没有标记的数据。出于这些原因，研究大脑中的计算原理仍然是一个关键的研究问题，这些原理可以帮助指导模型在无监督的情况下学习良好的表示，然后可以用于执行分类等任务。在这项工作中，我们探索这些原则中的一些产生这样的表示MNIST数据集。我们比较所获得的结果与最近的类似作品，并验证极具竞争力的结果。
2021-04-30 cs.CV cs.NE
Online Signature Recognition: A Biologically Inspired Feature Vector Splitting Approach
针对在线签名识别，本文提出受生物学启发的特征向量拆分策略，在MCYT100、MCYT300和SVC上结合VQ与DTW评估，揭示压力与坐标融合的稳定增益及角度特征的不一致影响。
2024-05-21 cs.CV
Insect pest image detection and recognition based on bio-inspired methods
University of Padova（帕多瓦大学）
害虫识别在世界许多地区的作物保护中是必要的。在本文中，我们提出了一个自动分类器的基础上融合显着性方法和卷积神经网络。显著性方法是著名的图像处理算法，其突出图像的最相关像素。在本文中，我们使用三种不同的显着性方法作为图像预处理，并为每一个显着性方法创建三个不同的图像。因此，我们为每个原始图像创建3x 3 =9个新图像，以训练不同的卷积神经网络。我们评估每一个预处理/网络对的性能，我们也评估他们的合奏的性能。我们在一个小数据集和一个大的IP 102数据集上测试了我们的方法。我们最好的集成在较小的数据集（92.43%）和IP 102数据集（61.93%）上都达到了最先进的准确度，接近人类专家在较小数据集上的性能。此外，我们还在https://github.com/LorisNanni/上共享MATLAB代码。
2020-03-27 cs.CV
Apprenticeship-Inspired Elegance: Synergistic Knowledge Distillation Empowers Spiking Neural Networks for Efficient Single-Eye Emotion Recognition
Dalian University of Technology（大连理工大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳））
本研究提出多模态协同知识蒸馏方案，让轻量单模态SNN从事件-帧多模态教师网络学习，无需专用设备即可利用常规帧的时空信息实现高效单眼情绪识别，在多数据集上准确率和效率均超现有最优水平。
2024-06-20 cs.CV cs.NE
Improving VisNet for Object Recognition
本研究通过改进VisNet模型，结合径向基函数神经元和马氏距离学习，提升对象识别和对称性分类的准确性。
2026-01-07 cs.CV
Implementing a foveal-pit inspired filter in a Spiking Convolutional Neural Network: a preliminary study
BITS Pilani, Goa Campus（贝拉理工学院果阿校区）
我们提出了一个尖峰卷积神经网络（SCNN），它结合了视网膜中央凹坑启发高斯滤波器和秩序编码的差异。该模型使用反向传播算法的变体进行训练，该算法适用于尖峰神经元，如Nengo库中所实现的。我们已经评估了我们的模型在两个公开的数据集上的性能-一个用于数字识别任务，另一个用于车辆识别任务。该网络的准确率高达90%，其中损失是使用交叉熵函数计算的。这比在没有任何种类的神经过滤的情况下执行分类的替代方法获得的大约57%的准确度有所提高。总的来说，我们的概念验证研究表明，在现有的SCNN架构中引入生物学上合理的过滤将很好地处理嘈杂的输入图像，例如我们的车辆识别任务中的图像。基于我们的研究结果，我们计划通过在排序之前集成基于横向抑制的冗余减少来增强我们的SCNN，这将进一步提高网络的分类准确性。
2021-05-29 cs.AI cs.CV
Enhanced Biologically Inspired Model for Image Recognition Based on a Novel Patch Selection Method with Moment
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；The State Key Laboratory of Management and Control for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统管理与控制国家重点实验室）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；Nanchang University（南昌大学）
生物启发模型（BIM）是一种鲁棒的图像识别计算体系结构，受到了广泛的关注。BIM可以被描述为基于视觉皮层机制的四层结构。虽然BIM用于图像识别的性能是鲁棒的，但它采用随机选择的方式来选择块，这是盲目的，导致计算负担沉重。为了解决这个问题，我们提出了一种新的补丁选择方法与定向高斯厄米矩（PSGHM），我们加强了BIM的基础上提出的PSGHM，命名为PBIM。与传统的BIM采用随机方法在多尺度Gabor滤波器组处理的特征表示层内选择补丁相比，所提出的PBIM采用PSGHM方法提取少量的表示特征，同时提供有希望的独特性。为了证明所提出的PBIM的有效性，对象分类的实验研究进行了CalTech05，达姆施塔特工业大学（TUD），和GRAZ01数据库。实验结果表明，PBIM的性能是一个显着的改善，传统的BIM。
2017-10-27 cs.CV
Handwritten digit recognition by bio-inspired hierarchical networks
Institute of Molecular Bioimaging and Physiology, Consiglio Nazionale delle Ricerche（意大利国家研究委员会分子生物成像与生理学研究所）
人类大脑处理显示学习和预测能力的信息，但潜在的神经元机制仍然未知。近年来，许多研究证明神经元网络既能对感觉输入进行概括，又能对感觉输入进行联想。在本文中，一组神经生理学的证据，我们提出了一个学习框架，具有很强的生物学可移植性，模仿皮层电路的突出功能。我们开发了归纳概念网络（ICN），这是一个层次化的生物启发网络，能够通过在其节点中实现的变阶马尔可夫模型来学习不变模式。ICN层次结构的最顶层节点的输出表示最高的输入泛化，允许对输入进行自动分类。我们发现，ICN聚类MNIST图像的误差为5.73%，USPS图像的误差为12.56%。
2012-11-06 cs.CV cs.LG q-bio.NC
QiT: Quantum-Inspired Transformer for Visual Recognition Task
Microsoft（微软）
QiT提出一种量子启发式Transformer，通过角度编码、周期特征自注意力和门控乘法模拟，在经典硬件上实现量子模型的结构优势，在ImageNet-1K上达到78.3%准确率，同时保持标准Transformer的复杂度。
2026-09-17 cs.AI cs.CV physics.app-ph
Patch-DrosoNet: Classifying Image Partitions With Fly-Inspired Models For Lightweight Visual Place Recognition
University of Essex（埃塞克斯大学）；Queensland University of Technology（昆士兰科技大学）；University of Southampton（南安普顿大学）
本文提出Patch-DrosoNet，通过分区训练和卷积式预测改进果蝇启发模型，在保持轻量级的同时显著提升视觉位置识别性能。
2023-05-09 cs.CV
Domain-Specific Human-Inspired Binarized Statistical Image Features for Iris Recognition
University of Notre Dame（圣母大学）
二值化统计图像特征（BSIF）已成功地用于许多计算机视觉任务中的纹理分析，包括虹膜识别和生物特征呈现攻击检测。重要的一点是，BSIF在虹膜识别中的所有应用都使用了原始的BSIF滤波器，这些滤波器是在从自然图像中提取的图像块上训练的。本文测试的问题，是否特定于域的BSIF可以提供更好的性能比默认的BSIF。第二个要点是选择用于BSIF训练的图像块。从眼睛跟踪实验中获得的图像补丁，其中人类执行虹膜识别任务，可以提供比随机补丁更好的性能吗？我们的研究结果表明，（1）特定领域的BSIF特征可以优于默认的BSIF特征，（2）以人类表现指导的特定于任务的方式选择图像块可以优于选择随机块。这些结果很重要，因为BSIF通常被认为是一个通用的纹理工具，不需要任何领域自适应，和人工任务指导的选择补丁的训练从来没有（据我们所知）。本文遵循可重复的研究要求，并提供了新的虹膜域特定的BSIF滤波器，用于滤波器训练的补丁，用于测试的数据库和所设计的虹膜识别方法的源代码，以促进这一概念的应用。
2018-11-18 cs.CV
THOR2: Topological Analysis for 3D Shape and Color-Based Human-Inspired Object Recognition in Unseen Environments
University of Washington（华盛顿大学）
THOR2提出基于3D形状与颜色的TOPS2描述符及识别框架，利用拓扑软聚类和颜色嵌入，在真实世界杂乱场景中显著提升识别准确率，优于前身THOR及深度学习基线。
2024-12-14 cs.CV
HuMemSLAM: Efficient Human-Inspired Semantic Place Recognition for Robust Visual SLAM
Oxford Brookes University（牛津布鲁克斯大学）
针对传统视觉SLAM在感知混叠和变化下的脆弱性，本文提出类人语义地点识别方法HuMem-VPR并集成到ORB-SLAM3形成HuMemSLAM，利用自下而上感知与自上而下推理结合，实现高准确率、低延迟的地点识别，显著提升召回率并减少几何后端负担。
2026-09-16 cs.CV cs.RO
BioSLAM: A Bio-inspired Lifelong Memory System for General Place Recognition
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加州大学圣地亚哥分校）
我们提出了BioSLAM，一个终身的SLAM框架，用于逐步学习各种新的外观，并保持对以前访问过的区域的准确位置识别。与人类不同，人工神经网络遭受灾难性遗忘，当用新到达的人训练时，可能会忘记以前访问过的区域。对于人类，研究人员发现大脑中存在一种记忆重放机制，以保持神经元对以前事件的活跃。受到这一发现的启发，BioSLAM设计了一个门控生成重放，以根据反馈奖励控制机器人的学习行为。具体来说，BioSLAM提供了一种新颖的双记忆机制来进行维护：1）动态记忆，以有效地学习新的观察结果; 2）静态记忆，以平衡新旧知识。当与基于视觉/LiDAR的SLAM系统相结合时，完整的处理管道可以帮助代理增量地更新位置识别能力，对长期位置识别的日益复杂性具有鲁棒性。我们演示了BioSLAM在两个增量SLAM方案。在第一种情况下，基于LiDAR的智能体以120公里的轨迹连续穿越城市规模的环境，并遇到不同类型的3D几何形状（开放的街道，住宅区，商业建筑）。我们表明，BioSLAM可以增量更新代理的位置识别能力，并优于最先进的增量方法，生成重放，24%。在第二个场景中，一个基于LiDAR视觉的智能体以4.5公里的轨迹反复穿越校园规模的区域。BioSLAM算法在不同外观条件下的位置识别准确率均优于现有方法的15%.据我们所知，BioSLAM是第一个记忆增强的终身SLAM系统，有助于在长期导航任务中进行增量位置识别…
2022-08-30 cs.CV cs.LG cs.RO
A Dual Fast and Slow Feature Interaction in Biologically Inspired Visual Recognition of Human Action
通过功能性磁共振成像（fMRI）检查人类视觉系统的计算神经科学研究已经确定了一个模型，其中哺乳动物大脑追求两个不同的通路（用于识别生物运动任务）。在大脑中，背侧流分析运动信息（光流），这是快速特征，腹侧流（形式通路）分析形式信息（通过基于主动基模型的增量慢特征分析），作为慢特征。所提出的方法表明，人类视觉系统的运动感知由识别生物运动的快速和慢速特征交互组成。视觉系统中的形状特征在生物学上遵循主动基模型与增量慢特征分析的应用，用于提取腹侧流中人类对象运动的最慢形状特征。应用增量慢速特征分析提供了使用动作原型的机会。提取最慢的特征需要对每一帧的运动信息进行逐帧的观测，而快速的特征则需要对每一帧的运动信息进行更新处理。实验结果表明，该模型具有良好的精度和良好的性能与两个数据集（KTH和魏茨曼）。
2015-09-12 cs.CV
Physics Inspired Hybrid Attention for SAR Target Recognition
Northwestern Polytechnical University（西北工业大学）；Anhui University（安徽大学）；Beijing Technology and Business University（北京工商大学）
针对SAR目标识别中物理信息融合依赖ASC优化、策略适应性及鲁棒性评估不足的问题，提出可嵌入任意DNN的PIHA注意力机制和OFA评估协议，并在12个场景中验证其优越性能。
2023-09-27 cs.CV eess.IV
Bio-inspired digit recognition using reward-modulated spike-timing-dependent plasticity in deep convolutional networks
University of Tehran（德黑兰大学）；CNRS（法国国家科学研究中心）；Université Toulouse 3（图卢兹第三大学）
灵长类动物的视觉系统激发了深度人工神经网络的发展，它彻底改变了计算机视觉领域。然而，这些网络的能效比生物网络低得多，而且它们通常是用反向传播训练的，这是非常需要数据的。为了解决这些限制，我们使用了深度卷积脉冲神经网络（DCSNN）和延迟编码方案。我们使用较低层的尖峰时间依赖可塑性（STDP）和较高层的奖励调制STDP（R-STDP）进行训练。简而言之，R-STDP是一个正确的（相应地，错误）决定导致STDP（或抗STDP）。这种方法导致MNIST上的$97.2\%$的准确性，而不需要外部分类器。此外，我们证明了R-STDP提取的特征是诊断手头的任务，并丢弃其他的，而STDP提取任何重复的特征。最后，我们的方法在生物学上是合理的，硬件友好，节能。
2019-05-27 cs.CV q-bio.NC
Quantum-Brain: Quantum-Inspired Neural Network Approach to Vision-Brain Understanding
Department of Electrical Engineering and Computer Science, University of Arkansas（电气工程与计算机科学系，阿肯色大学）；Department of Physics, University of Arkansas（物理系，阿肯色大学）；Department of Radiology, SUNY Upstate Medical University（放射学系，SUNY Upstate医学大学）；Department of Brain and Cognitive Sciences, Massachusetts Institute of Technology（脑科学与认知科学系，麻省理工学院）；Department of Electrical and Computer Engineering, Kansas State University（电气与计算机工程系，堪萨斯州立大学）
视觉-大脑理解旨在从人类感知中提取关于大脑信号的语义信息。现有的用于视觉-大脑理解的深度学习方法通常在传统的学习范式中引入，缺少学习大脑区域之间的连接的能力。同时，量子计算理论为设计深度学习模型提供了新的范式。受大脑信号的连通性和量子计算中的纠缠特性的启发，我们提出了一种新的量子脑方法，一种量子启发的神经网络，来解决视觉-大脑理解问题。为了计算大脑信号中区域之间的连接性，我们引入了一个新的量子启发体素控制模块来学习大脑体素对希尔伯特空间中其他体素的影响。为了有效地学习连通性，提出了一种新的相移模块来校准大脑信号的值。最后，我们引入了一个新的类测度投影模块来表示从希尔伯特空间到特征空间的连通性信息。所提出的方法可以学习发现功能磁共振体素之间的连接，并增强从人类感知获得的语义信息。我们在自然场景数据集基准上的实验结果说明了所提出的方法的有效性，在图像和大脑检索任务上的Top-1准确率为95.1%和95.6%，在fMRI到图像重建任务上的Inception得分为95.3%。我们提出的量子网络为通过量子计算理论解决视觉-大脑问题提供了一个潜在的范例。
2025-08-14 cs.CV
PhysioSync: Temporal and Cross-Modal Contrastive Learning Inspired by Physiological Synchronization for EEG-Based Emotion Recognition
School of Instrument Science and Opto-electronics Engineering, Hefei University of Technology（仪器科学与光电工程学院，合肥工业大学）；School of Computer Science and Information Engineering, Hefei University of Technology（计算机科学与信息工程学院，合肥工业大学）
针对EEG情绪识别中信号噪声大、个体差异及模态同步被忽视等问题，提出PhysioSync框架，通过跨模态一致性对齐和长短期时序对比学习捕捉模态间/内同步，在DEAP和DREAMER数据集上提升了识别性能。
2025-08-26 cs.CV
Aggregating Multiple Bio-Inspired Image Region Classifiers For Effective And Lightweight Visual Place Recognition
University of Essex（埃塞克斯大学）；Queensland University of Technology（昆士兰科技大学）
提出RegionDrosoNet，通过将不同DrosoNet组专用于图像不同切片分区并引入投票模块，在保持低计算量的同时显著提升视觉地点识别性能，优于其他轻量级方法，部分基准上可与高计算成本方法竞争。
2023-12-20 cs.CV
NeuroPath: Brain-Inspired Dual-Pathway Graph Convolutional Networks for Skeleton-Based Action Recognition
Tsinghua University（清华大学）；Beihang University（北京航空航天大学）；Durham University（杜伦大学）；Zhongguancun Laboratory（中关村实验室）
NeuroPath受人类感知通路启发，采用双通路图卷积网络架构，通过分组图卷积块和通路间融合模块提升基于骨骼的动作识别性能，在三个公开数据集上取得一致效果提升。
2026-08-19 cs.CV
MVT: Multi-view Vision Transformer for 3D Object Recognition
Baidu Research（百度研究院）；University of Amsterdam（阿姆斯特丹大学）
受CNN在图像识别中取得的巨大成功的启发，基于视图的方法应用CNN对投影视图进行建模，以实现3D对象理解，并取得了优异的性能。然而，多视图CNN模型不能对来自不同视图的块之间的通信进行建模，从而限制了其在3D对象识别中的有效性。受视觉Transformer在图像识别中取得的成功的启发，我们提出了一种用于三维物体识别的多视角视觉Transformer（MVT）。由于Transformer块中的每个补丁特征具有全局接收场，因此它自然地实现了来自不同视图的补丁之间的通信。同时，与CNN相比，它需要更少的归纳偏差。考虑到有效性和效率，我们为我们的MVT开发了一个全球-本地的结构。我们在两个公共基准测试，ModelNet 40和ModelNet 10上的实验证明了我们的MVT的竞争力。
2021-10-25 cs.CV
Bio-inspired Unsupervised Learning of Visual Features Leads to Robust Invariant Object Recognition
University of Tehran（德黑兰大学）；INSERM（法国国家健康与医学研究院）；Sorbonne Universités（索邦大学）；UPMC Univ Paris 06（巴黎第六大学）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）
由于周围物体的位置、大小、姿态、光照条件、背景、遮挡、噪声和非刚性变形等的变化，视网膜图像会发生很大的变化。但是，尽管有这些巨大的变化，我们的视觉系统能够在几分之一秒内不变地识别任何物体。迄今为止，已经提出了各种计算模型来模拟腹侧视觉通路的分层处理，但成功有限。在这里，我们表明，生物启发的网络架构和学习规则的关联显着提高了模型的性能时，面临着挑战性的不变对象识别问题。我们的模型是一个异步前馈脉冲神经网络。当网络呈现自然图像时，入口层的神经元检测边缘，最活跃的神经元首先激发，而高层的神经元则具有尖峰时间依赖的可塑性。这些神经元逐渐变得对适合于对象分类的中等复杂度视觉特征具有选择性。该模型在3D-Object和ETH-80数据集上进行了评估，这两个数据集是不变对象识别的两个基准，并且表现出优于最先进的模型，包括DeepConvNet和HMAX。这表明它能够准确识别多个对象类的不同实例，即使在各种外观条件下（不同视图、比例、倾斜和背景）。几个统计分析技术被用来表明，我们的模型提取类特定的和高信息量的功能。
2016-06-28 cs.CV q-bio.NC
An Efficient and Scalable Collection of Fly-inspired Voting Units for Visual Place Recognition in Changing Environments
School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）；School of Electrical Engineering and Computer Science, Queensland University of Technology（昆士兰科技大学电气工程与计算机科学学院）；National Centre for Nuclear Robotics Flexible Partnership Fund（国家核机器人灵活伙伴关系基金）
目前正在利用基于深度学习的方法实现最先进的视觉位置识别性能。尽管最近在设计轻量级的基于卷积神经网络的模型方面做出了努力，但是对于大多数硬件受限的机器人应用来说，这些仍然太昂贵。低开销的VPR技术不仅可以使平台配备低端，廉价的硬件，而且还可以减少更强大系统的计算，允许将这些资源分配给其他导航任务。在这项工作中，我们的目标是提供一个算法的极端紧凑性和效率，同时实现国家的最先进的鲁棒性的外观变化和小的视点变化。我们的第一个贡献是DrosoNet，这是一个非常紧凑的模型，灵感来自果蝇Drosophyla melanogaster的气味处理能力。我们的第二个也是主要贡献是一个投票机制，它利用多个小而有效的分类器来实现比单个分类器更强大和一致的VPR。我们使用DrosoNet作为投票机制的基线分类器，并在五个基准数据集上评估我们的模型，评估中度到极端的外观变化和小到中度的视角变化。然后，我们比较了所提出的算法的国家的最先进的方法，无论是在精度召回AUC结果和计算效率。
2021-09-22 cs.CV
A Clinically Inspired Approach for Melanoma classification
IIIT-H（海得拉巴国际信息技术学院）
黑素瘤是由于皮肤癌死亡导致的死亡的主要原因，因此，黑素瘤的早期和有效诊断是令人感兴趣的。目前用于黑素瘤的自动诊断的方法使用模式识别或分析识别，如ABCDE（不对称、边界、颜色、直径和演变）标准。然而，在实践中，检测异常值（丑小鸭）并用于评估痣/病变的差异方法。在计算机辅助诊断（CAD）系统中引入差异识别尚未探索，但可能是有益的，因为它可以为派生决策提供临床依据。我们提出了一种识别和量化丑小鸭进行患者内比较分析（IPCA）相邻痣的方法。然后将其并入用于黑素瘤检测的CAD系统设计中。这种设计确保了处理IPCA不可能的情况的灵活性。我们在公共数据集上的实验表明，离群值信息有助于将检测的灵敏度提高至少4.1%，特异性提高4.0%至8.9%，具体取决于使用强（EfficientNet）或中等强度（VGG或ResNet）分类器。
2021-06-15 cs.AI cs.CV cs.LG
Learning long-term dependencies for action recognition with a biologically-inspired deep network
Peking University（北京大学）；Cooperative Medianet Innovation Center（合作媒体网络创新中心）；Beijing Institute of Technology（北京理工大学）
尽管近年来有很多研究工作，如何有效地从序列中学习长期依赖关系仍然是一个非常具有挑战性的任务。作为序列学习的关键模型之一，递归神经网络（RNN）及其变体，如长短期记忆（LSTM）和门控递归单元（GRU）在实践中仍然不够强大。一个可能的原因是它们只有前馈连接，这与通常由前馈和反馈连接组成的生物神经系统不同。为了解决这个问题，本文提出了一种生物启发的深度网络，称为shuttleNet \footnote{Our code is available at \url{https://github.com/shiyemin/shuttlenet}}。从技术上讲，shuttleNet由几个处理器组成，每个处理器都是一个GRU，同时与多组单元和状态相关联。与传统的RNN不同，shuttleNet内部的所有处理器都是循环连接的，以模仿大脑的前馈和反馈连接，其中它们在循环连接中的多个路径上共享。然后利用注意力机制选择最佳信息流路径。在两个基准数据集（即UCF 101和HMDB 51）上进行的大量实验表明，我们可以通过简单地将shuttleNet嵌入到CNN-RNN框架中来击败最先进的方法。
2017-03-19 cs.CV
Towards Instance Segmentation with Object Priority: Prominent Object Detection and Recognition
Aalto University（阿尔托大学）
这篇文章介绍了突出的目标检测和识别问题的启发，事实上，人类似乎优先感知的场景元素。问题涉及找到最重要的感兴趣区域，分割该区域中的相关项目/对象，并为其分配对象类标签。换句话说，我们正在解决显着性建模，显着性检测和对象识别这三个问题。这种问题公式化背后的动机是（1）对基于知识表示的视觉管道的益处，以及（2）通过一起解决这三个问题来仿真生物启发的视觉系统的潜在改进。我们正在努力将这个问题的制定扩展到完全语义分割的场景，并在包括辅助视觉在内的各种应用程序中进行高级推理。随着一个新的问题定义，我们还提出了一种方法来实现这样的任务。该模型预测图像中最重要的区域，分割相关的对象，并标记它们。所提出的问题和方法进行评估，对人类的固定，注释分割掩模，和对象类类别。我们为每个评估标准定义了一个机会水平，以比较所提出的算法。尽管所提出的基线的良好性能，总体评价表明，突出的目标检测和识别的问题是一个具有挑战性的任务，仍然值得进一步研究。
2017-08-04 cs.AI cs.CV
Neuro-Inspired Visual Pattern Recognition via Biological Reservoir Computing
Institute of Information Science and Technologies of the National Research Council of Italy (ISTI-CNR)（意大利国家研究理事会信息科学与技术研究所）；Institute of Biophysics of the National Research Council of Italy (IBF-CNR)（意大利国家研究理事会生物物理研究所）
本文提出利用体外培养的皮层神经网络作为生物共振器，通过高密度电极阵列和线性感知机实现静态视觉模式识别，展示了生物神经系统的应用潜力。
2026-02-05 cs.CV cs.NE
A Sub-Layered Hierarchical Pyramidal Neural Architecture for Facial Expression Recognition
University of Hamburg（汉堡大学）
在计算资源和标记数据有限的领域，例如机器人领域，具有数百万权重的深度网络可能不是最佳解决方案。在本文中，我们介绍了一个金字塔架构的连接方案，以增加其学习功能的能力。对未见过的人的面部表情识别的实验表明，我们的方法是一个潜在的候选人的应用资源有限，由于良好的泛化性能和低计算成本。我们表明，我们的方法在这项任务中推广了卷积架构，但使用了更少的可训练参数，并且对低分辨率人脸更鲁棒。
2021-03-23 cs.CV
SINA: A Circuit Schematic Image-to-Netlist Generator Using Artificial Intelligence
University of Utah, Salt Lake City, UT, USA（犹他大学）
SINA利用深度学习、CCL和OCR技术，结合视觉-语言模型，实现了高准确率的电路原理图到网表自动转换。
2026-01-29 cs.AI cs.CV cs.SY
Detection, Recognition and Tracking of Moving Objects from Real-time Video via SP Theory of Intelligence and Species Inspired PSO
Indian Statistical Institute（印度统计研究所）
在本文中，我们解决的基本问题，识别视频图像中的运动目标，利用SP智能理论。SP智能理论的概念是人工智能的一个框架，它首先由Gerard J Wolff提出，其中S代表简单性，P代表力量。利用多重对齐的概念，我们检测和识别我们感兴趣的目标，在视频帧的多级层次的部分和子部分，基于多义性类别。我们使用基于物种的粒子群优化算法（PSO）跟踪识别的对象。首先，我们从训练图像中提取感兴趣对象的多重对齐。为了准确识别和处理遮挡，我们使用原始数据线上的多感概念，通过从提取的对齐中搜索代表特征的最佳对齐来忽略冗余噪声。我们从视频场景中识别出感兴趣的域，以各种各样的多重对齐的形式来处理场景变化。SP模型遵循DONSVIC原理进行无监督学习，通过信息压缩和模式分析发现自然结构。在成功识别目标后，我们使用基于物种的PSO算法，因为我们感兴趣的目标的对齐类似于物种的观测可能性和适应能力。随后，我们分析了基于退火高斯粒子群算法的物种之间的竞争和排斥。我们已经在David，Walking2，FaceOcc1，Jogging和Dudek上测试了我们的算法，获得了非常满意和有竞争力的结果。
2017-04-12 cs.CV
SkateFormer: Skeletal-Temporal Transformer for Human Action Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出SkateFormer，一种骨骼-时间变换器，通过划分关节和帧并执行分区自注意力，高效捕捉动作识别中的关键骨骼-时间关系，在多个基准上超越现有最先进方法。
2024-07-17 cs.CV
Examplers based image fusion features for face recognition
Indian Institute of Information Technology and Management-Kerala（印度喀拉拉邦信息技术与管理学院）；Griffith University（格里菲斯大学）
面部的样本由人的多个图库图像形成，并且在测试图像的分类过程中使用。我们将这样的例子在形成一个生物启发的本地二进制决策相似性为基础的人脸识别方法。与人脸平均等单一模型方法相比，基于样本的方法具有更高的识别精度和稳定性。该方法使用多个训练样本，在AR上的识别率为99.0%，在FERET上为99.5%，在ORL上为99.5%，在EYALE上为99.3%，在YALE上为100.0%，在CALTECH人脸数据库上为100.0%。除了人脸识别，该方法还检测人脸图像中的自然变化，可以在人脸图像的自动标记中找到应用。
2012-01-28 cs.AI cs.CV
Fast Neuromimetic Object Recognition using FPGA Outperforms GPU Implementations
The Johns Hopkins University（约翰斯·霍普金斯大学）；Singapore Institute of Neurotechnology（新加坡神经技术研究所）；National University of Singapore（新加坡国立大学）；The Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
传统上，静止图像中的目标识别被认为是一个困难的计算问题。虽然现代视觉对象识别的自动化方法已经实现了稳步提高的识别精度，但即使是最先进的计算视觉方法也无法获得与人类相同的性能。这导致了许多受生物启发的视觉对象识别模型的创建，其中包括HMAX模型。传统上已知HMAX以显著的计算复杂性为代价在视觉对象识别任务中实现高精度。复杂性的增加反过来又会增加计算时间，减少单位时间内可以处理的图像数量。在本文中，我们描述了如何计算密集型，生物启发的HMAX模型的视觉对象识别可以修改实施的商业现场可编程门阵列，特别是Xilinx Virtex 6 ML605评估板与XC6VLX240 T FPGA。我们表明，通过对传统HMAX模型的微小修改，我们可以以每秒190张图像的速度对大小为128x128像素的图像进行识别，在二进制和多类视觉对象识别任务中的识别精度损失小于1%。
2015-10-31 cs.CV
Visualizing and Understanding Vision System
Alibaba Group（阿里巴巴集团）；University of Oxford（牛津大学）
人类视觉系统如何解决对象身份保持识别问题在很大程度上是未知的。在这里，我们使用的视觉记忆重建网络（RRN），以调查的发展，识别，学习和遗忘机制，并实现类似的特点，在猴子的电生理测量。首先，在网络发展研究中，RRN也经历了关键的发展阶段，其特征在于神经元类型，突触和激活模式的特异性，以及视觉任务的执行从粗显着图识别的早期阶段到精细结构识别的成熟阶段。在数字识别研究中，我们发现RRN通过协调调节群体神经元的反应，在不同的视觉条件下都能保持物体的不变性表征。这种协调一致的群体反应包含了未纠缠的对象身份和属性信息，可以通过高级皮层甚至简单的加权求和解码器准确提取。在学习和遗忘研究中，新的结构识别是通过在低幅度下调整整个突触来实现的，同时保留了原始突触连接的模式特异性，这保证了学习过程不会破坏现有的功能。这一工作对于理解人类视觉加工机制和开发类人机器智能具有重要意义。
2020-06-11 cs.AI cs.CV
MSCGC-KAN: Multi-scale Causal Graph Convolution and KAN-inspired Analytic-basis Mapping for EEG Emotion Recognition
School of Automation, Hangzhou Dianzi University, Hangzhou 310018, China（杭州电子科技大学自动化学院）；Zhejiang Provincial Key Laboratory of Brain Computer Collaborative Intelligence Technology（浙江省脑机协同智能技术与应用重点实验室）
本文提出MSCGC-KAN方法，通过多尺度因果图卷积和Kolmogorov-Arnold特征映射构建结构化任务头，在预训练CBraMod骨干上增强多尺度时间建模、可学习通道间连接建模和非线性判别映射，显著提升脑电情感识别性能。
2026-08-31 cs.CV
Brain Age Prediction Based on Resting-State Functional Connectivity Patterns Using Convolutional Neural Networks
Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）
基于神经影像学数据的脑年龄预测可以帮助描述典型的脑发育和神经精神疾病。模式识别模型建立在功能连接（FC）措施来自静息态fMRI（rsfMRI）数据已被成功地用于预测大脑年龄。然而，大多数现有的研究集中在粗粒度的FC措施之间的大脑区域或内在连接网络（ICN），这可能会牺牲细粒度的FC信息的rsfMRI数据。全脑体素FC测量可以提供精细的大脑FC信息，并可能提高预测性能。在这项研究中，我们开发了一种深度学习方法，使用卷积神经网络（CNN）从细粒度的全脑FC测量中学习信息特征，用于大脑年龄预测。在静息态fMRI的大数据集上的实验结果表明，具有细粒度FC测量的深度学习模型可以更好地预测大脑年龄。
2018-01-11 cs.CV
Field-Guide-Inspired Zero-Shot Learning
Cornell University（康奈尔大学）
现代识别系统需要大量的监督才能实现准确性。适应新的领域需要来自专家的大量数据，这是繁重的，并且可能变得过于昂贵。零样本学习需要一个新类别的注释属性集。在部署过程中，为一个新的类别标注完整的属性集被证明是一项繁琐而昂贵的任务。当识别领域是专家领域时尤其如此。我们引入了一种新的现场指南启发的方法来zero-shot注释，其中学习者模型交互式地要求定义类的最有用的属性。我们评估了我们的方法与属性注释，如CUB，SUN和AWA2分类基准，并表明我们的模型实现了一个完整的注释模型的性能，在一个显着较少的注释数量的成本。由于专家的时间非常宝贵，因此降低注释成本对于实际部署非常有价值。
2021-08-24 cs.CV
MultiCrossViT: Multimodal Vision Transformer for Schizophrenia Prediction using Structural MRI and Functional Network Connectivity Data
视觉Transformer（ViT）是一个开创性的深度学习框架，可以解决现实世界的计算机视觉问题，如图像分类和对象识别。重要的是，ViT被证明优于传统的深度学习模型，如卷积神经网络（CNN）。最近，一些ViT突变已被移植到医学成像领域，从而解决了各种关键的分类和分割的挑战，特别是在脑成像数据方面。在这项工作中，我们提供了一种新的多模式深度学习管道MultiCrossViT，它能够分析结构MRI（sMRI）和静态功能网络连接（sFNC）数据，用于预测精神分裂症疾病。在具有最少训练对象的数据集上，我们的新模型可以实现0.832的AUC。最后，我们可视化多个大脑区域和协方差模式最相关的精神分裂症的基础上产生的ViT注意力地图提取功能从Transformer编码器。
2023-03-05 cs.CV
NeuroGaze-Distill: Brain-informed Distillation and Depression-Inspired Geometric Priors for Robust Facial Emotion Recognition
School of Information and Intelligent Science（信息与智能科学学院）；Department of Computer（计算机系）；North China Electric Power University (BaoDing)（华北电力大学（保定））
NeuroGaze-Distill通过脑科学先验和抑郁启发的几何先验提升面部情绪识别的鲁棒性，采用跨模态蒸馏框架实现无需生物信号的部署。
2025-11-25 cs.CV
Brain Network Diffusion-Driven fMRI Connectivity Augmentation for Enhanced Autism Spectrum Disorder Diagnosis
Lehigh University（里海大学）
本文提出基于Transformer的潜在扩散模型生成fMRI功能连接以增强数据，从而提升自闭症谱系障碍诊断性能，并验证了生成质量与特征可解释性。
2024-09-11 cs.CV q-bio.NC
Linear Time Recognition Algorithms for Topological Invariants in 3D
U of the District of Columbia（哥伦比亚特区大学）；George Washington University（乔治华盛顿大学）
在本文中，我们设计了线性时间算法来识别和确定拓扑不变量，如3D中的亏格和同调群。这些属性可用于在3D图像识别中识别图案。这在3D医学图像分析中具有巨大的应用。我们的方法是基于直接相邻的立方体图像，也称为（6，26）-连接图像在离散几何。根据三维曲面上只有六种局部曲面点的事实和微分几何中著名的Gauss-Bonnett定理的离散形式，我们首先确定了二维连通闭分支（闭数字曲面）的亏格。然后，我们利用Alexander对偶得到了三维空间中三维物体的同调群。
2008-08-04 cs.CV
HFirst: A Temporal Approach to Object Recognition
National University of Singapore（新加坡国立大学）；Singapore Institute for Neurotechnology (SINAPSE)（新加坡神经技术研究所（SINAPSE））；Universite Pierre et Marie Curie（皮埃尔和玛丽·居里大学）；Institut De la Vision（视觉研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文介绍了一个尖峰层次模型的对象识别，利用精确的定时信息固有的生物启发异步地址事件表示（AER）视觉传感器的输出。这些系统的异步性质将计算和通信从由常规系统中的系统时钟强制执行的刚性预定定时中解放出来。从严格的时间限制的自由开放的可能性，使用真正的时间，我们的优势，在计算。我们不仅展示了如何在对象识别中使用定时，而且还展示了它实际上如何简化计算。具体来说，我们依赖于一个简单的时间赢家通吃，而不是更多的计算密集型同步操作通常用于生物启发的神经网络的对象识别。这种视觉计算的方法代表了传统计时系统的一个主要范式转变，可以在其他感觉方式和计算任务中找到应用。我们展示了有效性的方法，实现了最高的准确率（97.5\% $\pm$ 3.5\%），为以前公布的四类卡点识别任务和准确率为84.9\% $\pm$ 1.9\%的一个新的更困难的36类字符识别任务。
2015-08-05 cs.CV
MicroNet: Towards Image Recognition with Extremely Low FLOPs
UC San Diego（加州大学圣迭戈分校）；Microsoft（微软）
在本文中，我们介绍了MicroNet，这是一种高效的卷积神经网络，使用极低的计算成本（例如ImageNet分类上的6个MFLOP）。这种低成本网络在边缘设备上是非常期望的，但通常会遭受显著的性能下降。我们基于两个设计原则来处理极低的FLOP：（a）通过降低节点连接性来避免网络宽度的减少，以及（b）通过引入更复杂的每层非线性来补偿网络深度的减少。首先，我们提出了微因式卷积分解成低秩矩阵的逐点和dependency卷积之间的通道数量和输入/输出连接的良好的折衷。其次，我们提出了一个新的激活函数，命名为动态移位最大，通过最大化输入特征映射和其循环通道移位之间的多个动态融合来改善非线性。融合是动态的，因为它们的参数适应于输入。基于Micro-Factorized卷积和动态Shift-Max，一系列MicroNet在低FLOP机制中实现了比最先进技术更显着的性能增益。例如，MicroNet-M1在ImageNet分类上达到了61.1%的top-1准确率，具有12个MFLOP，比MobileNetV 3高出11.3%。
2020-11-24 cs.CV cs.LG
