Fusing Deep Learned and Hand-Crafted Features of Appearance, Shape, and Dynamics for Automatic Pain Estimation
University of Nottingham（诺丁汉大学）
从面部视频中自动连续时间、连续值评估患者的疼痛受到医学界的高度追捧。尽管深度学习的最新进展在许多领域取得了令人印象深刻的结果，但由于难以获得相当大的数据集，疼痛估计可能无法从中受益。在这项工作中，我们提出了手工制作和深度学习功能的组合，在小样本设置中充分利用了深度学习技术。通过对形状、外观和动态进行编码，我们的方法显著优于当前最先进的方法，在16级疼痛量表上获得了小于1分的RMSE误差，同时在我们预测的疼痛水平时间序列和地面真实值之间获得了67.3%的Pearson相关系数。
2017-01-17 cs.CV
Combining ConvNets with Hand-Crafted Features for Action Recognition Based on an HMM-SVM Classifier
University of Wollongong（伍伦贡大学）；Tianjin University（天津大学）
本文提出了一种基于RGB-D的动作识别框架，该框架利用了骨架数据中手工设计的特征和深度图中深入学习的特征，并有效地利用了局部和全局时间信息。具体而言，首先增强深度和骨架数据以用于深度学习，并使识别对视图方差不敏感。其次，深度序列分割使用手工制作的特征的基础上，骨骼关节运动直方图，利用局部时间信息。所有训练片段使用无限高斯混合模型（IGMM）通过贝叶斯估计进行聚类，并标记用于在深度图上训练卷积神经网络（ConvNets）。因此，深度序列可以被可靠地编码成片段标签的序列。最后，标签序列被送入一个联合隐马尔可夫模型和支持向量机（HMM-SVM）分类器，以探索最终识别的全局时间信息。
2016-02-01 cs.CV
Revisiting hand-crafted feature for action recognition: a set of improved dense trajectories
Hiroshima University（广岛大学）；ENSICAEN（卡昂国立高等工程师学校）
在改进的密集轨迹（iDT）的基础上，我们提出了一个用于动作识别的特征，称为轨迹集（TS）。TS特征仅对密集采样的兴趣点周围的轨迹进行编码，而没有任何外观特征。在UCF 50、UCF 101和HMDB 51动作数据集上的实验结果表明，TS与最先进的方法相当，并且优于许多其他方法;对于HMDB，准确率为85.4%，而深度方法获得的最佳准确率为80.2%。我们的代码可以在https://github.com/Gauffret/TrajectorySet上找到。
2017-11-28 cs.CV
3D Point Cloud Descriptors in Hand-crafted and Deep Learning Age: State-of-the-Art
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）；Deakin University（迪肯大学）
随着廉价的三维数据采集设备的出现，三维点云数据的广泛应用和普及受到了广泛的关注，而如何有效地提取新的三维点云描述符以提高三维计算机视觉任务的效率和准确性成为近年来的研究热点。然而，如何从3D点云开发具有鉴别力和鲁棒性的特征描述符仍然是一个具有挑战性的任务，由于其固有的特性。在本文中，我们给出了一个全面深入的调查现有的三维点云描述符。根据描述符的先进性，这些方法主要可以分为两类：基于手工制作的方法和基于深度学习的方法，我们将从精细分类的角度进一步讨论它们的优点和局限性。最后，对三维点云描述子提取的未来研究方向进行了展望。
2020-07-27 cs.CV
Analysis of Magnification in Depth from Defocus
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
在离焦景深（DFD）中，当使用不同的相机参数捕获图像时，在它们之间引起相对放大率。图像扭曲是一种比看起来更精确的光学方法更简单的解决放大问题的方法。本文研究了放大倍数对DFD精度的影响。我们评论的问题，相对模糊计算的缩放效果。我们统计分析了比例因子的可解释性，评论了不考虑比例因子的估计量的偏倚和效率。我们还讨论了插值误差对模糊估计的影响，在一个基于变形的解决方案来处理放大，并进行实验分析，以评论模糊估计的准确性。
2012-11-05 cs.CV
Feeding Hand-Crafted Features for Enhancing the Performance of Convolutional Neural Networks
Seoul National University（首尔国立大学）
由于卷积神经网络（CNN）被认为可以为给定的问题找到正确的特征，因此对手工特征的研究目前在某种程度上被忽视了。在本文中，我们表明，找到一个适当的功能，为给定的问题可能仍然是重要的，因为他们可以提高基于CNN的算法的性能。具体地说，我们表明，喂养一个适当的功能，CNN提高其性能，在一些人脸相关的工作，如年龄/性别估计，人脸检测和情感识别。我们将Gabor滤波器组响应用于这些任务，将它们与输入图像一起馈送到CNN。图像和Gabor响应的堆栈可以作为张量输入或作为融合图像馈送到CNN，融合图像是图像和Gabor响应的加权和。Gabor滤波器的参数也可以根据给定的问题进行调整，以提高性能。从大量的实验中，它表明，所提出的方法提供了更好的性能比传统的基于CNN的方法，只使用输入图像。
2018-01-24 cs.CV
Hybrid eye center localization using cascaded regression and hand-crafted model fitting
ModiFace Inc.（ModiFace公司）；University of Toronto（多伦多大学）
我们提出了一种新的级联回归器的眼睛中心检测。以前的方法从面部或眼睛检测器开始，并使用先进的功能或强大的回归器进行眼睛中心定位，但不能两者兼而有之。相反，我们使用现有的面部特征对齐方法更准确地检测眼睛。我们通过使用先进的功能和强大的回归机制来提高本地化的鲁棒性。与大多数其他不细化回归结果的方法不同，我们通过添加鲁棒的圆拟合后处理步骤来使定位更加准确。最后，使用一个简单的手工制作的眼睛中心定位的方法，我们展示了如何训练级联回归，而不需要手动注释的训练数据。我们评估了我们的新方法，并表明它在BioID，GI4E和TalkingFace数据集上实现了最先进的性能。在平均标准化误差e < 0.05时，在手动注释数据上训练的回归器产生了95.07%（BioID），99.27%（GI4E）和95.68%（TalkingFace）的准确率。自动训练的回归量几乎同样好，准确率为93.9%（BioID），99.27%（GI4E）和95.46%（TalkingFace）。
2017-12-07 cs.CV
Skin Lesion Segmentation and Classification for ISIC 2018 Using Traditional Classifiers with Hand-Crafted Features
University of Dayton（代顿大学）
本文提供了用于获得ISIC 2018任务1和任务3提交结果的方法的必要描述：皮肤病变分析对黑色素瘤检测。这一结果是由代顿大学信号和图像处理实验室的一组研究人员得出的。在本次提交中，具有手工制作功能的传统分类器用于任务1和任务3。我们的团队正在使用深度学习方法提供额外的单独提交以进行比较。
2018-07-18 cs.CV eess.IV
PREPRINT: Comparison of deep learning and hand crafted features for mining simulation data
Leiden University（莱顿大学）；Honda Research Institute Europe GmbH（本田欧洲研究院有限公司）
计算流体动力学（CFD）模拟是许多工业应用的一个非常重要的工具，例如工程设计的空气动力学优化，如汽车形状，飞机零件等。这种模拟的输出，特别是计算的流场，通常非常复杂，难以解释为现实的三维现实世界的应用，特别是如果时间依赖的模拟进行调查。自动化数据分析方法是必要的，但数据的非常大的维度带来了一个重要的障碍。流场通常由3D空间和时间中计算网格的每个点的六个测量值（速度矢量值、湍流动能、压力和粘度）组成。在本文中，我们解决的任务，提取有意义的结果，以自动化的方式从这样的高维数据集。我们提出了深度学习方法，这些方法能够处理这些数据，并且可以经过训练来解决模拟数据上的相关任务，即预测施加在翼型上的阻力和升力。我们还提出了一个适应的经典手工制作的功能，从计算机视觉，以解决同样的问题，并比较了大量的各种描述符和检测器。最后，我们编译了一个大型数据集的二维模拟的流场周围的翼型，其中包含16000流场，我们测试和比较的方法。我们的研究结果表明，基于深度学习的方法，以及手工制作的基于特征的方法，能够准确地描述所提出的数据集上的CFD模拟输出的内容。
2021-03-11 cs.CV
From Hand-Crafted to Deep Learning-based Cancer Radiomics: Challenges and Opportunities
Concordia University（康考迪亚大学）；University of Toronto（多伦多大学）；Sunnybrook Health Sciences Centre（桑尼布鲁克健康科学中心）
信号处理和机器学习的最新进展，加上医院中电子医疗记录保存的发展以及通过内部/外部通信系统的大量医学图像集的可用性，导致最近对“放射组学”的重大兴趣激增。放射组学是一个新兴的和相对较新的研究领域，它是指从医学图像中提取半定量和/或定量特征，目的是开发预测和/或预后模型，并有望成为在不久的将来整合图像衍生信息进行个性化治疗的关键组成部分。传统的放射组学工作流程通常基于从分割的感兴趣区域提取预先设计的特征（也称为手工制作或工程特征）。然而，深度学习的最新进展已经引起了基于深度学习的放射组学（也称为发现放射组学）的趋势。考虑到这两种方法的优点，也有开发的混合解决方案，以利用多个数据源的潜力。考虑到放射组学方法的多样性，进一步的改进需要一个全面和综合的草图，这就是本文的目标。该手稿通过讨论放射组学背景下最先进的信号处理解决方案，为放射组学提供了独特的跨学科视角。
2019-02-20 cs.CV
Adjust Your Focus: Defocus Deblurring From Dual-Pixel Images Using Explicit Multi-Scale Cross-Correlation
Samsung Research India（三星印度研究院）；Indian Institute of Science（印度科学学院）
针对散景模糊问题，提出利用双像素图像的显式多尺度互相关网络（MCCNet），通过提取视差线索引导去模糊，在计算复杂度较低的情况下优于现有方法。
2025-02-16 cs.CV
CoCoGaussian: Leveraging Circle of Confusion for Gaussian Splatting from Defocused Images
School of Electrical and Electronic Engineering, Yonsei University（Yonsei大学电子与电气工程学院）；NAVER Cloud（NAVER云）
本文提出 CoCoGaussian，通过物理建模弥散圆并结合可学习光圈与缩放因子，使 3DGS 能仅利用离焦图像精确重建三维场景，并在多个基准上达到 SOTA。
2025-05-15 cs.CV
Person re-identification with fusion of hand-crafted and deep pose-based body region features
Panasonic R&D Center（松下研发中心）；Panasonic Corporation（松下公司）；Core Element Technology Development Center（核心元件技术开发中心）
人重新识别（re-ID）旨在从跨多个相机捕获的图像的大规模数据库中准确地重新检索人。现有的作品学习深度表示使用一个大的训练子集的独特的个人。然而，识别看不见的人对于一个好的re-ID算法至关重要。此外，人裁剪与检测误差或姿态变化之间的不对准导致差的特征匹配。在这项工作中，我们提出了一个融合的手工制作的功能和深特征表示学习使用多个身体部位，以补充全球身体特征，实现高性能的未看到的测试图像。姿态信息用于检测通过卷积神经网络（CNN）的身体区域以指导特征学习。最后，度量学习步骤使得能够在区分子空间上进行鲁棒的距离匹配。在VIPer、DukeMTMC-reID、Market-1501和CUHK 03等4个re-ID基准数据集上的实验结果表明，该方法在基于图像的个人身份重识别中达到了最佳性能.
2018-03-27 cs.CV
Deep learning and hand-crafted features for virus image classification
在这项工作中，我们提出了一个合奏的描述符的分类透射电子显微镜图像的病毒。我们建议将手工和深度学习方法结合起来进行病毒图像分类。该分类器集主要基于局部二值模式变量，对每个描述符训练不同的支持向量机，然后采用求和规则组合分类器集。深度学习方法是在ImageNet上预训练的densenet 201，然后在病毒数据集中进行调整，该网络用作特征提取器，用于馈送另一个支持向量机，特别是最后一个平均池化层用作特征提取器。最后，通过求和规则将手工特征训练的分类器和深度学习特征训练的分类器组合在一起。所提出的融合大大提高了每个独立的方法获得的性能，获得最先进的性能。
2020-12-13 cs.AI cs.CV
Late fusion of deep learning and hand-crafted features for Achilles tendon healing monitoring
University of Warsaw（华沙大学）；Warsaw University of Technology（华沙理工大学）；Carolina Medical Center（卡罗莱纳医疗中心）；Tooploox
跟腱的愈合过程评估通常是一个复杂的过程，依赖于生物力学和医学成像测试的组合。因此，诊断仍然是一项冗长而持久的任务。最近，引入了一种基于磁共振成像和深度学习的肌腱愈合自动评估的新方法。该方法利用修改后的预训练网络，PCA缩减空间和线性回归评估与治疗进展相关的六个参数。在本文中，我们提出了改进这种方法，将手工制作的功能。我们首先执行特征选择，以获得混合手工制作和深度学习预测器的最佳集合。使用approx。20，000个MRI切片，然后我们训练一个元回归算法来进行肌腱愈合评估。最后，我们评估的方法对有经验的放射科医生给出的分数。与以前的基线方法相比，我们的方法显着提高了所有六个参数的相关性评估。此外，我们的方法只使用一个MRI协议，并节省高达60%的数据采集所需的时间。
2019-09-11 cs.CV eess.IV
SR-R$^2$KAC: Improving Single Image Defocus Deblurring
Technical University of Munich（慕尼黑工业大学）
针对单图像散焦去模糊中难以处理大模糊的问题，提出SR-R$^2$KAC方法，通过递归堆叠空洞卷积模拟大逆核并引入恒等捷径缓解振铃伪影，结合尺度递归模块，实现了最先进的去模糊性能。
2023-07-30 cs.CV
Non-Redundant Combination of Hand-Crafted and Deep Learning Radiomics: Application to the Early Detection of Pancreatic Cancer
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI实验室）；Guerbet Research（盖尔贝特研究中心）；Department of Radiology, Hospital of Annecy-Genevois, Université de Paris（巴黎大学阿讷西-热内瓦医院放射科）；Sorbonne Université, CNRS, LIP6（索邦大学、法国国家科学研究中心、LIP6实验室）
本研究针对手工与深度学习放射组学特征冗余问题，通过VAE提取与手工特征互信息最小化的DLR特征，组合后用于胰腺癌早期检测，在独立测试集上实现了AUC提升。
2023-08-22 cs.CV cs.LG eess.IV
BaMBNet: A Blur-aware Multi-branch Network for Defocus Deblurring
Harbin Institute of Technology（哈尔滨工业大学）；Wuhan University（武汉大学）
有限的光圈尺寸和曝光时间引起的散焦去模糊是计算摄影中的一个重要问题。这是非常具有挑战性的，因为模糊核是空间变化的，难以估计的传统方法。由于卷积神经网络在底层任务上的巨大突破，它被引入到散焦去模糊问题中，并取得了重大进展。然而，它们对散焦模糊图像的不同区域应用相同的核，因此难以处理这些非均匀模糊图像。为此，本研究设计了一种新的模糊感知多分支网络（BaMBNet），其中不同的区域（具有不同的模糊量）应区别对待。特别地，我们通过DP数据的内部几何约束来估计不同区域的模糊量，该DP数据测量左右视图之间的散焦视差。基于不同模糊量的图像区域具有不同的去模糊难度的假设，我们利用具有不同容量（\emph{i.e.}参数）的不同网络来处理不同的图像区域。此外，我们引入了一个元学习散焦掩模生成算法来分配每个像素到一个适当的分支。通过这种方式，我们可以期望在恢复模糊区域的丢失细节的同时很好地保持清晰区域的信息。定量和定性实验都表明，我们的BaMBNet优于最先进的方法。源代码将在https://github.com/junjun-jiang/BaMBNet上提供。
2021-05-31 cs.CV eess.IV
Self-Supervised Spatially Variant PSF Estimation for Aberration-Aware Depth-from-Defocus
Tokyo Institute of Technology（东京工业大学）
针对真实相机空间变化PSF难以标定的问题，提出利用清晰/模糊图像对的自监督PSF估计方法，引入旋转对称假设、极坐标建模并处理对焦呼吸，提升DfD深度估计性能。
2024-02-28 cs.CV eess.IV
When does fusing hand-crafted knowledge with learned representations pay? A cost-normalized benchmark of stacking, substitution, and interference
Universitat de Barcelona（巴塞罗那大学）；Technical University of Munich（慕尼黑工业大学）；Universitat Pompeu Fabra（庞培法布拉大学）
该研究以成本归一化基准分析手工知识与学习表示融合的效果，发现三种结果并提出可预测端到端增益的分解式。
2026-08-24 cs.CV
End-to-End 3D Dense Captioning with Vote2Cap-DETR
Fudan University（复旦大学）；Tencent PCG（腾讯平台与内容事业群）；Sichuan University（四川大学）
3D密集字幕旨在生成与其相关联的对象区域定位的多个字幕。现有的方法遵循一个复杂的“检测然后描述”管道，配备了许多手工制作的组件。然而，这些手工制作的组件将产生次优的性能，给定杂乱的对象空间和不同场景之间的类分布。在本文中，我们提出了一个简单而有效的Transformer框架Vote 2Cap-DETR的基础上最近流行的\textbf{DE}保护\textbf{TR} ansformer（DETR）。与现有技术相比，我们的框架具有几个吸引人的优点：1）不诉诸于大量的手工制作的组件，我们的方法是基于一个完整的Transformer编码器-解码器架构，具有可学习的投票查询驱动的对象解码器，以及以集合预测方式产生密集字幕的字幕解码器。2)与两阶段方案相比，我们的方法可以在一个阶段中执行检测和字幕。3)在没有花里胡哨的情况下，在两个常用数据集ScanRefer和Nr 3D上进行的广泛实验表明，我们的Vote 2Cap-DETR在CIDEr@0.5IoU中分别超过了当前最先进的11.13%和7.11%。代码将很快发布。
2023-01-06 cs.CV
Nonuniform Defocus Removal for Image Classification
Delft University of Technology（代尔夫特理工大学）；Can Tho University（芹苴大学）；Flexible Optical B.V.
提出并研究了基于机器学习算法的单帧非等晕反卷积图像分类问题，即非均匀散焦去除（NDR）问题。对NDR问题进行了数学分析，提出了解决该问题的散焦消除算法。DR算法的全局收敛性建立在不施加任何不可验证的假设。仿真数据的数值结果显示DR的显着特点，包括可解性，噪声鲁棒性，收敛性，模型不敏感性和计算效率。实验数据验证了NDR问题的物理相关性和DR算法的实用性。回到应用程序，最初动机的NDR问题的调查，我们表明，DR算法可以提高使用卷积神经网络分类失真图像的准确性。本文的主要区别相比，大多数现有的单帧非等晕反卷积的工作是，新的方法不需要的数据图像分解成等晕子区域。因此，解决方案的方法划分成等晕区的图像是不适用于NDR问题和那些处理整个图像，如DR算法需要开发和分析。
2021-06-03 cs.CV eess.IV
Comparative Analysis of Hand-Crafted and Machine-Driven Histopathological Features for Prostate Cancer Classification and Segmentation
本文比较了手工特征（GLCM、LBP）与U-Net机器驱动特征在前列腺癌分类和分割中的表现，发现U-Net在分割质量上更优，而手工特征分类准确率最高达99.0%。
2025-01-19 cs.CV cs.LG eess.IV
Action Recognition with Trajectory-Pooled Deep-Convolutional Descriptors
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）
视频中的视觉特征对于人类行为理解至关重要。本文提出了一种新的视频表示，称为自动池深度卷积描述符（TDD），它具有手工制作的特征和深度学习特征的优点。具体来说，我们利用深度架构来学习有区别的卷积特征映射，并进行冗余约束池化，将这些卷积特征聚合成有效的描述符。为了增强TDDs的鲁棒性，我们设计了两种归一化方法来变换卷积特征图，即时空归一化和通道归一化。我们的特征的优点来自：（i）TDDs是自动学习的，与手工制作的特征相比，它具有较高的区分能力;（ii）TDDs考虑了时间维度的内在特征，并引入了随机约束采样和池化策略来聚合深度学习的特征。我们在两个具有挑战性的数据集上进行了实验：HMDB 51和UCF 101。实验结果表明，TDDs优于以前的手工制作的功能和深度学习的功能。我们的方法在这些数据集上也实现了优于现有技术的性能（HMDB 51 65.9%，UCF 101 91.5%）。
2015-05-19 cs.CV
Exact Blur Measure Outperforms Conventional Learned Features for Depth Finding
Passive Defence R&D Dept. Tech. Deputy of Iranian Railways（伊朗铁路技术副主管被动防御研发部）
基于精确模糊值的图像分析方法由于模糊测量误差而面临计算复杂性。这种氛围鼓励学者们寻找手工制作和学习的功能，以便从单个图像中找到深度。本文介绍了一种新的精确实现数字图像上的模糊措施，并实现了一个新的措施，散焦高斯模糊的边缘点的深度从散焦（DFD）的方法，有可能改变这种气氛。真实图像上的实验表明，所提出的措施在错误性能优于传统的学习功能，在国家的最先进的单图像为基础的深度估计方法。
2017-08-31 cs.CV
Visual descriptors for content-based retrieval of remote sensing images
Department of Informatics, Systems and Communication. University of Milano - Bicocca（米兰比可卡大学信息学、系统与传播系）
在本文中，我们提出了一个广泛的评价视觉描述符的遥感（RS）图像的基于内容的检索。评估包括全球手工制作，本地手工制作，和卷积神经网络（CNN）的功能，再加上四个不同的基于内容的图像检索方案。我们在两个公开的数据集上进行了所有实验：21级UC Merced土地利用/土地覆盖（土地利用）数据集和19级高分辨率卫星场景数据集（SceneSat）。遥感图像的内容可能是非常异构的，从包含细粒度纹理的图像，到粗粒度纹理的图像或包含对象的图像。因此，在该领域中，应该采用哪个描述符来描述具有这种可变性的图像是不明显的。结果表明，基于CNN的功能比全球和本地手工制作的功能，无论是检索方案。从SatResNet-50中提取的特征，一种适合在RS域上微调的残差CNN，比在多媒体场景和对象图像上预训练的残差CNN表现出更好的性能。从NetVLAD提取的特征，一个考虑CNN和局部特征的CNN，比其他CNN解决方案在包含细粒度纹理和对象的图像上效果更好。
2017-08-08 cs.CV
Person Re-identification: Past, Present and Future
University of Technology at Sydney（悉尼科技大学）；Carnegie Mellon University（卡内基梅隆大学）
由于其重要的应用和研究意义，身份再识别技术在社会上越来越受到重视。它的目的是在其他相机中发现感兴趣的人。在早期，手工制作的算法和小规模的评估主要是报告。近年来，出现了大规模数据集和利用大数据量的深度学习系统。考虑到不同的任务，我们将当前大多数re-ID方法分为两类，即，基于图像和基于视频;在这两项任务中，将审查手工制作和深度学习系统。此外，描述和讨论了两个更接近现实世界应用的新的re-ID任务，即，端到端的重新识别和快速重新识别在非常大的画廊。本文件：1）介绍了人的重新识别的历史及其与图像分类和实例检索的关系; 2）调查了广泛的手工制作的系统和基于图像和视频的重新识别的大规模方法; 3）描述了端到端的重新识别和大型画廊中的快速检索的关键未来方向; 4）最后简要介绍了一些重要但尚未开发的问题。
2016-10-10 cs.CV
Beyond Background-Aware Correlation Filters: Adaptive Context Modeling by Hand-Crafted and Deep RGB Features for Visual Tracking
Yazd University（亚兹德大学）；Sharif University of Technology（谢里夫理工大学）；University of Alberta（阿尔伯塔大学）
近年来，背景感知相关滤波器在视觉目标跟踪中得到了广泛的研究。然而，这些方法不能适当地建模的目标外观，由于手工制作的功能的剥削。另一方面，最近基于深度学习的视觉跟踪方法已经提供了具有竞争力的性能以及大量的计算。在本文中，提出了一种自适应的背景感知相关滤波器为基础的跟踪器，有效地模型的目标外观，通过使用直方图的方向梯度（HOG）或卷积神经网络（CNN）的特征图。该方法利用快速二维非最大值抑制（NMS）算法和语义信息比较来检测具有挑战性的情况。当基于HOG的响应图不可靠，或者上下文区域与先前区域具有低语义相似度时，所提出的方法构造CNN上下文模型以改善目标区域估计。此外，拒绝选项允许所提出的方法仅在有效区域上更新CNN上下文模型。在OTB-50、OTB-100、TC-128、UAV-123和VOT-2015数据集上的综合实验结果表明，与现有方法相比，所提出的自适应方法明显优于视觉目标跟踪的准确性和鲁棒性。
2021-09-29 cs.CV cs.LG eess.IV
Temporal Lift Pooling for Continuous Sign Language Recognition
Tianjin University（天津大学）
池化方法是现代神经网络增加感受野和降低计算成本的必要手段。然而，常用的手工汇集方法，例如，最大池化和平均池化可能不能很好地保留区别特征。虽然许多研究人员已经精心设计了空间域中的各种池化变体，以处理这些限制并取得了很大进展，但很少访问时间方面，其中直接应用手工制作的方法或这些专门的空间变体可能不是最佳的。在本文中，我们从信号处理中的提升方案推导出时间提升池（TLP），以智能地对不同时间层次的特征进行下采样。提升方案将输入信号分解为具有不同频率的各个子带，这些子带可以被视为不同的时间运动模式。我们的TLP是一个三阶段的过程，它执行信号分解，分量加权和信息融合，以生成一个细化的缩小的特征映射。我们选择了一个典型的长序列时间任务，即连续手语识别（CSLR），作为我们的测试床，以验证TLP的有效性。在两个大规模数据集上的实验表明，TLP的性能优于手工制作的方法和专门的空间变量，具有类似的计算开销。作为一个鲁棒的特征提取器，TLP在不同数据集上的多个骨干上表现出很好的泛化能力，并在两个大规模CSL数据集上取得了新的最先进的结果。可视化进一步展示了TLP在校正光泽边界方面的机制。代码被释放。
2022-07-18 cs.CV
MSN: Multi-directional Similarity Network for Hand-crafted and Deep-synthesized Copy-Move Forgery Detection
State Key Laboratory of Software Development Environment, Beihang University（软件开发环境国家重点实验室，北京航空航天大学）；Institute of Artificial Intelligence, Beihang University（人工智能研究院，北京航空航天大学）；State Key Laboratory of Information Security, Institute of Information Engineering, Chinese Academy of Sciences（信息安全部国家重点实验室，信息工程研究所，中国科学院）
本文提出多方向相似性网络（MSN）用于检测手工制作和深度合成的拷贝移动伪造，通过改进的表示和定位方法提升检测效果。
2025-12-08 cs.CV
Learning Fine-grained Image Similarity with Deep Ranking
Northwestern University（西北大学）；Google Inc.（谷歌公司）；California Institute of Technology（加州理工学院）
学习细粒度图像相似性是一项具有挑战性的任务。它需要捕捉类间和类内的图像差异。本文提出了一种基于深度学习技术的深度排序模型，该模型直接从图像中学习相似性度量，比基于手工特征的模型具有更高的学习能力。提出了一种新的多尺度网络结构来有效地描述图像。提出了一种有效的三重采样算法来学习具有分布随机梯度的模型。大量的实验表明，该算法优于基于手工制作的视觉特征和深度分类模型的模型。
2014-04-17 cs.CV
Unsupervised Brain Tumor Segmentation with Image-based Prompts
Beijing Institute of Technology（北京理工大学）；Capital Medical University（首都医科大学）；Beijing Tiantan Hospital（北京天坛医院）
提出基于图像提示的无监督脑肿瘤分割方法PL-BTS及改进版PL-BTS+，通过人工生成肿瘤样信号训练模型并引入验证任务监控过拟合，在公开和内部数据集上显著优于竞争方法。
2023-04-04 cs.CV
Exploring Body Texture from mmW Images for Person Recognition
Rutgers University（罗格斯大学）
使用毫米波（mmW）的成像具有许多优点，包括穿透诸如衣服和聚合物的遮蔽物的能力。在探索了从毫米波图像中检索的形状信息进行人员识别后，在这项工作中，我们的目标是获得一些洞察力的潜力，使用毫米波纹理信息用于相同的任务，不仅考虑毫米波的脸，但也毫米波躯干和毫米波全身。我们使用mmW TNO数据库报告实验结果，该数据库由50个个体组成，基于Alexnet和VGG面部预训练卷积神经网络（CNN）模型的手工制作和学习特征。首先，我们分析了三个mmW身体部位的个体性能，得出以下结论：i）mmW躯干区域比mmW面部和整个身体更具区分力，ii）与mmW面部和整个身体上的手工特征相比，CNN特征产生更好的结果，以及iii）手工特征在mmW躯干上的表现略优于CNN特征。在这项工作的第二部分中，我们分析了不同的多算法和多模态技术，包括一种新的基于CNN的融合技术，将验证结果提高到2%EER，识别秩1结果高达99%。还报告了在可见光和近红外光谱带中与毫米波体型信息和人脸识别的比较分析。
2022-03-27 cs.CV
Discriminant Patch Representation for RGB-D Face Recognition Using Convolutional Neural Networks
Sfax University（斯法克斯大学）；Digital Research Center of Sfax（斯法克斯数字研究中心）
本文的重点是设计数据驱动的模型，学习判别表示空间的人脸识别使用RGB-D数据。与手工制作的表示不同，学习模型可以从数据中提取和组织判别信息，并可以自动适应以更快地构建新的计算视觉应用程序。提出了一种有效的训练卷积神经网络学习人脸块判别特征的方法。所提出的解决方案在最先进的RGB-D数据集上进行了测试和验证，并显示出相对于标准手工特征提取器的竞争力和有前途的结果。
2018-12-17 cs.CV
Learning Interpretable Queries for Explainable Image Classification with Information Pursuit
LMU Munich（慕尼黑大学）；AWS AI Labs（AWS人工智能实验室）；University of Pennsylvania（宾夕法尼亚大学）；Technical University of Munich（慕尼黑技术大学）；Munich Center of Machine Learning（慕尼黑机器学习中心）
本文提出从数据集中直接学习可解释查询字典，替代手工构建，利用CLIP潜在空间和稀疏字典学习算法，显著提升可解释图像分类性能。
2025-08-05 cs.CV
A Similarity Paradigm Through Textual Regularization Without Forgetting
Shanghai Jiao Tong University（上海交通大学）；Hong Kong Baptist University（香港浸会大学）；Northeastern University（东北大学）；University of Science and Technology of China（中国科学技术大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本文提出带文本正则化的相似性范式SPTR，通过最优传输正则化和自然/对抗对齐分数，缓解提示学习中的遗忘问题并提升泛化能力，在11个数据集上优于现有方法。
2025-06-03 cs.CL cs.CV
No Fear of the Dark: Image Retrieval under Varying Illumination Conditions
Czech Technical University in Prague（捷克理工大学）
图像检索在不同的照明条件下，如白天和夜晚的图像，解决了图像预处理，手工制作和学习。在通过卷积神经网络提取图像描述符之前，对图像进行光度标准化，以降低描述符对照明变化的敏感度。我们提出了一种基于U-Net架构的可学习的归一化，该架构是在单相机多次曝光图像和新构建的昼夜地标相似视图集合的组合上进行训练的。我们的实验表明，基于局部直方图均衡化的手工归一化和可学习的归一化在不同的照明条件下都优于标准方法，同时与日光照明基准（如牛津或巴黎数据集）上的最先进方法保持一致。
2019-08-23 cs.CV
Image aesthetic evaluation using paralleled deep convolution neural network
South China University of Technology（华南理工大学）
图像审美评价是近年来备受关注的一个问题。图像审美评价方法在很大程度上依赖于图像的有效审美特征。传统的方法总是提取手工特征。然而，这些手工特征通常是针对特定数据集设计的，并且它们的提取需要特殊的设计。本文首次采用基于深度卷积神经网络（DCNN）的美学特征自动学习方法，而不是手工提取特征。众所周知，当训练数据集给定时，复杂度较高的DCNN架构可能会遇到过拟合问题。另一方面，低复杂度的DCNN架构无法有效地提取有效特征。出于这些原因，我们进一步提出了一种具有多级结构的卷积卷积神经网络（PDCNN），以自动适应训练数据集。实验结果表明，我们提出的PDCNN架构实现了更好的性能比其他传统的方法。
2015-05-20 cs.CV cs.MM
Deep Network Flow for Multi-Object Tracking
NEC Laboratories America（美国NEC实验室）
数据关联问题是许多计算机视觉应用的重要组成部分，多目标跟踪是最突出的例子之一。数据关联的一种典型方法是找到一个图匹配或网络流，使成对关联成本之和最小化，这些成本通常是手工制作的，或者是作为固定特征的线性函数学习的。在这项工作中，我们证明了它是可以学习功能的网络流为基础的数据关联通过反向传播，通过表达的最佳平滑网络流问题作为一个可微函数的成对关联成本。我们将这种方法应用于多目标跟踪与网络流配方。我们的实验表明，我们能够以端到端的方式成功地学习关联问题的所有成本函数，在所有设置中都优于手工制作的成本。各种输入源的集成和组合变得容易，成本函数可以完全从数据中学习，减轻了繁琐的手工成本设计。
2017-06-26 cs.CV
Continuous Geodesic Convolutions for Learning on 3D Shapes
Stanford University（斯坦福大学）
非刚性形状的几何处理的大多数基于矢量的方法依赖于手工制作的描述符。最近，基于学习的技术已被证明是有效的，在各种任务中取得了最先进的成果。然而，尽管这些方法原则上可以直接在原始数据上工作，但大多数方法仍然依赖于输入层的手工描述符。在这项工作中，我们希望挑战这种做法，并使用神经网络直接从原始网格学习描述符。为此，我们在神经架构中引入了两个模块。首先是一个局部参考框架（LRF），用于明确地使刚性变换不变的功能。第二种是连续卷积核，它为采样提供了鲁棒性。我们展示了我们提出的网络在使用两个基础任务学习原始网格方面的功效：形状匹配和人体部位分割。我们的研究结果显示优于基线方法，使用手工制作的描述符。
2020-02-06 cs.CG cs.CV
Boundary Aware Multi-Focus Image Fusion Using Deep Neural Network
Tsinghua University（清华大学）
由于通常难以直接捕获3D场景的全聚焦图像，因此采用各种多聚焦图像融合方法来从聚焦在不同深度的多个图像生成全聚焦图像。然而，现有的方法的性能是勉强令人满意的，往往降低聚焦/散焦边界（FDB）附近的地区。本文提出了一种利用深度神经网络的边界感知方法来克服这个问题。(1)为了获得更好的融合图像，提出了一种双通道深度网络，以更好地提取两幅源图像的相对散焦信息。(2)在分析了补丁远离和靠近FDB的不同情况后，我们分别使用两个网络来处理它们。(3)为了更精确地模拟现实，设计了一种新的数据集生成方法。实验表明，该方法优于国家的最先进的方法，定性和定量。
2019-03-30 cs.CV
Automatic Design of CNNs via Differentiable Neural Architecture Search for PolSAR Image Classification
Harbin Institute of Technology（哈尔滨工业大学）
卷积神经网络（CNN）在极化合成孔径雷达（PolSAR）图像分类中表现出良好的性能，这是由于特征工程的自动化。CNN的优秀手工架构融合了人类专家的智慧，这是CNN成功的重要原因。然而，体系结构的设计是一个困难的问题，它需要大量的专业知识以及计算资源。此外，手工设计的架构可能是次优的，因为它只是数千条未观察到但客观存在的路径之一。考虑到深度学习的成功很大程度上是由于其特征工程过程的自动化，如何设计自动架构搜索方法来取代手工制作的方法是一个有趣的话题。本文首次探索了神经结构搜索在极化SAR领域的应用。不同于现有的NAS方法的利用，我们提出了一个可区分的架构搜索（DAS）的方法，这是定制的PolSAR分类。建议DAS配备了PolSAR定制的搜索空间和改进的一次性搜索策略。通过DAS，在训练过程中可以通过随机梯度下降方法优化权值参数和结构参数（对应于超参数而不是拓扑）。将优化后的结构参数转化为相应的CNN结构并重新训练，实现高精度的PolSAR分类。此外，复值DAS的发展，以考虑到极化SAR图像的特点，以进一步提高性能。在三个PolSAR基准数据集上的实验表明，通过搜索得到的CNN比手工构建的CNN具有更好的分类性能。
2019-11-19 cs.CV
Collaborative Descriptors: Convolutional Maps for Preprocessing
AIST（产业技术综合研究所）；Tokyo Denki University（东京电机大学）
本文提出了一个新的概念，深入学习和手工制作的功能之间的协作描述符。为了实现这一概念，我们将卷积映射应用于预处理，即卷积映射用作手工特征的输入。从灰度输入到卷积映射，我们记录了+17.06%（多类对象识别）和+24.71%（汽车检测）的性能增长率。虽然框架是直接的，但应该继承这个概念以改进表示。
2017-05-10 cs.CV cs.LG
Pushing the Limits of Deep CNNs for Pedestrian Detection
University of Adelaide（阿德莱德大学）；NICTA（国家信息与通信技术研究院）
与计算机视觉中的其他应用相比，卷积神经网络在行人检测方面表现不佳。最近通过使用复杂的深度CNN模型取得了突破，该模型具有许多手工制作的功能或显式遮挡处理机制。在这项工作中，我们表明，通过重新使用深度卷积神经网络（DCNN）模型的卷积特征映射（CFM）作为图像特征来训练增强决策模型的集合，我们能够在不使用专门设计的学习算法的情况下实现最佳报告准确度。我们根据经验确定并披露重要的实施细节。我们还表明，像素标记可以简单地与检测器相结合，以提高检测性能。通过添加互补的手工制作的特征，例如光流，可以进一步改进基于DCNN的检测器。我们在加州理工学院的行人数据集上创造了一个新的记录，将对数平均错过率从$11.7\%$降低到$8.9\%$，相对于$24\%$来说是一个改进。我们还实现了与KITTI数据集上的最先进方法相当的结果。
2016-06-06 cs.CV
AM-LFS: AutoML for Loss Function Search
SenseTime Group Limited（商汤集团有限公司）；The University of Sydney（悉尼大学）
设计一个有效的损失函数在可视化分析中起着重要的作用。大多数现有的损失函数设计依赖于手工制作的算法，需要领域专家探索大的设计空间，这通常是次优的和耗时的。在本文中，我们提出了AutoML的损失函数搜索（AM-LFS），它利用REINFORCE搜索损失函数在训练过程中。这项工作的关键贡献是设计的搜索空间，可以保证在不同的视觉任务的推广和可移植性，包括一堆现有的流行损失函数在一个统一的制定。我们还提出了一个有效的优化框架，可以在训练过程中动态优化损失函数的分布参数。在四个基准数据集上的广泛实验结果表明，在没有任何技巧的情况下，我们的方法在各种计算机视觉任务中的性能优于现有的手工制作的损失函数。
2019-08-14 cs.CV
A Comparative Study of Computational Aesthetics
Georgia Institute of Technology（佐治亚理工学院）
客观度量通过量化图像退化或估计感知图像质量来建模图像质量。然而，图像质量指标并不对使图像更吸引人或更美丽的因素进行建模。为了量化图像的美感，我们需要更进一步，对美感的感知进行建模。在本文中，我们研究计算美学模型，使用手工制作的，通用的和混合的描述符。我们表明，通用描述符可以执行以及最先进的手工制作的美学模型，使用全球功能。然而，当我们只使用全局特征而不考虑空间组成或分布时，通用或手工制作的特征都不足以建模美学。我们还遵循了一个视觉字典的方法类似的最先进的方法，并表明，它的表现不佳，没有空间金字塔的步骤。
2018-11-19 cs.CV cs.MM eess.IV
Learning Multi-level Deep Representations for Image Emotion Classification
University of Sydney（悉尼大学）
在本文中，我们提出了一种新的深度网络，它可以学习图像情感分类的多层深度表示（MldrNet）。图像情感可以通过图像语义、图像美学和低层视觉特征从全局和局部两个角度进行识别。现有的基于手工特征或深度特征的图像情感分类方法主要集中在低层视觉特征或语义层图像表示上，没有综合考虑所有因素。MldrNet结合了不同层次的深层表示，即图像语义，图像美学和低层视觉特征，以有效地分类不同类型的图像，如抽象绘画和Web图像的情感类型。在互联网图像和抽象画上的大量实验表明，该方法优于使用深度特征或手工特征的最先进方法。所提出的方法也优于国家的最先进的方法，至少有6%的整体分类精度方面的性能提高。
2018-09-25 cs.CV
Deep Motion Features for Visual Tracking
Linköping University（林雪平大学）
鲁棒视觉跟踪是计算机视觉中一个具有挑战性的问题，有着广泛的应用前景。大多数现有的方法采用手工制作的外观特征，如HOG或颜色名称。最近，从卷积神经网络提取的深度RGB特征已成功应用于跟踪。尽管他们的成功，这些功能只捕捉外观信息。另一方面，运动提示提供了可以提高跟踪性能的鉴别和补充信息。与视觉跟踪相反，深度运动特征已成功应用于动作识别和视频分类任务。通常，通过在从大量标记视频提取的光流图像上训练CNN来学习运动特征。本文提出了一种调查的影响，深层运动功能的跟踪检测框架。我们进一步表明，手工制作，深RGB和深运动功能包含互补信息。据我们所知，我们是第一个提出融合外观信息与深度运动特征的视觉跟踪。综合实验清楚地表明，我们的深度运动特征融合方法优于仅依赖外观信息的标准方法。
2016-12-20 cs.CV
Blind Image Deconvolution Using Variational Deep Image Prior
University of Alberta（阿尔伯塔大学）
针对盲图像反卷积中DIP网络架构约束不足的问题，本文提出VDIP，结合手工图像先验与逐像素分布建模以避免次优解，并在基准数据集上取得优于原始DIP的图像质量。
2023-06-06 cs.CV eess.IV
SCNet: Learning Semantic Correspondence
The University of Hong Kong（香港大学）；Inria（法国国家信息与自动化研究所）；Department of Computer Science, ENS / CNRS / PSL Research University（巴黎高等师范学院 / 法国国家科学研究中心 / 巴黎文理研究大学计算机科学系）；Yonsei Univ.（延世大学）；POSTECH（浦项科技大学）；Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔理工学院、让·昆兹曼实验室）
本文讨论的问题，建立语义之间的对应关系的图像描绘不同的情况下，相同的对象或场景类别。以前的方法专注于将空间正则化器与手工制作的特征相结合，或者只学习外观的对应模型。相反，我们提出了一个卷积神经网络架构，称为SCNet，用于学习语义对应的几何合理模型。SCNet使用区域建议作为匹配基元，并显式地将几何一致性纳入其损失函数。它是在从PASCAL VOC 2007关键点数据集获得的图像对上进行训练的，对几个标准基准的比较评估表明，所提出的方法大大优于最近的深度学习架构和以前基于手工特征的方法。
2017-08-17 cs.CV
Tracklet Association Tracker: An End-to-End Learning-based Association Approach for Multi-Object Tracking
Tsinghua Univeristy（清华大学）；Horizon Robotics（地平线机器人）
传统的多目标跟踪方法将任务分为两部分：相似度学习和数据关联。任务的分离需要在亲和学习阶段定义一个手工制作的训练目标，并在数据关联阶段定义一个手工制作的成本函数，这阻止了跟踪目标直接从特征中学习。本文提出了一种基于数据驱动关联的多目标跟踪框架，称为Tracklet关联跟踪器（TAT）。该框架旨在通过一个双层优化公式将特征学习和数据关联结合为一体，从而可以直接从特征中学习关联结果。为了提高性能，我们还采用了流行的层次关联，并执行必要的对齐和选择原始检测响应。我们的模型训练速度比类似方法快20倍以上，并在MOT2016和MOT2017基准测试中实现了最先进的性能。
2018-08-05 cs.CV
A Deep Hashing Learning Network
Ocean University of China（中国海洋大学）
基于散列的方法寻求紧凑且高效的二进制代码，以保留原始数据空间中的邻域结构。对于大多数现有的散列方法，图像首先被编码为手工制作的视觉特征的向量，然后通过散列投影和量化步骤得到紧凑的二进制向量。大多数手工特征只是对输入的低层信息进行编码，可能无法保持图像对的语义相似性。同时，散列函数学习过程与特征表示无关，因此特征对于散列投影可能不是最优的。在本文中，我们提出了一种基于设计良好的深度卷积神经网络的监督哈希方法，该方法试图同时学习哈希代码和数据的紧凑表示。该模型通过在丢失层之前增加一个紧凑的sigmoid层来学习二进制码。在多个图像数据集上的实验表明，该模型的性能优于其他最先进的方法。
2015-07-16 cs.CV
MRI Brain Tumor Segmentation using Random Forests and Fully Convolutional Networks
School of Computer Science, University of Lincoln（林肯大学计算机科学学院）；National Heart & Lung Institute, Imperial College London（帝国理工学院国家心肺研究所）
在本文中，我们提出了一种新的基于学习的方法自动分割脑肿瘤的多模态MRI图像，它结合了两套机器学习和手工制作的功能。全卷积网络（FCN）形成机器学习的特征，基于纹理基元的特征被认为是手工制作的特征。随机森林（RF）用于将MRI图像体素分类为正常脑组织和肿瘤的不同部分，即水肿、坏死和增强肿瘤。在BRATS 2017挑战数据集上评价了该方法。结果表明，该方法提供了有前途的分割。对于整个肿瘤、核心和增强肿瘤，针对地面实况的自动脑肿瘤分割的平均Dice重叠度量分别为0.86、0.78和0.66。
2019-09-13 cs.CV
Video retrieval based on deep convolutional neural network
Beijing Institution of Technology（北京理工大学）
近年来，随着网络视频的迅猛增长，快速视频检索的研究受到越来越多的关注。作为图像哈希技术的扩展，传统的视频哈希方法主要依赖于手工制作的特征，并将实值特征转换为二进制哈希码。由于视频提供的视觉信息远比图像丰富和复杂，因此从视频中提取特征比从图像中提取特征更具挑战性。因此，需要高级语义特征来表示视频，而不是低级手工制作的方法。本文提出了一种深度卷积神经网络来提取高层语义特征，然后将二进制哈希函数集成到该框架中以实现端到端的优化。特别地，我们的方法还结合了三元组损失函数，它保留了视频和分类损失函数的相对相似性和差异作为优化目标。在两个公开数据集上进行了实验，结果表明，与其他最先进的视频检索方法相比，我们提出的方法的优越性。
2017-12-01 cs.CV
