PVSNet: Palm Vein Authentication Siamese Network Trained using Triplet Loss and Adaptive Hard Mining by Learning Enforced Domain Specific Features
Indian Institute of Technology Mandi（印度理工学院曼迪分校）；Indian Institute of Technology Indore（印度理工学院印多尔分校）
设计一个端到端的深度学习网络来匹配具有有限训练样本的生物特征是一项极具挑战性的任务。为了解决这个问题，我们提出了一种设计端到端深度CNN框架的新方法，即，PVSNet分为两个主要步骤：首先，编码器-解码器网络用于学习生成域特定特征，然后是Siamese网络，其中卷积层以无监督方式预先训练为自动编码器。所提出的模型是通过三重损失函数，调整学习特征嵌入的方式，最大限度地减少嵌入对之间的距离，从同一主题和最大限度地提高与来自不同主题的距离，与利润。特别地，已经提出了使用基于自适应余量的硬否定挖掘的三重连体匹配网络。与训练策略相关的超参数（如自适应裕度）已被调整，以使学习在生物特征数据集上更有效。在广泛的实验中，所提出的网络在三种类型的典型静脉数据集上的性能优于大多数现有的深度学习解决方案，这清楚地证明了我们所提出的方法的有效性。
2018-12-15 cs.CV
Acceleration of Large Margin Metric Learning for Nearest Neighbor Classification Using Triplet Mining and Stratified Sampling
University of Waterloo（滑铁卢大学）
度量学习是流形学习中的一种技术，其目标是找到一个投影子空间，分别用于增加和减少类间和类内方差。一些度量学习方法基于具有锚正负三元组的三元组学习。最近邻分类的大间隔度量学习是实现这一目标的基本方法之一。最近，已经引入了具有三重态损失的连体网络。许多三元组挖掘方法已被开发的暹罗网络，然而，这些技术还没有被应用于最近邻分类的大间隔度量学习的三元组。在这项工作中，受连体网络挖掘方法的启发，我们提出了几种用于大间隔度量学习的三元组挖掘技术。此外，一个分层的方法，提出了加速和可扩展性的优化，其中三元组选择分层超球分层抽样。我们分析了三个公开可用的数据集，即，Fisher Iris、ORL Faces和MNIST数据集。
2020-09-29 cs.CV cs.LG stat.ML
Instance-level Sketch-based Retrieval by Deep Triplet Classification Siamese Network
素描作为一种有效的交际工具，被用来表达事物的抽象和直观的意义。手绘草图的识别在许多实际应用中是非常有用的。虽然基于内容的草图识别已经研究了几十年，基于草图的图像检索（SBIR）任务的实例级最近引起了显着的研究关注。现有的数据集，如QMUL-Chair和QMUL-Shoe，专注于椅子和鞋子的检索任务。然而，在以前的实例级SBIR工作中有几个关键的限制。最先进的作品在很大程度上依赖于预训练过程，边缘图的质量，多重裁剪测试策略，以及增强草图图像。为了有效地解决实例级SBIR，我们提出了一种新的深度三元组分类连体网络（DeepTCNet），该网络采用DenseNet-169作为基本特征提取器，并通过三元组损失和分类损失进行了优化。关键是，我们提出的DeepTCNet可以打破以前作品中存在的局限性。在五个基准草图数据集上的实验验证了该模型的有效性。此外，为了研究基于草图的发型检索任务，本文提出了一个新的实例级照片-草图数据集- Hairstyle Photo-Sketch数据集，它由3600张草图和照片以及2400个草图-照片对组成。
2019-05-25 cs.CV
Siamese Network Training Using Artificial Triplets By Sampling and Image Transformation
这项工作中使用的设备使用两个热成像摄像机检测水面上的物体，这有助于用户在人眼无法检测和避免物体的情况下（夜晚，雾等）。为了自主避免障碍物碰撞，需要实时跟踪物体，并为每个物体分配特定的身份以确定其动态（轨迹，速度等）。用于进行碰撞预测。在接下来的工作中，使用TensorFlow作为Python中的高级编程环境，使用称为卷积神经网络（CNN）的计算机视觉（CV）的机器学习（ML）方法。为了验证算法，使用在工作期间创建的注释工具生成测试集，以进行适当的评估。一旦得到验证，该算法就被部署在平台上，并使用测试船生成的序列进行测试。
2021-09-26 cs.AI cs.CV
Exemplar Loss for Siamese Network in Visual Tracking
视觉跟踪是感知系统的重要组成部分，是智能交通的重要组成部分。近年来，暹罗网络以其结构简单、精度高等优点成为视觉跟踪的研究热点。一般情况下，在逻辑损失和三重损失的监督下，Siamese跟踪算法会增加样本模板与阳性样本的内积值，而减少样本与背景样本的内积值。然而，上述损失函数没有考虑来自不同样本的干扰项，这限制了特征模型的区分度。本文提出了一种新的与逻辑损失相结合的样本损失，通过减少样本之间的内积来增强特征模型的区分度。没有花里胡哨的东西，所提出的算法优于由逻辑损失或三元组损失监督的方法。数值结果表明，新开发的算法在公共基准测试中达到了相当的性能。
2020-10-04 cs.CV
A Deep Four-Stream Siamese Convolutional Neural Network with Joint Verification and Identification Loss for Person Re-detection
Queensland University of Technology (QUT)（昆士兰科技大学）
采用基于三元组的深度网络的现有技术的人员重新识别系统遭受较差的泛化能力。在本文中，我们提出了一个四流连体深度卷积神经网络的人重新检测，共同优化验证和识别损失超过四个图像输入组。具体而言，所提出的方法克服了典型的三重配方的弱点，通过使用具有两个匹配（即相同的身份）和两个不匹配的图像的四个图像的组。这使我们能够在学习的特征空间中共同增加类间变化并减少类内变化。所提出的方法还优化了识别和验证损失，进一步最小化类内变化和最大化类间变化，提高整体性能。在VIPeR、CUHK01、CUHK03和PRID2011四个具有挑战性的数据集上进行的大量实验表明，该方法具有最佳的性能。
2018-12-21 cs.CV
Single Morphing Attack Detection using Siamese Network and Few-shot Learning
Hochschule Darmstadt（达姆施塔特应用科学大学）；TOC Biometrics Company（TOC生物识别公司）
人脸变形攻击的检测是一个具有挑战性的，并提出了一个具体的和严重的威胁，人脸验证系统。可靠的检测机制，这种攻击，已经测试了一个强大的跨数据库协议和未知的变形工具仍然是一个研究挑战。本文提出了一种基于Few-Shot-Learning方法的框架，该框架利用三重半硬丢失的siamese网络来共享图像信息，以解决变形攻击检测问题并提高聚类分类过程。该网络将真实或潜在变形的图像与变形和真实面部图像的三元组进行比较。我们的研究结果表明，这种新的网络聚类的数据点，并将它们分配到类，以获得较低的相等的出错率在一个跨数据库的情况下，共享只有少量的图像编号从一个未知的数据库。少样本学习有助于促进学习过程。使用FRGCv 2训练的交叉数据集并使用FERET和AMSL开放访问数据库进行测试的实验结果将BPCER 10从43%降低到4.91%，使用ResNet 50和MobileNetV 2的BPCER 10降低到5.50%。
2022-06-22 cs.CV
MedKLIP: Medical Knowledge Enhanced Language-Image Pre-Training in Radiology
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出MedKLIP框架，通过三元组提取与知识库增强的编码模块融合医学图像与文本报告，在多个公共基准的零样本和微调任务中提升了疾病分类与定位性能。
2023-04-03 cs.CL cs.CV eess.IV
One-Shot Learning with Triplet Loss for Vegetation Classification Tasks
Joint Institute for Nuclear Research（联合核子研究所）；ITMO University（ITMO大学）
三重损失函数是可以显著提高单次学习任务的准确性的选项之一。从2015年开始，许多项目使用Siamese网络和这种损失进行人脸识别和对象分类。在我们的研究中，我们专注于与植被相关的两个任务。第一个是五种作物（葡萄、棉花、小麦、黄瓜和玉米）的25类植物病害检测。这项任务的动机是，疾病造成的收成损失对大型农业结构和农村家庭都是一个严重问题。第二个任务是苔藓种类（5类）的鉴定。苔藓是污染物的天然生物载体;因此，它们被用于环境监测计划。藓类植物的种类鉴定是样品前处理的重要环节。在这两项任务中，我们使用了自我收集的图像数据库。我们尝试了几种深度学习架构和方法。我们的Siamese网络架构与三重损失函数和MobileNetV 2作为基础网络在上述两个任务中表现出最令人印象深刻的结果。植物病害检测的平均准确率达97.8%以上，苔藓种类分类的平均准确率达97.6%。
2021-01-15 cs.CV
Deep metric learning using Triplet network
Technion Israel Institute of Technology（以色列理工学院）
深度学习已经证明自己是一组成功的模型，用于学习有用的数据语义表示。然而，这些大多是作为分类任务的一部分而隐性学习的。在本文中，我们提出了三重网络模型，其目的是通过距离比较来学习有用的表示。Wang et al.（2014）定义了一个类似的模型，专门用于学习图像信息检索的排名。在这里，我们使用各种数据集证明，我们的模型比其直接竞争对手Siamese网络学习到更好的表示。我们还讨论了未来可能使用的无监督学习的框架。
2018-12-04 cs.CV cs.LG stat.ML
Generalized Contrastive Optimization of Siamese Networks for Place Recognition
University of Groningen（格罗宁根大学）；University of Twente（特文特大学）
针对视觉地点识别中二元相似性标注及复杂样本挖掘问题，提出连续相似性 GCL 与自动重标注技术，提升孪生 CNN 性能并实现良好跨数据集泛化。
2023-04-20 cs.CV
Impact of Data Breadth and Depth on Performance of Siamese Neural Network Model: Experiments with Three Keystroke Dynamic Datasets
Clarkson University（克拉克森大学）；University of Virginia（弗吉尼亚大学）；Georgia Tech（佐治亚理工学院）；College of Computing, Georgia Tech（佐治亚理工学院计算学院）
本研究通过三个公开击键数据集实验，探究数据广度与深度对孪生神经网络性能的影响，发现增加广度可提升模型捕捉受试者间差异的能力，深度影响则依数据集类型而异，为行为生物识别模型训练和身份验证系统设计提供参考。
2025-01-10 cs.CV cs.LG stat.ML
PoshakNet: Framework for matching dresses from real-life photos using GAN and Siamese Network
Indian Institute of Technology, Mandi（曼迪印度理工学院）
近年来，网上服装购物吸引了许多顾客。使用关键字描述一件衣服并不总是产生正确的结果，这反过来又导致客户的不满。基于视觉搜索的系统将对该行业产生巨大的好处。因此，我们提出了一个框架，可以检索类似的衣服，可以在图像中找到。第一个任务是从输入图像（街道照片）中提取服装。有各种各样的挑战，包括姿势，照明和背景杂波。我们使用生成对抗网络来检索图像中的人所穿的衣服。事实证明，尽管存在街头照片的挑战，但GAN可以非常有效地检索服装。最后，一个基于暹罗的匹配系统将检索到的衣服图像与数据集中的衣服进行匹配，得到前k个匹配。我们将预先训练好的inception-ResNet v1模块作为一个连体网络（使用三重损失进行人脸检测训练），并使用中心损失在购物数据集上对其进行微调。数据集已在内部收集。为了训练GAN，我们使用LookBook数据集，该数据集可通过网络获得。
2019-11-11 cs.CV
Localizing and Orienting Street Views Using Overhead Imagery
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们的目标是确定地面查询图像的位置和方向匹配的参考数据库的开销（如卫星）图像。在这项任务中，我们收集了一个新的数据集，其中包含从美国11个城市采样的100万对街景和头顶图像。我们探索了几种用于跨域匹配的深度CNN架构-分类，混合，暹罗和三重网络。分类和混合架构是准确的，但速度很慢，因为它们只允许部分特征预计算。我们提出了一个新的损失函数，显着提高了暹罗和三重嵌入网络的准确性，同时保持其适用于大规模的检索任务，如图像地理定位。这个图像匹配任务是具有挑战性的，不仅是因为地面和头顶图像之间的巨大视点差异，而且因为街景的方向（即方位角）是未知的，使得对应更加困难。尽管如此，我们还是研究了几种匹配机制--训练旋转不变性，在查询时对可能的旋转进行采样，以及用我们的深度网络明确预测地面和头顶图像的相对旋转。事实证明，明确的方向监督也提高了位置预测的准确性。我们的最佳性能架构的准确度大约是常用的暹罗网络基线的2.5倍。
2017-03-22 cs.CV
T-UNet: Triplet UNet for Change Detection in High-Resolution Remote Sensing Images
Wuhan University（武汉大学）
本文提出三分支编码器网络T-UNet，同时提取前后时相目标特征与变化特征，并通过MBSSCA模块及通道与空间注意力机制提升高分辨率遥感影像变化检测精度。
2023-08-04 cs.CV eess.IV
Measuring Similarity between Artistic and AI Generated Images using Siamese Neural Networks
Instituto Politécnico Nacional（墨西哥国家理工学院）
该研究针对AI生成艺术可能抄袭原作的问题，采用带冻结CLIP编码器的孪生网络，构建配对图像数据集，实现99.4%测试准确率，证明语义-视觉嵌入的有效性。
2026-09-01 cs.AI cs.CV
TriBYOL: Triplet BYOL for Self-Supervised Representation Learning
Hokkaido University（北海道大学）
本文提出了一种新的自监督学习方法，学习更好的小批量表示。许多基于某种形式的连体网络的自监督学习方法已经出现并受到了极大的关注。然而，这些方法需要使用大批量来学习良好的表示，并需要大量的计算资源。我们提出了一个新的三重网络结合三重视图损失，以提高性能的自监督表示学习与小批量。实验结果表明，在小批量情况下，我们的方法在多个数据集上的性能可以大大优于最先进的自监督学习方法。我们的方法提供了一个可行的解决方案，自监督学习与现实世界的高分辨率图像，使用小批量。
2022-06-07 cs.AI cs.CV
Intelligent Repetition Counting for Unseen Exercises: A Few-Shot Learning Approach with Sensor Signals
Soongsil University（崇实大学）；Sungkyunkwan University（成均馆大学）
针对训练未见过的运动的重复计数难题，提出基于深度度量小样本学习与孪生网络的IMU信号计数方法，在28种运动中实现86.8%的单组十次以上准确计数概率，可泛化至全新运动，适用于健身与医疗场景。
2024-10-09 cs.LG
Deep Fusion Siamese Network for Automatic Kinship Verification
University of Science and Technology of China（中国科学技术大学）
自动亲属关系验证旨在确定某些个体是否属于同一家庭。帮助失踪人员与家人团聚具有重要的研究意义。在这项工作中，具有挑战性的问题是逐步解决在两个方面。首先，我们提出了一个深度连体网络来量化两个个体之间的相对相似性。当给定两个输入人脸图像时，深度连体网络从其中提取特征，并通过组合和连接来融合这些特征。然后，融合后的特征被送入一个全连接的网络，以获得两个人脸之间的相似性得分，这是用来验证亲属关系。为了提高性能，陪审团制度也被用于多模型融合。第二，将两个深度连体网络集成为用于三主题的深度三重网络（即，父亲、母亲和孩子）亲属关系核实，旨在确定一个孩子是否与一对父母有亲属关系。具体地，对所获得的父子相似度得分和母子相似度得分进行加权，以生成用于亲属关系验证的父子相似度得分。Recognizing Families In the Wild（RFIW）是一个具有挑战性的多轨道亲属关系识别任务，它基于Families in the Wild（FIW），一个大规模和全面的图像数据库，用于自动亲属关系识别。在正在进行的RFIW 2020挑战期间，支持亲属关系验证（第一轨道）和三主体验证（第二轨道）。我们的团队（中国科大-nelslip）在第二赛道排名第一，在第一赛道排名第三。该代码可在https://github.com/gniknoil/FG2020-kinship上获得。
2020-06-07 cs.CV cs.MM
WhisperNetV2: SlowFast Siamese Network For Lip-Based Biometrics
Faculty of Electrical and Computer Engineering, University of Birjand（比尔詹德大学电气与计算机工程学院）
针对现有唇部生物特征认证未考虑采集时情绪影响的问题，提出基于SlowFast孪生网络的WhisperNetV2，结合三元组损失分别提取唇部行为与生理特征，在CREMA-D数据集上取得0.005的EER，达到同类方法先进水平。
2024-07-11 cs.AI cs.CV
Trident: Detecting Face Forgeries with Adversarial Triplet Learning
Department of Computer Engineering, Bilkent University（计算机工程系，比尔肯特大学）
提出Trident人脸伪造检测框架，采用Siamese网络三元组学习与域对抗训练，捕捉细粒度伪造特征并学习与伪造无关的表示，有效提升对未见篡改的泛化与鲁棒性。
2025-06-29 cs.CV
STIR: Siamese Transformer for Image Retrieval Postprocessing
St. Petersburg Department of the Steklov Institute of Mathematics（斯捷克洛夫数学研究所圣彼得堡分部）；New Yorker GmbH（纽约客有限公司）
本研究提出基于难负样本三元组损失的轻量SOTA度量学习模型，还提出像素级注意力的STIR后处理重排序方法，在两个标准数据集上刷新SOTA并开源代码与演示。
2023-04-27 cs.CV cs.IR
DuCN: Dual-children Network for Medical Diagnosis and Similar Case Recommendation towards COVID-19
University of Science and Technology of China（中国科学技术大学）；Huawei（华为）
早期发现2019冠状病毒病（COVID-19）有助于及时治疗患者并提高治愈率，从而进一步抑制疾病的传播。在这项研究中，我们提出了一种新的基于深度学习的检测和相似病例推荐网络，以帮助控制疫情。我们提出的网络包含两个阶段：第一个是肺部区域分割步骤，用于排除不相关的因素，第二个是检测和推荐阶段。在此框架下，在第二阶段，我们开发了一个基于预训练的ResNet-18的双子女网络（DuCN），以同时实现疾病诊断和相似病例推荐。此外，我们使用三重丢失和肺内距离图来辅助检测，这有助于合并两个图像之间的微小差异，有利于提高诊断准确性。对于每一个确诊的COVID-19病例，我们给出了类似的病例，为放射科医生提供诊断和治疗参考。我们在大型公开数据集（CC-CCII）上进行实验，并将所提出的模型与最先进的COVID-19检测方法进行比较。结果表明，我们提出的模型实现了一个有前途的临床性能。
2021-08-03 cs.CV cs.LG eess.IV
Siamese Networks for Cat Re-Identification: Exploring Neural Models for Cat Instance Recognition
Pontifícia Universidade Católica do Rio Grande do Sul（南里奥格兰德天主教大学）
针对流浪猫人工识别低效问题，本文用Siamese Networks结合多种骨干与损失函数开展再识别实验，发现VGG16加对比损失效果最佳。
2025-01-03 cs.AI cs.CV
Unique Faces Recognition in Videos
University of the Witwatersrand（威特沃特斯兰德大学）
本文采用度量学习方法和相似性排序模型处理视频中的人脸识别。本文比较了具有对比损失的Siamese网络和具有三重损失的Triplet网络的使用，实现了以下架构：Google/Inception架构，3D卷积网络（C3 D）和2-D长短期记忆（LSTM）递归神经网络。我们使用来自视频的静态图像和序列来训练网络，并比较实现上述架构的性能。使用的数据集是YouTube人脸数据库，旨在研究视频中的人脸识别问题。本文的贡献是双重的：首先，实验已经建立了3-D卷积网络和2-D LSTM与图像序列的对比度损失不优于谷歌/Inception架构的对比度损失在顶部$n$排名人脸检索与静止图像。然而，3-D卷积网络和具有三重损失的2-D LSTM在数据集上的最高$n$排名人脸检索中优于具有三重损失的Google/Inception;其次，支持向量机（SVM）与CNN的学习特征表示结合使用，用于人脸识别。结果表明，与对比损失相比，使用三重损失学习的特征表示对于n次面部识别明显更好。用于面部识别的最有用的特征表示来自具有三重丢失的2-D LSTM。实验表明，从视频序列中学习时空特征有利于视频中的人脸识别。
2020-06-10 cs.CV
Spectrum Translation for Cross-Spectral Ocular Matching
Halmstad University（哈尔姆斯塔德大学）
交叉光谱验证仍然是生物识别中的一个大问题，特别是对于眼部区域，这是由于图像中的反射特征取决于所使用的区域和光谱的差异。在本文中，我们研究了使用条件对抗网络的光谱转换之间的近红外和可见光图像的眼睛生物识别。我们根据变换后图像的整体视觉质量和识别系统在使用相反数据进行训练时的准确性下降来分析变换。我们使用PolyU数据库，并提出了两种不同的生物特征验证系统，第一种基于使用Softmax和交叉熵损失训练的Siamese网络，第二种是Triplet Loss网络。当使用针对NIR训练的Triplet Loss网络并找到真实NIR图像与从可见光谱转换的假图像之间的欧几里得距离时，我们实现了1%的EER。我们也优于以前的结果使用基线算法。
2020-02-14 cs.CV
One-shot lip-based biometric authentication: extending behavioral features with authentication phrase information
Faculty of Electrical Engineering, Computer Science and Information Technology Osijek（奥西耶克电气工程、计算机科学与信息技术学院）
提出一种一次性唇部生物特征认证方法，通过定制GRID数据集和基于3D卷积与循环神经网络的孪生网络，结合自定义三元组损失，区分说话内容与风格，在开放集协议下实现3.2%FAR和3.8%FRR。
2023-08-14 cs.CV
Sketch-QNet: A Quadruplet ConvNet for Color Sketch-based Image Retrieval
Impresee Inc.（Impresee公司）
基于三元组丢失的连体网络的架构在基于图像的相似性搜索问题上表现出出色的性能。这种方法试图区分积极（相关）和消极（不相关）的项目。然而，它经历了一个关键的弱点。给定一个查询，它不能区分弱相关的项目，例如，相同类型的项目，但不同的颜色或纹理的给定查询，这可能是一个严重的限制，许多现实世界的搜索应用。因此，在这项工作中，我们提出了一个基于四元组的架构，克服了上述弱点。此外，我们提出了这个四元组网络，我们称之为Sketch-QNet，处理基于彩色草图的图像检索（CSBIR）问题的一个实例，实现了新的国家的最先进的结果。
2021-04-22 cs.CV
Compositional Sketch Search
University of Surrey（萨里大学）；Adobe Research（Adobe研究院）
我们提出了一种算法，用于搜索图像集，使用手绘草图，描述多个对象的外观和相对位置。基于草图的图像检索（SBIR）方法主要匹配查询包含一个单一的，占主导地位的对象不变，其在图像中的位置。我们的工作利用图纸作为一个简洁和直观的表示指定整个场景组成。我们训练一个卷积神经网络（CNN）来编码草图对象中被掩盖的视觉特征，将这些特征汇集到一个空间描述符中，对构图中对象的空间关系和外观进行编码。将CNN骨干训练为在三元组损失下的连体网络产生用于测量组成相似性的度量搜索嵌入，其可以通过应用乘积量化来有效地用于视觉搜索。
2021-06-15 cs.CV
Quadruplet Network with One-Shot Learning for Fast Visual Object Tracking
Beijing Institute of Technology（北京理工大学）；Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）；Australian National University（澳大利亚国立大学）
与区别性一次性学习相同，Siamese网络允许从具有相同类别标签的单个样本中识别对象。然而，它们没有利用数据的底层结构和大量样本之间的关系，因为它们只依赖于成对的实例进行训练。在本文中，我们提出了一种新的四元组深度网络来检查训练实例之间的潜在联系，旨在实现更强大的表示。我们设计了四个共享网络，接收多元组的实例作为输入，并通过一个新的损失函数连接成对损失和三重损失。根据相似性度量，我们从每个多元组中选择最相似和最不相似的实例作为三元组丢失的正输入和负输入。我们表明，该方案提高了训练性能。此外，我们引入了一个新的权重层来自动选择合适的组合权重，这将避免三元组和对损失之间的冲突导致更差的性能。我们评估我们的四元组框架无模型跟踪检测对象从一个单一的初始样本在几个视觉对象跟踪基准。我们广泛的实验分析表明，我们的跟踪器实现了78帧每秒（fps）的实时处理速度优越的性能。
2019-07-14 cs.CV
Cross-Site Severity Assessment of COVID-19 from CT Images via Domain Adaptation
Sun Yat-sen University（中山大学）
基于计算机断层扫描（CT）图像的2019冠状病毒病（COVID-19）早期准确的严重程度评估为重症监护室事件的估计和治疗计划的临床决策提供了很大的帮助。为了增加标记数据，提高分类模型的泛化能力，需要对多个站点的数据进行聚合。这项任务面临着几个挑战，包括轻度和重度感染之间的类别不平衡，网站之间的域分布差异，以及异质性特征的存在。在本文中，我们提出了一种新的具有两个组件的域自适应（DA）方法来解决这些问题。第一个组件是一个随机的类平衡的提升采样策略，克服了不平衡的学习问题，并提高了预测不良类的分类性能。第二部分是保证三个属性的表示学习：1）原型三元组损失的域可转移性，2）条件最大平均差异损失的判别性，以及3）多视图重建损失的完整性。特别地，我们提出了一个域翻译器，并将异构数据与估计的类原型（即，类中心）在超球面流形中。对CT图像中COVID-19跨部位严重程度评估的实验表明，该方法可以有效地解决不平衡学习问题，并优于最近的DA方法。
2021-09-08 cs.CV eess.IV
Diversity in Fashion Recommendation using Semantic Parsing
IIIT Delhi（德里印度理工学院信息技术学院）；Staqu Technologies（Staqu科技公司）
开发时尚图像推荐系统是具有挑战性的，由于与用户正在查看的标准相关联的固有模糊性。建议多个图像，其中每个输出图像基于不同的特征或部分与查询图像相似，是缓解该问题的一种方式。现有的时装推荐工作分别使用Siamese或Triplet网络来学习相似对和相似-不相似三元组之间的特征。然而，这些方法不提供基本信息，诸如两个服装图像如何相似，或者两个图像中存在的哪些部分使它们相似。在本文中，我们建议推荐图像明确学习和利用部分基于相似性。我们提出了一种新的方法，通过使用视觉注意力的部分和纹理编码网络的弱监督数据学习判别特征。我们证明了学习的特征在DeepFashion数据集上的检索任务中超过了最先进的水平。然后，我们使用所提出的模型来推荐时尚图像具有显式的变化方面的任何部分的相似性。
2019-10-18 cs.CV cs.IR
Mask or Non-Mask? Robust Face Mask Detector via Triplet-Consistency Representation Learning
National Yang Ming Chiao Tung University（国立阳明交通大学）；National Chung Hsing University（国立中兴大学）
在没有疫苗或药物阻止COVID-19的情况下，减缓冠状病毒传播和减少医疗负担的有效方法之一是戴口罩。然而，为了强制在公共场所使用口罩或遮盖物，需要额外的人力资源，这是乏味和注意力密集的。为了使监控过程自动化，其中一个有前途的解决方案是利用现有的目标检测模型来检测有面具或没有面具的人脸。因此，安全人员不必盯着监控设备或人群，只需处理因检测到未戴口罩的面部而触发的警报。现有的目标检测模型通常侧重于设计基于CNN的网络架构来提取区分性特征。然而，人脸面具检测的训练数据集的大小是小的，而有和没有面具的人脸之间的差异是微妙的。因此，在本文中，我们提出了一个面具检测框架，使用上下文注意模块，使前馈卷积神经网络的有效注意，通过调整其注意力图特征细化。此外，我们进一步提出了一个无锚检测器与三重一致性表示学习通过整合一致性损失和三重损失处理小规模的训练数据和掩模和遮挡之间的相似性。大量的实验结果表明，我们的方法优于其他国家的最先进的方法。源代码作为公共下载发布，以改善公众健康在www.example.com。
2021-10-01 cs.CV
Productive Crop Field Detection: A New Dataset and Deep Learning Benchmark Results
Federal University of São Carlos（圣卡洛斯联邦大学）；John Deere（约翰迪尔）
在精准农业中，检测高产农田是一项必不可少的实践，使农民能够单独评估操作性能，并比较不同的种子品种，农药和肥料。然而，手动识别生产领域往往是一项耗时且容易出错的任务。以前的研究探索了使用先进的机器学习算法检测农田的不同方法，但它们通常缺乏高质量的标记数据。在这种情况下，我们提出了一个高质量的数据集，该数据集由机器操作生成，并与随时间推移跟踪的Sentinel-2图像相结合。据我们所知，这是第一个使用该技术来克服缺乏标记样本的问题。接下来，我们应用未标记数据的半监督分类和最先进的监督和自监督深度学习方法来自动检测高产农田。最后，结果证明了正未标记学习的高准确性，这完全符合我们对正样本具有高置信度的问题。考虑到存在精确的数据集和对比学习（考虑到我们没有全面的标记数据集可用的情况），在Triplet Loss Siamese中发现了最佳性能。
2023-07-25 cs.CV cs.LG
Emotions Don't Lie: An Audio-Visual Deepfake Detection Method Using Affective Cues
University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一种基于学习的方法来检测真实和虚假的deepfake多媒体内容。为了最大限度地提高学习信息，我们从同一视频中提取和分析两种音频和视觉模式之间的相似性。此外，我们提取和比较情感线索对应于感知的情感从两个模态内的视频，以推断输入视频是“真”还是“假”。我们提出了一个深度学习网络，灵感来自暹罗网络架构和三重丢失。为了验证我们的模型，我们报告了两个大规模deepfake检测数据集（DeepFake-TIMIT数据集和DFDC）的AUC度量。我们将我们的方法与几种SOTA deepfake检测方法进行了比较，并报告了DFDC和DF-TIMIT数据集上的每视频AUC分别为84.4%和96.6%。据我们所知，我们的方法是第一种同时利用音频和视频模式以及这两种模式的感知情感进行深度伪造检测的方法。
2020-08-01 cs.CV cs.LG cs.SD
Unsupervised Learning of Visual Representations using Videos
Carnegie Mellon University（卡内基梅隆大学）
强有力的监督对于学习一个好的视觉表现是必要的吗？我们真的需要数百万个语义标记的图像来训练卷积神经网络（CNN）吗？在本文中，我们提出了一种简单但功能强大的CNN无监督学习方法。具体来说，我们使用来自网络的数十万未标记的视频来学习视觉表示。我们的核心思想是，视觉跟踪提供监督。也就是说，由轨迹连接的两个补丁在深特征空间中应该具有相似的视觉表示，因为它们可能属于相同的对象或对象部分。我们设计了一个具有排名损失函数的Siamese-triplet网络来训练这个CNN表示。在不使用ImageNet中的单个图像的情况下，仅使用10万个未标记的视频和VOC 2012数据集，我们训练了一个无监督网络的集合，实现了52%的mAP（无限界框回归）。这一性能非常接近其ImageNet监督的同类产品，后者实现了54.4%的mAP。我们还表明，我们的无监督网络可以在其他任务中具有竞争力，例如表面法线估计。
2015-10-06 cs.CV
Revisiting IM2GPS in the Deep Learning Era
Georgia Tech（佐治亚理工学院）；University of Kentucky（肯塔基大学）
图像地理定位，即推断图像的地理位置，是一个具有挑战性的计算机视觉问题，具有许多潜在的应用。最近针对该问题的最先进方法是深度图像分类方法，其中世界在空间上被划分为单元，并且训练深度网络以预测给定图像的正确单元。我们建议将这种方法与原始的Im2GPS方法相结合，在该方法中，查询图像与地理标记图像数据库相匹配，并且从检索到的集合中推断位置。我们估计查询图像的地理位置，通过应用核密度估计其最近的邻居在参考数据库中的位置。有趣的是，我们发现我们的检索任务的最佳特征来自于使用分类损失训练的网络，即使我们在测试时没有使用分类方法。具有分类损失的训练优于几种深度特征学习方法（例如具有三重损失对比的Siamese网络），更适用于检索应用。我们简单的方法实现了最先进的地理定位精度，同时也需要显着更少的训练数据。
2017-05-13 cs.CV
Change detection needs change information: improving deep 3D point cloud change detection
Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA)（信息与随机系统研究院（IRISA））；Université Bretagne Sud（南布列塔尼大学）；Magellium（马热利姆公司）；Université Rennes 2（雷恩第二大学）
本文针对原始3D点云变化分割，提出在网络早期显式融入变化特征，并给出三种新架构，其中 Encoder Fusion SiamKPConv 的 mIoU 超过现有方法5%以上。
2024-01-29 cs.CV
Contrastive Attention Network with Dense Field Estimation for Face Completion
University of Science and Technology of China（中国科学技术大学）
大多数现代人脸修复方法采用自动编码器或其变体来恢复人脸图像中缺失的区域。编码器通常用于学习强大的表征，在应对复杂学习任务的挑战方面发挥着重要作用。具体来说，在野外的人脸图像中经常会呈现出各种口罩，形成复杂的图案，尤其是在这个COVID-19的艰难时期。在这种复杂的情况下，编码器很难捕捉到如此强大的表示。为了解决这一挑战，我们提出了一个自监督的连体推理网络，以提高编码器的泛化能力和鲁棒性。它可以从全分辨率图像中编码上下文语义，并获得更具鉴别力的表示。为了处理人脸图像的几何变化，一个密集的对应字段被集成到网络中。我们进一步提出了一个多尺度解码器与一个新的双注意力融合模块（DualAttention Fusion Module，简称DAI），它可以结合恢复和已知区域的自适应方式。这种多尺度架构有利于解码器将从编码器学习的区别性表示用于图像。大量的实验表明，该方法不仅取得了更有吸引力的结果相比，国家的最先进的方法，但也提高了蒙面人脸识别的性能显着。
2021-12-20 cs.CV
Mixup of Feature Maps in a Hidden Layer for Training of Convolutional Neural Network
Hiroshima University（广岛大学）
深度卷积神经网络（CNN）作为图像分类和对象识别的基本技术变得非常流行。为了提高更复杂任务的识别精度，引入了更深的网络。然而，对于从训练样本的外部区域获得的样本，经训练的深度CNN的识别准确度急剧降低。为了提高这些样本的泛化能力，Krizhevsky等人提出通过对现有样本进行变换来生成额外的样本，并使训练样本更丰富。这种方法称为数据增强。Hongyi Zhang等人介绍了称为mixup的数据增强方法，该方法在各种数据集中实现了最先进的性能。Mixup通过混合两个不同的训练样本来生成新样本。两个图像的混合是通过简单的图像变形来实现的。在本文中，我们建议将mixup应用于隐藏层中的特征映射。为了实现隐藏层的混合，我们使用Siamese网络或三重网络架构来混合特征图。从实验比较中可以看出，从第一卷积层获得的特征图的混合比原始图像混合更有效。
2019-06-24 cs.CV
RoadScan: A Novel and Robust Transfer Learning Framework for Autonomous Pothole Detection in Roads
Sardar Patel Institute of Technology（萨达尔·帕特尔理工学院）
RoadScan利用VGG16和孪生网络进行道路坑洞检测，以96.12%准确率、3.89%EER和0.988 AUROC实现高效稳健的自主检测。
2023-10-14 cs.CV
