Nazr-CNN: Fine-Grained Classification of UAV Imagery for Damage Assessment
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad bin Khalifa University（哈马德·本·哈利法大学）
我们提出了Nazr-CNN 1，这是一种深度学习管道，用于从无人机（UAV）获取的图像中进行目标检测和细粒度分类，以进行损坏评估和监测。Nazr-CNN由两部分组成。第一个组件的功能是通过执行像素级分类来定位图像中的对象（例如房屋或基础设施）。在第二组件中，卷积神经网络（CNN）的隐藏层用于对从第一组件生成的片段的Fisher向量（FV）进行编码，以帮助区分不同的损伤水平。为了展示我们的方法，我们使用了无人机的数据，这些无人机被部署来评估2015年袭击瓦努阿图岛的毁灭性飓风之后的破坏程度。收集的图像由众包工作标记，标记类别包括对建筑结构的细粒度损坏程度。由于我们的数据集相对较小，因此使用了用于像素级分类和FV编码的预训练网络。Nazr-CNN在目标检测和损伤评估方面都取得了令人鼓舞的结果，这表明集成管道在小数据集和注释器标记错误方面具有鲁棒性。虽然Nazr-CNN的重点是在灾后场景中评估无人机图像，但我们的解决方案是通用的，可以应用于许多不同的环境。我们展示了一个这样的迁移学习的情况下，在菲律宾台风后收集的航空图像的损害程度进行评估。
2017-08-22 cs.CV
Enhancing Tree Type Detection in Forest Fire Risk Assessment: Multi-Stage Approach and Color Encoding with Forest Fire Risk Evaluation Framework for UAV Imagery
本文通过引入多种多阶段目标检测器及CBAM注意力、随机擦除和颜色空间优化，提升无人机影像森林火灾风险评估中树种类型检测的准确性，并在加拿大不列颠哥伦比亚省数据上验证了有效性。
2024-08-06 cs.CV
Exploring to establish an appropriate model for image aesthetic assessment via CNN-based RSRL: An empirical study
Iwate Prefectural University（岩手县立大学）
本文提出结合 F-measure 与反映 CNN 全连接层解耦程度的 D-measure 形成 FD measure，用于从基于 CNN 的 RSRL 生成的多个评分预测模型中选择最优图像美学评估模型，并通过 FFP 与 AIR 验证其更贴近人类审美感知。
2021-06-28 cs.CV
Harnessing the Power of Deep Learning Methods in Healthcare: Neonatal Pain Assessment from Crying Sound
University of South Florida（南佛罗里达大学）；National Library of Medicine, National Institutes of Health（美国国立卫生研究院国家医学图书馆）；USF Health（南佛罗里达大学健康学院）
临床环境中的新生儿疼痛评估具有挑战性，因为它是不连续的和有偏见的。由于临床状况、发育迟缓、俯卧位或其他外部因素，在这种情况下可能发生面部/身体闭塞。在这种情况下，哭声可以用来有效地评估新生儿疼痛。在本文中，我们研究了使用一种新的CNN架构（N-CNN）以及其他CNN架构（VGG 16和ResNet 50）来评估新生儿哭泣声的疼痛。实验结果表明，使用我们的新型N-CNN从新生儿的声音中评估疼痛具有很强的临床潜力，并为当前的评估实践提供了一种可行的替代方案。
2019-09-05 cs.CV
Multi-task deep CNN model for no-reference image quality assessment on smartphone camera photos
National Taiwan University（国立台湾大学）
智能手机是当今移动社交网络时代最成功的消费电子产品。智能手机的摄像头质量及其图像后处理能力是影响消费者购买决策的主要因素。然而，从智能手机拍摄的照片的质量评估仍然是一项劳动密集型工作，依赖于专业摄影师和专家。作为先前基于CNN的NR-IQA方法的扩展，我们提出了一种多任务深度CNN模型，场景类型检测作为辅助任务。通过卷积层中的共享模型参数，学习的特征图可以变得更加场景相关并提高性能。评估结果表明，改进的SROCC性能相比，传统的NR-IQA方法和单任务基于CNN的模型。
2020-08-27 cs.CV cs.MM
Automatic Assessment of Full Left Ventricular Coverage in Cardiac Cine Magnetic Resonance Imaging with Fisher-Discriminative 3D CNN
University of Sheffield（谢菲尔德大学）；University of Leeds（利兹大学）；University of Oxford（牛津大学）；John Radcliffe Hospital（约翰·拉德克利夫医院）；Queen Mary University of London（伦敦玛丽女王大学）；Barts Health NHS Trust（巴特国民保健署信托基金会）
心脏磁共振（CMR）图像在心血管疾病的诊断成像中发挥着越来越重要的作用。左心室（LV）从底部到心尖的全覆盖是CMR图像质量的基本标准，也是准确测量心脏体积和功能评估所必需的。通过目视检查识别LV的不完全覆盖，这是耗时的，并且通常在大型成像队列的评估中进行回顾性检查。本文提出了一种新的自动方法来确定左心室覆盖CMR图像通过使用费舍尔判别三维（FD 3D）卷积神经网络（CNN）。与我们之前采用2D CNN的方法相比，这种方法利用CMR体积中的空间上下文信息，提取更具代表性的高级特征，并增强基线2D CNN学习框架的区分能力，从而实现卓越的检测精度。提出了一个两阶段的框架，以确定丢失的基底和顶端切片的CMR体积测量。首先，FD 3D CNN从CMR堆栈中提取高级特征。这些图像表示然后用于检测缺失的基底和顶端切片。与传统的3D CNN策略相比，所提出的FD 3D CNN最小化类内分散，最大化类间分散。我们进行了广泛的实验，以验证所提出的方法超过5,000个独立的体积CMR扫描从英国生物银行的研究，实现低出错率缺失的基底/顶端切片检测（4.9\%/4.6\%）。所提出的方法也可以用于评估其他类型的CMR图像数据的LV覆盖。
2018-11-08 cs.CV
A Deep Retinal Image Quality Assessment Network with Salient Structure Priors
Central South University（中南大学）
视网膜图像质量评价是视网膜疾病诊断的重要前提。它的目标是识别视网膜图像，其中最吸引眼科医生的解剖结构和病变显示清晰，明确，而拒绝质量差的眼底图像。出于这一动机，我们模仿眼科医生评估视网膜图像质量的方式，并提出了一种称为SalStructuIQA的方法。第一，用于自动视网膜质量评估的两个突出结构。一种是大尺寸的突出结构，包括视盘区和大尺寸的渗出物。另一类是以血管为主的微小突起结构。然后，我们将所提出的两个显著结构先验与深度卷积神经网络（CNN）相结合，以将CNN的焦点转移到显著结构上。因此，我们开发了两种CNN架构：双分支SalStructIQA和单分支SalStructIQA。双分支SalStructIQA包含两个CNN分支，一个由大尺寸的突出结构引导，而另一个由微小尺寸的突出结构引导。单分支SalStructIQA包含一个CNN分支，该分支由大尺寸和微小尺寸的突出结构的级联引导。在Eye-Quality数据集上的实验结果表明，我们提出的双分支SalStructIQA优于现有的视网膜图像质量评估方法，而单分支SalStructIQA与现有的深层视网膜图像质量评估方法相比具有更轻的权重，并且仍然具有竞争力的性能。
2020-12-31 cs.CV
Advanced AI Framework for Enhanced Detection and Assessment of Abdominal Trauma: Integrating 3D Segmentation with 2D CNN and RNN Models
New York University（纽约大学）；TikTok Inc（字节跳动公司）；Northeastern University（东北大学）；Google Inc（谷歌公司）；FASTTEK GLOBAL
本研究提出一种结合3D分割、2D CNN和RNN的先进AI模型，用于腹部CT扫描的实时精确评估，显著提升了腹部创伤诊断的速度和准确性，为自动化创伤检测设定了新基准。
2024-07-23 cs.CV cs.LG eess.IV
Spatial Moment Pooling Improves Neural Image Assessment
Sensetime Research（商汤科技研究院）
近年来，基于卷积神经网络（CNN）的盲图像质量评价（IQA）受到了广泛的关注。大量的工作是从CNN中提取深度特征开始的。然后，这些特征通过空间平均池化（SAP）和全连接层进行处理，以预测质量。本文在充分借鉴IQA和纹理特征的基础上，通过引入高阶矩（如方差、偏度），将SAP（$1^{st}$矩）扩展为空间矩池（SMP）。此外，我们提供了学习友好的归一化，以规避计算高阶矩梯度时的数值问题。实验结果表明，简单地将SAP升级到SMP显着增强了基于CNN的盲IQA方法，并实现了最先进的性能。
2022-09-29 cs.CV
CNN-based Repetitive self-revised learning for photos' aesthetics imbalanced classification
Iwate Prefectural University（岩手县立大学）
针对照片美学等级分布不平衡问题，提出基于 CNN 的重复自修正学习方法，通过迭代剔除中间等级低似然样本并利用双网络提取高光区域，提升美学分类性能。
2020-03-27 cs.CV
Multi-pooled Inception features for no-reference image quality assessment
图像质量评估（IQA）是从自动视频流到显示技术的广泛应用的重要组成部分。此外，图像质量的测量需要对图像内容和特征进行平衡的调查。我们提出的方法通过将全局平均池（GAP）层附加到ImageNet数据库预训练卷积神经网络（CNN）的多个Inception模块来提取视觉特征。与以前的方法相比，我们不从输入图像中获取补丁。相反，输入图像被视为一个整体，并通过预训练的CNN主体来提取分辨率无关的多级深度特征。因此，我们的方法可以很容易地推广到任何输入图像大小和预训练的CNN。因此，我们提出了一个详细的参数研究方面的CNN基础架构和不同的深度功能的有效性。我们证明，我们最好的建议-称为MultiGAP-NRIQA -是能够提供国家的最先进的三个基准IQA数据库的结果。此外，这些结果也在使用LIVE In the Wild Image Quality Challenge数据库的交叉数据库测试中得到了证实。
2020-11-10 cs.CV
Improved-Mask R-CNN: Towards an Accurate Generic MSK MRI instance segmentation platform (Data from the Osteoarthritis Initiative)
Schulich School of Engineering, University of Calgary（卡尔加里大学舒立克工程学院）；Department of Radiology & Diagnostic Imaging, University of Alberta（阿尔伯塔大学放射与诊断成像系）；Alberta Machine Intelligence Institute (AMII), University of Alberta（阿尔伯塔大学阿尔伯塔机器智能研究所（AMII））；Mechanical and Manufacturing Engineering, University of Calgary（卡尔加里大学机械与制造工程系）
磁共振成像（MRI）扫描骨关节炎（OA）的客观评估可以解决当前OA评估的局限性。骨、软骨和关节液的分割对于OA的客观评估是必要的。大多数提出的分割方法不执行实例分割，并遭受类不平衡问题。该研究部署了Mask R-CNN实例分割并对其进行了改进（改进的Mask R-CNN（iMaskRCNN）），以获得更准确的OA相关组织的广义分割。使用来自骨关节炎倡议（OAI）数据集的500个MRI膝关节和97个症状性髋关节OA患者的MRI扫描进行了方法的培训和验证。对Mask R-CNN的三个修改产生了iMaskRCNN：添加第二个ROIA标记的块，向mask-header添加额外的解码器层，并通过跳过连接连接它们。使用Hausdorff距离、骰子评分和变异系数（CoV）评估结果。与Mask RCNN相比，iMaskRCNN改善了骨和软骨分割，如股骨的骰子分数从95%增加到98%，胫骨从95%增加到97%，股骨软骨从71%增加到80%，胫骨软骨从81%增加到82%。对于渗出检测，iMaskRCNN的骰子改善了72%，而MaskRCNN为71%。Reader 1和Mask R-CNN（0.33）、Reader 1和iMaskRCNN（0.34）、Reader 2和Mask R-CNN（0.22）、Reader 2和iMaskRCNN（0.29）之间的积液检测的CoV值接近于两个读取器之间的CoV（…
2022-06-23 cs.CV cs.LG eess.IV
Residual Attention based Network for Hand Bone Age Assessment
Cornell University（康奈尔大学）；CuraCloud Corporation（库拉克劳德公司）；UNC Charlotte（北卡罗来纳大学夏洛特分校）；University at Albany, State University at New York（纽约州立大学奥尔巴尼分校）
计算机自动化方法的应用提高了手骨龄测定的生产率和客观性。这些方法根据整个X射线图像进行预测，其中包括可能引入干扰的其他对象。相反，我们的框架的灵感来自于手骨龄评估的临床工作流程（Tanner-Whitehouse），该流程专注于手的关键组成部分。该框架由两个部分组成：一个用于像素手部分割的Mask R-CNN子网和一个用于手部骨龄评估的剩余注意力网络。Mask R-CNN子网将手从X射线图像中分割出来，以避免其他物体的干扰（例如，X射线标签）。剩余注意力子网的分层注意力分量迫使我们的网络专注于X射线图像的关键分量，并生成最终预测以及相关的视觉支持，这类似于临床医生的评估过程。我们在RSNA儿科骨龄数据集上评估了所提出的管道的性能，结果表明其优于以前的方法。
2018-12-21 cs.CV cs.LG
FocusLiteNN: High Efficiency Focus Quality Assessment for Digital Pathology
University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）；Huron Digital Pathology（休伦数字病理公司）
数字病理学中的失焦显微镜镜头是高通量全载玻片图像（WSI）扫描平台的关键瓶颈，因此非常需要像素级自动对焦质量评估（FQA）方法来帮助显著加快临床工作流程。现有的FQA方法包括知识驱动和数据驱动的方法。虽然数据驱动的方法，如基于卷积神经网络（CNN）的方法已经显示出很大的希望，但由于其高计算复杂性和缺乏可移植性，它们难以在实践中使用。在这里，我们提出了一种高效的基于CNN的模型，该模型可以保持与知识驱动方法类似的快速计算，而无需过多的硬件要求，如GPU。我们使用FocusPath创建了一个训练数据集，其中包含九种不同染色颜色的不同组织切片，其中染色多样性极大地帮助模型学习不同的色谱和组织结构。在我们试图降低CNN复杂度的过程中，我们惊讶地发现，即使将CNN削减到最低水平，它仍然实现了极具竞争力的性能。我们引入了一个新的综合评估数据集，最大的同类，注释和编译从TCGA存储库模型评估和比较，所提出的方法具有优越的精度-速度权衡时，与现有的知识驱动和数据驱动的FQA方法相比。
2020-10-01 cs.CV cs.LG eess.IV
Blind Image Quality Assessment Using A Deep Bilinear Convolutional Neural Network
Wuhan University（武汉大学）；New York University（纽约大学）；University of Waterloo（滑铁卢大学）
我们提出了一种用于盲图像质量评估（BIQA）的深度双线性模型，可以处理合成和真实失真。我们的模型由两个卷积神经网络（CNN）组成，每个卷积神经网络都专注于一种失真场景。对于合成失真，我们预训练一个CNN来分类图像失真类型和水平，在这里我们可以使用大规模的训练数据。对于真实的失真，我们采用预训练的CNN进行图像分类。来自两个CNN的特征被双线性地合并到一个统一的表示中，用于最终的质量预测。然后，我们使用随机梯度下降的变体在目标主题评级数据库上微调整个模型。大量的实验表明，该模型在合成数据库和真实数据库上都取得了优异的性能。此外，我们验证了我们的方法在滑铁卢探索数据库使用组最大差异化竞争的推广。
2019-07-05 cs.CV cs.MM eess.IV
Reliable Liver Fibrosis Assessment from Ultrasound using Global Hetero-Image Fusion and View-Specific Parameterization
PAII Inc.（PAII公司）；Chang Gung Memorial Hospital（长庚纪念医院）；Vanderbilt University（范德堡大学）；PingAn Technology（平安科技）
超声（US）是诊断肝纤维化的重要方法。不幸的是，评估是非常主观的，激励自动化的方法。我们介绍了一个原则性的深度卷积神经网络（CNN）工作流程，其中包含几项创新。首先，为了避免对非相关图像特征的过度拟合，我们迫使网络专注于临床感兴趣区域（ROI），包括肝实质和上边界。其次，我们引入了全局异像融合（GHIF），它允许CNN融合研究中任意数量图像的特征，增加了其通用性和灵活性。最后，我们使用基于“样式”的视图特定参数化（VSP）来针对肝脏的不同视点定制CNN处理，同时保持视图中的大多数参数相同。在610例患者研究（6979张图像）的数据集上进行的实验表明，与传统分类器相比，我们的管道可以分别在曲线下部分面积和90%的准确率下分别贡献大约7%和22%的改进，从而验证了我们解决这个关键问题的方法。
2020-08-07 cs.CV cs.LG eess.IV
On the Use of Deep Learning for Blind Image Quality Assessment
University of Milano-Bicocca（米兰比可卡大学）
在这项工作中，我们研究了使用深度学习的失真通用盲图像质量评估。我们报告了不同的设计选择，从使用从预训练的卷积神经网络（CNN）中提取的特征作为通用图像描述，到使用从针对图像质量任务进行微调的CNN中提取的特征。我们最好的建议，名为DeepBIQ，通过平均池化原始图像多个子区域的预测分数来估计图像质量。每个子区域的得分是使用支持向量回归（SVR）机计算的，该支持向量回归机将使用针对基于类别的图像质量评估而微调的CNN提取的特征作为输入。在LIVE In the Wild图像质量挑战数据库和LIVE图像质量评估数据库上的实验结果表明，DeepBIQ的性能优于最先进的方法，与人类主观评分的线性相关系数（LCC）分别接近0.91和0.98。此外，在大多数情况下，DeepBIQ的质量分数预测比一般人类观察者更接近平均观察者。
2017-04-04 cs.CV
Explaining Neural Networks Semantically and Quantitatively
Shanghai Jiao Tong University（上海交通大学）；Huazhong University of Science and Technology（华中科技大学）
本文提出了一种从定量和语义上解释卷积神经网络（CNN）中编码的知识的方法。对CNN所做的每个预测的具体原理的分析提出了理解神经网络的关键问题，但它在某些应用中也具有重要的实用价值。在这项研究中，我们建议从CNN中提取知识到一个可解释的加性模型中，这样我们就可以使用可解释的模型为CNN预测提供定量解释。我们分析了可解释模型的典型偏差解释问题，并提出了先验损失来指导可解释可加模型的学习。实验结果证明了该方法的有效性。
2018-12-18 cs.CV
A Self-attention Residual Convolutional Neural Network for Health Condition Classification of Cow Teat Images
Yeshiva University（叶史瓦大学）
本文提出结合残差连接与自注意力机制的CTSAR-CNN模型，用于对奶牛乳头末端角化过度程度进行分类，以提升复杂环境下乳头健康评估的准确性与速度，辅助兽医并惠及乳制品行业。
2024-09-30 cs.CV cs.LG eess.IV
A-Lamp: Adaptive Layout-Aware Multi-Patch Deep Convolutional Neural Network for Photo Aesthetic Assessment
SUNY at Buffalo（布法罗纽约州立大学）；Tianjin University（天津大学）
深度卷积神经网络（CNN）最近被证明可以为美学评估产生有希望的结果。然而，这些深度CNN方法的性能通常受到神经网络仅采用固定大小输入的约束的影响。为了满足这一要求，输入图像需要通过裁剪、扭曲或填充进行变换，这通常会改变图像组成、降低图像分辨率或导致图像失真。因此，原始图像的美学受到损害，因为潜在的损失的细粒度的细节和整体的图像布局。然而，这种细粒度的细节和整体图像布局对于评估图像的美学至关重要。在本文中，我们提出了一个自适应布局感知多补丁卷积神经网络（A-Lamp CNN）架构的照片美学评估。该方案能够接受任意大小的图像，并同时从细粒度细节和整体图像布局中学习。为了能够在这些混合输入上进行训练，我们通过开发专用的双子网神经网络结构来扩展该方法，即多补丁子网和布局感知子网。我们进一步构建了一个聚合层，以有效地结合这两个混合特征。在大规模美学评估基准（AVA）上进行的大量实验表明，与最先进的照片美学评估方法相比，该方法的性能有了显着提高。
2017-04-02 cs.CV
First Investigation Into the Use of Deep Learning for Continuous Assessment of Neonatal Postoperative Pain
University of South Florida（南佛罗里达大学）
本文首次研究了使用全自动深度学习框架评估新生儿术后疼痛。它专门研究了使用双线性卷积神经网络（B-CNN）在不同程度的术后疼痛期间提取面部特征，然后使用递归神经网络（RNN）对时间模式进行建模。虽然急性和术后疼痛有一些共同的特点（例如，视觉动作单位），术后疼痛具有不同的动态，并且随着时间的推移以独特的模式演变。我们的实验结果表明，急性和术后疼痛的模式之间有明显的差异。他们还建议使用双线性CNN与RNN模型的组合来连续评估术后疼痛强度。
2020-03-24 cs.CV cs.LG eess.IV
An Efficient Quantitative Approach for Optimizing Convolutional Neural Networks
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；The Ohio State University（俄亥俄州立大学）
随着深度学习的日益普及，卷积神经网络（CNN）在图像分类和目标检测等领域得到了广泛应用，并以其相对于传统统计方法的高精度取得了惊人的成功。为了开发CNN模型的潜力，大量的研究和行业努力都致力于优化CNN。在这些努力中，CNN架构设计由于其在提高模型精度或降低模型复杂度方面的巨大潜力而引起了极大的关注。然而，现有的工作要么在搜索过程中引入了重复的训练开销，要么缺乏可解释的指标来指导设计。为了清除这些障碍，我们提出了3D-Receptive Field（3DRF），这是一种可解释且易于计算的度量，用于估计CNN架构的质量并指导设计的搜索过程。为了验证3DRF的有效性，我们构建了一个静态优化器来改进阶段级和内核级的CNN架构。我们的优化器不仅提供了一个清晰和可重复的过程，而且还减少了架构搜索过程中不必要的训练工作。大量的实验和研究表明，与MobileNet和ResNet等最先进的CNN结构相比，我们的优化器生成的模型可以实现高达5.47%的准确性提高和高达65.38%的参数推导。
2021-09-15 cs.CV cs.LG eess.IV
Quantitative Outcome-Oriented Assessment of Microsurgical Anastomosis
Learning Algorithms and Systems Laboratory (LASA), École Polytechnique Fédérale de Lausanne (EPFL), Switzerland.（学习算法与系统实验室（LASA），瑞士联邦理工学院（EPFL））；Iuliu Hatieganu University of Medicine and Pharmacy, Cluj-Napoca, Romania.（伊利亚·哈蒂亚努大学医学与药学学院，罗马尼亚克鲁日-纳波卡）；Department of Neurosurgery, National Hospital of Denmark, Copenhagen, Denmark.（神经外科部门，丹麦国家医院，哥本哈根，丹麦）
针对显微血管吻合术评估依赖主观判断的问题，提出基于图像处理和几何建模的定量评估框架，有效复现专家评分，提升评估效率与可靠性。
2025-08-26 cs.CV
Interpreting Adversarially Trained Convolutional Neural Networks
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
我们试图解释如何对抗训练的卷积神经网络（AT-CNN）识别对象。我们设计了系统的方法来定性和定量地解释AT-CNN，并将其与正常训练的模型进行比较。令人惊讶的是，我们发现对抗性训练在对象识别任务上训练时会消除标准CNN的纹理偏差，并帮助CNN学习更多的形状偏差表示。我们从两个方面验证了我们的假设。首先，我们比较了AT-CNN和标准CNN在干净图像和不同变换下的图像上的显着性图。比较可以直观地表明，两种类型的CNN的预测对不同类型的特征非常敏感。其次，为了实现定量验证，我们构建了额外的测试数据集，这些数据集破坏了纹理或形状，例如干净数据的样式转换版本，饱和图像和patch-shuffled图像，然后在这些数据集上评估AT-CNN和正常CNN的分类精度。我们的研究结果揭示了为什么AT-CNN比那些正常训练的CNN更强大，并有助于从解释的角度更好地理解CNN的对抗训练。
2019-05-23 cs.CV cs.LG stat.ML
Learning CNN filters from user-drawn image markers for coconut-tree image classification
识别航空图像中的树种对于土地利用分类、种植监测和自然灾害影响评估至关重要。航空影像中树木的人工识别方法繁琐、成本高且容易出错，因此自动分类方法是必要的。卷积神经网络（CNN）模型在不同领域的图像分类应用中取得了很好的成功。然而，CNN模型通常需要密集的手动注释来创建大型训练集。可以在概念上将CNN划分为用于特征提取的卷积层和用于特征空间缩减和分类的全连接层。我们提出了一种方法，需要一个最小的用户选择的图像集训练CNN的特征提取器，减少所需的图像的数量，训练完全连接的层。该方法从用户在图像区域中绘制的区分类别的标记中学习每个卷积层的过滤器，从而允许用户更好地控制和理解训练过程。它不依赖于基于反向传播的优化，我们证明了它的优势对最流行的CNN模型之一的椰子树航空图像的二进制分类。
2020-08-27 cs.CV cs.LG
qDWI-Morph: Motion-compensated quantitative Diffusion-Weighted MRI analysis for fetal lung maturity assessment
Technion（以色列理工学院）；Boston Children’s Hospital（波士顿儿童医院）
胎儿肺弥散加权磁共振成像（DWI）数据的定量分析显示，在提供定量成像生物标志物，间接反映胎儿肺成熟的潜力。然而，采集期间的胎儿运动妨碍了对采集的DWI数据的定量分析，因此妨碍了可靠的临床应用。我们介绍了qDWI-morph，这是一种用于运动补偿定量DWI（qDWI）分析的无监督深度神经网络架构。我们的方法将配准子网络与定量DWI模型拟合子网络耦合。我们同时估计的qDWI参数和运动模型，通过最小化的生物物理通知损失函数集成的注册损失和模型拟合质量损失。我们证明了qDWI-morph的附加价值：1）没有运动补偿的基线qDWI分析和2）仅包含配准丢失的基线深度学习模型。通过胎儿肺DWI数据的体内qDWI分析，qDWI-形态实现了与胎龄的显著改善的相关性（R平方=0.32 vs. 0.13，0.28）。我们的qDWI-形态有可能实现DWI数据的运动补偿定量分析，并为非侵入性胎儿肺成熟度评估提供临床可行的生物标志物。我们的代码可在https://github.com/TechnionComputationalMRILab/qDWI-Morph上获取。
2022-08-21 cs.CV
Surgical Skill Assessment via Video Semantic Aggregation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Dalian University of Technology（大连理工大学）；AIST（产业技术综合研究所）
基于视频的手术技能自动评估是一项很有前途的任务，可以帮助年轻的外科实习生，特别是在资源匮乏的地区。现有的工作通常采用CNN-LSTM联合框架，该框架通过LSTM对空间汇集的短期CNN特征进行长期关系建模。然而，这种做法将不可避免地忽略了语义概念之间的差异，如工具，组织和背景的空间维度，阻碍了后续的时间关系建模。在本文中，我们提出了一种新的技能评估框架，视频语义聚合（ViSA），发现不同的语义部分，并将它们聚集在时空维度。语义部分的显式发现提供了一个解释性的可视化，有助于理解神经网络的决策。它还使我们能够进一步纳入辅助信息，如运动学数据，以提高表示学习和性能。在两个数据集上的实验表明，与最先进的方法相比，ViSA具有竞争力。源代码可在bit.ly/MICCAI2022ViSA上获得。
2022-08-04 cs.CV
Assessment of Shift-Invariant CNN Gaze Mappings for PS-OG Eye Movement Sensors
Texas State University（德克萨斯州立大学）
光传感器眼电（PS-OG）眼球运动传感器提供了用于集成在无线头戴式设备（HMD）内的期望的性能特性，包括低功耗和高采样率。为了解决这些传感器由于HMD移位而导致的已知性能降级，已经提出了各种机器学习技术来将传感器输出映射到注视位置。本文提出了一种最近推出的卷积神经网络的理解，旨在提供一个指定范围内的传感器翻译的转移不变的凝视映射。针对轮班训练样本评估性能，这些样本更好地反映了在专门收集训练数据期间通过手动重新定位HMD生成的值的分布。与之前考虑的矩形网格相比，该网络对于这种现实的位移分布表现出相当的准确性，从而增强了现场设置的可行性。此外，这项工作进一步证明了建议的初始化过程的实际可行性，通过展示强大的映射性能与训练数据规模。也证明了保持合理的准确性的能力，超出了那些在培训过程中引入的变化。
2019-09-04 cs.CV cs.HC
Implementation and comparative quantitative assessment of different multispectral image pansharpening approches
CHARUSAT（查罗塔尔科技大学）；VGEC Chandkheda（昌克赫达政府工程学院）
在遥感方面，各种地球观测卫星获得的图像往往具有高空间分辨率和低光谱分辨率，或者反之亦然。全色锐化是一种旨在提高多光谱图像空间分辨率的技术。全色锐化的挑战不仅在于提高图像的空间分辨率，还在于保持图像的光谱质量。在本文中，各种泛锐化算法进行了讨论和分类的基础上，他们所采取的方法。利用MATLAB的图像处理工具箱，实现了几种常用的全色锐化算法。视觉和定量地评估泛锐化图像的质量。利用相关系数（CC）、均方根误差（RMSE）、相对平均光谱误差（RASE）和普适质量指数（Q）等指标表征光谱质量，利用空间相关系数（SCC）定量参数表征空间质量。最后，对本文进行了总结，并提出了一些有益的意见。
2015-11-15 cs.CV
Knee Cartilage Defect Assessment by Graph Representation and Surface Convolution
School of Biomedical Engineering, Shanghai Jiao Tong University（上海交通大学生物医学工程学院）；Shanghai United Imaging Intelligence Co., Ltd.（上海联影智能医疗科技有限公司）；Department of Imaging, Tongren Hospital, Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属同仁医院影像科）；School of Biomedical Engineering, ShanghaiTech University（上海科技大学生物医学工程学院）
膝关节骨关节炎（OA）是最常见的骨关节炎，也是导致残疾的主要原因。软骨缺损被认为是膝关节OA的主要表现，可通过磁共振成像（MRI）观察到。因此，膝关节软骨缺损的早期检测和评估对于保护患者免受膝关节OA的影响非常重要。以这种方式，通过将卷积神经网络（CNN）应用于膝关节MRI，已经对膝关节软骨缺损评估进行了许多尝试。然而，软骨的生理特性可能会阻碍这些努力：软骨是一个薄的弯曲层，这意味着只有一小部分的体素在膝关节MRI可以有助于软骨缺损的评估;异构扫描协议进一步挑战CNN在临床实践中的可行性;基于CNN的膝关节软骨评估结果缺乏可解释性。为了解决这些挑战，我们将膝关节MRI的软骨结构和外观建模为图形表示，该图形表示能够处理高度多样化的临床数据。然后，在软骨图表示的指导下，我们设计了一个具有自注意机制的非欧深度学习网络，以提取局部和全局的软骨特征，并以可视化的结果得出最终的评估。我们的综合实验表明，该方法在膝关节软骨缺损评估中具有优越的性能，加上其方便的3D可视化可解释性。
2022-01-12 cs.CV eess.IV
Multi-step feature fusion for natural disaster damage assessment on satellite images
Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（波兰科学院理论与应用信息研究所）
本研究针对自然灾害后建筑物损伤快速准确评估的需求，提出带多步特征融合模块及Fuse Module的新方法，在IDA-BD、xView2数据集上使Vision Transformer准确率提升超3个百分点。
2024-10-29 cs.CV
Automated Scoring of Graphical Open-Ended Responses Using Artificial Neural Networks
Boston College（波士顿学院）
免费绘画或图像作为响应的自动评分尚未用于大规模的学生成绩评估。在这项研究中，我们提出了人工神经网络来分类这些类型的图形反应，从基于计算机的国际数学和科学评估。我们正在比较卷积和前馈方法的分类精度。我们的研究结果表明，卷积神经网络（CNN）在损失和准确性方面都优于前馈神经网络。CNN模型将高达97.71%的图像响应分类到适当的评分类别中，这与典型的人类评分员相当，如果不是更准确的话。最准确的CNN模型正确地分类了一些被人类评分员错误评分的图像反应，这一观察结果进一步加强了这些发现。作为一个额外的创新，我们概述了一种方法来选择人类额定响应的训练样本的基础上的应用程序的预期响应函数来自项目响应理论。本文认为，基于CNN的图像响应自动评分是一种高度准确的程序，可以替代第二个人类评分员进行大规模评估的工作量和成本，同时提高复杂构建响应项目评分的有效性和可比性。
2022-01-05 cs.AI cs.CV cs.LG
Severity Assessment of Coronavirus Disease 2019 (COVID-19) Using Quantitative Features from Chest CT Images
Beihang University（北京航空航天大学）；Central South University（中南大学）；The Second Xiangya Hospital, Central South University（中南大学湘雅二医院）；First hospital of Changsha（长沙市第一医院）；Changsha public health treatment center（长沙市公共卫生救治中心）；Shanghai United Imaging Intelligence Co., Ltd.（上海联影智能医疗科技有限公司）
背景：胸部计算机断层扫描（CT）被认为是评估COVID-19严重程度的重要工具。随着受影响患者数量的迅速增加，手动严重程度评估成为一项劳动密集型任务，并可能导致治疗延迟。目的：使用机器学习方法实现基于胸部CT图像的COVID-19严重程度（非严重或严重）的自动评估，并从所得评估模型中探索严重程度相关特征。材料和方法：使用了176名确诊COVID-19患者（年龄45.3 $\pm$ 16.5岁，96名男性和80名女性）的胸部CT图像，其中63个定量特征，例如，计算全肺的感染体积/比率和毛玻璃样阴影（GGO）区域的体积。训练随机森林（RF）模型，以基于定量特征评估严重程度（非严重或严重）。反映与COVID-19严重程度的相关性的每个定量特征的重要性是从RF模型计算的。结果：使用三重交叉验证，RF模型显示出有希望的结果，即，真阳性率为0.933，真阴性率为0.745，准确率为0.875，受试者工作特征曲线下面积（AUC）为0.91。由此得出的定量特征的重要性表明，毛玻璃样阴影（GGO）区域的体积及其比例（相对于整个肺体积）与COVID-19的严重程度高度相关，并且从右肺计算的定量特征与严重程度评估的相关性更大。左肺的相关性。结论：基于RF的模型可以实现COVID-19感染的自动严重性评估（非严重或严重），并且性能很有希望。揭示了几个可能反映COVID-19严重程度的量化特征。
2020-03-26 cs.CV eess.IV
Fusarium head blight detection, spikelet estimation, and severity assessment in wheat using 3D convolutional neural networks
The University of Winnipeg（温尼伯大学）；Agriculture and Agri-Food Canada（加拿大农业与农业食品部）
本研究利用3D卷积神经网络对小麦FHB进行检测、穗数估计及严重程度评估，实现100%检测准确率和高精度估计
2023-03-10 cs.CV cs.LG eess.IV
A Dark and Bright Channel Prior Guided Deep Network for Retinal Image Quality Assessment
Central South University（中南大学）；Hunan Province Engineering Technology Research Center of Computer Vision and Intelligent Medical Treatment（湖南省计算机视觉与智能医疗工程技术研究中心）
视网膜图像质量评价是视网膜疾病诊断中的一项重要工作。最近，出现了用于对视网膜图像的质量进行分级的深度模型。目前的技术水平要么直接将最初为自然图像设计的分类网络转移到视网膜图像的质量分类，要么经由多个CNN分支或独立CNN引入额外的图像质量先验。本文提出了一种用于视网膜图像质量评估的暗通道和亮通道先验引导深度网络，称为GuidedNet。具体而言，暗通道和亮通道先验被嵌入到网络的起始层，以提高深层特征的区分能力。此外，我们重新注释了一个新的视网膜图像质量数据集，称为RIQA-RFMiD，以进一步验证。在一个公开的视网膜图像质量数据集Eye-Quality和我们重新标注的数据集RIQA-RFMiD上的实验结果证明了所提出的GuidedNet的有效性。
2021-04-20 cs.CV eess.IV
Assessment of Faster R-CNN in Man-Machine collaborative search
UC Santa Barbara（加州大学圣巴巴拉分校）；United Technologies Corporation（联合技术公司）；United Technologies Research Center（联合技术研究中心）
随着由深度学习驱动的现代专家系统的出现，补充了人类专家（例如放射科医生，皮肤科医生，监控扫描仪），我们分析了如何以及何时这样的专家系统提高人类在细粒度小目标视觉搜索任务中的表现。我们建立了一个2会话析因实验设计，其中人类在有和没有深度学习（DL）专家系统的情况下视觉搜索目标。我们评估人类的目标检测性能的变化和眼睛运动中存在的DL系统。我们发现DL系统的性能改进（通过具有VGG 16的更快R-CNN计算）与观察者的感知能力（例如，灵敏度）。主要成果包括：1）DL系统在高/低灵敏度的观察者组之间平均降低了每幅图像的误报警率; 2）只有具有高灵敏度的人类观察者的表现优于DL系统，而低灵敏度组即使在DL系统本身的辅助下也不会超过单个DL系统的表现; 3）试验次数的增加和观看时间的减少主要是由DL系统驱动的，仅对于低灵敏度组。4)DL系统通过第三次注视帮助人类观察者注视目标。这些结果提供了与人类合作或竞争的深度学习系统的优势和局限性的见解。
2019-04-04 cs.CV cs.HC cs.RO
Review Helpfulness Assessment based on Convolutional Neural Network
University of South Carolina（南卡罗来纳大学）
在本文中，我们描述了用于评估在线评论有用性的卷积神经网络（CNN）的实现。据我们所知，这是第一次使用这种架构来解决这个问题。我们探讨了影响CNN性能的两个相关因素的影响：不同的词嵌入初始化和不同的输入审查长度。我们还提出了一种方法，将评级星级信息与评论文本相结合，以进一步提高预测精度。我们证明，这可以提高2%的整体精度。最后，我们在基准数据集上对该方法进行了评估，结果表明，相对于传统方法的已发表结果，仅使用评论文本训练的模型的准确性提高了2.5%，而使用评级星信息和评论文本相结合训练的模型的准确性提高了4.24%。
2018-08-27 cs.AI cs.CV
Automated Performance Assessment in Transoesophageal Echocardiography with Convolutional Neural Networks
University College London（伦敦大学学院）；St Bartholomew’s Hospital, NHS Foundation Trust（圣巴塞洛缪医院NHS基金会信托）；St George’s University Hospitals, NHS Foundation Trust（圣乔治大学医院NHS基金会信托）
经食管超声心动图（TEE）是一种有价值的诊断和监测成像方式。正确的图像采集对于诊断至关重要，但目前的评估技术仅基于手动专家审查。本文提出了一种有监督的深度学习框架，用于自动评估和分级TEE图像的质量。为了获得必要的数据集，38名不同经验的参与者使用高保真虚拟现实（VR）平台进行了TEE检查。两个卷积神经网络（CNN）架构，AlexNet和VGG，结构进行回归，微调和验证手动分级图像从三个评价。两种不同的评分策略，一个标准为基础的百分比和整体的一般印象，被使用。开发的CNN模型估计的平均分数与均方根精度范围在84%-93%之间，表明有能力复制专家评估。提出的自动TEE评估策略可以对新TEE操作员的培训过程产生重大影响，提供直接反馈并促进必要的灵巧技能的发展。
2018-06-13 cs.CV
Neural Image Beauty Predictor Based on Bradley-Terry Model
Technical University of Munich（慕尼黑工业大学）
图像美感评价是计算机视觉的一个重要课题。因此，建立一个模拟图像美的评价模型成为一个重要的任务。为了更好地模仿人类视觉系统（HVS）的行为，应该对不同类别的图像进行完整的调查。本文主要研究图像美的评价。在这项研究中，成对的评价方法，这是基于布拉德利-特里模型。我们认为，这种方法比图像组内的其他图像评级方法更准确。此外，卷积神经网络（CNN），这是适合于图像质量评价，在这项工作中使用。本研究的第一部分是关于不同意象的意象美比较的调查。Bradley-Terry模型用于计算得分，这是CNN模型的目标。本文的第二部分重点介绍了图像美感预测的结果，包括风景图像、建筑图像和人像图像。这些模型由AVA数据集进行预训练，以提高以后的性能。然后，用调查的图像和相应的分数训练CNN模型。此外，这项工作比较了四个CNN基础网络的结果，即，Alex网、VGG网、Squeeze网和LSiM网，如文献中所讨论的。最后，通过调查结果计算的配对精度、相关系数和相对误差对模型进行了评价。我们提出的方法取得了令人满意的结果，约70%的准确率对。我们的工作为新的图像美评价方法提供了新的思路。虽然还需要进行更多的研究，但这种方法是有希望的一步。
2021-11-19 cs.AI cs.CV
SVGEditBench: A Benchmark Dataset for Quantitative Assessment of LLM's SVG Editing Capabilities
The University of Tokyo（东京大学）
本文提出SVGEditBench基准数据集，用于定量评估大型语言模型编辑SVG代码的能力，实验表明GPT-4在SVG编辑任务上定量和定性均优于GPT-3.5。
2024-04-21 cs.CV
Learned Proximal Networks for Quantitative Susceptibility Mapping
Johns Hopkins University（约翰斯·霍普金斯大学）；Kennedy Krieger Institute（肯尼迪·克里格研究所）
定量磁化率映射（QSM）通过解决不适定的偶极子反演问题，从磁共振（MR）相位测量中估计组织磁化率分布。传统的单方向QSM方法通常采用正则化策略来稳定这样的反演，但是可能遭受条纹伪影或过度平滑。多方向QSM，如计算磁化率通过多方向采样（COSMOS）可以得到良好的条件反演和伪影自由的解决方案，但有昂贵的采集成本。另一方面，卷积神经网络（CNN）在医学图像重建方面显示出巨大的潜力，尽管通常具有有限的可解释性。在这里，我们提出了一个学习近端卷积神经网络（LP-CNN），用于以迭代近端梯度下降的方式解决不适定的QSM偶极反演问题。这种方法结合了数据驱动的恢复先验的优势和迭代求解器的清晰可解释性，可以考虑偶极卷积的物理模型。在训练过程中，我们的LP-CNN通过它的近端学习一个隐式正则化器，从而实现重建算法中的前向算子和数据驱动参数之间的解耦。更重要的是，这个框架被认为是第一个深度学习QSM方法，可以自然地处理任意数量的相位输入测量，而不需要任何特别的旋转或重新训练。我们证明，与传统和深度学习方法相比，LP-CNN提供了最先进的重建结果，同时在重建过程中具有更大的灵活性。
2020-08-11 cs.CV cs.LG eess.IV
Facilitated machine learning for image-based fruit quality assessment
Empa, Swiss Federal Laboratories for Materials Science and Technology（瑞士联邦材料科学与技术实验室（Empa））；Swiss Data Science Center, ETH Zurich and EPFL（瑞士数据科学中心（苏黎世联邦理工学院与洛桑联邦理工学院共建））；ETH Zurich（苏黎世联邦理工学院）
基于图像的机器学习模型可用于使农产品的分拣和分级更高效。在许多地区，由于收获后供应链缺乏集中化和自动化，实施这种系统可能很困难。利益相关者通常太小，无法专门从事机器学习，并且无法获得大型训练数据集。我们提出了一个机器学习程序的图像的基础上预先训练的视觉Transformer。它比当前训练卷积神经网络（CNN）的标准方法更容易实现，因为我们不（重新）训练深度神经网络。我们评估我们的方法基于两个数据集的苹果缺陷检测和香蕉成熟度估计。我们的模型实现了具有竞争力的分类精度，其精度等于或小于性能最佳的CNN的百分之一。同时，它需要少三倍的训练样本才能达到90%的准确率。
2023-01-10 cs.CV
Reconstructing Sinus Anatomy from Endoscopic Video -- Towards a Radiation-free Approach for Quantitative Longitudinal Assessment
The Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins Medical Institutions（约翰斯·霍普金斯医疗机构）
直接从内窥镜视频重建鼻窦解剖结构的精确3D表面模型是一种有前途的横截面和纵向分析方法，可以更好地了解鼻窦解剖结构与手术结果之间的关系。我们提出了一种患者特定的，基于学习的方法，直接从内窥镜视频中进行鼻窦表面解剖结构的3D重建。我们证明了我们的方法在体内和体外数据的有效性和准确性，我们比较稀疏重建从运动恢复结构，密集重建从COLMAP，和地面真实解剖从CT。我们的纹理重建是水密的，能够测量与CT良好一致的临床相关参数。源代码可在https://github.com/lppllppl920/DenseReconstruction-Pytorch上获得。
2020-07-03 cs.CV
Quantitative Depth Quality Assessment of RGBD Cameras At Close Range Using 3D Printed Fixtures
Root AI Inc（Root人工智能公司）
移动机器人操纵他们的环境需要高精度的场景理解在近距离。通常情况下，这种理解是通过RGBD相机实现的，但为应用选择合适的RGBD相机的评估过程是最低限度的定量。由于质量是特定于应用程序的，因此有限的企业发布的指标不能转化为现实世界混乱环境中观察到的质量。为了弥合这一差距，我们提出了一种使用一组近似真实条件的可扩展3D打印夹具定量测量深度质量的方法。通过将深度质量框定为已知几何形状的点云密度和均方根误差（RMSE），我们提出了一种方法，该方法可由其他系统集成商扩展用于自定义环境。我们展示了3个相机的比较，并提出了一个案例研究相机的选择，提供参考网格和分析代码，并讨论进一步的扩展。
2019-03-21 cs.CV cs.RO
FaceQnet: Quality Assessment for Face Recognition based on Deep Learning
UAM（马德里自治大学）；European Commission, JRC（欧盟委员会联合研究中心）
在本文中，我们开发了一种基于深度学习的人脸识别质量评估方法。该方法包括一个卷积神经网络，FaceQnet，这是用来预测一个特定的输入图像的人脸识别目的的适用性。FaceQnet的训练使用VGGFace2数据库完成。我们采用BioLab-ICAO框架来标记VGGFace2图像，其中包含与其ICAO合规级别相关的质量信息。地面实况质量标签是使用FaceNet获得的，以生成比较分数。我们使用地面实况数据来微调基于ResNet的CNN，使其能够为每个输入图像返回数值质量度量。最后，我们验证了FaceQnet分数是否适合预测预期的性能时，采用特定的图像与COTS人脸识别系统进行人脸识别。从这项工作中可以得出若干结论，最值得注意的是：1）我们设法采用现有的ICAO合规框架和预训练的CNN来自动标记具有质量信息的数据，2）我们通过微调预训练的人脸识别网络来训练FaceQnet进行质量估计（ResNet-50），以及3）我们已经证明，FaceQnet的预测与开发过程中未使用的最先进商业系统的人脸识别准确性高度相关。FaceQnet在GitHub上公开。
2019-04-04 cs.CV cs.LG eess.IV
Image Quality Assessment using Contrastive Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Inc.（谷歌公司）
我们认为，在自我监督的方式获得图像质量表示的问题。我们使用预测的失真类型和程度作为一个辅助任务来学习功能，从一个未标记的图像数据集包含的合成和现实的扭曲的混合物。然后，我们使用对比成对目标训练深度卷积神经网络（CNN）来解决辅助问题。我们将所提出的训练框架和由此产生的深度IQA模型称为对比图像质量评估器（CONTRIQUE）。在评估期间，CNN权重被冻结，并且线性回归器将学习的表示映射到无参考（NR）设置中的质量分数。我们通过大量的实验表明，与最先进的NR图像质量模型相比，即使没有对CNN主干进行任何额外的微调，CONTRIQUE也能实现具有竞争力的性能。所学习的表示是高度鲁棒的，并且在受到合成或真实失真影响的图像中很好地推广。我们的研究结果表明，可以获得强大的质量表示与感知相关性，而不需要大型标记的主观图像质量数据集。本文中使用的实现可在\url{https://github.com/pavancm/CONTRIQUE}上获得。
2021-10-25 cs.CV cs.MM eess.IV
Automatic CNN-based detection of cardiac MR motion artefacts using k-space data augmentation and curriculum learning
King's College London（伦敦国王学院）；Guy's and St Thomas' Hospital NHS Foundation Trust（盖伊和圣托马斯国民保健服务基金会信托医院）；Imperial College London（帝国理工学院）
良好的医学图像质量是后续图像分析管道成功的前提。因此，医学图像的质量评估是一项必不可少的活动，对于大规模人群研究，如英国生物库（UKBB），人工识别伪影，如由意外运动引起的伪影是繁琐和耗时的。因此，迫切需要自动图像质量评估技术。在本文中，我们提出了一种方法来自动检测心脏磁共振（CMR）电影图像中的运动相关的伪影的存在。我们比较了两种深度学习架构来分类低质量的CMR图像：1）3D时空卷积神经网络（3D-CNN），2）长期递归卷积网络（LRCN）。虽然在实际的临床设置中运动伪影是常见的，但UKBB的高质量成像（其包括不一定具有健康问题的志愿者的横截面群体数据）产生了高度不平衡的分类问题。由于高质量的图像相比，相对较低数量的图像与运动伪影，我们提出了一种新的数据增强计划的基础上，在k空间中的合成伪影创建。我们还研究了一种学习方法，使用预定的课程的基础上合成人工制品的严重性。我们评估我们的管道上的一个子集的英国生物银行数据集组成的3510 CMR图像。LRCN架构优于3D-CNN架构，能够在不到1 ms的时间内检测具有运动伪影的2D+时间短轴图像，具有高召回率。我们将我们的方法与一系列最先进的质量评估方法进行比较。新的数据增强和课程学习方法都提高了分类性能，实现了0.89的ROC曲线下总面积。
2018-12-11 cs.CV
AI-Driven Three-Dimensional Reconstruction and Quantitative Analysis for Burn Injury Assessment
Toronto Metropolitan University（多伦多 Metropolitan 大学）；York University（约克大学）；AIMechatroniX Inc.（AIMechatroniX 公司）；DrRobot Inc.（DrRobot 公司）；Skinopathy Inc.（Skinopathy 公司）；Scarborough Health Network, Centenary Hospital, Scarborough, Ontario, Canada（Scarborough 医疗网络，Centenary 医院）；University of Alberta Hospital, Edmonton, Alberta, Canada（阿尔伯塔大学医院）
本文提出基于人工智能的三维重建与定量分析平台，用于客观评估烧伤程度及跟踪愈合进展，支持结构化临床工作流程和自动化报告生成。
2026-01-27 cs.CV
No-Reference Image Quality Assessment via Transformers, Relative Ranking, and Self-Consistency
Bosch Center for AI（博世人工智能中心）；Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
无参考图像质量评价（NR-IQA）的目标是根据主观评价来估计图像的感知质量，由于缺乏原始参考图像，这是一个复杂且尚未解决的问题。在本文中，我们提出了一种新的模型来解决NR-IQA任务，利用混合方法，受益于卷积神经网络（CNN）和自注意力机制的Transformers从输入图像中提取本地和非本地的功能。我们通过CNN捕获图像的局部结构信息，然后为了规避提取的CNN特征之间的局部偏差并获得图像的非局部表示，我们在提取的特征上使用Transformers，将其建模为Transformer模型的顺序输入。此外，为了改善主观和客观分数之间的单调性相关性，我们利用每批图像之间的相对距离信息，并执行它们之间的相对排名。最后但并非最不重要的是，我们观察到，当我们对输入应用等变变换（例如水平翻转）时，NR-IQA模型的性能会下降。因此，我们提出了一种方法，利用自我一致性作为自我监督的来源，以提高NRIQA模型的鲁棒性。具体来说，我们对每个图像的质量评估模型的输出及其转换（水平翻转）之间进行自我一致性，以利用丰富的自我监督信息并减少模型的不确定性。为了证明我们工作的有效性，我们在七个标准IQA数据集（合成和真实）上进行了评估，并表明我们的模型在各种数据集上都取得了最先进的结果。
2022-01-05 cs.CV eess.IV
Prostate Lesion Detection and Salient Feature Assessment Using Zone-Based Classifiers
多参数磁共振成像（mpMRI）在检测前列腺癌病变中的作用越来越大。因此，解释这些扫描的医疗专业人员通过使用计算机辅助检测系统来降低人为错误的风险是相关的。然而，系统实现中使用的各种算法产生了混合的结果。在这里，我们研究每个前列腺区域的最佳机器学习分类器。我们还发现了显着特征来阐明模型的分类原理。在所提供的数据中，我们收集并增强了T2加权图像和表观扩散系数图图像，以提取第一至第三阶统计特征作为机器学习分类器的输入。对于我们的深度学习分类器，我们使用卷积神经网络（CNN）架构进行自动特征提取和分类。通过显著性映射来理解其中的分类机制，从而提高了CNN结果的可解释性。最终，我们得出结论，有效检测外周和前部纤维肌间质（AS）病变更多地依赖于统计分布特征，而过渡区（TZ）病变更多地依赖于纹理特征。Entrance算法在PZ和TZ区域中效果最好，而CNN在AS区域中效果最好。这些分类器可用于验证放射科医生的预测，并减少疑似前列腺癌患者的阅片者间差异。本研究中报告的显著特征也可以进一步研究，以更好地了解mpMRI前列腺病变的隐藏特征和生物标志物。
2022-08-24 cs.CV eess.IV
Pixel-Level Pavement Distress Assessment Using Instance Segmentation
Computer Science Department University of Wisconsin - Green Bay, Green Bay, WI, USA（威斯康星大学绿湾分校计算机科学系）
提出基于Mask R-CNN实例分割的路面病害分析系统，在自定义数据集上实现精确的裂缝和坑洞分割，并验证了其在实际路面图像中的有效性。
2026-10-14 cs.CV
CineMR: Tool-Integrated Vision-Language Reasoning for Quantitative Cardiac MRI Assessment
Institute for Artificial Intelligence, University of Central Florida（中佛罗里达大学人工智能研究所）；Nemours Cardiac Center, Nemours Children’s Hospital, Florida（佛罗里达州内穆尔斯儿童医院内穆尔斯心脏中心）；Children’s Heart Center, WVU Golisano Children’s, West Virginia（西弗吉尼亚大学戈利萨诺儿童医院儿童心脏中心）；Department of Clinical Sciences, College of Medicine, University of Central Florida（中佛罗里达大学医学院临床科学系）
CineMR是一种工具增强的视觉语言模型，通过调用心脏图像分析工具并整合输出，实现定量CMR评估，在基准上显著提升性能，强调了可靠工具使用的重要性。
2026-10-06 cs.AI cs.CV
Monocular Markerless Motion Capture Enables Quantitative Assessment of Upper Extremity Reachable Workspace
Shriners Children’s Lexington（夏皮尔儿童医院莱克星顿分院）；University of Kentucky Department of Physical Therapy（肯塔基大学物理治疗系）；Shirley Ryan AbilityLab（希拉里·瑞安康复实验室）；Northwestern University（西北大学）；School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）；The Wallace H. Coulter Department of Biomedical Engineering（沃克·H·库勒生物医学工程系）；Georgia Institute of Technology and Emory University（佐治亚理工学院和埃默里大学）；Pennsylvania State University at Harrisburg（宾夕法尼亚州立大学哈里斯堡分校）；Nationwide Children’s Hospital（全国儿童医院）
单目无标记动作捕捉技术用于评估上肢可达空间，通过对比不同摄像机配置验证其临床可行性及实用性。
2026-02-13 cs.CV
CNN-Based Semantic Change Detection in Satellite Imagery
The University of Manchester（曼彻斯特大学）
及时的灾害风险管理需要准确的路线图和迅速的损害评估。目前，这是由志愿者手动标记受影响地区的卫星图像完成的，但这一过程缓慢，而且往往容易出错。分割算法可应用于卫星图像以检测道路网络。然而，现有的方法是不适合受灾地区，因为他们作出的道路网络拓扑结构，这可能不再是有效的，在这些情况下的假设。在这里，我们提出了一个基于CNN的框架，用于通过检测灾前图像的变化来识别灾后图像中的可通行道路。将图论与CNN输出相结合，用于检测OpenStreetMap数据道路网络中的语义变化。我们的研究结果与数据的海啸影响地区在帕卢，印度尼西亚从DigitalGlobe获得验证。
2020-06-10 cs.CV
