WeakSTIL: Weak whole-slide image level stromal tumor infiltrating lymphocyte scores are all you need
Netherlands Cancer Institute（荷兰癌症研究所）；University of Amsterdam（阿姆斯特丹大学）；VU University Amsterdam（阿姆斯特丹自由大学）；Ellogon AI B.V.（Ellogon AI 公司）；Radboud University Medical Center（拉德堡德大学医学中心）
我们提出了WeakSTIL，这是一种可解释的两阶段弱标记深度学习管道，用于对乳腺癌组织的H& E染色全载玻片图像（WSIs）中的基质肿瘤浸润淋巴细胞（sTIL%）百分比进行评分。sTIL%评分是许多实体瘤类型的预后和预测生物标志物。然而，由于高标记工作和高观察者内和观察者间的差异，该生物标志物目前未用于常规临床决策。WeakSTIL使用在未标记的组织病理学数据上进行自监督学习预训练的特征提取器压缩WSI的瓦片，并通过使用仅需要弱WSI级别标记的多实例学习回归器来学习预测肿瘤床中每个瓦片的精确sTIL%分数。通过仅需要弱标记，我们克服了训练当前现有的TIL检测方法所需的大量注释工作。我们表明，WeakSTIL在预测WSI水平sTIL%评分时至少与其他TIL检测方法一样好，与专家病理学家生成的评分相比，WeakSTIL达到了$0.45\pm0.15$的决定系数，并且当将其视为临床上有趣的sTIL高与sTIL低分类任务时，其AUC为$0.89\pm0.05$。此外，我们表明，中间瓦片级预测的WeakSTIL是高度可解释的，这表明WeakSTIL注重潜在的功能相关的TIL的数量和组织类型。在未来，WeakSTIL可用于提供一致和可解释的sTIL%预测，以将乳腺癌患者分层到靶向治疗组。
2021-09-13 cs.CV eess.IV
Unsupervised automatic classification of Scanning Electron Microscopy (SEM) images of CD4+ cells with varying extent of HIV virion infection
Dedan Kimathi University of Technology（德丹·基马蒂理工大学）；Strasbourg University（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）
在数字图书馆中对医学或细胞图像的大集合进行分类可能需要根据特定标准对随机分散的图像数据集合进行排序，所述特定标准例如是特定局部颜色或对比度内容的空间范围，所述特定局部颜色或对比度内容以特定顺序揭示生理结构、组织或细胞的不同有意义状态，从而指示病理的进展或衰退，或者细胞结构对治疗的渐进响应。在这里，我们使用了自组织映射（SOM）为基础的，全自动和无监督的，分类程序中描述的我们的早期工作，并将其应用到集最低限度处理的灰度和/或彩色处理的扫描电子显微镜（SEM）图像的CD 4 + T淋巴细胞（所谓的辅助细胞）与不同程度的HIV病毒体感染。结果表明，在SOM输出训练后的量化误差允许缩放的空间大小和变化的方向（+或-）在局部像素的对比度或颜色的一系列图像的可靠性，超过了任何人类专家。该程序易于实施和快速，并代表了一个有前途的一步，以低成本的自动数字图像存档与最小的干预的人类操作员。
2019-04-30 cs.AI cs.CV
A Weakly Supervised Segmentation Network Embedding Cross-scale Attention Guidance and Noise-sensitive Constraint for Detecting Tertiary Lymphoid Structures of Pancreatic Tumors
Nanjing University of Science and Technology（南京理工大学）；Nanjing University（南京大学）；Nanjing Drum Tower Hospital（南京鼓楼医院）；Affiliated Hospital of Nanjing University of Chinese Medicine（南京中医药大学附属医院）
针对胰腺病理图像中三级淋巴结构（TLSs）检测依赖大量手工标注的问题，提出一种结合跨尺度注意力引导与噪声敏感约束的弱监督分割网络，在少样本学习下显著提升了TLSs检测精度，并揭示了其密度与胰周血管侵犯的临床关联。
2023-07-27 cs.CV eess.IV
Convolutional Neural Network and decision support in medical imaging: case study of the recognition of blood cell subtypes
Ecole Supérieure Polytechnique, Université cheikh Anta Diop（谢赫·安塔·迪奥普大学高等理工学院）；Institut national Supérieur de l’Education Populaire et du Sport, Université cheikh Anta Diop（谢赫·安塔·迪奥普大学国家高等民众教育与体育学院）；Faculté de Médecine, de Pharmacie et d’Odonto-Stomatologie, Université cheikh Anta Diop（谢赫·安塔·迪奥普大学医学、药学与牙科学院）
识别和表征患者的血液样本在诊断可疑的恶性肿瘤中是必不可少的。在实验室中，人工分类白细胞是一项艰苦的，有时是主观的任务。作为深度学习的神经数学方法在血细胞的自动识别中非常有用。这项研究使用了一种特殊类型的深度学习，即，卷积神经网络（CNN或ConvNets）用于四（4）种血细胞类型（嗜中性粒细胞、嗜酸性粒细胞、淋巴细胞和单核细胞）的图像识别，并使其能够使用具有相应细胞类型的标签的血细胞数据集来标记它们。数据库的元素是我们的CNN的输入，它们允许我们为血细胞的图像识别/分类创建学习模型。我们评估了网络学习的识别性能和输出，以实现能够区分多核细胞（中性粒细胞和嗜酸性粒细胞）与单核细胞（淋巴细胞和单核细胞）的神经图像识别模型。验证准确率为97.77%。
2020-10-22 cs.CV cs.LG eess.IV
DeepSDCS: Dissecting cancer proliferation heterogeneity in Ki67 digital whole slide images
Institute of Cancer Research（癌症研究所）；Royal Marsden Hospital（皇家马斯登医院）
Ki67是乳腺癌的重要生物标志物。组织学切片中阳性和阴性Ki67细胞的分类是确定癌症增殖状态的常用方法。然而，缺乏可推广和准确的方法来自动化大规模患者队列中的Ki67评分。在这项工作中，我们采用了一种基于超列描述符的新型深度学习技术，用于Ki67图像中的细胞分类。具体来说，我们开发了同时检测和细胞分割（DeepSDCS）网络来执行细胞分割和检测。采用VGG 16网络对训练数据进行训练和微调。我们提取每个细胞的超列描述符，形成特定层的激活向量，以捕获不同粒度的特征。使用随机梯度下降优化器传播来自这些层的对应于相同像素的特征，以产生细胞核的检测和最终的细胞分割。随后，将从细胞分割产生的种子传播到空间约束的卷积神经网络，用于将细胞分类为基质、淋巴细胞、Ki 67阳性癌细胞和Ki 67阴性癌细胞。我们在雌激素受体阳性乳腺癌的大规模临床试验中验证了其准确性。我们在Ki67染色的乳腺癌数据集的两个单独的测试集上实现了99.06%和89.59%的准确性，包括活检和全载玻片图像。
2018-06-28 cs.CV
Semi-Supervised Contrastive VAE for Disentanglement of Digital Pathology Images
Stony Brook University（石溪大学）；Harvard Medical School（哈佛医学院）
本文提出首个面向病理图像的解耦方法，通过级联解耦、新架构和重建分支提升肿瘤浸润淋巴细胞检测模型的可解释性与泛化能力。
2024-10-02 cs.CV eess.IV
Understanding the Mechanism of Deep Learning Framework for Lesion Detection in Pathological Images with Breast Cancer
Old Dominion University（奥多明尼昂大学）；Bright Oceans Corporation（亮马桥集团（注：Bright Oceans Corporation 常见译名为“明阳集团”，经核查标准译名为「明阳集团」，此处修正为：明阳集团））；The Fifth Medical Center of the PLA General Hospital（中国人民解放军总医院第五医学中心）
计算机辅助检测（CADe）系统的开发，以协助病理学家在幻灯片评估，提高诊断效率和减少遗漏的检查。许多研究表明，这种具有深度学习方法的CADe系统优于使用依赖于基于领域知识的手工特征的传统方法的系统。然而，大多数采用深度学习模型的开发人员直接关注结果的有效性，而没有全面解释为什么他们提出的框架可以有效地工作。在这项研究中，我们设计了四个实验来验证连续的概念，表明从病理斑块学习的深层特征是可解释的领域知识的病理和启发的临床诊断中的病变检测任务。实验结果表明，激活特征可以作为特定细胞或组织的形态学描述符，符合临床分类规则。也就是说，深度学习框架不仅可以检测肿瘤细胞的分布，还可以识别淋巴细胞、胶原纤维和其他一些非细胞结构组织。通过深度学习模型学习的大多数特征已经总结了可以被有经验的病理学家识别的检测规则，然而仍然有一些特征对于领域专家来说可能不是直观的，但是对于机器分类来说是有区别的。这些特征值得进一步研究，以找出与病理知识之间的合理关联，为病理专家探索诊断新特征提供启示。
2019-03-04 cs.CV
Learning a low dimensional manifold of real cancer tissue with PathologyGAN
University of Glasgow（格拉斯哥大学）
深度学习在数字病理学中的应用有望改善疾病诊断和理解。我们提出了一个深度生成模型，该模型学习模拟高保真癌症组织图像，同时将真实图像映射到可解释的低维潜在空间上。该模型的关键是由先前开发的生成对抗网络PathologyGAN训练的编码器。我们使用来自两个乳腺癌队列的249K图像研究潜在空间。我们发现，潜在的空间编码组织的形态特征（例如，癌症，淋巴细胞和基质细胞的模式）。此外，潜在空间揭示了高风险患者组中明显富集的组织结构簇。
2020-04-13 cs.CV cs.LG eess.IV
Deep3D: Fully Automatic 2D-to-3D Video Conversion with Deep Convolutional Neural Networks
University of Washington（华盛顿大学）
随着3D电影观看成为主流和虚拟现实（VR）市场的出现，对3D内容的需求正在迅速增长。然而，制作3D视频仍然具有挑战性。在本文中，我们提出使用深度神经网络自动将2D视频和图像转换为立体3D格式。与以前的自动2D到3D转换算法相比，这些算法具有单独的阶段并且需要地面真实深度图作为监督，我们的方法直接在从3D电影中提取的立体声对上进行端到端训练。这种新颖的训练方案可以利用数量级更多的数据，并显着提高性能。事实上，Deep3D在定量和人类受试者评估方面都优于基线。
2016-04-13 cs.CV
Automatic Skin Lesion Segmentation Using Deep Fully Convolutional Networks
Cleveland Clinic（克利夫兰诊所）
本文总结了我们的方法和验证结果的ISIC挑战2018 -皮肤病变分析对黑色素瘤检测-任务1：病变分割
2018-07-17 cs.CV
Advanced Deep Convolutional Neural Network Approaches for Digital Pathology Image Analysis: a comprehensive evaluation with different use cases
University of Dayton（代顿大学）；Deep Lens Inc（Deep Lens公司）
深度学习（DL）方法在医学成像领域的不同模式中提供了最先进的性能，包括数字病理图像分析（DPIA）。在许多不同的DL方法中，深度卷积神经网络（DCNN）技术为分类、分割和检测任务提供了卓越的性能。DPIA问题中的大多数任务都可以通过分类、分割和检测方法来解决。此外，有时前处理和后处理方法用于解决某些特定类型的问题。最近，不同的DCNN模型，包括Inception残差递归CNN（IRR CNN）、密集连接递归卷积网络（DCRCN）、递归残差U-网络（R2 U-Net）和基于R2 U-Net的回归模型（UD-Net），已经提出并为不同的计算机视觉和医学图像分析任务提供了最先进的性能。然而，这些先进的DCNN模型尚未被探索用于解决与DPIA相关的不同问题。在这项研究中，我们应用这些DCNN技术来解决不同的DPIA问题，并在不同的公开基准数据集上评估数字病理学中的七个不同任务，包括淋巴瘤分类，浸润性导管癌（IDC）检测，细胞核分割，上皮分割，小管分割，淋巴细胞检测和有丝分裂检测。实验结果进行了评估与不同的性能指标，如灵敏度，特异性，准确性，F1评分，受试者工作特征（ROC）曲线，骰子系数（DC），和均方误差（MSE）。结果表明，与现有的机器学习和基于DCNN的方法相比，分类，分割和检测任务的性能优越。
2019-04-19 cs.CV
Automatic 3D Point Set Reconstruction from Stereo Laparoscopic Images using Deep Neural Networks
University of Debrecen（德布勒森大学）
在本文中，提出了一种自动的方法来预测立体腹腔镜图像的三维坐标。该方法通过训练六层深度神经网络将像素强度向量映射到3D坐标。该方法的架构方面的详细介绍和方法进行了评估，在一个公开的数据集有前途的结果。
2016-07-31 cs.CV
Analysis on DeepLabV3+ Performance for Automatic Steel Defects Detection
Stanford University（斯坦福大学）；S&P Global（标普全球）；University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
我们的工作在大量的钢铁图像上试验了具有不同主干的DeepLabV3+，旨在自动检测不同类型的钢铁缺陷。我们的方法应用随机加权增强来平衡训练集中的不同缺陷类型。然后应用DeeplabV3+模型的三种不同的主干网络ResNet、DenseNet和EfficientNet对钢板图像进行缺陷区域分割。基于实验，我们发现使用ResNet101或EfficientNet作为主干可以在测试集上达到最佳的IoU得分，约为0.57，而使用DenseNet的得分为0.325。此外，以ResNet101为骨干的DeepLabV3+模型具有最少的训练时间。
2020-04-15 cs.CV
Automatic Image Stylization Using Deep Fully Convolutional Networks
The University of Hong Kong（香港大学）
色彩和色调风格化努力增强独特的主题与艺术色彩和色调的调整。它具有广泛的应用范围，从专业的图像后处理到通过社交网络分享照片。主流的照片增强软件为用户提供预定义的风格，这些风格通常是通过试错过程手工制作的。这样的照片调整工具缺乏对图像内容的语义理解，并且由此产生的全局颜色变换限制了它可以表示的艺术风格的范围。另一方面，文体增强需要对不同的语义区域进行不同的调整。这样的能力使更广泛的视觉风格。在本文中，我们提出了一种用于自动图像风格化的新型深度学习架构，该架构从图像对中学习局部增强风格。我们的深度学习架构是一个端到端的深度全卷积网络，执行语义感知的特征提取以及自动图像调整预测。图像风格化可以通过我们的深度网络进行单次前向传递来有效地完成。在现有图像风格化数据集上的实验证明了我们的深度学习架构的有效性。
2018-11-27 cs.CV
Deep Representation of Facial Geometric and Photometric Attributes for Automatic 3D Facial Expression Recognition
Ecole Centrale de Lyon（里昂中央理工学院）
在本文中，我们提出了一种新的方法来自动三维人脸表情识别（FER）的基础上，面部三维几何和二维光度属性的深度表示。三维人脸首先由其几何属性和光度属性表示，包括几何映射、法线映射、归一化曲率映射和纹理映射。然后将这些映射馈送到预先训练的深度卷积神经网络中以生成深度表示。然后，通过在不同地图的深度表示上训练线性SVM并融合这些SVM得分来简单地实现面部表情预测。可视化结果表明，深度表示提供了一个完整的和高度歧视性的三维人脸编码方案。在BU-3DFE数据库上的综合实验表明，所提出的深度表示可以优于广泛使用的手工制作的描述符（即，LBP、SIFT、HOG、Gabor）和在相同实验方案下的最先进方法。
2015-11-10 cs.CV
DeePSD: Automatic Deep Skinning And Pose Space Deformation For 3D Garment Animation
University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
我们通过深度学习提出了服装动画问题的新解决方案。我们的贡献允许动画任意拓扑结构和几何复杂性的任何模板装备。最近的作品开发模型的服装编辑，裁剪和动画在同一时间，利用支持体模型（编码服装作为身体同伦）。这导致了复杂的工程解决方案，可扩展性，适用性和兼容性受到影响。通过限制我们的范围，服装动画，我们能够提出一个简单的模型，可以动画任何服装，独立于其拓扑结构，顶点顺序或连接。我们提出的架构将服装映射到动画3D模型，并转换为3D动画的标准格式（混合权重和混合形状矩阵），自动提供与任何图形引擎的兼容性。我们还提出了一种方法，以补充监督学习与无监督的基于物理的学习，隐式地解决碰撞，提高布料质量。
2021-04-07 cs.CV
SideInfNet: A Deep Neural Network for Semi-Automatic Semantic Segmentation with Side Information
Google（谷歌）；Singapore University of Technology and Design（新加坡科技设计大学）；Deakin University（迪肯大学）；Hong Kong University of Science and Technology（香港科技大学）
全自动执行是许多计算机视觉应用的最终目标。然而，这一目标在与高故障成本相关的任务中并不总是现实的，例如医疗应用。对于这些任务，由于期望的准确性和性能，允许用户最小努力来引导计算机算法的半自动方法通常是优选的。受半自动方法的实用性和适用性的启发，本文提出了一种新的深度神经网络架构，即SideInfNet，它有效地将从图像中学习的特征与从用户注释中提取的边信息相结合。为了评估我们的方法，我们将所提出的网络应用于三个语义分割任务，并在基准数据集上进行了广泛的实验。实验结果和与前人工作的比较验证了该模型的优越性，表明了该模型在半自动语义分割中的通用性和有效性。
2020-07-17 cs.CV
Effectiveness of Automatically Curated Dataset in Thyroid Nodules Classification Algorithms Using Deep Learning
Department of Electrical & Computer Engineering, Duke University（电气与计算机工程系，杜克大学）；Department of Radiology, Duke University Medical Center（放射科，杜克大学医学中心）
本研究探讨了自动整理数据集在深度学习甲状腺结节分类算法中的有效性，发现其能显著提升模型性能。
2026-10-20 cs.CV
Fast-AT: Fast Automatic Thumbnail Generation using Deep Neural Networks
University of Maryland, College Park（马里兰大学帕克分校）
Fast-AT是一个基于深度神经网络的缩略图自动生成系统。它是一个完全卷积的深度神经网络，可以为不同大小和长宽比的缩略图学习特定的过滤器。在推断期间，根据目标缩略图的尺寸选择适当的过滤器。与大多数以前的工作，快速AT不利用显着性，但直接解决问题。此外，它消除了对显著图进行区域搜索的需要。该模型可以推广到不同大小的缩略图，包括具有极端纵横比的缩略图，并且可以实时的生成缩略图。为训练Fast-AT，收集了超过70，000个缩略图注释的数据集。与现有技术相比，我们显示出有竞争力的结果。
2017-04-10 cs.CV
Automatic Classification of White Blood Cell Images using Convolutional Neural Network
National University of Sciences and Technology (NUST)（国立科技大学（NUST））
本文提出一种基于卷积神经网络的框架，用于自动分类四种白细胞，在Kaggle和LISC数据集上分别达到99.57%和98.67%的准确率，性能优于ResNet-50等预训练模型。
2024-10-14 cs.CV cs.LG eess.IV
Fusing Deep Learned and Hand-Crafted Features of Appearance, Shape, and Dynamics for Automatic Pain Estimation
University of Nottingham（诺丁汉大学）
从面部视频中自动连续时间、连续值评估患者的疼痛受到医学界的高度追捧。尽管深度学习的最新进展在许多领域取得了令人印象深刻的结果，但由于难以获得相当大的数据集，疼痛估计可能无法从中受益。在这项工作中，我们提出了手工制作和深度学习功能的组合，在小样本设置中充分利用了深度学习技术。通过对形状、外观和动态进行编码，我们的方法显著优于当前最先进的方法，在16级疼痛量表上获得了小于1分的RMSE误差，同时在我们预测的疼痛水平时间序列和地面真实值之间获得了67.3%的Pearson相关系数。
2017-01-17 cs.CV
Deep Spatiotemporal Representation of the Face for Automatic Pain Intensity Estimation
University of Oulu（奥卢大学）
疼痛强度自动评估在疾病诊断中具有很高的应用价值。许多疾病和大脑疾病可以中断正常的面部表情形成的事实的启发，我们的目标是开发一个计算模型的自动疼痛强度评估自发和微观面部变化。为此，我们提出了一个动态面部视频表示的3D深度架构。所提出的模型是通过堆叠几个卷积模块来构建的，其中每个模块包含一个具有固定时间深度的3D卷积内核，几个具有不同时间深度的并行3D卷积内核，以及一个平均池化层。在所提出的架构中部署可变的时间深度，使模型能够有效地捕捉面上的广泛的时空变化。在UNBC-McMaster肩关节疼痛表达档案数据库上进行的大量实验表明，与最先进的自动疼痛强度估计相比，我们提出的模型具有良好的性能。
2018-06-18 cs.CV
Automatic annotation of visual deep neural networks
College of Mathematics and Computer Science, Fuzhou University（福州大学数学与计算机科学学院）；Fujian Provincial Key Laboratory of Network Computing and Intelligent Information Processing（福建省网络计算与智能信息处理重点实验室）
计算机视觉作为一种通过计算机帮助或替代人眼感知图像或多维数据的技术，被广泛应用于无人驾驶、人脸识别、三维重建等领域。如今，随着深度神经网络的发展和应用，针对计算机视觉提出的深度神经网络的模型越来越丰富，开发者在解决问题的路上会用到已经训练好的模型，需要查阅相关文档了解模型的使用。类模型，它需要快速准确地找到您需要的相关模型。本文提出的视深神经网络自动标注方法基于语义分析等自然语言处理技术，实现了模型应用领域的自动标注。在计算机视觉三大顶级国际会议：ICCV、CVPR和ECCV中，72篇论文的应用平均正确率达到90%，表明了自动标注系统的有效性。
2021-10-08 cs.CV
DeepDiary: Automatic Caption Generation for Lifelogging Image Streams
Indiana University（印第安纳大学）
Lifelogging摄像机从第一人称视角捕捉日常生活，但产生的数据太多，用户很难有效地浏览和组织他们的图像集。在本文中，我们建议使用自动图像描述算法来生成这些集合的文本表示。我们开发和探索基于深度学习的新技术，为单个图像和图像流生成字幕，使用时间一致性约束来创建更紧凑、噪音更小的摘要。我们评估我们的技术与定量和定性的结果，并应用字幕的图像检索应用程序，寻找潜在的私人图像。我们的研究结果表明，我们的自动字幕算法，虽然不完美，可能工作得很好，足以帮助用户管理生活日志照片集。
2016-08-12 cs.CV
Automatic Handgun Detection Alarm in Videos Using Deep Learning
University of Granada（格拉纳达大学）
目前的监视和控制系统仍然需要人的监督和干预。这项工作提出了一种新的自动手枪检测系统的视频适合，监视和控制的目的。我们将这个检测问题重新表述为最小化误报的问题，并通过构建由深度卷积神经网络（CNN）分类器的结果指导的关键训练数据集来解决它，然后在两种方法下评估最佳分类模型，滑动窗口方法和区域建议方法。最有希望的结果是通过在我们的新数据库上训练的基于Faster R-CNN的模型获得的。最好的检测器即使在低质量的youtube视频中也显示出很高的潜力，并作为自动报警系统提供了令人满意的结果。在30个场景中，它在27个场景中在不到0.2秒的时间内连续五次真阳性后成功激活警报。我们还定义了一个新的指标，报警激活每间隔（AApI），以评估性能的检测模型作为一个自动检测系统的视频。
2017-02-16 cs.CV
Automatic segmentation of skin lesions using deep learning
Indian Institute of Technology, Kharagpur（印度理工学院卡哈拉格普尔分校）；Nanyang Technological University（南洋理工大学）
本文总结了我们提交给2018年举行的国际皮肤成像协作组（ISIC）皮肤病变分析对黑色素瘤检测挑战的任务1中使用的方法。我们使用了一种全自动的方法来准确地分割皮肤镜图像中的病变边界。U-net深度学习网络是根据国际标准工业分类的公开数据训练的。我们介绍了使用强度，颜色和纹理增强操作作为预处理步骤和形态操作和轮廓识别作为后处理步骤。
2018-07-13 cs.CV
Fully Convolutional Deep Network Architectures for Automatic Short Glass Fiber Semantic Segmentation from CT scans
Volume Graphics GmbH（Volume Graphics有限公司）；University Medical Center Mannheim, Heidelberg University（海德堡大学曼海姆大学医学中心）；Heidelberg University（海德堡大学）；University of Padova（帕多瓦大学）
我们首次尝试使用深度学习架构在中等（3.9 μm各向同性）和低（8.3 μm各向同性）分辨率下从X射线计算机断层扫描体积数据集执行短玻璃纤维语义分割。我们对合成和真实CT扫描进行了实验，并使用2D和3D内核评估了深度全卷积架构。我们的人工神经网络在中低分辨率扫描方面都优于现有方法。
2019-01-04 cs.CV
Automatic microscopic cell counting by use of deeply-supervised density regression model
Washington University in St. Louis（圣路易斯华盛顿大学）
精确地计数显微图像中的细胞对于医学诊断和生物学研究是重要的，但是手动细胞计数非常繁琐、耗时并且容易出现主观错误，并且自动计数可能不如期望的准确。为了提高自动细胞计数的准确性，我们提出了一种新的方法，采用深度监督密度回归。全卷积神经网络（FCNN）用作密度图回归的主要FCNN。创新地，采用一组辅助FCNN来提供用于学习主CNN的中间层的额外监督，以提高网络性能。此外，主CNN被设计为级联框架，以通过网络中的快捷连接来集成多尺度特征，这提高了从中间CNN层提取的特征的粒度，并进一步支持最终的密度图估计。
2019-03-22 cs.CV
Automatic Whole-body Bone Age Assessment Using Deep Hierarchical Features
Chonnam National University（全南国立大学）
骨龄评估为分析儿童生长发育状况及涉及生理年龄和生物学年龄的返老还童提供了依据。所有以前的作品考虑左手X射线图像的儿童在他们的作品。在本文中，我们进行了研究，估计人类年龄使用全身骨CT图像和一种新的卷积神经网络。我们的模型与额外的连接显示了一种有效的方法来产生大量的重要功能，同时减少过拟合的影响，在医学图像分析研究领域的小训练数据。一个数据集和与常见的深度架构的比较将提供在这一领域的未来研究。
2019-01-29 cs.CV
Automatic Face Aging in Videos via Deep Reinforcement Learning
Concordia University（康考迪亚大学）；University of Arkansas（阿肯色大学）；Clemson University（克莱姆森大学）；Carnegie Mellon University（卡内基梅隆大学）
提出了一种基于深度强化学习的视频序列人脸图像自动合成方法。所提出的方法模型的面部结构和纵向面部老化过程中给定的主题连贯地跨视频帧。该方法使用长期奖励、强化学习功能和深度卷积神经网络的深度特征提取进行优化。与以前的只能从单个输入图像中合成人脸的年龄相似性的年龄进展方法不同，所提出的方法能够在视频中对人脸相似性进行年龄进展，并在各帧中始终合成人脸特征。此外，深度强化学习方法保证了在年龄增长之后输入面部的视觉身份的保留。我们新收集的老化人脸AGFW-v2数据库的视频上的结果证明了所提出的解决方案在年龄进展的人脸质量，时间平滑度和跨年龄人脸验证方面的优势。
2019-04-24 cs.CV
A Deep Learning Framework for Automatic Diagnosis in Lung Cancer
ContextVision AB（ContextVision公司）；Uppsala University（乌普萨拉大学）
我们开发了一个深度学习框架，帮助自动识别和分割患者组织标本中的肺癌区域。该研究基于在乌普萨拉大学医院手术的肺癌患者队列。由肺病理学家审查组织，然后将核心编译为组织微阵列（TMA）。对于实验，扫描来自712名患者的苏木精-伊红染色的载玻片，然后手动注释。然后，这些扫描和注释被用来训练分割模型的开发框架。在来自178名患者的完全注释的TMA核心上评估了开发的深度学习框架的性能，达到了0.80的像素精度和0.86的召回率。最后，公开可用的斯坦福TMA核心被用来证明高性能的框架定性。
2018-07-27 cs.CV
Deep Control - a simple automatic gain control for memory efficient and high performance training of deep convolutional neural networks
训练深度卷积神经网络通常从所有层中的所有滤波器的随机初始化开始，这严重减少了前向信号和反向传播的误差，并导致缓慢和次优的训练。对抗这种技术的重点是增加信号或自适应地增加梯度，但模型在训练开始时的行为与后来建立通过网络的稳定路径时的行为非常不同。为了使这个问题复杂化，有效的小批量大小在不同深度处的层之间以及各个滤波器之间变化很大，因为激活稀疏性通常随着深度而增加，导致有效学习率的降低，因为梯度可能叠加而不是相加，并且这进一步使协变量偏移问题复杂化，因为更深的神经元不太能够适应上游偏移。这里提出了一种对内置于每个卷积神经元中的信号进行自动增益控制的方法，该方法实现了与批量归一化相当或更好的性能，并且与单样本或小批量梯度下降兼容。相同的模型用于训练和推理。该技术包括从原始卷积滤波器输出中进行缩放的每样本图均值减法，然后对差值进行缩放。
2017-06-13 cs.CV
Cellular Segmentation and Composition in Routine Histology Images using Deep Learning
University of Warwick（华威大学）
在大肠癌苏木精-伊红染色的组织学图像中，细胞核的识别和定量对于预后和患者管理至关重要。在计算病理学中，这些任务被称为核分割、分类和组成，并用于提取有意义的可解释的细胞学和结构特征用于下游分析。CoNIC挑战提出了一项任务，即从最大的公开已知核数据集-LIGHTN中自动分割、分类和合成六种不同类型的核。在这方面，我们已经开发了使用HoVer-Net和ALBRT预测细胞组成的细胞核分割的管道。在初步测试集上进行测试时，HoVer-Net的PQ为0.58，PQ+为0.58，最终mPQ+为0.35。对于ALBRT在初步测试集上的细胞组成预测，我们实现了0.53的总体$R^2$评分，包括淋巴细胞0.84、上皮细胞0.70、血浆0.70和嗜酸性粒细胞0.060。
2022-03-04 cs.CV cs.LG eess.IV
Automatic measurement of coverage area of water-based pesticides-surfactant formulation on plant leaves using deep learning tools
Tyumen State University（秋明国立大学）
本文提出用深度学习模型自动测量黄瓜叶片润湿面积，以替代接触角测量，并研究了润湿面积随表面活性剂浓度的变化。
2023-11-17 cs.CV
Automatic Liver Lesion Segmentation Using A Deep Convolutional Neural Network Method
Elekta Inc.（医科达公司）
肝脏病灶分割是肝癌诊断、治疗计划制定和治疗效果评价的重要环节。LiTS（Liver Tumor Segmentation Challenge）为比较不同的自动肝脏病变分割方法提供了一个通用的测试平台。我们通过开发深度卷积神经网络（DCNN）方法参与这一挑战。特定的DCNN模型在2.5D中工作，因为它将相邻切片的堆栈作为输入，并产生与中心切片对应的分割图。该模型共有32层，利用了U-Net [1]的长距离级联连接和ResNet [2]的短距离残差连接。该模型使用130个LiTS训练数据集进行训练，并在70次测试CT扫描中获得了0.67的平均Dice得分，在ISBI 2017会议上排名第一。
2017-04-24 cs.CV
Towards Automatic Threat Detection: A Survey of Advances of Deep Learning within X-ray Security Imaging
Intel R&D（英特尔研发中心）；Durham University（杜伦大学）
X射线安全检查被广泛用于维护航空/运输安全，其重要性引起了人们对自动检查系统的特别关注。本文旨在通过将该领域分类为传统机器学习和当代深度学习应用，来回顾计算机化X射线安全成像算法。第一部分简要讨论了X射线安全成像中使用的经典机器学习方法，而第二部分则深入研究了现代深度学习算法的使用。拟议的分类法将深度学习方法的使用细分为监督学习、半监督学习和无监督学习，特别关注对象分类、检测、分割和异常检测任务。本文进一步探讨了完善的X射线数据集，并提供了一个性能基准。基于深度学习的当前和未来趋势，本文最后提出了X射线安全成像的讨论和未来方向。
2021-09-13 cs.CV
Automatic Detection of Dark Ship-to-Ship Transfers using Deep Learning and Satellite Imagery
University College London（伦敦大学学院）
针对卫星影像中非法船对船转运检测的研究空白，训练卷积神经网络识别多类货船与转运行为，结合船载GPS数据构建检测流程，在刻赤海峡识别出2022年以来超400起暗地转运事件。
2024-04-11 cs.CV
3D Deeply Supervised Network for Automatic Liver Segmentation from CT Volumes
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong Polytechnic University（香港理工大学）
从CT图像中自动分割肝脏是计算机辅助肝脏疾病诊断和治疗的一个重要前提，也是一项具有挑战性的任务。在本文中，我们提出了一种新的3D深度监督网络（3D DSN）来解决这一具有挑战性的任务。所提出的3D DSN利用了一个完全卷积的架构，可以执行高效的端到端学习和推理。更重要的是，我们在学习过程中引入了深度监督机制，以应对潜在的优化困难，因此模型可以获得更快的收敛速度和更强大的判别能力。在由3D DSN产生的高质量分数图之上，进一步采用条件随机场模型来获得精细的分割结果。我们在公开的MICCAI-SLiver07数据集上评估了我们的框架。大量的实验表明，我们的方法实现了有竞争力的分割结果，以更快的处理速度的国家的最先进的方法。
2016-07-03 cs.CV
PCBDet: An Efficient Deep Neural Network Object Detection Architecture for Automatic PCB Component Detection on the Edge
DarwinAI（达尔文AI）；University of Waterloo（滑铁卢大学）
在给定的PCB上可能有许多电子元件，这使得视觉检测缺陷的任务非常耗时且容易出错，特别是在大规模时。因此，人们对自动PCB组件检测非常感兴趣，特别是利用深度学习。然而，深度神经网络通常需要高计算资源，这可能限制其在制造中的真实世界用例中的可行性，这通常涉及具有受限边缘计算资源可用性的高容量和高吞吐量检测。作为针对该用例探索高效深度神经网络架构的结果，我们引入了PCBDet，这是一种注意力冷凝器网络设计，与其他最先进的高效架构设计相比，它提供了最先进的推理吞吐量，同时实现了卓越的PCB组件检测性能。实验结果表明，与基于EfficientNet的设计相比，PCBDet在ARM Cortex A72处理器上的推理速度提高了2 $\times$，而在FICS-PCB基准数据集上的mAP提高了$\sim$ 2-4\%.
2023-01-23 cs.CV
Towards Automatic Lesion Classification in the Upper Aerodigestive Tract Using OCT and Deep Transfer Learning Methods
Hamburg University of Technology（汉堡工业大学）；Ludwig-Maximilians-Universität München（慕尼黑大学）；University Medical Center Hamburg-Eppendorf（汉堡-埃彭多夫大学医学中心）
癌症的早期发现对于治疗和患者的总体生存至关重要。在上呼吸消化道（UADT）中，鉴别恶性组织的金标准是侵入性活检。最近，非侵入性成像技术，如共焦激光显微镜和光学相干断层扫描（OCT）已被用于组织评估。特别是，在最近的一项研究中，专家仅使用OCT图像对UADT中的病变进行了侵袭性分类。由于结果是有希望的，病变的自动分类可能是可行的，这可以帮助专家在他们的决策。因此，我们解决的问题，自动病变分类OCT图像。这项任务非常具有挑战性，因为可用的数据集非常小，数据质量有限。然而，由于类似的问题在许多临床场景中很常见，我们研究了深度学习方法在多大程度上仍然可以被训练和用于决策支持。
2019-02-10 cs.CV
Automatic Semantic Style Transfer using Deep Convolutional Neural Networks and Soft Masks
Hengyang Normal University（衡阳师范学院）；Cardiff University（卡迪夫大学）
本文提出了一种自动图像合成方法，将示例图像的风格转换为内容图像。当使用标准的神经风格传递方法时，风格图像的不同语义区域中的纹理和颜色经常被不适当地应用于内容图像，忽略其语义布局，并且破坏传递结果。为了减少或避免这种影响，我们提出了一种新的方法，自动分割的对象，并提取其软语义面具的风格和内容的图像，以保持结构的内容图像，同时有风格转移的基础上。样式图像的每个软掩模表示样式图像的特定部分，对应于具有相同语义的内容图像的软掩模。软掩模和源图像都作为多通道输入提供给增强的深度CNN框架以用于风格转移，该框架结合了生成马尔可夫随机场（MRF）模型。各种图像上的结果表明，我们的方法优于最新的技术。
2017-08-31 cs.CV
Landmarks-assisted Collaborative Deep Framework for Automatic 4D Facial Expression Recognition
University of Oulu（奥卢大学）
我们提出了一种新的地标辅助的自动4D FER的协作端到端的深度框架。使用4D面部扫描数据，我们计算其各种几何图像，然后使用秩池生成其动态图像，随时间推移封装重要的面部肌肉运动。同样，给定的3D地标作为二进制图像投影在2D平面上，并且卷积层用于为每个地标视频提取特征向量序列。在训练阶段，动态图像用于训练端到端深度网络，而地标图像的特征向量用于训练长短期记忆（LSTM）网络。当动态图像和地标图像使用所提出的深度框架在多视图上协作时，获得最终改进的表情预测集。从广泛采用的BU-4DFE数据库在全球使用的设置下的广泛实验中获得的性能结果证明，我们提出的协作框架优于最先进的4D FER方法，并达到了96.7%的有前途的分类准确率，证明了其有效性。
2020-02-07 cs.CV
Automatic Brain Structures Segmentation Using Deep Residual Dilated U-Net
Technical University of Munich（慕尼黑工业大学）
脑图像分割用于可视化和量化脑的解剖结构。我们提出了一种自动化的方法，使用2D深度残差扩张网络，捕获丰富的上下文信息的不同组织的分割八个大脑结构。该系统在MICCAI脑分割挑战赛中进行了评估，在22个团队中排名第9。我们进一步比较了该方法与传统的U-Net使用留一个主题的交叉验证设置上的公共数据集。实验结果表明，该方法优于传统的U-网（即80.9%比78.3%的平均Dice得分，4.35毫米比11.59毫米的平均鲁棒Hausdorff距离），是计算效率。
2018-11-10 cs.CV
Tongue contour extraction from ultrasound images based on deep neural network
Université Pierre et Marie Curie（皮埃尔和玛丽·居里大学）；SIGnal processing and MAchine learning Lab, ESPCI ParisTech, PSL Research University（巴黎高等物理化工学院信号处理与机器学习实验室，巴黎文理研究大学）；Vocal Tract Visualization Lab, University of Maryland Dental School（马里兰大学牙科学院声道可视化实验室）
使用超声波研究语音过程中的舌头运动是一个标准程序，但自动超声图像标记仍然是一个挑战，因为标准的舌头形状提取方法通常需要人工干预。提出了一种基于深度神经网络的舌体轮廓自动提取方法。我们使用经过训练的深度自动编码器来学习图像及其相关轮廓之间的关系，以便模型能够仅从超声图像自动重建轮廓。在本文中，我们使用自动标记算法，而不是耗时的手工标记在训练过程中，并估计自动标记和轮廓提取的性能相比，手工标记。观察结果显示质量评分与最新技术水平相当。
2016-05-19 cs.CV
Exploit fully automatic low-level segmented PET data for training high-level deep learning algorithms for the corresponding CT data
本文提出了一种基于人工神经网络的CT图像膀胱自动分割方法。自动医学图像分析已成为疾病不同治疗阶段的宝贵工具。特别是医学图像分割起着至关重要的作用，因为分割通常是图像分析流程中的初始步骤。由于深度神经网络在过去几年中对图像处理领域产生了很大的影响，我们使用两种不同的深度学习架构来分割膀胱。这两种架构都基于预先训练的分类网络，这些网络适于执行语义分割。由于深度神经网络需要大量的训练数据，特别是图像和相应的地面实况标签，我们还提出了一种方法来从正电子发射断层扫描/计算机断层扫描图像数据生成这样一个合适的训练数据集。这是通过对正电子发射断层扫描数据应用阈值处理以获得地面实况并通过利用数据增强来扩大数据集来完成的。在这项研究中，我们讨论了数据增强对分割结果的影响，并比较和评估所提出的架构的定性和定量分割性能。在这项研究中提出的结果可以得出结论，深神经网络可以被认为是一种有前途的方法来分割CT图像中的膀胱。
2019-03-07 cs.CV
Towards Deep Learning-Based EEG Electrode Detection Using Automatically Generated Labels
Institute of Medical Technology, Hamburg University of Technology（汉堡工业大学医学技术研究所）；eemagine Medical Imaging Solutions GmbH（eemagine医学影像解决方案有限公司）
脑电图（EEG）允许对脑电活动进行源测量。特别是对于反向定位，需要知道头皮上的电极位置。通常，诸如光学数字化扫描仪之类的系统用于使用触针进行精确定位。然而，该方法是耗时的，因为每个电极需要手动扫描，并且扫描系统是昂贵的。我们建议使用RGBD相机使用深度学习方法直接跟踪图像中的电极。研究和评估深度学习方法需要大量的标记数据。为了克服耗时的数据注释，我们使用机器人设置生成大量的地面实况标签。我们证明了基于深度学习的电极检测是可行的，平均绝对误差为5.69 +-6.1 mm，并且我们的注释方案为研究电极检测的深度学习方法提供了有用的环境。
2019-08-12 cs.CV
An automatic deep learning approach for coronary artery calcium segmentation
University of Pisa（比萨大学）；Fondazione Gabriele Monasterio（加布里埃莱·莫纳斯特里奥基金会）
冠状动脉钙化（CAC）是动脉粥样硬化和心血管事件的重要标志物。在这项工作中，我们提出了一个系统的心电触发的非对比增强心脏计算机断层扫描（CT）图像中的钙分数的自动量化。所提出的系统使用监督式深度学习算法，即卷积神经网络（CNN），用于将先前使用心脏图谱在心脏区域中提取的候选病变分割和分类为冠状动脉或非冠状动脉。我们用45个CT容积训练网络，其中18个容积用于验证模型，56个容积用于测试模型，单个病变检出的敏感性为91.24%，特异性为95.37%，阳性预测值（PPV）为90.5%;比较由系统获得的钙分数和由专家操作员人工评估的钙分数，获得0.983的皮尔逊系数。手动和自动风险预测之间的高协议（科恩的k = 0.879）也被观察到。这些结果表明，卷积神经网络可以有效地应用于冠状动脉钙化的自动分割和分类。
2017-10-09 cs.CV
Patch-based Automatic Rosacea Detection Using the ResNet Deep Learning Framework
New Jersey Institute of Technology（新泽西理工学院）
本文提出基于ResNet-18的局部分块自动玫瑰痤疮检测策略，通过提取面部局部图像块引导模型关注临床相关区域，在提升准确率与敏感性的同时保护患者隐私，为自动化皮肤病诊断提供实用见解。
2025-09-11 cs.CV
Automatic Skin Lesion Analysis using Large-scale Dermoscopy Images and Deep Residual Networks
the University of Sydney（悉尼大学）
恶性黑色素瘤是世界上发病率增长最快的疾病之一，并且具有相当高的死亡率。早期诊断尤其重要，因为黑色素瘤可以通过及时切除而治愈。皮肤镜图像在黑色素瘤的非侵入性早期检测中发挥重要作用[1]。然而，即使在经验丰富的皮肤科医生中，仅使用人类视觉的黑色素瘤检测也可能是主观的、不准确的和可再现性差的。这归因于解释具有不同特征的图像的挑战，包括不同大小和形状的病变、可能具有模糊边界的病变、不同的肤色和存在毛发[2]。因此，皮肤镜图像的自动分析对于临床决策和基于图像的诊断是有价值的辅助，以识别诸如黑色素瘤的疾病[1-4]。深度残差网络（ResNets）在图像分类和检测相关问题方面取得了最先进的成果[5-8]。在这个ISIC 2017皮肤病变分析挑战中，我们建议利用深度ResNets进行鲁棒的视觉特征学习和表示。
2017-03-17 cs.CV
Deep Learning for Image-based Automatic Dial Meter Reading: Dataset and Baselines
Department of Informatics, Federal University of Paraná (UFPR)（联邦巴拉那大学（UFPR）信息学系）
智能电表能够远程自动读取电力、水和天然气消耗量，并在发达国家广泛部署。尽管如此，仍有大量非智能电表在运行。基于图像的自动抄表（AMR）专注于处理这种类型的抄表。据我们估计，巴西巴拉那能源公司（Copel）每月对表盘仪表进行超过850，000次读数。这些仪表是这项工作的重点。我们的主要贡献是：（i）称为UFPR-ADMR的公共真实世界表盘仪表数据集（应要求共享）;（ii）基于拟议数据集的深度学习的识别基线;以及（iii）对表盘仪表AMR中存在的主要问题进行详细的错误分析。据我们所知，这是第一个将深度学习方法引入多表盘抄表的工作，并在无约束图像上进行实验。我们使用Faster R-CNN和YOLO在表盘检测阶段实现了100.0%的F1分数，而使用Faster R-CNN（ResNext-101）的表盘识别率达到93.6%，仪表识别率达到75.25%。
2020-05-08 cs.CV
GridTracer: Automatic Mapping of Power Grids using Deep Learning and Overhead Imagery
对电力接入规划有价值的能源系统信息，例如输电和配电塔的位置和连接，称为电网，通常是不完整的，过时的，或完全不可用。此外，用于收集该信息的常规手段是昂贵且有限的。我们建议使用深度学习自动映射高架遥感图像中的网格。为了实现这一目标，我们开发并公开发布了一个大型数据集（$263km^2$）的架空图像与地面真相的电网，据我们所知，这是第一个数据集的同类在公共领域。此外，我们提出了两个网格映射任务的评分指标和基线算法：（1）塔识别和（2）电力线互连（即，估计网格的图形表示）。我们希望训练数据、评分指标和基线的可用性将促进这一重要问题的快速进展，以帮助决策者解决世界各地社会的能源需求。
2021-01-16 cs.CV
DeepAerialMapper: Deep Learning-based Semi-automatic HD Map Creation for Highly Automated Vehicles
RWTH Aachen University（亚琛工业大学）；hexafarms（赫克萨农场）
本文提出DeepAerialMapper，利用神经网络语义分割高分辨率航空影像并分层后处理，半自动生成可导出为Lanelet2格式的高精地图，车道标线与道路边界映射召回率和精确率均超96%。
2024-10-01 cs.CV
Automatic localization and decoding of honeybee markers using deep convolutional neural networks
Freie Universität Berlin（柏林自由大学）
蜜蜂是一种有趣的模式动物，可以用来研究集体行为是如何从数千个个体的（相互）行动中产生的。蜜蜂一生中可能会获得独特的记忆。这些经历甚至在很长的时间范围内影响社会互动。因此，跟踪和识别蜂群中所有蜜蜂的一生可能会揭示个体差异和蜂群行为的相互作用。本文提出了一种基于两个深度卷积神经网络的软件管道，用于蜜蜂从生命的第一天到最后一天携带的自定义二进制标记的定位和解码。我们表明，这种方法优于最近文献中提出的类似系统。通过向公众开放这个软件，我们希望由此产生的数据集将有助于促进对蜜蜂集体智慧的理解。
2018-02-14 cs.CV
Automatic Building and Labeling of HD Maps with Deep Learning
Worcester Polytechnic Institute（伍斯特理工学院）
在自动驾驶汽车变得越来越普遍的世界里，为这项新技术建立足够的基础设施至关重要。这包括准确高效地构建和标记高清（HD）地图。今天，创建高清地图的过程需要大量的人工输入，这需要时间并且容易出错。在本文中，我们提出了一种新的方法，能够从原始传感器数据生成标记的高清地图。我们使用从测试车辆收集的数据在几个城市场景中实施并测试了我们的方法。结果表明，所提出的基于深度学习的方法可以产生高度准确的HD图。这种方法加快了构建和标记高清地图的过程，这可以为自动驾驶汽车的部署做出有意义的贡献。
2020-06-01 cs.CV
