Maximum Likelihood Reconstruction for Multi-Look Digital Holography with Markov-Modeled Speckle Correlation
本文研究了在存在相关斑点的情况下，从复值多视测量中重建无斑点反射率的问题，提出了一种基于马尔可夫过程的约束最大似然估计方法，通过投影梯度下降框架和深度图像先验实现高效计算，验证了在强视间相关性下方法的鲁棒性。
2026-04-22 cs.CV cs.LG eess.IV
Hyperspectral holography and spectroscopy: computational features of inverse discrete cosine transform
Tampere University（坦佩雷大学）
宽带高光谱数字全息术和傅里叶变换光谱学是各种科学和应用领域的重要仪器。在数字高光谱全息术和光谱学中，感兴趣的变量是作为所观察到的衍射强度图案的逆离散余弦变换而获得的。在这些笔记中，我们提供了各种算法的反余弦变换与完美的频谱重建的证明，以及我们讨论和说明这些算法的一些非平凡的功能。
2019-10-04 cs.CV cs.NA math.NA
Digital phase-only holography using deep conditional generative models
Cavendish Laboratory（卡文迪什实验室）；University of Cambridge（剑桥大学）
全息波整形在物理科学中有着广泛的应用，特别是在数字空间光调制器（SLM）的发展之后。数字全息术的一个关键挑战在于找到最佳的全息图案，该图案将入射激光束转换成共轭光学平面中的期望形状。现有的剧目的方法来解决这个逆问题是建立在迭代相位恢复算法，不考虑光学像差和理论模型的偏差。在这里，我们采用了一种无物理、数据驱动和概率的方法来解决这个问题。使用深度条件生成模型，如生成对抗网络（cGAN）或变分自动编码器（cVAE），我们近似给定目标激光强度模式的全息图的条件分布。为了减少问题的基数，我们训练我们的模型上的代理映射相关的8x8矩阵的复值空间频率系数，以确保100x100形状的强度分布记录在相机上。我们讨论了这个简化问题中仍然存在的“病态”程度，并比较了不同的生成模型架构找到重建给定强度图案的全息图的能力。最后，我们对我们的模型提出挑战，以推广到合成目标强度，其中匹配全息图的存在不能得到保证。我们设计了一个前向插值训练方案，旨在为模型提供在激光强度空间而不是全息图空间插值的能力，并表明这确实提高了模型在合成数据集上的性能。
2019-11-03 cs.CV eess.IV physics.comp-ph
Deep Learning-based High-precision Depth Map Estimation from Missing Viewpoints for 360 Degree Digital Holography
Sejong University（世宗大学）；Electronics and Telecommunications Research Institute（电子通信研究院）
在本文中，我们提出了一种新的，卷积神经网络模型，以提取高精度的深度图缺失的观点，特别是适用于生成全息3D内容。深度图是计算全息图（CGH）合成所需的相位提取的基本要素。提出的模型称为HDD Net使用MSE作为损失函数以获得更好的深度图估计性能，并在上采样层中使用Relu作为激活函数的双线性插值。我们设计并准备了总共8,192张多视角图像，每张分辨率为640 × 360，用于深度学习研究。该模型通过提取特征、上采样来估计深度图。对于定量评估，我们通过使用PSNR，ACC和RMSE将估计的深度图与地面实况进行比较。我们还比较了CGH模式估计的深度图与地面实况。此外，我们展示了实验结果，以测试通过直接重建全息三维图像场景的CGH估计的深度图的质量。
2021-03-09 cs.AI cs.CV eess.IV
UmUTracker: A versatile MATLAB program for automated particle tracking of 2D light microscopy or 3D digital holography data
Department of Physics, Umeå University（于默奥大学物理系）
我们提出了一个通用的和快速的MATLAB程序（UmUTracker），自动检测和跟踪颗粒通过分析视频序列获得的光学显微镜或数字在线全息显微镜。我们的程序检测粒子的二维横向位置与等腰三角形变换的基础上的算法，并重建其三维轴向位置的瑞利-索末菲模型使用径向强度分布的快速实现。为了验证我们的程序的准确性和性能，我们首先使用明场和数字全息显微镜跟踪聚苯乙烯颗粒的2D位置。其次，我们通过分析合成和实验获得的全息图来确定3D粒子位置。最后，为了突出完整的程序功能，我们在100微米的高流量室中对微流体流动进行了分析。这一结果与计算流体动力学模拟一致。在普通的台式计算机上，UmUTracker可以在1024 x 1024的图像中以每秒5帧的速度检测、分析和跟踪多个粒子，模板大小为201 x 201。为了增强可用性，并使其易于实现新的功能，我们使用面向对象的编程。UmUTracker适用于与以下相关的研究：粒子动力学、细胞定位、胶体和微流体流动测量。
2017-04-21 cs.CV
DH-GAN: A Physics-driven Untrained Generative Adversarial Network for 3D Microscopic Imaging using Digital Holography
Clemson University（克莱姆森大学）；Arizona State University（亚利桑那州立大学）；Northern Arizona University（北亚利桑那大学）
数字全息术是一种3D成像技术，通过向物体发射具有平面波阵面的激光束并测量衍射波形（称为全息图）的强度。通过对采集到的全息图进行数值分析并恢复所引起的相位，可以得到物体的三维形状。最近，深度学习（DL）方法已被用于更精确的全息处理。然而，大多数监督方法需要大数据集来训练模型，由于样本稀缺或隐私问题，这在大多数DH应用中很少可用。一些基于DL的一次性恢复方法不依赖于配对图像的大型数据集。尽管如此，大多数这些方法往往忽视了控制波传播的基本物理定律。这些方法提供了一个黑盒操作，这是不可解释的，可推广的，并可转移到其他样本和应用程序。在这项工作中，我们提出了一种新的DL架构的基础上生成对抗网络，使用判别网络实现重建质量的语义措施，同时使用生成网络作为函数逼近器来模拟全息图形成的逆。我们施加平滑恢复图像的背景部分，使用模拟退火供电的渐进掩蔽模块，以提高重建质量。所提出的方法是同类方法之一，具有高的可移植性，类似的样本，这有利于其快速部署在时间敏感的应用程序，而不需要重新训练网络。结果表明，在重建质量（约5 dB的PSNR增益）和噪声鲁棒性（约50%的减少PSNR与噪声增加率）的竞争对手的方法有相当大的改善。
2022-07-12 cs.CV cs.IR
Defocused images removal of axial overlapping scattering particles by using three-dimensional nonlinear diffusion based on digital holography
Graduate School at Shenzhen, Tsinghua University（清华大学深圳研究生院）；BioSyM IRG, Singapore-MIT Alliance for Research and Technology (SMART) Centre（新加坡-麻省理工研究与技术联盟BioSyM研究组）
我们提出了一种三维非线性扩散方法来实现多个微目标的相似自聚焦功能，同时去除散焦图像，可以区分沿z轴重叠的特定尺寸的散射颗粒的位置。它被应用于在每次反向传播之后从捕获的全息图生成的所有重建切片。对于某些小尺寸的颗粒，当沿着z轴的重建范围足够长并且重建深度间隔足够细时，在应用所提出的方案之后，每个重建切片的最大梯度幅度的最大值出现在地面真实z位置处。因此，在地面真实z位置处的重建图像被保留，而散焦图像被扩散出去。结果表明，当全息图像素间距为2 μ m时，尽管几个不同直径的散射粒子沿z轴方向以800 μ m的距离完全重叠，该方案仍能将离地面真实z位置20 μ m的散焦图像扩散出去。当粒子直径不大于35 μ m，重建深度间隔不小于20 μ m时，地面真值z切片的稀疏分布不受离焦图像稀疏分布的影响。
2019-08-14 cs.CV
Speckle Image Restoration without Clean Data
NVIDIA AI Technology Center（英伟达人工智能技术中心）；National Taiwan Normal University（台湾师范大学）
散斑噪声是相干成像系统（例如数字全息术、合成孔径雷达、光学相干层析成像或超声系统）中的固有干扰。这些系统通常仅产生相同感兴趣对象的每个视角的单个观测，从而难以利用观测之间的统计。我们提出了一种新的图像恢复算法，可以执行斑点噪声去除没有干净的数据，并不需要在同一视角的多个噪声观测。我们所提出的方法也可以应用于不知道噪声分布的情况。我们证明了我们的方法是特别适合光谱图像的合成数据集上的第一次验证，也适用于现实世界的数字全息样品。与几种广泛应用的基线相比，其结果在定量测量和目视检查方面都更优越。我们的方法甚至在不同的斑点噪声强度下显示出有希望的结果，而不需要干净的数据。
2022-05-18 cs.CV eess.IV
Integrating multiscale topology in digital pathology with pyramidal graph convolutional networks
F. Hoffmann-La Roche AG（罗氏公司）
提出多尺度图卷积网络MS-GCN，通过整合WSI多放大倍数信息同时建模长程结构与细胞细节，克服过度平滑问题，性能与可解释性优于单倍数方法。
2024-03-22 cs.CV eess.IV
Fast Autofocusing using Tiny Transformer Networks for Digital Holographic Microscopy
Institut FEMTO-ST（FEMTO-ST研究所）；CNRS（法国国家科学研究中心）；Université Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）
数字全息术的数值波前反向传播原理赋予了独特的扩展聚焦能力，而没有沿z轴的机械位移。然而，正确的聚焦距离的确定是一个重要且耗时的问题。提出了一种深度学习（DL）解决方案，将自动聚焦视为回归问题，并在实验和模拟全息图上进行了测试。通过具有10 $\mathrm{x}$显微镜物镜的数字全息显微镜（DHM）从在92 $μ$ m的轴向范围内以3D移动的图案化目标记录单波长数字全息图。提出并比较了微型DL模型，例如微型Vision Transformer（TViT）、微型VGG 16（TVGG）和微型Swin-Transfomer（TSwinT）。将所提出的微型网络与其原始版本（ViT/B16，VGG 16和Swin-Transformer Tiny）以及数字全息中使用的主要神经网络（如LeNet和AlexNet）进行了比较。实验表明，与15 $μ$ m的DHM景深相比，以平均1.2 $μ$ m的精度准确地推断预测的聚焦距离$Z_R^{\mathrm{Pred}}$。数值模拟表明，所有微小模型给出的$Z_R^{\mathrm{Pred}}$误差小于0.3 $μ$ m。这样的前景将大大提高计算机视觉位置传感在生命科学或微型机器人的3D显微镜等应用中的当前能力。此外，所有模型在CPU上的推理时间都低于25 ms。在遮挡方面，基于其Transformer架构的TViT是最健壮的。
2022-05-20 cs.CV eess.IV physics.optics
2D Convolutional Neural Networks for 3D Digital Breast Tomosynthesis Classification
University of Kentucky（肯塔基大学）
乳腺癌检测的自动化方法主要集中在2D乳房X线摄影，而在很大程度上忽略了临床实践中经常使用的3D数字乳腺断层合成摄影（DBT）。开发DBT分类自动化方法的两个关键挑战是处理可变数量的切片和保留切片到切片的变化。我们提出了一种新的深度2D卷积神经网络（CNN）架构，用于DBT分类，同时克服了这两个挑战。我们的方法在全体积上操作，而不管切片的数量，并且允许使用预训练的2D CNN进行特征提取，这在有限的带注释的训练数据的情况下是重要的。在对真实世界临床数据集的广泛评估中，我们的方法达到了0.854 auROC，比基于3D CNN的方法高出28.80%。我们还发现，这些改进在一系列模型配置中是稳定的。
2020-02-27 cs.CV eess.IV q-bio.QM
Moiré Photo Restoration Using Multiresolution Convolutional Neural Networks
The University of Hong Kong（香港大学）
数码相机和手机使我们能够方便地记录珍贵的时刻。虽然数字图像质量不断提高，但在数字屏幕上拍摄高质量的照片仍然具有挑战性，因为照片经常被莫尔图案污染，这是相机传感器和设备屏幕的像素网格之间干扰的结果。莫尔条纹会严重损害照片的视觉质量。然而，很少有研究旨在解决这个问题。在本文中，我们介绍了一种新的多分辨率全卷积网络，用于自动消除照片中的莫尔图案。由于莫尔图案跨越很宽的频率范围，因此我们提出的网络在计算如何消除每个频带内的莫尔伪影之前对输入图像进行非线性多分辨率分析。我们还创建了一个大规模的基准数据集与$100,000^+$图像对调查和评估莫尔图案去除算法。与现有的图像复原问题的学习架构相比，我们的网络在这个数据集上实现了最先进的性能。
2018-05-08 cs.CV eess.IV
Convolutional Neural Network-Based Image Watermarking using Discrete Wavelet Transform
University of Tehran（德黑兰大学）
随着互联网的日益普及，数字图像的使用和传输越来越频繁。虽然这种现象有助于轻松访问信息，但它也造成了安全问题，并通过允许非法使用，复制和数字内容盗窃而侵犯了知识产权。在数字图像中使用水印是维护安全的最常见方法之一。水印是通过在原始图像上添加数字水印来证明和声明图像的所有权。水印可以是文本或图像，公开或隐蔽地放置在图像中，并且预计将难以去除。本文提出了一种结合卷积神经网络（CNN）和小波变换的水印网络，用于水印的嵌入和提取。该网络不受宿主图像分辨率的影响，可以接受各种水印，并且在保持性能的情况下只有11层。性能通过两个方面来衡量：提取的水印与原始图像之间的相似性和宿主图像与水印图像之间的相似性。
2022-10-29 cs.CR cs.CV eess.IV
Ubicomp Digital 2020 -- Handwriting classification using a convolutional recurrent network
来自STABILO的Ubicomp Digital 2020 - Time Series Classification Challenge是关于多变量时间序列分类的挑战。这些数据收集自100名志愿者，包含15个由多个传感器测量的特征。在本文中，我们使用一个神经网络的数据分类成52类，即阿拉伯字母的小写和大写。所提出的神经网络a的架构是CNN-LSTM网络。它将卷积神经网络（CNN）用于短期上下文，同时将短期记忆层（LSTM）用于长期依赖性。我们达到了68%的准确率在我们的作家独家测试集和64.6%的盲挑战测试集，导致第二位。
2020-08-03 cs.CV cs.LG
Tool Wear Segmentation in Blanking Processes with Fully Convolutional Networks based Digital Image Processing
本文针对冲裁工艺中刀具磨损监测的局限，提出利用全卷积网络（FCN）对600 spm下获取的12.5万张高分辨率刀具图像进行语义分割，实现磨损表面的直接监测与量化。
2023-10-06 cs.CV eess.IV
Automated HER2 scoring with uncertainty quantification using lensfree holography and deep learning
Electrical and Computer Engineering Department, University of California, Los Angeles, CA, 90095, USA（加州大学洛杉矶分校电气与计算机工程系）；Bioengineering Department, University of California, Los Angeles, CA, 90095, USA（加州大学洛杉矶分校生物工程系）；California NanoSystems Institute (CNSI), University of California, Los Angeles, CA, 90095, USA（加州大学洛杉矶分校加州纳米系统研究所）；Department of Computer Science, University of California, Los Angeles, CA, 90095, USA（加州大学洛杉矶分校计算机科学系）
本文提出了一种基于无透镜全息和深度学习的紧凑型、低成本系统，用于自动免疫组化染色乳腺组织切片的HER2评分，通过贝叶斯蒙特卡洛Dropout策略提高诊断可靠性，实现了高准确率的HER2分类和评分。
2026-01-26 cs.CV cs.LG physics.med-ph
Convolutional Neural Network for Blur Images Detection as an Alternative for Laplacian Method
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）
随着数码相机的普及，数字图像的数量迅速增加，这就提出了非人工图像质量评估的需求。虽然有许多方法被认为是有用的检测模糊，在本文中，我们提出并评估了一种新的方法，使用深度卷积神经网络，它可以确定图像是否模糊。实验结果证明了该方案的有效性，并与使用混淆矩阵的确定性方法进行了比较。
2020-10-15 cs.CV
A comparative study between vision transformers and CNNs in digital pathology
F. Hoffmann-La Roche AG（罗氏制药）；Genentech, Inc.（基因泰克公司）
最近，Vision Transformers被证明在足够的数据量上进行预训练时，能够超越卷积神经网络。与卷积神经网络相比，Vision Transformers具有较弱的感应偏差，因此允许更灵活的特征检测。由于其有前途的特征检测，这项工作探讨了Vision Transformers的肿瘤检测在数字病理学的四种组织类型的全载玻片图像，并为组织类型识别。我们比较了Vision Transformer DeiT-Tiny与最先进的卷积神经网络ResNet 18的分块分类性能。由于带注释的完整载玻片图像的稀疏可用性，我们进一步比较了使用最先进的自监督方法在大量未标记的完整载玻片图像上预训练的两个模型。结果表明，对于肿瘤检测的四种组织类型中的三种，Vision Transformer的表现略好于ResNet 18，而ResNet 18在其余任务中的表现略好。两个模型对幻灯片水平的汇总预测是相关的，这表明两个模型捕获了相似的成像特征。总之，Vision Transformer模型的性能与ResNet 18相当，但需要更多的努力来进行训练。为了超越卷积神经网络的性能，Vision Transformers可能需要更具有挑战性的任务，才能从其弱感应偏置中受益。
2022-06-01 cs.CV cs.LG eess.IV
Advanced Deep Convolutional Neural Network Approaches for Digital Pathology Image Analysis: a comprehensive evaluation with different use cases
University of Dayton（代顿大学）；Deep Lens Inc（Deep Lens公司）
深度学习（DL）方法在医学成像领域的不同模式中提供了最先进的性能，包括数字病理图像分析（DPIA）。在许多不同的DL方法中，深度卷积神经网络（DCNN）技术为分类、分割和检测任务提供了卓越的性能。DPIA问题中的大多数任务都可以通过分类、分割和检测方法来解决。此外，有时前处理和后处理方法用于解决某些特定类型的问题。最近，不同的DCNN模型，包括Inception残差递归CNN（IRR CNN）、密集连接递归卷积网络（DCRCN）、递归残差U-网络（R2 U-Net）和基于R2 U-Net的回归模型（UD-Net），已经提出并为不同的计算机视觉和医学图像分析任务提供了最先进的性能。然而，这些先进的DCNN模型尚未被探索用于解决与DPIA相关的不同问题。在这项研究中，我们应用这些DCNN技术来解决不同的DPIA问题，并在不同的公开基准数据集上评估数字病理学中的七个不同任务，包括淋巴瘤分类，浸润性导管癌（IDC）检测，细胞核分割，上皮分割，小管分割，淋巴细胞检测和有丝分裂检测。实验结果进行了评估与不同的性能指标，如灵敏度，特异性，准确性，F1评分，受试者工作特征（ROC）曲线，骰子系数（DC），和均方误差（MSE）。结果表明，与现有的机器学习和基于DCNN的方法相比，分类，分割和检测任务的性能优越。
2019-04-19 cs.CV
Convolutional Neural Network to Restore Low-Dose Digital Breast Tomosynthesis Projections in a Variance Stabilization Domain
University of São Paulo（圣保罗大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Fudan University（复旦大学）；Shanghai Center for Brain Science and Brain-inspired Technology（上海脑科学与类脑研究中心）
数字乳腺断层合成摄影（DBT）检查应使用尽可能低的辐射剂量，同时保持足够好的图像质量，以进行准确的医学诊断。在这项工作中，我们提出了一个卷积神经网络（CNN）来恢复低剂量（LD）DBT投影，以实现相当于标准全剂量（FD）采集的图像质量。所提出的网络架构受益于受传统基于模型（MB）恢复方法启发的层的先验知识，考虑到基于模型的深度学习方法，其中网络被训练为在方差稳定变换（VST）域中操作。为了准确地控制网络操作点，在恢复图像的噪声和模糊方面，我们提出了一个损失函数，该损失函数最小化偏差并匹配输入和输出之间的残余噪声。训练数据集由在标准FD下获得的临床数据和通过注入量子噪声获得的低剂量对组成。该网络进行了测试，使用真实的DBT预测与物理拟人乳房体模。与传统的数据驱动方法训练的网络相比，该网络在平均归一化平方误差（MSE），训练时间和噪声空间相关性方面取得了优异的成绩。所提出的方法可以扩展到需要LD采集的其他医学成像应用。
2022-03-22 cs.CV cs.LG eess.IV
Digital Passport: A Novel Technological Strategy for Intellectual Property Protection of Convolutional Neural Networks
University of Malaya（马来亚大学）
为了防止深度神经网络被未经授权的各方侵犯，我们提出了一种通用的解决方案，该解决方案将指定的数字护照嵌入到网络中，随后，要么使网络功能瘫痪，用于未经授权的使用，要么在经过验证的护照存在的情况下保持其功能。这种理想的网络行为在许多实施方案中得到了成功的证明，这些方案提供了可靠的、预防性的和及时的保护，防止了成千上万的假护照欺骗。大量的实验还表明，在未经授权的使用下，深度神经网络的性能显著恶化（例如，CIFAR10分类准确度降低33%至82%），而使用有效护照的网络仍然完好无损。
2019-05-10 cs.CR cs.CV cs.LG
MRZ code extraction from visa and passport documents using convolutional neural networks
Lendbuzz（Lendbuzz公司）
从护照和签证上的机器可读区（MRZ）检测和提取信息对于验证文件真实性变得越来越重要。然而，用于执行类似任务的计算机视觉方法，例如光学字符识别（OCR），无法以合理的准确度提取给定护照数字图像的MRZ。我们提出了一个专门设计的模型的基础上卷积神经网络，能够成功地提取MRZ信息的数字图像的护照的任意方向和大小。我们的模型在护照和签证数据集上实现了100%的MRZ检测率和98.36%的字符识别宏f1分数。
2021-07-20 cs.CV
Recovery of underdrawings and ghost-paintings via style transfer by deep convolutional neural networks: A digital tool for art scholars
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
我们描述了卷积神经网络风格转移的应用，以提高美术油画中的底画和鬼画的可视化问题。这种底画和隐藏的绘画通常通过X射线或红外技术显示，这些技术产生灰度图像，因此缺乏颜色和完整的风格信息。过去用于推断底画中的颜色的方法是基于幽灵画中颜料的物理X射线荧光光谱成像，因此昂贵，耗时，并且需要大多数保护工作室无法获得的设备。我们的算法方法不需要如此昂贵的物理成像设备。我们的概念验证系统应用于Pablo Picasso和Leonardo的作品，揭示了尊重鬼画中自然分割的颜色和设计。我们相信，计算图像提供了对艺术家和相关作品的洞察力，这是其他方式所无法实现的。我们的研究结果强烈表明，未来的应用程序的基础上更大的语料库的绘画培训将显示配色方案和设计，甚至更接近的艺术家的作品。由于这些原因，我们的方法的改进应该在艺术保护，鉴赏和艺术分析中得到广泛的应用。
2021-01-04 cs.CV
Time to Embrace Natural Language Processing (NLP)-based Digital Pathology: Benchmarking NLP- and Convolutional Neural Network-based Deep Learning Pipelines
University of Science and Technology of China（中国科学技术大学）；UNSW Sydney（新南威尔士大学）；Genmab Inc.（Genmab公司）
基于NLP的计算机视觉模型，特别是视觉Transformer，在许多成像任务中表现优于CNN模型。然而，大多数数字病理学人工智能模型基于CNN架构，这可能是由于缺乏有关病理学图像的NLP模型的数据。在这项研究中，我们开发了数字病理学管道，以基准测试最近提出的五种NLP模型（视觉Transformer（ViT），Swin Transformer，MobileViT，CMT和Sequencer2D）和四种流行的CNN模型（ResNet18，ResNet50，MobileNetV2和EfficientNet），以预测结直肠癌的生物标志物（微卫星不稳定性，CpG岛甲基化表型和BRAF突变）。来自分子和细胞肿瘤学和癌症基因组图谱的苏木精和伊红染色的全载玻片图像分别用作训练和外部验证数据集。交叉研究外部验证显示，基于NLP的模型在生物标志物预测任务中显著优于基于CNN的模型，将总体预测和精度分别提高了约10%和26%。值得注意的是，与当前文献中使用大型训练数据集的现有模型相比，我们的NLP模型使用相对较小的训练数据集实现了所有三种生物标志物的最新预测，这表明大型训练数据集不是NLP模型或Transformers的先决条件，NLP可能更适合于通常收集小型训练数据集的临床研究。Sequencer2D的优越性能表明，在数字病理学领域，有必要对Transformer和双向长短期记忆架构进行进一步的研究…
2023-02-21 cs.CL cs.CV cs.LG
Convolutional neural networks applied to modification of images
Instituto Politécnico Nacional（墨西哥国立理工学院）；Yonsei University（延世大学）
本研究介绍从滤波器概念到卷积神经网络的机器学习技术，讲解基于线性代数与微积分的数字图像编辑方法。
2024-10-08 cs.CV
A Saliency-based Convolutional Neural Network for Table and Chart Detection in Digitized Documents
University of Catania（卡塔尼亚大学）；Tab2Ex（Tab2Ex公司）
深度卷积神经网络（DCNN）最近已成功应用于各种视觉和多媒体任务，从而推动了多个应用领域中新型解决方案的开发。文档分析是DCNN的一个特别有前途的领域：事实上，可用的数字文档数量已经达到了前所未有的水平，如果没有自动化的帮助，人类不再能够发现和检索这些文档中包含的所有信息。在这种情况下，DCNN提供了一个可行的解决方案，自动化的信息抽取过程中的数字文档。在从文档中提取信息抽取的领域内，特别需要检测表格和图表，因为它们包含文档中包含的最有价值的信息的视觉摘要。为了从表格和图表中完全自动地进行视觉信息抽取过程，有必要开发定位它们并精确识别它们的边界的技术。在本文中，我们的目标是通过结合深度卷积神经网络，图形模型和显着性概念的方法来解决表格/图表检测任务。特别是，我们提出了一个基于显着性的完全卷积神经网络执行多尺度推理的视觉线索，其次是一个完全连接的条件随机场（CRF）本地化的表格和图表在数字/数字化的文件。对ICDAR 2013扩展版本（带注释的图表和表格）进行的性能分析表明，我们的方法产生了有希望的结果，优于现有的模型。
2018-04-17 cs.CV
Using Convolutional Neural Networks to Detect Compression Algorithms
Vellore Institute of Technology（韦洛尔理工学院）
机器学习正在虚拟地渗透到各个领域，从而增殖优秀的结果。它还在数字取证中找到了一个出口，它正在成为计算效率的主要驱动力。表现ML算法有效性的一个突出特征是特征提取，它可以在数字取证应用中发挥作用。进一步使用卷积神经网络来识别文件的部分。为此，我们观察到，文献不包括足够的信息，用于压缩文件片段的算法的识别。通过这项研究，我们试图解决这一差距，因为压缩算法有利于产生更高的熵，因为它们使数据更紧凑。我们使用一个基本数据集，用各种算法压缩每个文件，并在此基础上设计了一个模型。所使用的模型能够准确地识别使用compress、lzip和bzip2压缩的文件。
2022-01-12 cs.CV
ConvPath: A Software Tool for Lung Adenocarcinoma Digital Pathological Image Analysis Aided by Convolutional Neural Network
University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）；National Cancer Center/Cancer Hospital, Chinese Academy of Medical Sciences（中国医学科学院国家癌症中心/肿瘤医院）；University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心）
不同类型细胞的空间分布可以揭示癌细胞的生长模式，其与肿瘤微环境和机体免疫反应的关系，所有这些都代表了癌症的关键特征。然而，手动识别和定位病理切片中的所有细胞几乎是不可能的。在这项研究中，我们开发了一个自动化的细胞类型分类管道，ConvPath，它包括细胞核分割，基于卷积神经网络的肿瘤，基质和淋巴细胞分类，以及肺癌病理图像的肿瘤微环境相关特征的提取。在训练和独立测试数据集中，整体分类准确率分别为92.9%和90.1%。通过识别细胞和分类细胞类型，该管道可以将病理图像转换为肿瘤，基质和淋巴细胞的空间图。从这个空间图中，我们可以提取表征肿瘤微环境的特征。基于这些特征，我们开发了一个基于图像特征的预后模型，并在两个独立的队列中验证了该模型。预测的风险组作为一个独立的预后因素，调整后的临床变量，包括年龄，性别，吸烟状况和阶段。
2018-09-20 cs.CV cs.LG
Transitioning between Convolutional and Fully Connected Layers in Neural Networks
Sunnybrook Research Institute（森尼布鲁克研究所）；University of Toronto（多伦多大学）；Sunnybrook Health Sciences Centre（森尼布鲁克健康科学中心）
在过去的十年中，数字病理学已经取得了很大的进步，但是由于底层组织床中高度复杂的图案和纹理，肿瘤定位仍然是一个具有挑战性的问题。使用卷积神经网络（CNN）来分析这样的复杂图像已经在数字病理学中被很好地采用。然而，近年来，随着初始模块的引入，CNN的架构发生了变化，这些模块在分类任务中表现出了很大的希望。在本文中，我们提出了一个修改后的“过渡”模块，它可以从不同大小的过滤器中学习全局平均池化层，以鼓励多个空间分辨率的特定类别过滤器。我们展示了AlexNet和ZFNet中的过渡模块的性能，用于在扫描的组织学切片的两个独立数据集中对乳腺肿瘤进行分类，其中过渡模块更优越。
2017-07-18 cs.CV
Towards Monocular Digital Elevation Model (DEM) Estimation by Convolutional Neural Networks - Application on Synthetic Aperture Radar Images
University of Perugia（佩鲁贾大学）；University of L’Aquila（拉奎拉大学）
合成孔径雷达（SAR）干涉测量（InSAR）是使用重复通过几何。干涉合成孔径雷达（InSAR）技术是用来估计地表地形重建的。距离-多普勒聚焦技术的主要问题是二维SAR结果的性质，受停留不确定性的影响。为了解决这个问题，需要至少两个传感器采集，由基线分开并在交叉斜距中扩展。然而，由于其多时间的性质，这些技术是脆弱的大气和地球环境参数的变化，除了物理平台的不稳定性。此外，要么需要两个雷达，要么需要一个干涉周期（从几天到几周），这使得实时DEM估计是不可能的。在这项工作中，作者提出了一种新的实验替代InSAR方法，该方法使用单次采集，使用由深度神经网络实现的数据驱动方法。我们提出了一个完全卷积神经网络（CNN）编码器-解码器架构，在雷达图像上对其进行训练，以便从单次图像采集中估计DEM。我们的一组哨兵图像上的结果表明，这种方法是能够在一定程度上学习的DEM的统计特性。这种探索性的分析结果是令人鼓舞的，并开辟了一条道路，以解决单通DEM估计问题的数据驱动的方法。
2018-03-14 cs.CV eess.SP
Spectral and Rhythm Features for Audio Classification with Deep Convolutional Neural Networks
Target Innovation AI
研究使用深度卷积神经网络评估多种频谱与节奏特征在音频分类中的表现，发现mel尺度频谱图和MFCCs效果显著最优。
2024-10-18 cs.AI cs.CV cs.LG
