Automated Time-frequency Domain Audio Crossfades using Graph Cuts
University of Waterloo（滑铁卢大学）
在许多音乐消费场景中出现了从一个音频片段平滑地过渡到另一个音频片段的问题，特别是当音乐消费已经从专业策划和现场流媒体广播转移到个人播放设备和服务时。我们提出了朝向通过将频谱离散化为仓并然后找到每个仓的转换时间来自动从一个音频剪辑转换到另一个音频剪辑的新方法的第一步。我们将这个问题称为图流优化问题，特别是min-cut/max-flow。
2023-01-31 cs.LG cs.SD eess.AS
Weakly-supervised Automated Audio Captioning via text only training
本文提出一种仅利用文本数据和预训练CLAP模型的弱监督自动音频描述生成方法，通过文本嵌入重建与音频嵌入解码并弥合模态差距，在Clotho和AudioCaps上达到全监督方法约83%的相对性能。
2023-09-21 cs.LG cs.SD eess.AS
Audio-aware Query-enhanced Transformer for Audio-Visual Segmentation
Cooperative Medianet Innovation Center（协同媒体网络创新中心）；Shanghai Jiao Tong University（上海交通大学）
针对音频-视觉分割中卷积感受野小和特征融合不足的问题，提出音频感知查询增强Transformer（AuTR），通过多模态Transformer深度融合及音频感知查询解码器，提升分割性能与泛化能力。
2023-07-25 cs.CV cs.LG cs.MM
Generalizing AUC Optimization to Multiclass Classification for Audio Segmentation With Limited Training Data
Aragón Institute for Engineering Research (I3A), University of Zaragoza（萨拉戈萨大学阿拉贡工程研究所（I3A））
最近，针对神经网络开发的ROC曲线下面积（AUC）优化技术已经证明了它们在不同音频和语音相关任务中的能力。然而，由于其固有的性质，AUC优化到目前为止只关注二进制任务。在本文中，我们引入了对AUC优化框架的扩展，以便它可以轻松地应用于任意数量的类，旨在克服深度学习解决方案中的训练数据限制所带来的问题。在文献中发现的AUC度量的多类定义的基础上，我们使用一对一和一对休息的方法定义了两个新的训练目标。为了证明其潜力，我们将其应用于音频分割任务，有限的训练数据，旨在区分3类：前景音乐，背景音乐和没有音乐。实验结果表明，我们的建议可以提高音频分割系统的性能显着相比，传统的训练标准，如交叉熵。
2021-10-27 cs.LG cs.SD eess.AS
Temporal Sub-sampling of Audio Feature Sequences for Automated Audio Captioning
Tampere University（坦佩雷大学）；D Media Group, Tampere University（坦佩雷大学3D媒体组）；Audio Research Group, Tampere University（坦佩雷大学音频研究组）
音频字幕是自动为一般音频信号的内容创建文本描述的任务。典型的音频字幕方法依赖于深度神经网络（DNN），其中DNN的目标是将输入音频序列映射到输出单词序列，即字幕。然而，文本描述的长度显著小于音频信号的长度，例如10个单词相对于数千个音频特征向量。这清楚地表明，一个输出单词对应于多个输入特征向量。在这项工作中，我们提出了一种方法，专注于明确利用序列之间的长度差异，通过应用时间子采样的音频输入序列。我们采用序列到序列的方法，该方法使用固定长度的向量作为编码器的输出，并且我们在编码器的RNN之间应用时间子采样。我们通过使用免费提供的数据集Clotho来评估我们的方法的好处，并评估时间子采样的不同因素的影响。我们的研究结果表明，所有考虑的指标的改善。
2020-07-06 cs.LG cs.SD eess.AS
Unsupervised Learning of Deep Features for Music Segmentation
Gracenote Inc.（格雷斯诺特公司）
音乐分段指的是识别不同音乐段之间的边界和标记不同音乐段的双重问题，例如，流行音乐中的合唱、诗歌、桥牌等。一系列音乐分割算法的性能已被证明取决于选择来表示音频的音频特征。一些方法已经提出了从音乐片段注释数据学习特征变换，尽管创建这样的数据是耗时的或昂贵的，并且因此这些方法可能受到其数据集的大小的限制。虽然带注释的音乐分段数据是稀缺资源，但可用的音乐音频量要大得多。在语义音频的邻近领域，无监督深度学习在提高示例查询和声音分类任务的解决方案的性能方面表现出了希望。在这项工作中，使用卷积神经网络（CNN）对深度特征嵌入进行无监督训练，以进行音乐分割。所提出的技术仅利用在任何音频时间轴中隐含的音频特征的时间接近度。采用这些嵌入在一个经典的音乐分割算法，不仅显着提高了该算法的性能，但在无监督音乐分割获得最先进的性能。
2021-08-30 cs.LG cs.MM cs.SD
Hierarchical Linear Dynamical System for Representing Notes from Recorded Audio
University of Florida（佛罗里达大学）
我们寻求发展的同时分割和分类的笔记从音频记录中存在的离群值。所选择的结构建模时间序列是分层线性动态系统（HLDS）。我们提出了一种新的方法，其参数设置。HLDS可以潜在地以两种方式被采用：1）用于探索数据的同时分割和聚类，即找到未知音符，2）用于在存在离群值的情况下找到感兴趣音符的音频记录的同时分割和分类。我们适应HLDS的第二个目的，因为它是一个更容易的任务，仍然是一个具有挑战性的问题，例如，在生物声学领域。每个测试剪辑都具有与训练剪辑相同的注释（但不同的实例），并且还包含离群值注释。在测试中，如果有兴趣的话，它会自动决定一个笔记属于哪个兴趣类别。这项工作的两个应用领域的生物声学检测动物的声音在音频现场录音，也音乐学。实验已经进行了分割和分类的鸟类和音乐音符从录制的音频。
2022-02-27 cs.LG cs.SD eess.AS
Automatic Segmentation of Broadcast News Audio using Self Similarity Matrix
Institute of Technology, Nirma University（尼尔玛大学理工学院）；TCS Innovation Labs - Mumbai, Tata Consultancy Services Limited（塔塔咨询服务有限公司TCS创新实验室（孟买））
一般来说，无线电广播的音频新闻除了由新闻播音员阅读的实际新闻外，还包括音乐、商业广告、来自记者的新闻和录音声明。当新闻转录可用时，音频新闻广播的自动分割以将音频与文本转录时间对齐以构建节俭的语音语料库是必不可少的。我们解决的问题，确定在音频新闻广播中的分段对应的新闻播音员阅读的新闻，使他们可以映射到文本成绩单。现有技术在用于提取新闻阅读器阅读片段时产生次优解决方案。在本文中，我们提出了一种新的技术，这是能够确定可靠的声学变化点使用声学自相似矩阵（SSM）。我们详细描述了两遍技术，并验证了其性能上的真正的音频新闻广播的全印度广播电台不同的语言。
2014-03-27 cs.LG cs.MM cs.SD
Collaborative Hybrid Propagator for Temporal Misalignment in Audio-Visual Segmentation
针对音频-视觉视频分割中的时间错位问题，提出包含音频边界锚定与逐帧音频插入传播的Co-Prop框架，可降低内存需求、提升对齐效果，且能即插即用地增强现有AVVS方法性能。
2024-12-11 cs.CV cs.LG cs.MM
Continual Learning for Automated Audio Captioning Using The Learning Without Forgetting Approach
Tampere University（坦佩雷大学）
自动音频字幕（AAC）是自动为一般音频信号的内容创建文本描述（即字幕）的任务。大多数AAC方法都使用现有的数据集来优化和/或评估。鉴于AAC数据集所包含的信息有限，AAC方法很可能只学习所使用的数据集中包含的信息。在本文中，我们提出了第一种方法，不断适应AAC方法的新信息，使用持续学习方法。在我们的场景中，预优化的AAC方法用于一些看不见的一般音频信号，并且可以更新其参数以适应新的信息，给定新的参考标题。我们使用一个免费提供的，预优化的AAC方法和两个免费提供的AAC数据集来评估我们的方法。我们将我们提出的方法与三种情况进行比较，其中两种情况是在一个数据集上进行训练并在另一个数据集上进行评估，第三种情况是在一个数据集上进行训练并在另一个数据集上进行微调。实验结果表明，该方法在提取新知识和不遗忘前一个知识之间取得了很好的平衡。
2021-07-16 cs.LG cs.SD eess.AS
Do Audio-Visual Segmentation Models Truly Segment Sounding Objects?
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Tsinghua University（清华大学）
该研究针对当前视听分割模型存在的依赖视觉显著性、忽略音频线索的偏差问题，构建了含多种负向音频场景的鲁棒基准AVSBench-Robust，并提出结合负样本均衡训练与分类器引导相似度学习的方法，有效提升了模型的分割性能与鲁棒性。
2025-02-20 cs.AI cs.LG cs.MM
TACO: Training-free Sound Prompted Segmentation via Semantically Constrained Audio-visual CO-factorization
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎高等理工学院）
提出无训练的声音提示分割方法TACO，利用NMF共因子分解预训练音频与视觉特征，结合开放词汇分割模型，实现高泛化且性能超越现有无监督方法。
2026-09-29 cs.LG eess.AS eess.IV
An Explainable Proxy Model for Multiabel Audio Segmentation
Le Mans University（勒芒大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种基于非负矩阵分解的可解释多标签音频分割代理模型，可同时处理语音、音乐、噪声和重叠语音检测，在保持与黑盒模型相近性能的同时提供局部和全局可解释性。
2024-01-17 cs.AI cs.LG cs.SD
AVSegFormer: Audio-Visual Segmentation with Transformer
Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出基于 Transformer 的 AVSegFormer 框架，通过音频查询、可学习查询、音视混合器和中间掩码损失提升发声物体分割性能，并在 AVS 基准上达到最先进水平。
2023-12-18 cs.CV cs.LG cs.SD
Automated Audio Captioning via Fusion of Low- and High- Dimensional Features
University of Surrey（萨里大学）；Izmir Katip Celebi University（伊兹密尔卡蒂普·切莱比大学）；Qingdao University（青岛大学）
自动音频字幕（AAC）旨在使用简单的句子描述音频剪辑的内容。现有的AAC方法是基于编码器-解码器架构开发的，其成功归功于使用预先训练的CNN 10（称为PANN）作为编码器来学习丰富的音频表示。AAC是一个极具挑战性的任务，因为它的高维人才空间涉及各种场景的音频。现有的方法仅使用PANN的高维表示作为解码器的输入。然而，低维表示可以保留与可以忽略的高维表示一样多的音频信息。此外，虽然高维方法可以通过从现有的音频字幕学习来预测音频字幕，但其缺乏鲁棒性和效率。为了应对这些挑战，提出了一种融合模型，它集成了低维和高维特征AAC框架。在本文中，提出了一种新的编码器-解码器框架，称为低维和高维特征融合（LHDFF）模型的AAC。此外，在LHDFF中，提出了一种新的PANNs编码器，称为残留PANNs（RPANNs），通过融合PANNs的中间卷积层输出的低维特征和最终层输出的高维特征。为了充分挖掘低维、高维融合特征和高维特征的信息，提出了双Transformer解码器结构，并行生成字幕。特别是，概率融合的方法，可以确保系统的整体性能得到提高，通过集中在两个Transformer解码器的各自优势。实验结果表明，LHDFF在Clotho和AudioCaps数据集上取得了最佳的性能
2022-10-10 cs.LG cs.SD eess.AS
BreathGRU: A Novel Semi-Supervised Bidirectional Gated Recurrent Unit Framework for Speech and Breath Segmentation for Respiratory Audio
Aberystwyth University（阿伯里斯特威斯大学）；University of Southampton（南安普顿大学）
针对呼吸音频分析中语音-呼吸分割的不足，提出半监督双向门控循环单元框架BreathGRU，结合特征提取、双向建模、伪标签精炼和维特比解码，在多项指标上优于现有方法，实现高效分割。
2026-09-28 cs.LG cs.SD eess.AS
Uncovering audio patterns in music with Nonnegative Tucker Decomposition for structural segmentation
Univ Rennes, Inria, CNRS, IRISA（雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心、布列塔尼大西洋信息与信号技术研究实验室）
最近的工作提出了使用张量分解来模拟重复和分离基于循环的电子音乐中的轨道。本研究进一步探讨非负塔克分解（NTD）的能力，以揭示音乐模式和结构的流行歌曲在其音频形式。利用NTD倾向于将酒吧的内容表达为几种模式的线性组合的事实，我们说明了分解捕获和挑选出相应的压缩空间中的重复图案的能力，这可以从音乐的角度来解释。由此产生的功能也被证明是有效的结构分割，导致实验结果的RWC Pop数据集，这是潜在的挑战性国家的最先进的方法，依赖于广泛的基于示例的学习计划。
2021-04-17 cs.LG cs.SD eess.AS
Audit After Segmentation: Reference-Free Mask Quality Assessment for Language-Referred Audio-Visual Segmentation
MBZUAI；National University of Singapore（国立新加坡大学）；Fudan University（复旦大学）
本研究提出 MQA-RefAVS 任务，通过多模态大语言模型评估语言指代音频视频分段中掩码质量，提升分割准确性与可解释性。
2026-02-03 cs.AI cs.CV cs.LG
Evaluating Off-the-Shelf Machine Listening and Natural Language Models for Automated Audio Captioning
Huawei Technologies, Munich Research Center（华为技术有限公司慕尼黑研究中心）；Music Technology Group, Universitat Pompeu Fabra（庞培法布拉大学音乐技术研究组）；Audio Research Group, Tampere University（坦佩雷大学音频研究组）
自动音频字幕（AAC）是自动生成一般音频信号的文本描述的任务。字幕系统必须从输入信号中识别出各种信息，并用自然语言来表达。现有的工作主要集中在研究新的方法，并试图提高其性能测量现有的数据集。最近才引起人们的注意，很少有关于AAC的工作研究现有的预训练音频和自然语言处理资源的性能。在本文中，我们评估的性能现成的模型与基于变压器的字幕方法。我们利用免费提供的Clotho数据集来比较四种不同的预训练机器听力模型，四种词嵌入模型以及它们在许多不同设置中的组合。我们的评估表明，YAMNet结合BERT嵌入产生最好的字幕。此外，一般来说，微调预训练的词嵌入可以带来更好的性能。最后，我们表明，序列的音频嵌入可以使用Transformer编码器处理，以产生更高质量的字幕。
2021-10-14 cs.CL cs.LG cs.SD
Listen carefully and tell: an audio captioning system based on residual learning and gammatone audio representation
自动音频字幕是一种机器收听任务，其目标是使用自由文本描述音频。一个自动化的音频字幕系统必须被实现，因为它接受音频作为输入，并作为文本描述输出，即信号的字幕。此任务在许多应用程序中非常有用，例如自动内容描述或机器对机器交互。在这项工作中，提出了一种基于编码器阶段的残差学习的自动音频字幕。编码器相位通过不同的残差网络配置来实现。解码器阶段（创建字幕）使用递归层加注意机制运行。选择的音频表示是Gammatone。结果表明，本文提出的框架在挑战结果上超过了基线系统。
2020-07-08 cs.LG cs.SD eess.AS
Prompting Segmentation with Sound Is Generalizable Audio-Visual Source Localizer
Renmin University of China（中国人民大学）；Northwest Polytechnical University（西北工业大学）；Wuhan University（武汉大学）；Zhejiang University（浙江大学）
针对零样本、少样本场景下的视听定位与分割任务，提出编码器-提示-解码器范式，通过语义感知音频提示和关联适配器，借助预训练模型知识提升泛化性，性能优于现有融合类方法。
2024-02-02 cs.CV cs.LG cs.MM
A Knowledge-Driven Approach to Music Segmentation, Music Source Separation and Cinematic Audio Source Separation
Georgia Institute of Technology, USA（佐治亚理工学院）；University of Palermo, Italy（帕尔米罗大学）；Dolby Laboratories, China（杜比实验室）
本文提出一种基于知识的音频分割方法，通过音乐谱等知识源自主学习，实现音乐和电影音频的高效源分离。
2026-02-25 cs.AI cs.LG eess.AS
Semantic-Aware Confidence Calibration for Automated Audio Captioning
Khoury College of Computer Science（科里学院计算机科学学院）；Northeastern University（东北大学）
本研究提出语义感知的置信度校准方法，通过整合置信度预测和语义相似性，提升音频字幕生成的可靠性与准确性。
2025-12-11 cs.LG cs.SD
Automated Audio Captioning with Recurrent Neural Networks
Tampere University of Technology（坦佩雷理工大学）
我们提出了第一种方法来自动音频字幕。我们采用了一个编码器-解码器方案与对齐模型之间。编码器的输入是从音频文件计算的对数梅尔带能量序列，而输出是单词序列，即字幕。编码器是一个多层的双向门控递归单元（GRU），解码器是一个多层GRU，其分类层连接到解码器的最后一个GRU。分类层和对齐模型是在时间步之间具有共享权重的全连接层。所提出的方法进行评估，使用从商业音效库，ProSound Effects的数据。通过在机器翻译和图像描述领域中使用的度量对所得到的字幕进行评级。度量结果表明，该方法可以预测出现在原始字幕中的单词，但并不总是正确的顺序。
2017-10-24 cs.CL cs.LG cs.SD
OpenAVS: Training-Free Open-Vocabulary Audio Visual Segmentation with Foundational Models
National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）
OpenAVS通过文本作为代理，首次实现音频与视觉模态对齐，利用基础模型直接推断掩码，提升开放词汇音频视觉分割的泛化能力。
2026-03-30 cs.LG cs.MM
Performance improvement of spatial semantic segmentation with enriched audio features and agent-based error correction for DCASE 2025 Challenge Task 4
Gwangju Institute of Science and Technology（光州科学技术院）；Hanwha Vision（韩华视觉）
本文提出DCASE 2025挑战赛任务4的提交系统，通过整合额外音频特征、应用基于智能体的标签修正系统减少误报，并优化训练数据集，使CA-SDRi指标相比基线相对提升14.7%。
2025-06-26 cs.LG eess.AS
Progressive Confident Masking Attention Network for Audio-Visual Segmentation
Imperial College London（帝国理工学院）；Nankai University（南开大学）；Tsinghua University（清华大学）
针对视听分割（AVS）中音频视觉信息整合不足、计算成本高及阶段输出未充分利用的问题，提出渐进式置信掩码注意力网络（PMCANet），通过注意力机制和置信驱动交叉注意力模块提升性能并降低计算量。
2025-02-10 cs.AI cs.CV cs.LG
Structure and Automatic Segmentation of Dhrupad Vocal Bandish Audio
Indian Institute of Technology Bombay（印度理工学院孟买分校）
一个Dhrupad声乐演唱会包括一个组成部分，这是穿插与即兴插曲增加节奏活动涉及之间的相互作用的声乐和打击乐。因此，相对于作品的基本度量速度来跟踪变化的节奏密度有助于检测和标记音乐会结构中的即兴部分。这项工作涉及自动检测的音乐相关的节奏密度，因为他们在整个班迪斯（组成）性能的时间变化。Dhrupad班迪什音乐会部分的注释数据集。我们研究了一个基于CNN的系统，经过训练可以检测本地节奏关系，并使用时间平滑进行跟踪。我们还采用音频源分离作为预处理步骤来检测人声和打击乐的个体表面密度。这有助于我们在捕捉两位表演者不断变化的节奏互动方面获得音乐会部分的完整音乐描述。
2020-08-03 cs.IR cs.LG eess.AS
Automated Detection of Sport Highlights from Audio and Video Sources
Politecnico di Torino（都灵理工大学）；Gruppo Nazionale per il Calcolo Scientifico INdAM（意大利国家高等数学研究所国家科学计算小组）；Deltatre S.p.A.（德尔塔特雷公司）
本研究提出一种基于深度学习的轻量级方法，通过音频Mel频谱图和灰度视频帧小数据集训练模型，实现89%和83%的检测准确率，并利用多模态集成提升鲁棒性，为体育精彩片段自动检测提供可扩展且低成本的解决方案。
2025-01-31 cs.AI cs.CV cs.LG
Audio-Visual Instance Segmentation
Peking University（北京大学）；University of Surrey（萨里大学）；UC Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）；CMU（卡内基梅隆大学）；China Agricultural University（中国农业大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Wuhan University of Technology（武汉理工大学）
本文提出视听实例分割（AVIS）新任务及AVISeg基准，并构建基线模型通过定位声源、提取token及窗口注意力实现发声对象分割追踪，实验证明其优于现有方法。
2025-03-02 cs.CV cs.LG cs.MM
Automated segmentation on the entire cardiac cycle using a deep learning work-flow
King’s College London（伦敦国王学院）；WMG, University of Warwick（华威大学WMG）
从CINE MRI图像中分割左心室（LV）对于推断重要的临床参数至关重要。通常，用于自动LV分割的机器学习算法仅使用来自两个心动时相（心动间期和收缩期）的注释轮廓。在这项工作中，我们提出了一个全自动LV分割的分析工作流程，该流程从通过心动周期采集的图像中学习。工作流程由三个部分组成：首先，对于序列中的每个图像，我们执行自动定位并随后裁剪包含心脏轮廓的限界框。其次，我们使用时间全卷积神经网络（T-FCNN）识别LV轮廓，T-FCNN通过在连续帧上执行时间相干性的循环机制扩展了全卷积神经网络（FCNN）。最后，我们使用两个组件中的任何一个进一步定义了边界：具有高斯边缘势的全连接条件随机场（CRF）和语义流。我们的初步实验表明，显着提高性能，可以通过使用一个递归神经网络组件，显式学习心脏运动模式，同时执行LV分割。
2018-08-31 cs.CV cs.LG stat.ML
Possibilistic Fuzzy Local Information C-Means with Automated Feature Selection for Seafloor Segmentation
University of Florida（佛罗里达大学）；University of Missouri（密苏里大学）
提出了一种将侧视合成孔径声纳（SAS）图像分割成不同海底区域的可能性模糊局部信息C均值（PPLICM）方法。在这项工作中，我们调查并提出了一个自动的特征选择的SAS图像分割方法的结果。将根据选择的定量聚类有效性标准评估所选特征和从图像中得到的分割，并且将使用达到期望阈值的特征子集进行分割过程。
2021-10-14 cs.CV cs.LG
Convolutional Neural Networks based automated segmentation and labelling of the lumbar spine X-ray
Zentralklinik Bad Berka（巴特贝尔卡中央临床医院）
本研究的目的是调查730手动注释的腰椎侧位X线片上训练的不同分割网络的分割精度。实例分割网络进行了比较，语义分割网络。研究队列包括病变脊柱和金属植入物术后图像。对于性能最好的实例分割模型，平均平均准确度和平均交集（IoU）最多提高3%，对于性能最好的语义分割模型，平均像素准确度和加权IoU稍好。此外，实例分割模型的推理更容易实现，用于临床决策支持中的进一步处理管道。
2020-04-04 cs.CV cs.LG eess.IV
Automated Human Claustrum Segmentation using Deep Learning Technologies
College of Computing and Informatics, Saudi Electronic University（沙特电子大学计算与信息学院）；School of Medicine, University of Missouri-Kansas City（密苏里大学堪萨斯城分校医学院）
近年来，深度学习（DL）在执行计算机视觉和图像分割等人工智能任务方面取得了可喜的成果。具体而言，DL中的卷积神经网络（CNN）模型已被应用于预测医学中的预防、检测和诊断。图像分割在疾病检测和预防中起着重要的作用，但由于医学图像的异构性、训练数据的不充分性以及标记数据的高度不平衡性，使得基于深度学习的自动分割面临着巨大的挑战。此外，自动分割的医学图像，如磁共振图像（MRI），成为一个具有挑战性的任务。对自动分割或注释的需求是我们工作的动力。在本文中，我们提出了一个完全自动化的方法，旨在分割人类屏状核的分析目的。我们应用U-Net CNN模型从MRI数据集中分割屏状核（Cl）。通过这种方法，我们已经实现了Cl分割的每个案例的平均Dice得分为0.72，交叉验证的K=5。医疗领域的专家也对这些结果进行了评估。
2019-11-18 cs.CV cs.LG eess.IV
LAMP: Large Deep Nets with Automated Model Parallelism for Image Segmentation
NVIDIA（英伟达）
深度学习（DL）模型正在变得越来越大，因为模型大小的增加可能会提供显着的准确性增益。为了能够训练大型深度网络，数据并行和模型并行是并行训练的两种众所周知的方法。但是，数据并行无助于减少每个设备的内存占用。在这项工作中，我们引入了具有自动模型并行（LAMP）的大型深度3D ConvNets，并研究了输入和深度3D ConvNets的大小对分割精度的影响。通过自动化模型并行，可以用大的输入块甚至整个图像来训练大型深度3D ConvNet。大量的实验表明，通过自动化的模型并行，可以通过增加模型大小和输入上下文大小来提高分割精度，并且与小块的滑动窗口相比，大输入在推理中会产生显著的推理加速。代码为\footnote{https://monai.io/research/lamp-automated-model-parallelism}。
2020-09-15 cs.CV cs.DC cs.LG
A Cascaded Residual UNET for Fully Automated Segmentation of Prostate and Peripheral Zone in T2-weighted 3D Fast Spin Echo Images
University of Arizona（亚利桑那大学）
多参数磁共振成像已被证明是有效的非侵入性诊断前列腺癌。前列腺的自动分割消除了对放射科医师进行耗时的手动注释的需要。这提高了用于表征前列腺组织的成像特征的提取效率。在这项工作中，我们提出了一个完全自动化的级联深度学习架构与残留块，级联MRes-UNET，在一个通过网络的前列腺和外周区的分割。与有经验的放射科医生的手动注释相比，该网络在前列腺分割中产生高Dice评分（$0.91\pm.02$）、精确度（$0.91\pm.04$）和召回评分（$0.92\pm.03$）。总前列腺体积估计的平均差异小于5%。
2020-12-25 cs.CV cs.LG eess.IV
T-AutoML: Automated Machine Learning for Lesion Segmentation using Transformers in 3D Medical Imaging
NVIDIA（英伟达）
医学图像中的病变分割一直是临床研究的重要课题。研究人员已经提出了各种检测和分割算法来解决这一任务。最近，基于深度学习的方法比传统方法显着提高了性能。然而，大多数最先进的深度学习方法需要手动设计多个网络组件和训练策略。在本文中，我们提出了一种新的自动化机器学习算法T-AutoML，它不仅可以搜索最佳神经结构，还可以同时找到超参数和数据增强策略的最佳组合。该方法利用现代Transformer模型，引入该模型以适应搜索空间嵌入长度的动态变化，显著提高了搜索能力。我们在几个大规模的公共病变分割数据集上验证了T-AutoML，并实现了最先进的性能。
2021-11-15 cs.CV cs.LG eess.IV
Residual Attention U-Net for Automated Multi-Class Segmentation of COVID-19 Chest CT Images
University of New South Wales（新南威尔士大学）；Stanford University（斯坦福大学）
2019新型冠状病毒病（COVID-19）在全球迅速蔓延，对公共卫生和经济造成重大影响。然而，仍缺乏有效量化COVID-19引起的肺部感染的研究。作为诊断框架的一项基本但具有挑战性的任务，分割在通过计算机断层扫描（CT）图像测量的COVID-19感染的准确量化中起着至关重要的作用。为此，我们提出了一种新的深度学习算法，用于自动分割多个COVID-19感染区域。具体来说，我们使用聚合残差变换来学习一种鲁棒且富有表现力的特征表示，并应用软注意力机制来提高模型区分COVID-19各种症状的能力。通过一个公开的CT图像数据集，我们验证了该算法的有效性与其他竞争方法相比。实验结果表明，我们的算法用于COVID-19胸部CT图像的自动分割的出色性能。我们的研究提供了一个有前途的基于深度学习的分割工具，为定量诊断CT图像中的COVID-19肺部感染奠定了基础。
2020-04-12 cs.CV cs.LG eess.IV
