FLAME: A Self-Adaptive Auto-labeling System for Heterogeneous Mobile Processors
University of California, Merced(加利福尼亚大学默塞德分校)
如何在移动终端上准确有效地标记数据是在移动设备上成功训练机器学习模型的关键。在移动设备上自动标记数据具有挑战性,因为数据通常是增量生成的,并且可能具有未知的标签。此外,移动设备上丰富的硬件异构性对有效执行自动标记工作负载带来了挑战。在本文中,我们介绍了火焰,一个自动标记系统,可以标记非平稳数据与未知的标签。Flame包含一个运行时系统,可以在异构移动处理器上高效地调度和执行自动标记工作负载。通过在智能手机上使用八个数据集对Flame进行评估,我们证明了Flame能够以高标记精度和高性能实现自动标记。
2020-03-03 cs.LG stat.ML
A Data-Centric Framework for Machine Listening Projects: Addressing Large-Scale Data Acquisition and Labeling through Active Learning
ITI(ITI(信息技术研究所))
本文提出一套以数据为中心的机器听觉项目框架,采用专业标注的主动学习优化标注预算,解决大规模数据标注难题,经港口场景验证可高效适配资源受限的标注任务。
2024-10-08 cs.LG cs.SD eess.AS
Unsupervised ASR via Cross-Lingual Pseudo-Labeling
Apple(苹果公司)
提出跨语言伪标签方法,利用其他语言的字符级声学模型和目标语言模型约束,在无目标语言标注音频下实现高效无监督ASR。
2024-02-16 cs.CL cs.LG cs.SD
An Automated Approach to Collecting and Labeling Time Series Data for Event Detection Using Elastic Node Hardware
University of Duisburg-Essen(杜伊斯堡-埃森大学)
本文提出一种在物联网设备上自主标注传感器数据的嵌入式系统,通过本地轻量级标注方法减少数据传输,实验表明其音频和振动数据分类准确率高达91.67%。
2024-07-06 cs.AI cs.LG
Self-supervised learning for audio-visual speaker diarization
Tencent AI Lab(腾讯人工智能实验室)
说话人日志化(Speaker Diarization)是一种寻找特定说话人的语音片段的方法,在以人为中心的应用中得到了广泛的应用,如电视会议或人机交互系统。在本文中,我们提出了一个自我监督的音频视频同步学习方法来解决说话人日记化的问题,而无需大量的标记工作。我们通过引入两个新的损失函数:动态三重损失和多项式损失来改进以前的方法。我们在一个真实的人机交互系统上对它们进行了测试,结果表明我们的最佳模型产生了+8%F1分数的显着增益以及日志错误率的降低。最后,我们介绍了一个新的大规模音视频语料库,旨在填补汉语音视频数据集的空缺。
2020-02-13 cs.LG cs.MM cs.SD
Audio Spectral Enhancement: Leveraging Autoencoders for Low Latency Reconstruction of Long, Lossy Audio Sequences
Thadomal Shahani Engineering College(塔多马尔沙哈尼工程学院);Mumbai University(孟买大学)
随着对音频压缩技术的积极研究取得了实质性的突破,低质量音频波的频谱重建仍然是一个不太受欢迎的话题。在本文中,我们提出了一种新的方法来重建更高的频率从相当长的序列的低质量的MP3音频波。我们的技术涉及通过操纵与感知差异相关的各个幅度和相位值,使用剩余堆叠的自动编码器块来修复音频频谱图。我们的架构提出了几个瓶颈,同时通过跳过连接保留音频波的频谱结构。我们还比较了几个任务指标,并展示了我们的视觉指南损失选择。此外,我们展示了如何利用差分量化技术将初始模型大小减少一半以上,同时减少推理时间,这在现实世界的应用中至关重要。
2021-08-08 cs.LG cs.SD
Iterative Refinement Strategy for Automated Data Labeling: Facial Landmark Diagnosis in Medical Imaging
The University of Melbourne(墨尔本大学)
针对医学影像面部关键点诊断中的自动标注难题,本文提出结合反馈机制与先进算法的迭代优化策略,以减少人工干预并提升标签质量及深度学习性能。
2024-04-08 cs.AI cs.CV cs.LG
Progressing from Anomaly Detection to Automated Log Labeling and Pioneering Root Cause Analysis
Technische Universität Berlin(柏林工业大学)
本文提出日志异常分类法并探索自动化数据标注,研究多种异常检测技术与异常类型的对齐,并展望异常检测后的根因分析,以提升IT系统韧性、运营效率和用户满意度。
2023-12-22 cs.LG cs.SE
DeepScanner: a Robotic System for Automated 2D Object Dataset Collection with Annotations
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
在这项研究中,我们描述了使用关节式机器人自动收集数据集的可能性。所提出的技术减少了多边形数据集上的像素错误数量,并减少了手动标记2D对象所花费的时间。本文描述了一种新的自动数据集收集和注释系统,并比较了自动和手动数据集标记的结果。我们的方法将数据标记的速度提高了240倍,并将准确性提高了13倍。我们还提出了一个人工注释和自动收集的数据集上训练神经网络的指标的比较。
2021-08-05 cs.LG cs.RO
Pearls from Pebbles: Improved Confidence Functions for Auto-labeling
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对模型过度自信导致基于阈值的自动标注性能不佳的问题,提出研究最优置信度函数的框架及新方法Colander,在保持误差低于5%下将覆盖率提升达60%。
2024-04-24 cs.AI cs.LG stat.ML
CheXbert: Combining Automatic Labelers and Expert Annotations for Accurate Radiology Report Labeling Using BERT
Stanford University(斯坦福大学)
从放射学文本报告中提取标签使得能够对医学成像模型进行大规模训练。现有的报告标记方法通常依赖于基于医学领域知识的复杂特征工程或专家的手动注释。在这项工作中,我们介绍了一种基于BERT的方法,利用现有的基于规则的系统的规模和质量的专家注释的医学图像报告标记。我们展示了一个生物医学预训练的BERT模型的优越性能,该模型首先在基于规则的标签的注释上进行训练,然后在一小部分专家注释上进行微调,并使用自动回译进行增强。我们发现,我们的最终模型CheXbert能够在统计学显著性上优于以前最好的基于规则的标记器,为最大的胸部X射线数据集之一的报告标记设置了新的SOTA。
2020-10-18 cs.CL cs.IR cs.LG
labelCloud: A Lightweight Domain-Independent Labeling Tool for 3D Object Detection in Point Clouds
Technische Universität Dresden(德累斯顿工业大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在过去的十年中,基于人工智能(AI)和机器学习(ML)的应用程序的兴起在不同领域做出了许多重大贡献。应用范围从机器人到医疗诊断再到自动驾驶。然而,几乎所有的应用程序都依赖于训练数据。如果此数据由3D图像组成,则标签尽可能准确以确保ML模型的高质量结果至关重要。3D空间中的标记主要是由专家工作人员执行的手动工作,他们在ML模型稍后应该自动识别的目标对象周围绘制3D边界框,例如,行人自动驾驶或放射照相术中的癌细胞。虽然存在小范围的最新3D标记工具,但它们都具有三个主要缺点:(i)它们被指定用于自动驾驶应用,(ii)它们缺乏便利性和舒适性功能,以及(iii)它们在数据格式中具有高度依赖性和较小的灵活性。因此,我们提出了一种新的标记工具的三维目标检测点云,以解决这些缺点。
2021-03-05 cs.CV cs.LG
Federated Self-Training for Semi-Supervised Audio Recognition
Eindhoven University of Technology(埃因霍温理工大学)
联邦学习是一种分布式机器学习范式,处理分散和个人数据集。由于数据驻留在智能手机和虚拟助手等设备上,因此标签被委托给客户端,或者以自动化的方式提取标签。具体地,在音频数据的情况下,获取语义注释可能是极其昂贵和耗时的。因此,大量的音频数据在用户的设备上仍然未被标记和利用。大多数现有的联邦学习方法都集中在监督学习上,而没有利用未标记的数据。在这项工作中,我们研究的问题,半监督学习的音频模型,通过自我训练结合联邦学习。我们提出FedSTAR来利用大规模的设备上未标记的数据来提高音频识别模型的泛化能力。我们进一步证明,自我监督的预训练模型可以加速设备上模型的训练,显著提高收敛到更少的训练轮次。我们在不同的公共音频分类数据集上进行实验,并在不同百分比的标记和未标记数据下研究我们的模型的性能。值得注意的是,我们发现,与完全监督的联邦模型相比,只有3%的标记数据可用,FedSTAR平均可以将识别率提高13.28%。
2022-02-25 cs.DC cs.LG cs.SD
Listen carefully and tell: an audio captioning system based on residual learning and gammatone audio representation
自动音频字幕是一种机器收听任务,其目标是使用自由文本描述音频。一个自动化的音频字幕系统必须被实现,因为它接受音频作为输入,并作为文本描述输出,即信号的字幕。此任务在许多应用程序中非常有用,例如自动内容描述或机器对机器交互。在这项工作中,提出了一种基于编码器阶段的残差学习的自动音频字幕。编码器相位通过不同的残差网络配置来实现。解码器阶段(创建字幕)使用递归层加注意机制运行。选择的音频表示是Gammatone。结果表明,本文提出的框架在挑战结果上超过了基线系统。
2020-07-08 cs.LG cs.SD eess.AS
Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来,提出了一种基于变分自编码器(VAE)的视听语音生成模型,该模型结合噪声方差的非负矩阵分解(NMF)模型实现无监督语音增强。当视觉数据是干净的,语音增强与视听VAE表现出更好的性能比与仅音频VAE,这是在仅音频数据上训练。然而,视听VAE对于噪声视觉数据(例如,当对于某些视频帧,说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明,该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
Weakly-supervised Automated Audio Captioning via text only training
本文提出一种仅利用文本数据和预训练CLAP模型的弱监督自动音频描述生成方法,通过文本嵌入重建与音频嵌入解码并弥合模态差距,在Clotho和AudioCaps上达到全监督方法约83%的相对性能。
2023-09-21 cs.LG cs.SD eess.AS
Automated Time-frequency Domain Audio Crossfades using Graph Cuts
University of Waterloo(滑铁卢大学)
在许多音乐消费场景中出现了从一个音频片段平滑地过渡到另一个音频片段的问题,特别是当音乐消费已经从专业策划和现场流媒体广播转移到个人播放设备和服务时。我们提出了朝向通过将频谱离散化为仓并然后找到每个仓的转换时间来自动从一个音频剪辑转换到另一个音频剪辑的新方法的第一步。我们将这个问题称为图流优化问题,特别是min-cut/max-flow。
2023-01-31 cs.LG cs.SD eess.AS
NAViDAd: A No-Reference Audio-Visual Quality Metric Based on a Deep Autoencoder
University College Dublin(都柏林大学学院);University of Brasilia(巴西利亚大学)
音频和视频信号的质量预测模型的开发是一个相当成熟的领域。但是,虽然已经提出了几种多模态模型,视听质量预测领域仍然是一个新兴的领域。事实上,尽管通过组合和参数度量获得了合理的性能,但目前还没有可靠的基于像素的视听质量度量。本工作中提出的方法是基于这样的假设,即自动编码器,提供描述性的音频和视频功能,可能会产生一组功能,能够描述复杂的音频和视频交互。基于这一假设,我们提出了一种基于深度自动编码器的无参考视听质量度量(NAViDAd)。模型的视觉特征是自然场景统计(NSS)和视频分量的时空度量。同时,通过计算音频分量的频谱图表示来获得音频特征。该模型由2层框架组成,其中包括深度自动编码器层和分类层。这两层被堆叠并训练以构建深度神经网络模型。该模型使用大量刺激进行训练和测试,其中包含代表性的音频和视频伪影。该模型进行测试时,对UnB-AV和LiveNetflix-II数据库。%结果表明,这种方法产生的质量分数与主观质量分数高度相关。
2020-02-04 cs.LG cs.MM eess.IV
Promises and Pitfalls of Threshold-based Auto-labeling
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Pennsylvania(宾夕法尼亚大学)
本文首次分析基于阈值的自动标注(TBAL)系统,推导保证机器标注质量所需人类验证数据量的样本复杂度界限,揭示其既能用较差模型准确标注数据、又可能消耗大量验证数据的前景与陷阱。
2024-02-22 cs.AI cs.LG stat.ML
NatureLM-audio: an Audio-Language Foundation Model for Bioacoustics
Earth Species Project(地球物种项目)
提出首个专为生物声学设计的音频-语言基础模型NatureLM-audio,通过融合生物声学、语音和音乐的文本-音频对进行训练,在BEANS-Zero基准上实现零样本物种分类等任务的SOTA,并开源模型与代码。
2025-06-30 cs.AI cs.LG cs.SD
Automatic Data Labeling for Software Vulnerability Prediction Models: How Far Are We?
The University of Adelaide(阿德莱德大学);Cyber Security Cooperative Research Centre(网络安全合作研究中心)
该研究定量与定性评估了最先进的自动标注软件漏洞数据D2A的质量,发现虽超50%标注有噪声,但利用其训练的预测模型在MCC和Recall上最高可提升22%和90%,揭示了自动标注数据的潜力与降噪挑战。
2024-07-25 cs.CR cs.LG cs.SE
Automatic Segmentation of Broadcast News Audio using Self Similarity Matrix
Institute of Technology, Nirma University(尼尔玛大学理工学院);TCS Innovation Labs - Mumbai, Tata Consultancy Services Limited(塔塔咨询服务有限公司TCS创新实验室(孟买))
一般来说,无线电广播的音频新闻除了由新闻播音员阅读的实际新闻外,还包括音乐、商业广告、来自记者的新闻和录音声明。当新闻转录可用时,音频新闻广播的自动分割以将音频与文本转录时间对齐以构建节俭的语音语料库是必不可少的。我们解决的问题,确定在音频新闻广播中的分段对应的新闻播音员阅读的新闻,使他们可以映射到文本成绩单。现有技术在用于提取新闻阅读器阅读片段时产生次优解决方案。在本文中,我们提出了一种新的技术,这是能够确定可靠的声学变化点使用声学自相似矩阵(SSM)。我们详细描述了两遍技术,并验证了其性能上的真正的音频新闻广播的全印度广播电台不同的语言。
2014-03-27 cs.LG cs.MM cs.SD
Differentiable Signal Processing With Black-Box Audio Effects
Adobe Research(奥多比研究院)
我们提出了一种数据驱动的方法,通过将有状态的第三方音频效果作为深度神经网络中的层来自动化音频信号处理。然后,我们训练深度编码器来分析输入音频并控制效果参数以执行所需的信号操作,仅需要输入-目标配对音频数据作为监督。为了训练具有不可微黑盒效应层的网络,我们在标准自动微分图中使用快速并行随机梯度近似方案,从而产生高效的端到端反向传播。我们展示了我们的方法的力量与三个独立的自动音频制作应用程序:管放大器仿真,自动删除呼吸和流行音乐录音,自动音乐母带。我们通过主观听力测试验证了我们的结果,表明我们的方法不仅可以实现新的自动音频效果任务,而且可以产生与专业的,最先进的商业音乐母带解决方案相当的结果。
2021-05-11 cs.LG cs.SD eess.AS
Unsupervised Learning of Deep Features for Music Segmentation
Gracenote Inc.(格雷斯诺特公司)
音乐分段指的是识别不同音乐段之间的边界和标记不同音乐段的双重问题,例如,流行音乐中的合唱、诗歌、桥牌等。一系列音乐分割算法的性能已被证明取决于选择来表示音频的音频特征。一些方法已经提出了从音乐片段注释数据学习特征变换,尽管创建这样的数据是耗时的或昂贵的,并且因此这些方法可能受到其数据集的大小的限制。虽然带注释的音乐分段数据是稀缺资源,但可用的音乐音频量要大得多。在语义音频的邻近领域,无监督深度学习在提高示例查询和声音分类任务的解决方案的性能方面表现出了希望。在这项工作中,使用卷积神经网络(CNN)对深度特征嵌入进行无监督训练,以进行音乐分割。所提出的技术仅利用在任何音频时间轴中隐含的音频特征的时间接近度。采用这些嵌入在一个经典的音乐分割算法,不仅显着提高了该算法的性能,但在无监督音乐分割获得最先进的性能。
2021-08-30 cs.LG cs.MM cs.SD
Raw Multi-Channel Audio Source Separation using Multi-Resolution Convolutional Auto-Encoders
University of Surrey(萨里大学)
有监督的多通道音频声源分离需要从混合信号中提取有用的频谱、时间和空间特征。因此,许多现有系统的成功在很大程度上取决于用于训练的特征的选择。在这项工作中,我们介绍了一种新的多通道,多分辨率卷积自动编码器神经网络,工作在原始的时域信号,以确定适当的多分辨率功能分离的歌声从立体声音乐。实验结果表明,该方法可以实现多声道音频声源分离,而不需要手工特征或任何预处理或后处理。
2018-03-02 cs.CV cs.LG cs.MM