使用合成标题和迁移学习训练的用于音频字幕生成的Whisper transformer
A Whisper transformer for audio captioning trained with synthetic captions and transfer learning
AI总结：
本研究提出一种基于预训练Whisper模型和合成标题的音频字幕生成方法，通过实验验证了不同训练策略对模型性能的影响，并公开了代码与模型。
摘要：
近年来，得益于大规模音频数据集的可用性和深度学习技术的进步，音频字幕生成领域取得了显著进展。在本技术报告中，我们提出了我们的音频字幕生成方法，重点在于使用预训练的语音转文本Whisper模型以及对合成标题进行预训练。我们讨论了我们的训练过程并展示了实验结果，其中包括模型大小变化、数据集混合和其他超参数。我们的研究结果证明了不同训练策略对音频字幕生成模型性能的影响。我们的代码和训练好的模型已在GitHub和Hugging Face Hub上公开发布。
英文摘要：
The field of audio captioning has seen significant advancements in recent years, driven by the availability of large-scale audio datasets and advancements in deep learning techniques. In this technical report, we present our approach to audio captioning, focusing on the use of a pretrained speech-to-text Whisper model and pretraining on synthetic captions. We discuss our training procedures and present our experiments' results, which include model size variations, dataset mixtures, and other hyperparameters. Our findings demonstrate the impact of different training strategies on the performance of the audio captioning model. Our code and trained models are publicly available on GitHub and Hugging Face Hub.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
