arXiv 2406.046832024-06-07cs.SDeess.AS

PPPR：用于文本到音频生成的可移植即插即用提示精炼器

PPPR: Portable Plug-in Prompt Refiner for Text to Audio Generation

Shanghai Polytechnic University（上海第二工业大学）；Chinese Academy of Sciences（中国科学院）；Tsinghua University（清华大学）；Tianjin University（天津大学）；University of Chinese Academy of Sciences（中国科学院大学）

Shuchen Shi, Ruibo Fu, Zhengqi Wen, Jianhua Tao, Tao Wang, Chunyu Qiang, Yi Lu, Xin Qi, Xuefei Liu, Yukun Liu, Yongwei Li, Zhiyong Wang, Xiaopeng Wang

备注：: accepted by INTERSPEECH2024

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出可移植即插即用提示精炼器PPPR，利用大语言模型知识并引入模拟人类验证的思维链来增强文本到音频生成的鲁棒性和准确性，在Inception Score上达到8.72，超越AudioGen、AudioLDM和Tango。

摘要：

文本到音频（TTA）旨在生成与给定文本描述相对应的音频，在媒体制作中发挥着关键作用。TTA 数据集中的文本描述缺乏丰富的变化和多样性，导致 TTA 模型在面对复杂文本时性能下降。为了解决这一问题，我们提出了一种名为可移植即插即用提示精炼器（Portable Plug-in Prompt Refiner）的方法，该方法利用大语言模型中固有的关于文本描述的丰富知识，在不改变声学训练集的情况下有效增强 TTA 声学模型的鲁棒性。此外，我们引入了一种模拟人类验证的思维链（Chain-of-Thought），以提高音频描述的准确性，从而提升实际应用中生成内容的准确性。实验表明，我们的方法取得了最先进的 Inception Score（IS）8.72，超越了 AudioGen、AudioLDM 和 Tango。

英文摘要：

Text-to-Audio (TTA) aims to generate audio that corresponds to the given text description, playing a crucial role in media production. The text descriptions in TTA datasets lack rich variations and diversity, resulting in a drop in TTA model performance when faced with complex text. To address this issue, we propose a method called Portable Plug-in Prompt Refiner, which utilizes rich knowledge about textual descriptions inherent in large language models to effectively enhance the robustness of TTA acoustic models without altering the acoustic training set. Furthermore, a Chain-of-Thought that mimics human verification is introduced to enhance the accuracy of audio descriptions, thereby improving the accuracy of generated content in practical applications. The experiments show that our method achieves a state-of-the-art Inception Score (IS) of 8.72, surpassing AudioGen, AudioLDM and Tango.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。