冻结的大规模模型在多模态任务导向对话中的应用
Application of frozen large-scale models to multimodal task-oriented dialogue
AI总结：
本文将固定参数的 LENS Framework 与 LLM 用于时尚领域 MMD 多模态任务导向对话，并通过适配文本型 G-EVAL 评估，验证其相较 Transformer 基线在流畅性、有用性及相关性和连贯性上均有显著提升。
摘要：
在本研究中，我们使用现有的 Large Language Models ENnhanced to See Framework（LENS Framework，大型语言模型增强视觉框架）来测试多模态任务导向对话的可行性。LENS Framework 已被提出作为一种无需额外训练、并以固定参数使用预训练模型来解决计算机视觉任务的方法。我们使用了 Multimodal Dialogs（MMD）数据集，这是一个来自时尚领域的多模态任务导向对话基准数据集；在评估方面，我们使用了基于 ChatGPT 的 G-EVAL，该评估器只接受文本模态，因此我们作出了相应安排以处理多模态数据。与以往研究中基于 Transformer 的模型相比，我们的方法在流畅性上表现出10.8%的绝对提升，在有用性上提升8.8%，在相关性和连贯性上提升5.2%。结果表明，使用参数固定的大规模模型，而非使用在数据集上从头训练的模型，可以提升多模态任务导向对话的性能。同时，我们证明了 Large Language Models（LLMs，大型语言模型）对多模态任务导向对话是有效的。这有望推动其在现有系统中的高效应用。
英文摘要：
In this study, we use the existing Large Language Models ENnhanced to See Framework (LENS Framework) to test the feasibility of multimodal task-oriented dialogues. The LENS Framework has been proposed as a method to solve computer vision tasks without additional training and with fixed parameters of pre-trained models. We used the Multimodal Dialogs (MMD) dataset, a multimodal task-oriented dialogue benchmark dataset from the fashion field, and for the evaluation, we used the ChatGPT-based G-EVAL, which only accepts textual modalities, with arrangements to handle multimodal data. Compared to Transformer-based models in previous studies, our method demonstrated an absolute lift of 10.8% in fluency, 8.8% in usefulness, and 5.2% in relevance and coherence. The results show that using large-scale models with fixed parameters rather than using models trained on a dataset from scratch improves performance in multimodal task-oriented dialogues. At the same time, we show that Large Language Models (LLMs) are effective for multimodal task-oriented dialogues. This is expected to lead to efficient applications to existing systems.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
