EXMODD: An EXplanatory Multimodal Open-Domain Dialogue dataset
Beijing Institute of Technology(北京理工大学)
针对开放域多模态对话数据构建成本高、可解释性差的问题,提出MDCF框架自动生成带解释的数据集EXMODD,实验证明理解准确性与回复质量正相关。
2023-10-17 cs.AI cs.CL cs.HC
Improving Dialogue Agents by Decomposing One Global Explicit Annotation with Local Implicit Multimodal Feedback
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
提出GELI方法,利用局部隐式多模态反馈信号跨模态塑造并分解全局显式会话级奖励,学习轮次级奖励模型并应用于RHLF流程,有效提升了基于LLM的对话智能体在各项对话指标上的表现。
2024-04-23 cs.AI cs.CL cs.HC
Identifying Speakers in Dialogue Transcripts: A Text-based Approach Using Pretrained Language Models
University of Oregon(俄勒冈大学);AWS AI Labs(亚马逊云科技AI实验室);Adobe Research(奥多比研究院)
本文提出基于预训练语言模型的文本方法,利用MediaSum构建大规模数据集,以Transformer模型识别对话记录中的说话人,最佳精度达80.3%,并公开数据和代码。
2024-07-16 cs.CL
MultiModal-GPT: A Vision and Language Model for Dialogue with Humans
Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学);Tianjin University(天津大学)
本研究提出视觉语言模型MultiModal-GPT,基于OpenFlamingo用LoRA高效微调,通过构建多模态指令模板、联合纯语言与视觉语言指令训练,提升多轮对话性能,相关资源已开源。
2023-06-13 cs.CL cs.CV
Aligning Dialogue Agents with Global Feedback via Large Language Model Multimodal Reward Decomposition
MIT(麻省理工学院);CMU(卡内基梅隆大学)
本文提出了一种基于大语言模型的多模态奖励分解方法,通过分解会话级反馈来提升对话生成质量,无需人工反馈。
2026-02-11 cs.CL
DiaDem: Advancing Dialogue Descriptions in Audiovisual Video Captioning for Multimodal Large Language Models
New Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别新实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Kling Team, Kuaishou Technology(快手科技 Kling 团队);Peking University(北京大学);Nanjing University(南京大学)
DiaDem通过合成高质量数据集和难度分区的两阶段GRPO策略,提升了音频视频字幕中的对话描述准确性,并在多种基准测试中表现出色。
2026-01-27 cs.CL
Multi-Stage Prompting for Knowledgeable Dialogue Generation
NVIDIA(英伟达)
现有的基于知识的对话系统通常使用预先训练的语言模型(LM)和大规模知识库的微调版本。这些模型通常无法概括知识库之外的主题,并且每次需要微调时都需要维护单独的潜在大型检查点。在本文中,我们的目标是通过利用存储在预训练LM中的固有知识及其强大的生成能力来解决这些限制。我们提出了一个多阶段的提示方法,从一个单一的预训练LM产生知识渊博的反应。我们首先提示LM根据对话上下文生成知识。然后,我们进一步提示它根据对话上下文和先前生成的知识生成响应。结果表明,我们的知识生成器优于国家的最先进的检索为基础的模型的5.8%,结合知识的相关性和正确性。此外,我们的多阶段提示在响应知识性和参与度方面分别优于基于微调的对话模型,分别高达10%和5%。此外,我们将模型扩展到5300亿个参数,并表明较大的LM将生成正确性分数提高了10%,响应相关性,知识性和参与度提高了10%。我们的代码可在https://github.com/NVIDIA/Megatron-LM上获取。
2022-03-16 cs.AI cs.CL
An Empirical Bayes Framework for Open-Domain Dialogue Generation
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院);Institute for Infocomm Research, A*STAR(新加坡科技研究局信息通信研究所)
针对开放域对话生成中变分框架提升多样性却损害连贯性的问题,提出BODEB经验贝叶斯框架,利用预训练参数构建先验和后验分布,在多样性和连贯性上均优于变分框架。
2023-11-18 cs.AI cs.CL
MTMCS-Bench: Evaluating Contextual Safety of Multimodal Large Language Models in Multi-Turn Dialogues
University of Notre Dame(诺丁汉大学);University of California, Los Angeles(加州大学洛杉矶分校);Georgia Institute of Technology(佐治亚理工学院);University of Montreal(蒙特利尔大学)
MTMCS-Bench评估多模态大语言模型在多轮对话中的上下文安全性,揭示了安全与效用之间的权衡及现有防护措施的不足。
2026-01-11 cs.AI cs.CL
End-to-End Task-Oriented Dialog Modeling with Semi-Structured Knowledge Management
Tsinghua University(清华大学);EPFL(洛桑联邦理工学院);Alibaba Group(阿里巴巴集团)
目前的面向任务的对话(task-oriented dialogue,TOD)系统主要通过管理结构化的知识(如数据库和表格)来引导目标导向的对话。然而,它们不足以处理也涉及非结构化知识的对话(例如,审查和文档)。在本文中,我们制定了一个任务的建模TOD接地融合结构化和非结构化的知识。为了解决这个问题,我们提出了一个半结构化的知识管理,SeKnow,它扩展了信念状态,以管理知识与结构化和非结构化的内容的TOD系统。此外,我们介绍了两个实现的SeKnow的基础上,非预训练的序列到序列模型和预训练的语言模型,分别。这两种实现都使用端到端的方式来联合优化基于结构化和非结构化知识的对话建模。我们在MultiWOZ 2.1数据集的修改版本Mod-MultiWOZ 2.1上进行实验,其中对话框被处理为涉及半结构化知识。实验结果表明,SeKnow具有较强的性能,在端到端的对话和中间知识管理,相比现有的TOD系统和他们的扩展与管道知识管理计划。
2022-02-01 cs.CL
Affective Multimodal Agents with Proactive Knowledge Grounding for Emotionally Aligned Marketing Dialogue
Hunan Police Academy, Department of Criminal Investigation(湖南警察学院犯罪侦查系);Business College, California State University(加州州立大学长滩分校商学院);Northwestern University(西北大学);AI Agent Lab, Vokram Group(Vokram集团AI代理实验室);Beijing University of Technology(北京理工大学);Zheng Zhou University of Light Industry(郑州轻工业大学)
AffectMind通过主动知识 grounding 和情绪-意图对齐模型,提升营销对话中的情感一致性与说服效果。
2025-12-20 cs.AI cs.CL cs.LG
Beyond Text: LLM-Based Dimensional Emotion Evaluation in Multimodal Dialogue
Emory University(埃默里大学)
提出基于LLM的多模态对话维度情感评估框架,通过LoRA微调LLaMA模型在IEMOCAP上实现Valence CCC 0.7822的新最先进水平,并发现音频线索对小型模型增益显著。
2026-10-01 cs.AI cs.CL cs.LG
Coherence-Driven Multimodal Safety Dialogue with Active Learning for Embodied Agents
University of Pittsburgh(匹兹堡大学);Northeastern University(东北大学)
提出M-CoDAL多模态对话系统,利用话语连贯性和基于聚类的主动学习提升具身智能体在安全关键情境中的沟通与干预效果,经数据集和真实机器人用户研究验证更具说服力。
2025-02-25 cs.CL cs.RO
GigaPevt: Multimodal Medical Assistant
Sber AI Lab(Sber AI实验室)
本文提出首个多模态医疗助手GigaPevt,通过结合大语言模型对话能力与专业医疗模型,有效缓解数据模态稀缺问题,在问答任务中准确率提升1.18%。
2024-07-30 cs.AI cs.CL cs.HC
Factual Dialogue Summarization via Learning from Large Language Models
School of Computing and Information Systems(计算与信息系统学院);The University of Melbourne(墨尔本大学)
针对小型预训练模型对话摘要事实一致性不足及大语言模型部署受限的问题,提出基于符号知识蒸馏的方法,通过零样本学习从大语言模型提取正负例摘要,结合对比学习增强小型模型,在多个模型上超越强基线,兼顾事实一致性与文本质量并开放资源。
2024-06-20 cs.CL
Fine-Tuning BERT for Schema-Guided Zero-Shot Dialogue State Tracking
University of Science and Technology of China(中国科学技术大学)
我们在对话系统技术挑战8(DSTC 8)中介绍了我们在轨道4上的工作。DSTC 8-Track 4旨在在zero-shot设置下执行对话状态跟踪(DST),其中模型需要在给定这些目标API的模式定义的情况下对看不见的服务API进行泛化。作为Siri、Alexa和Google Assistant等众多虚拟助手的核心,DST跟踪用户的目标和对话历史中发生的事情,主要包括意图预测、槽填充和用户状态跟踪,测试模型的自然语言理解能力。最近,预训练的语言模型已经取得了最先进的结果,并在各种NLP任务上显示出令人印象深刻的泛化能力,这为语言理解提供了一种很有前途的零样本学习方法。在此基础上,我们提出了一个模式引导的范例zero-shot对话状态跟踪(SGP-DST)微调BERT,最流行的预训练语言模型之一。SGP-DST系统包含四个模块,分别用于意图预测、时隙预测、时隙转移预测和用户状态汇总。根据官方评估结果,我们的SGP-DST(team 12)在25个参赛团队中,在联合目标准确性(排名提交的主要评估指标)方面排名第三,在所需的F1位置上排名第一。
2020-02-01 cs.CL
Sparkles: Unlocking Chats Across Multiple Images for Multimodal Instruction-Following Models
University of Cambridge(剑桥大学);Sun Yat-sen University(中山大学);University of Glasgow(格拉斯哥大学)
针对现有多模态指令遵循模型多图像对话连贯性不足的问题,研究提出专用多图像对话数据集SparklesDialogue、评估基准SparklesEval及模型SparklesChat,验证了其提升多图像对话理解且不损害单图像能力的效果,相关资源已公开。
2024-09-17 cs.CL cs.CV
Semantic-Enhanced Explainable Finetuning for Open-Domain Dialogues
本文提出将预训练的语言模型与模块化对话范式相结合,用于开放域对话建模。我们的方法,语义增强微调,实例化会话理解,规划和响应生成作为一个语言模型微调任务。在推理中,我们通过分别为每个模块指定采样方法和约束来解开语义和令牌变化。对于训练和评估,我们提出了X-Weibo,这是一个中文多轮开放域对话数据集,具有情感,DA和主题词的自动注释。实验表明,语义增强的微调在非语义和语义指标上优于强基线,提高了人类评估的相关性,一致性和信息性,并对语义变量表现出相当大的可控性。
2022-05-24 cs.CL
Discrete Multimodal Transformers with a Pretrained Large Language Model for Mixed-Supervision Speech Processing
Worcester Polytechnic Institute(伍斯特理工学院);University of Colorado Boulder(科罗拉多大学博尔德分校)
提出仅解码器的离散多模态语言模型(DMLM),应用于ASR、T2S等跨模态任务,探索损失函数、权重初始化、混合监督和码本等关键方面,发现结合监督与无监督训练、用预训练LLM初始化及Whisper激活码本能显著提升性能。
2024-06-25 cs.CL cs.LG eess.AS
Multimodal Large Language Models and Tunings: Vision, Language, Sensors, Audio, and Beyond
University of Melbourne(墨尔本大学);University of Sydney(悉尼大学);Sapienza University of Rome(罗马大学)
本教程梳理多模态预训练大模型的进展、技术挑战与调优策略,结合实操演示帮助相关人员掌握多模态AI应用能力,适配ACM Multimedia 2024会议主题。
2024-10-08 cs.CL
CliniDial: A Naturally Occurring Multimodal Dialogue Dataset for Team Reflection in Action During Clinical Operation
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);University of Michigan, Dearborn(密歇根大学德雷本分校)
本研究构建了多模态临床手术模拟对话数据集CliniDial,标注团队协作行为,验证其对现有大语言模型的挑战性,为临床真实数据处理方法研究提供支撑。
2025-06-15 cs.CL
Controlling Dialogue Generation with Semantic Exemplars
Carnegie Mellon University(卡内基梅隆大学)
用大语言模型预训练的对话系统生成局部连贯的响应,但缺乏对实现特定目标所需的响应的细粒度控制。一个有前途的方法来控制响应生成是基于范例的生成,其中模型编辑范例响应,从训练数据检索,或手写的战略地址话语级的目标,以适应新的对话上下文。但是,目前基于范例的方法往往过度复制的话从范例的反应,导致不连贯的答复。我们提出了一个基于范例的对话生成模型,EDGE,它使用的语义框架中存在的范例响应,以指导生成。我们表明,控制对话生成的基础上的语义框架的范例,而不是在范例本身的话,提高了生成的响应的一致性,同时保持语义意义和会话目标存在于范例响应。
2021-03-25 cs.AI cs.CL
Retrieval Augmented End-to-End Spoken Dialog Models
Google(谷歌公司)
本文提出检索增强的SLM(ReSLM),通过语音检索器获取音频中的文本实体并输入模型,提升语音对话状态跟踪性能,在DSTC-11上联合目标准确率达38.6%。
2024-02-02 cs.AI cs.CL cs.SD
Building Markovian Generative Architectures over Pretrained LM Backbones for Efficient Task-Oriented Dialog Systems
Tsinghua University(清华大学);China Mobile Research Institute(中国移动研究院);Tsinghua University-China Mobile Communications Group Co., Ltd. Joint Institute(清华大学-中国移动通信集团有限公司联合研究院)
最近,基于Transformer的预训练语言模型(PLM),如GPT 2和T5,已被用来构建生成面向任务的对话(TOD)系统。现有的基于PLM的模型的缺点是它们跨转弯的非马尔可夫架构,即,整个历史被用作每一轮的调节输入。首先,这会导致内存和计算效率低下。此外,使用整个历史增加了模型的复杂性,并可能损害训练效率,特别是当面对少量标记的训练数据(低资源设置)时。在本文中,出于观察,对话状态可以被视为马尔可夫状态,我们建议建立马尔可夫生成架构(MGA)的PLM骨干有效的TOD系统。在MultiWOZ2.1上的实验表明,在资源丰富的情况下,所提出的马尔可夫模型在不降低性能的前提下降低了内存和时间开销;在资源较少的情况下,马尔可夫模型的训练效率更为显著。
2022-10-14 cs.CL cs.HC
SuperChat: Dialogue Generation by Transfer Learning from Vision to Language using Two-dimensional Word Embedding and Pretrained ImageNet CNN Models
Gyrfalcon Technology Inc.(矛隼科技公司)
最近使用二维的【形】词嵌入的超级字符方法在文本分类任务中取得了最先进的结果,展示了这种新方法的前景。本文借鉴超级字符法和二维的【形】嵌入的思想,提出了一种面向开放域对话的会话响应生成方法。在公共数据集上的实验结果表明,所提出的SuperChat方法生成高质量的响应。一个互动演示已经准备好在研讨会上展示。
2019-06-04 cs.CL
Multimodal Hierarchical Reinforcement Learning Policy for Task-Oriented Visual Dialog
University of California, Davis(加利福尼亚大学戴维斯分校);Carnegie Mellon University(卡内基梅隆大学)
创建一个能够理解视觉和语言的智能对话系统是人工智能(AI)的最终目标之一~ \cite{winograd1972understanding}。广泛的研究集中在视觉到语言生成,然而,有限的研究已经触及到这两种模式结合在一个目标驱动的对话上下文。我们提出了一个多模态层次强化学习框架,动态集成视觉和语言的面向任务的视觉对话。该框架联合学习多模态对话状态表示和分层对话策略,以提高对话任务的成功率和效率。我们还提出了一种新的技术,状态自适应,在对话状态表示集成上下文感知。我们在一个图像猜测游戏中评估了所提出的框架和状态自适应技术,并取得了可喜的成果。
2018-05-08 cs.CL
Span-ConveRT: Few-shot Span Extraction for Dialog with Pretrained Conversational Representations
PolyAI Limited(PolyAI有限公司);Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
我们介绍了跨度ConveRT,一个轻量级的对话框插槽填充框架的任务作为一个回合为基础的跨度提取任务的模型。该公式允许在大型预训练会话模型(诸如ConveRT)中编码的会话知识的简单集成(Henderson等人,2019年)。我们表明,在Span-ConveRT中利用这些知识对于少样本学习场景特别有用:我们报告了1)在目标域从头开始训练表示的跨度提取器和2)基于BERT的跨度提取器的一致增益。为了激发更多的工作跨度提取插槽填充任务,我们还发布了RESTAURANTS-8 K,一个新的具有挑战性的数据集,8,198话语,从餐厅预订领域的实际对话中编译。
2020-07-16 cs.CL
Hello, It's GPT-2 -- How Can I Help You? Towards the Use of Pretrained Language Models for Task-Oriented Dialogue Systems
Cambridge University(剑桥大学);PolyAI Limited(PolyAI有限公司)
数据稀缺是一个长期存在的关键挑战,它阻碍了跨多个领域的面向任务的对话系统的快速开发:面向任务的对话模型预计将从少量的特定于任务的数据中学习语法,句法,对话推理,决策和语言生成。在本文中,我们证明了语言建模预训练和迁移学习的最新进展有望克服这个问题。我们提出了一个面向任务的对话模型,只对文本输入操作:它有效地绕过明确的政策和语言生成模块。在TransferTransfo框架之上构建(Wolf等人,2019)和生成模型预训练(Radford et al.,2019),我们从MultiWOZ数据集验证了复杂的多领域面向任务的对话方法。我们的自动和人工评估表明,所提出的模型与强大的任务特定神经基线相当。从长远来看,我们的方法有望缓解数据稀缺问题,并支持构建更具吸引力和更雄辩的面向任务的会话代理。
2019-08-04 cs.CL
ZRIGF: An Innovative Multimodal Framework for Zero-Resource Image-Grounded Dialogue Generation
Dalian University of Technology(大连理工大学)
针对零资源场景下图像与文本模态差异导致视觉信息难以利用的问题,提出多模态框架 ZRIGF,通过对比预训练与生成式预训练两阶段策略对齐特征并生成响应,实验证明其在零资源图像基础对话中具有高效性和强泛化能力。
2023-08-02 cs.CL cs.MM
Multimodal Dialogue Response Generation
Microsoft STC Asia(微软亚洲互联网工程院);Microsoft Research Asia(微软亚洲研究院)
图像响应已被认为是智能会话代理的重要能力。然而现有的工作只关注于基于检索的多模态对话模型的研究,而忽略了生成方法的研究。为了填补这一空白,我们首先提出了一个多模态对话生成模型,该模型以对话历史为输入,然后生成文本序列或图像作为响应。学习这样的模型通常需要包含文本和图像的多模态对话,这是很难获得的。出于实践中的挑战,我们认为多模态对话生成的自然假设下,只有有限的训练样本。在这样一个低资源的设置,我们设计了一种新的会话代理,Divter,以隔离参数,依赖于多模态对话从整个生成模型。通过这种方法,可以分别从大量的纯文本对话和文本图像对中学习模型的主要部分,然后利用有限的训练样本来拟合模型的全部参数。大量的实验表明,我们的方法在自动和人工评估方面都取得了最先进的结果,并且可以生成信息丰富的文本和高分辨率的图像响应。
2022-03-29 cs.AI cs.CL cs.CV
Improving Context Modelling in Multimodal Dialogue Generation
Heriot-Watt University(赫瑞-瓦特大学);Adeptmind Inc.(Adeptmind公司)
在这项工作中,我们调查的任务,文本响应生成在多模态任务导向的对话系统。我们的工作是基于最近发布的多模态对话(MMD)数据集(Saha等人,2017年,在时尚领域。我们引入了一个多模态扩展的分层递归编码器-解码器(HRED)模型,并表明这种扩展优于强基线基于文本的相似性度量。我们还展示了当前的视觉和语言模型的缺点,通过对我们的系统的输出进行错误分析。
2018-10-20 cs.CL
Evaluating Pretrained Transformer Models for Entity Linking in Task-Oriented Dialog
MindMeld, Cisco Systems(思科系统 MindMeld)
预训练的Transformer模型(PTM)对于自然语言任务的广泛适用性得到了很好的证明,但是它们理解文本短语的能力却很少被探索。为此,我们从面向任务的对话中的无监督实体链接的角度评估不同的PTM,包括5个特征-句法,语义,简短形式,数字和语音。我们的研究结果表明,与传统技术相比,一些PTM产生低于标准的结果,尽管与其他神经基线相比具有竞争力。我们发现,他们的一些缺点可以通过使用PTMs微调文本相似性的任务,这说明了理解语义和句法对应的能力得到了提高,以及一些改进的短形式,数字和语音的变化,在实体提到。我们进行定性分析,以了解他们预测的细微差别,并讨论进一步改进的范围。代码可以在https://github.com/murali1996/el_tod上找到
2021-12-15 cs.CL
SIMMC 2.0: A Task-oriented Dialog Dataset for Immersive Multimodal Conversations
Facebook Reality Labs(Facebook现实实验室);Facebook AI(Facebook人工智能)
下一代面向任务的对话系统需要理解会话上下文及其感知环境,以有效地帮助用户在现实世界中的多模态环境。现有的面向任务的对话数据集,旨在虚拟援助的不足,并没有在用户的多模态上下文中的对话。为了克服这个问题,我们提出了一个新的数据集,用于情景和交互式多模态对话,SIMMC 2.0,其中包括购物领域中的11K面向任务的用户<->助理对话(117K话语),以沉浸式和照片般逼真的场景为基础。使用两个阶段的流水线收集对话:(1)一种新的多模态对话模拟器生成模拟的对话流,强调交互的多样性和丰富性,(2)手动释义生成的话语,以收集不同的指涉表达。我们对收集的数据集进行了深入分析,并详细描述了我们提出的四个主要基准任务。我们的基线模型由最先进的语言模型提供支持,显示了有希望的结果,并为社区研究提出了新的挑战和方向。
2021-10-20 cs.AI cs.CL
Dual Knowledge-Enhanced Two-Stage Reasoner for Multimodal Dialog Systems
National University of Singapore(新加坡国立大学);Southern University of Science and Technology(南方科技大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));City University of Hong Kong(香港城市大学)
针对多模态任务型对话系统中文本响应生成忽视非结构化评论知识及LLM利用不足的问题,提出双知识增强的两阶段推理器DK2R,动态选择知识类型并解耦意图与响应,实验验证其优越性。
2025-09-09 cs.CL cs.MM
Bridging Text and Video: A Universal Multimodal Transformer for Video-Audio Scene-Aware Dialog
Tencent Inc(腾讯公司);Chinese Academy of Sciences(中国科学院);Peking University(北京大学);University of Chinese Academy of Sciences(中国科学院大学)
视听场景感知对话(AVSD)是一项在聊天时生成给定视频的响应的任务,该任务被组织为第八届对话系统技术挑战赛(DSTC 8)的一个轨道。为了解决这个问题,我们提出了一个通用的多模态Transformer,并引入了多任务学习方法来学习不同模态之间的联合表示,以及生成信息丰富和流畅的响应。该方法将自然语言生成预训练模型扩展到多模态对话生成任务。我们的系统在客观和主观评价中都取得了最好的成绩。
2020-02-01 cs.CL
Multimodal Incremental Transformer with Visual Grounding for Visual Dialogue Generation
WeChat AI(微信人工智能);Tencent Inc(腾讯公司)
视觉对话是一项具有挑战性的任务,因为它需要在理解视觉环境的基础上回答一系列连贯的问题。以往的研究多集中于通过隐式地关注空间图像特征或对象层次的图像特征来探索多模态共指,而忽略了在视觉内容中显式地定位对象的重要性,这些对象与文本内容中的实体相关联。因此,本文提出了一种具有{\bf V}视觉{\bf G}舍入的{\bf M}多模态{\bf I}增量{\bf T}变换器,称为MITVG,它由两个关键部分组成:视觉接地和多模态增量Transformer。视觉基础的目的是明确地定位相关的对象在图像中的文本实体的指导下,这有助于模型排除不需要注意的视觉内容。多模态增量式Transformer在视觉接地的基础上,将多轮对话历史与视觉场景相结合,按照对话的先后顺序逐步进行编码,生成上下文一致、视觉连贯的应答。在VisDial v0.9和v1.0数据集上的实验结果证明了该模型的优越性,其性能相当。
2021-09-17 cs.CL cs.CV cs.MM
Multimodal Recommendation Dialog with Subjective Preference: A New Challenge and Benchmark
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出包含12K购物对话的SURE数据集以刻画多模态推荐中的主观偏好与推荐行为,并基于该数据定义三个基准任务及一个由先进多模态模型驱动的基线模型。
2023-05-26 cs.AI cs.CL cs.CV
S3: A Simple Strong Sample-effective Multimodal Dialog System
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Artificial Intelligence Research Institute(人工智能研究院)
本文提出S3模型,一个基于预训练语言模型、模态编码器和可训练投影器的简单基线,在MMMU和AI Journey Contest 2023上取得接近最先进的结果,证明少量多模态数据即可高效训练多模态对话系统。
2024-06-26 cs.AI cs.CL
TMT: A Transformer-based Modal Translator for Improving Multimodal Sequence Representations in Audio Visual Scene-aware Dialog
Didi Chuxing(滴滴出行)
视听场景感知对话(AVSD)是一个在讨论给定视频时生成响应的任务。先前的最先进模型使用基于Transformer的架构显示了此任务的卓越性能。然而,在学习更好地表示模态方面仍然存在一些限制。受神经机器翻译(NMT)的启发,本文提出了基于转换器的模态翻译器(TMT),通过有监督的方式将源模态序列翻译成相关的目标模态序列,从而学习源模态序列的表示。在多模态Transformer网络(MTN)的基础上,将TMT应用于视频和对话,提出了基于视频的对话系统MTN-TMT。在对话系统技术挑战赛7的AVSD赛道上,MTN-TMT在视频和文本任务以及纯文本任务中的表现优于MTN和其他提交模型。与MTN相比,MTN-TMT在所有指标上都有改善,尤其是在CIDER上的相对改善高达14.1%。索引术语:多模态学习、视听场景感知对话、神经机器翻译、多任务学习
2020-10-21 cs.CL
On the Effectiveness of Integration Methods for Multimodal Dialogue Response Retrieval
Myongji University(明州大学);Kyungpook National University(庆北国立大学);Yonsei University(延世大学);Pohang University of Science and Technology(坡山科学技术大学)
针对多模态对话回复检索任务,该研究将其拆解为三个子任务,提出基于两阶段和端到端的三种融合方法,实验验证端到端方法性能相当,参数共享策略可减参并提升性能。
2025-06-13 cs.CL
Application of frozen large-scale models to multimodal task-oriented dialogue
Meiji University(明治大学)
本文将固定参数的 LENS Framework 与 LLM 用于时尚领域 MMD 多模态任务导向对话,并通过适配文本型 G-EVAL 评估,验证其相较 Transformer 基线在流畅性、有用性及相关性和连贯性上均有显著提升。
2023-10-02 cs.AI cs.CL
Multimodal Contextual Dialogue Breakdown Detection for Conversational AI Models
Infinitus Systems, Inc.(无限系统公司)
针对对话AI系统的实时对话故障检测需求,尤其是医疗等行业场景的高精度高灵活要求,本文提出融合音频输入与下游NLP文本推理的MultConDB多模态模型,其F1值达69.27,显著优于现有最优模型。
2024-04-11 cs.CL
End-to-End Audio Visual Scene-Aware Dialog using Multimodal Attention-Based Video Features
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL));School of Interactive Computing, Georgia Tech(佐治亚理工学院交互计算学院)
对话系统需要理解动态的视觉场景,以便与用户就周围的对象和事件进行对话。用于现实世界应用的场景感知对话系统可以通过集成来自多个研究领域的最新技术来开发,包括:端到端对话技术,其使用从对话数据训练的模型来生成系统响应;视觉问答(VQA)技术,其使用学习的图像特征来回答关于图像的问题;以及视频描述技术,其中使用多模态信息从视频生成描述/字幕。我们引入了一个新的关于人类行为视频的对话集。每个对话框都是一个类型化的对话,由两个Amazon Mechanical Turk(AMT)工作人员之间的10个问答(QA)对组成。总的来说,我们收集了大约9,000个视频的对话。使用这个用于视听场景感知对话(AVSD)的新数据集,我们训练了一个端到端会话模型,该模型在关于视频的对话中生成响应。我们的实验表明,使用多模态功能开发的多模态注意力为基础的视频描述,提高了质量的动态场景(视频)生成的对话。我们的数据集,模型代码和预训练模型将公开用于新的视频场景感知对话挑战。
2018-06-30 cs.CL cs.CV cs.SD
Context-Aware Multimodal Claim Verification in Spoken Dialogues
The Pennsylvania State University(宾夕法尼亚州立大学);University of Sheffield(谢菲尔德大学)
提出MAD2基准和上下文感知多模态融合方法,验证对话音频中的声明,发现对话结构比虚假信息框架对验证更重要。
2026-11-04 cs.CL cs.SI
A non-hierarchical attention network with modality dropout for textual response generation in multimodal dialogue systems
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tencent Cloud Xiaowei(腾讯云小微)
现有的基于文本和图像的多模态对话系统使用传统的分层递归编码器-解码器(HRED)框架,其具有用于对话语表示进行建模的话语级编码器和用于对上下文表示进行建模的上下文级编码器。尽管这些研究取得了很好的效果,但仍然面临以下挑战:(1)文本特征和视觉特征之间的交互不够细粒度。(2)上下文表示不能提供上下文的完整表示。为了解决上述问题,我们提出了一个非层次的注意力网络与模态辍学,放弃了HRED框架,并利用注意力模块编码每个话语和建模的上下文表示。为了评估我们提出的模型,我们在一个公共的多模态对话数据集上进行了全面的实验。自动和人工评估表明,我们提出的模型优于现有的方法,并达到最先进的性能。
2021-10-20 cs.CL
Leveraging Topics and Audio Features with Multimodal Attention for Audio Visual Scene-Aware Dialog
Intel Labs(英特尔研究院)
随着人工智能(AI)、智能虚拟助理(IVA)(如Alexa、Google Home等)的最新进展,已经成为许多家庭中无处不在的一部分。目前,这样的IVA大多是基于音频的,但展望未来,我们正在目睹视觉,语音和对话系统技术的融合,这些技术使IVA能够学习话语的视听基础。这将使代理能够与用户进行有关其周围的对象,活动和事件的对话。在这项工作中,我们提出了三个主要的架构探索的视听场景感知对话(AVSD):1)调查“主题”的对话作为一个重要的上下文特征的对话,2)探索多模态注意力机制在响应生成过程中,3)将端到端的音频分类ConvNet,AclNet,到我们的架构。我们讨论了详细的分析实验结果,并表明我们的模型变化优于基线系统的AVSD任务。
2019-12-20 cs.CL cs.MM cs.SD
Dual Semantic Knowledge Composed Multimodal Dialog Systems
Shandong University(山东大学);National University of Singapore(新加坡国立大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出MDS-S2多模态对话系统,通过同时获取属性和关系知识并设计多级知识组合模块与表示级语义正则化,解决了现有系统忽略关系知识及缺乏表示级监督的局限,实验验证其优越性。
2023-05-17 cs.CL cs.MM
M2K-VDG: Model-Adaptive Multimodal Knowledge Anchor Enhanced Video-grounded Dialogue Generation
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学合作 medianet 创新中心);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出M2K-VDG框架,通过模型自适应的多模态知识锚点增强和反事实效应检测锚点标记,以缓解视频对话生成中的幻觉问题,并在三个基准上验证了其优越性。
2024-02-19 cs.CL
An animated picture says at least a thousand words: Selecting Gif-based Replies in Multimodal Dialog
University of Michigan(密歇根大学)
在线对话不仅仅包括文本。越来越多的基于图像的回应,如模因和动画GIF,在对话中作为文化认可的,通常是幽默的回应。然而,虽然NLP已经扩展到多模态模型,但会话对话系统在很大程度上只专注于生成文本回复。在这里,我们介绍了一个新的数据集的1.56M文本GIF的对话轮,并介绍了一个新的多模态会话模型Pepe的国王虾选择基于GIF的答复。我们证明,我们的模型产生相关的和高质量的gif响应,并在一个大型的随机对照试验的多个模型回复真实用户,我们表明,我们的模型回复的gif是显着更好地接受了社会。
2021-09-29 cs.CL cs.CV cs.CY
A Unified Framework for Slot based Response Generation in a Multimodal Dialogue System
University of Alberta(阿尔伯塔大学);Intel Labs(英特尔实验室);Indian Institute of Technology Patna(印度理工学院巴特那分校)
本文提出一个统一端到端框架,结合预训练DialoGPT、知识库和槽位注意力机制,在多模态对话中同时完成槽位提取与响应生成,并在MMD数据集上优于基线方法。
2023-05-27 cs.CL cs.CV
UNITER-Based Situated Coreference Resolution with Rich Multimodal Input
New York University Shanghai(上海纽约大学)
作为第十届对话系统技术挑战赛(DSTC 10)的一部分,我们提出了我们对情景和交互式多模态对话2.0(SIMMC 2.0)数据集的多模态共指消解任务的工作。我们提出了一个基于UNITER的模型,利用丰富的多模态上下文,如文本对话历史,对象知识库和视觉对话场景,以确定是否在当前场景中的每个对象被提到在当前对话轮。结果表明,所提出的方法大大优于官方DSTC 10基线,在开发集上,对象F1分数从36.6%提高到77.3%,证明了所提出的对象表示的有效性。在客体共指消解任务的官方评价中,我们的模型以73.3%的F1得分排名第二。
2021-12-07 cs.AI cs.CL
Pretrained Persona Mixture Models and Tandem Models for Human Simulation
University of California, Berkeley(加州大学伯克利分校);Google(谷歌)
本文提出人格混合模型(PMMs)和串联模型以改进LLM人类模拟,前者基于预训练模型绑定人格,后者结合预训练与指令调优监督者,实验表明串联模型在准确性和多样性上最优。
2026-10-09 cs.CL
Akan Cinematic Emotions (ACE): A Multimodal Multi-party Dataset for Emotion Recognition in Movie Dialogues
IT University of Copenhagen(丹麦技术大学);Columbia University(哥伦比亚大学)
本文提出首个面向非洲语言阿坎语的多模态多方电影对话情感数据集 ACE,包含 385 个对话、6,162 条话语及词级韵律标注,并通过实验验证其质量与实用性,为低资源语言情感识别研究奠定基础。
2025-06-02 cs.CL
Knowledge-Decoupled Synergetic Learning: An MLLM based Collaborative Approach to Few-shot Multimodal Dialogue Intention Recognition
University of Chinese Academy of Sciences(中国科学院大学);Zhejiang University(浙江大学);Zhejiang Lab(之江实验室)
针对少样本多模态对话意图识别中多任务学习引发的跷跷板效应与知识干扰问题,提出知识解耦协同学习(KDSL)框架,通过大小多模态大语言模型协同预测,在两个Taobao数据集上F1分数提升超6.28%。
2025-03-06 cs.AI cs.CL