Self-Supervised Contrastive Learning for Efficient User Satisfaction Prediction in Conversational Agents
UCLA Computer Science(加州大学洛杉矶分校计算机科学系);Amazon Alexa AI(亚马逊Alexa AI)
回合级用户满意度是会话代理最重要的性能指标之一。它可用于监控代理的性能并提供有关缺陷用户体验的见解。此外,一个强大的满意度模型可以用作目标函数,会话代理不断优化。虽然端到端的深度学习已经显示出有希望的结果,但访问这些方法所需的大量可靠的注释样本仍然具有挑战性。在一个大规模的会话系统中,有越来越多的新开发的技能,使传统的数据汇集,注释和建模过程不切实际,由于所需的注释成本以及周转时间。在本文中,我们提出了一个自我监督的对比学习方法,利用池的未标记的数据来学习用户代理交互。我们表明,使用自监督目标的预训练模型可转移到用户满意度预测。此外,我们提出了一种新的Few-Shot迁移学习方法,确保更好的可移植性非常小的样本量。建议的Few-Shot方法不需要任何内部循环优化过程,并且可扩展到非常大的数据集和复杂的模型。基于我们使用来自大规模商业系统的真实世界数据的实验,所建议的方法能够显着减少所需的注释数量,同时提高对看不见的域外技能的泛化。
2021-04-11 cs.CL cs.LG
Contextual Dialogue Act Classification for Open-Domain Conversational Agents
Emory University(埃默里大学)
对会话中的用户话语的一般意图进行分类,也称为对话行为(DA),例如,开放式问题、意见陈述或意见请求是会话主体的自然语言理解(NLU)的关键步骤。虽然DA分类已经在人与人的对话中得到了广泛的研究,但对于新兴的开放域自动会话代理,它还没有得到充分的探索。此外,尽管话语级DA分类取得了重大进展,但对对话话语的充分理解需要会话语境。另一个挑战是缺乏开放领域人机对话的可用标记数据。为了解决这些问题,我们提出了一种新的方法,CDAC(上下文对话行为分类器),一个简单而有效的上下文对话行为分类的深度学习方法。具体来说,我们使用迁移学习来调整在人机对话中训练的模型,以预测人机对话中的对话行为。为了研究我们方法的有效性,我们在著名的Switchboard人机对话数据集上训练我们的模型,并对其进行微调,以预测人机对话数据中的对话行为,这些数据是作为Amazon Alexa Prize 2018竞赛的一部分收集的。结果表明,CDAC模型在Switchboard数据集上的表现比话语级最先进的基线高出8.0%,并且与最新报道的最先进的上下文DA分类结果相当。此外,我们的研究结果表明,微调的CDAC模型的手动标记的人机对话的小样本,使CDAC更准确地预测对话行为在真实用户的对话,建议未来的改进方向。
2020-05-28 cs.CL
Toward Continual Learning for Conversational Agents
Microsoft Research(微软研究院)
虽然端到端神经会话模型在减少手工制作的功能和传统复杂系统架构引起的错误方面取得了可喜的进展,但由于缺乏模块化,它们通常需要大量的数据。以前的研究采用了混合的方法,以知识为基础的组件,要么抽象出特定领域的信息,或增加数据,以涵盖更多样化的模式。相反,我们建议使用神经模型持续学习空间的最新发展来直接解决这个问题。具体来说,我们采用了一个独立于域的神经会话模型,并引入了一种新的神经持续学习算法,该算法允许会话代理以数据有效的方式在不同的任务中积累技能。据我们所知,这是将持续学习应用于会话系统的第一项工作。我们验证了我们的方法的有效性,通过会话技能转移,无论是合成对话或人与人的对话,人机对话中的客户支持域。
2018-01-09 cs.AI cs.CL cs.HC
Multipurpose Intelligent Process Automation via Conversational Assistant
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS));integral learning GmbH(integral learning有限公司)
智能流程自动化(IPA)是一项新兴技术,其主要目标是通过处理重复性,常规性和低认知任务来帮助知识工作者。能够用自然语言与用户交互的会话代理是IPA系统的潜在应用。这样的智能代理可以通过回答特定问题和执行通常以自然语言(即,客户支持)。在这项工作中,我们解决了在现实世界的工业环境中实现IPA会话助理的挑战,缺乏结构化的训练数据。我们提出的系统带来了两个显著的好处:首先,它减少了重复和耗时的活动,因此,允许工人专注于更智能的流程。第二,通过与用户交互,它用结构化的和在某种程度上标记的训练数据来扩充资源。我们展示了后者的使用重新实现我们的系统与迁移学习(TL)方法的几个组件。
2020-05-21 cs.AI cs.CL
The Dialogue Dodecathlon: Open-Domain Knowledge and Image Grounded Conversational Agents
Facebook AI Research(Facebook人工智能研究院)
我们介绍dodecaDialogue:一组12个任务,衡量一个会话代理是否可以与个性和同理心进行愉快的沟通,提出问题,通过利用知识资源回答问题,讨论主题和情况,以及感知和谈论图像。通过对如此广泛的大规模数据集进行多任务处理,我们希望能够朝着生产一个能够在开放域环境中感知、推理和与人类交谈的单一统一代理的方向发展并衡量其进展。我们表明,这种多任务处理比BERT预先训练的基线有所改善,这主要是由于在类似领域中具有非常大的对话数据集的多任务处理,并且多任务处理通常在微调和任务转移设置中使用多个指标为基于文本和图像的任务提供增益。我们在许多任务上获得了最先进的结果,为这一挑战提供了强大的基线。
2020-04-28 cs.AI cs.CL
Sequencing Matters: A Generate-Retrieve-Generate Model for Building Conversational Agents
Georgetown University(乔治城大学);Sidwell Friends School(赛维尔友谊学校);InfoSense
本文提出生成-检索-生成模型构建对话智能体,在TREC iKAT 2023上显著优于基线,强调先使用大语言模型再检索的顺序至关重要。
2023-11-16 cs.CL
All-in-One Image-Grounded Conversational Agents
Facebook AI Research(脸书人工智能研究院)
在过去的几年里,随着单个语言和图像任务的单任务准确性的大幅提高,一个既能看又能说的普通智能体的长期目标变得更加可行。在这项工作中,我们专注于利用个人的语言和图像任务,以及将视觉和语言结合起来实现这一目标的资源。我们设计了一种架构,将最先进的Transformer和ResNeXt模块结合到一个新颖的多模态模块中,以产生一个在许多任务上训练的组合模型。我们对模型的组件进行了全面的分析,并在对一个、一些或所有任务进行训练时进行了迁移性能分析。我们的最终模型提供了一个单一的系统,在所有视觉和语言任务上都获得了良好的效果,并提高了基于图像的会话应用程序的最新水平。
2020-01-15 cs.CL cs.CV cs.LG
Pretrained language model transfer on neural named entity recognition in Indonesian conversational texts
命名实体识别(NER)是自然语言处理中的一项重要任务,但由于会话领域的噪声特征,其研究更具挑战性。此外,会话文本通常数量有限,使得监督任务不可行。要从小数据中学习,需要强归纳偏差。以前的工作依赖于手工制作的功能来编码这些偏见,直到迁移学习出现。在这里,我们探索了一种迁移学习方法,即语言模型预训练,在印尼语会话文本的NER任务。我们利用大型未标记数据(通用域)转移到会话文本,从而实现对有限域内数据的监督训练。我们报告了两种迁移学习变体,即监督模型微调和无监督预训练LM微调。我们的实验表明,当在小数据(100个句子)上训练时,这两种变体的性能都优于基线神经模型,测试F1得分绝对提高了32分。此外,我们发现预训练的LM编码的部分语音信息,这是一个强大的预测NER。
2019-02-21 cs.CL
Crossing the Conversational Chasm: A Primer on Natural Language Processing for Multilingual Task-Oriented Dialogue Systems
University of Cambridge(剑桥大学);University of Würzburg(维尔茨堡大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);PolyAI Limited(PolyAI有限公司)
在面向任务的对话(ToD)中,用户与人工智能体进行对话以完成具体任务。虽然这项技术代表了人工智能的核心目标之一,并且一直是越来越密集的研究和开发工作的重点,但它目前仅限于几个狭窄的领域(例如,食物订购、机票预订)和少数几种语言(例如,英文、中文)。这项工作提供了一个广泛的概述现有的方法和资源,在多语言的ToD作为一个切入点,这一令人兴奋的和新兴的领域。我们发现,阻止创建真正的多语言ToD系统的最关键因素是缺乏大多数语言的数据集用于培训和评估。事实上,为模块化系统的每个组件或数据饥渴的端到端系统获取注释或人工反馈是昂贵且繁琐的。因此,多语言ToD的最新方法主要依赖于(零或Few-Shot)从资源丰富的语言(几乎完全是英语)的跨语言迁移,无论是通过机器翻译还是多语言表示。这些方法目前只适用于类型相似的语言和具有平行/单语语料库的语言。另一方面,由于缺乏语言多样性的基准(特别是对于自然语言生成和端到端评估),它们在这些边界之外的有效性值得怀疑或难以评估。为了克服这一限制,我们在ToD管道的组件和其他NLP任务之间进行了比较,这可以激发低资源场景下的学习解决方案。最后,我们列出了多语言对相关领域(如语音和以人为本的评估)带来的额外挑战,并指出了未来的发展方向,有望进一步扩大当前ToD系统的语言覆盖范围和对话能力。
2022-05-26 cs.CL
Improving Classification through Weak Supervision in Context-specific Conversational Agent Development for Teacher Education
University of Virginia(弗吉尼亚大学);Curry School of Education, University of Virginia(弗吉尼亚大学柯里教育学院);James Madison University(詹姆斯麦迪逊大学)
应用于会话代理开发的自然语言处理(NLP)组件的机器学习技术显示出有希望的结果,以提高会话代理可以提供的反馈的准确性和质量。开发特定于教育场景的对话代理所需的工作非常耗时,因为它需要领域专家对课堂视频等嘈杂数据源进行标记和注释。以前的注释建模方法依赖于标记数千个示例并计算注释者之间的一致性和多数投票,以便对必要的场景进行建模。这种方法虽然被证明是成功的,但忽略了标注数据点的个体注释者的优势,并且没有充分利用那些没有多数投票支持标注的示例。我们建议使用多任务弱监督方法结合主动学习来解决这些问题。这种方法比传统方法需要更少的标记,并且在精度,效率和时间要求方面比多数投票方法有显着提高(Ratner 2019)。我们证明了这种方法在谷歌拼图数据集的有效性,然后提出了一个方案,应用这种方法使用教学质量评估(IQA)来定义标签的类别。我们建议使用概率建模的注释器标记生成主动学习的例子,以进一步标记的数据。主动学习能够迭代地提高原始分类模型的训练性能和准确性。这种方法结合了最先进的弱监督和主动学习的标记技术,以优化教育领域的结果,并可进一步用于通过迁移学习减少教育领域内扩展场景的数据要求。
2020-10-23 cs.CL cs.CY cs.LG
Bridging Industrial Expertise and XR with LLM-Powered Conversational Agents
Innov-Acts Ltd.(Innov-Acts有限公司);CYENS Centre of Excellence(CYENS卓越中心);University of Piraeus(比雷埃克斯大学)
本文提出将RAG增强的LLMs与XR技术集成,构建含动态工具编排的LLM聊天引擎和语音驱动XR应用的系统,经多策略评估验证其工业知识检索性能,早期应用显示能提升工业培训与操作效率,助力工业5.0发展。
2025-04-07 cs.AI cs.CL
Conversational Transfer Learning for Emotion Recognition
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学);University of Michigan(密歇根大学)
由于存在受自我和人际影响的上下文依赖性,识别会话中的情感是一项具有挑战性的任务。最近的方法主要集中在通过监督学习对这些依赖关系进行建模。然而,纯监督策略需要大量的注释数据,这是缺乏在大多数可用的语料库在这项任务。为了应对这一挑战,我们将迁移学习方法视为一种可行的替代方案。鉴于大量可用的会话数据,我们研究生成会话模型是否可以利用来转移情感知识,以检测上下文中的情感。我们提出了一种方法,TL-ERC,在那里我们预先训练一个分层对话模型的多轮对话(源),然后将其参数转移到一个会话情感分类器(目标)。除了使用预先训练的句子编码器的流行做法外,我们的方法还结合了在整个对话中对跨会话上下文进行建模的循环参数。基于这一思想,我们在多个数据集上进行了几次实验,发现在有限的训练数据下,性能和鲁棒性都有所提高。TL-ERC还在显著更少的时期内实现了更好的验证性能。总的来说,我们推断从对话生成器获得的知识确实可以帮助识别对话中的情绪。
2020-05-20 cs.CL
Multi2WOZ: A Robust Multilingual Dataset and Conversational Pretraining for Task-Oriented Dialog
University of Mannheim(曼海姆大学);Bocconi University(博科尼大学);University of Cambridge(剑桥大学);University of Würzburg(维尔茨堡大学)
对(多领域)面向任务的对话(TOD)的研究主要集中在英语语言上,主要是由于缺乏其他语言的强大的TOD数据集,阻碍了对这个关键的NLP应用领域的跨语言迁移的系统研究。在这项工作中,我们介绍了Multi2WOZ,一个新的多语言多域TOD数据集,来自成熟的英语数据集MultiWOZ,它跨越了四种类型不同的语言:中文,德语,阿拉伯语和俄语。与并行工作相比,Multi2WOZ包含目标语言的黄金标准对话框,可直接与英语数据集的开发和测试部分进行比较,从而能够对TOD的跨语言迁移性能进行可靠和比较性的估计。然后,我们介绍了一个新的框架,多语言会话专业化的预训练语言模型(PrLM),旨在促进跨语言迁移任意下游的TOD任务。使用这种专门针对具体目标语言的会话PrLM,我们系统地基准测试了一些zero-shot和Few-Shot跨语言迁移方法在两个标准的TOD任务:对话状态跟踪和响应检索。我们的实验表明,在大多数设置中,最佳性能需要(I)目标语言的会话专业化和(ii)具体的TOD任务的Few-Shot转移的组合。最重要的是,我们表明,我们在目标语言的会话专业化允许一个非常样本高效的Few-Shot传输下游的TOD任务。
2022-05-20 cs.CL
STYLE: Improving Domain Transferability of Asking Clarification Questions in Large Language Model Powered Conversational Agents
College of Computer Science, Sichuan University(四川大学计算机学院);National University of Singapore(新加坡国立大学);Ant Group(蚂蚁集团)
针对大型语言模型驱动的对话智能体在未见领域提出澄清问题时可迁移性差的问题,提出名为Style的新方法,通过避免一刀切策略实现有效领域迁移,在四个未见领域平均提升约10%搜索性能。
2024-06-01 cs.CL
Multilingual Question Answering from Formatted Text applied to Conversational Agents
Worldline(源讯世界线)
语言模型的最新进展(例如BERT、XLNet等),在复杂的NLP任务(如阅读理解)上,然而,用于训练的标记数据集主要以英语提供,这使得很难用其他语言确认进展。幸运的是,模型现在已经在来自数百种语言的未标记数据上进行了预训练,并表现出从一种语言到另一种语言的有趣迁移能力。在本文中,我们表明,多语言的BERT是自然能够zero-shot转移提取问答任务(eQA)从英语到其他语言。更具体地说,它超过了以前已知的最好的转移到日语和法语的基线。此外,使用最近发布的大型eQA法语数据集,我们能够进一步证明:(1)zero-shot迁移提供的结果非常接近于目标语言的直接训练;(2)迁移和目标语言训练的组合是总体上最好的选择。最后,我们提出了一个实际的应用:一个多语言的会话代理称为凯特回答人力资源相关的问题,在几种语言直接从内部网页面的内容。
2021-02-01 cs.CL
Recent Neural Methods on Slot Filling and Intent Classification for Task-Oriented Dialogue Systems: A Survey
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
近年来,在深度学习技术和对会话AI的高需求的推动下,已经提出了各种方法来解决在面向任务的对话系统中引出和理解用户需求的能力。我们专注于两个核心任务,插槽填充(SF)和意图分类(IC),并调查如何基于神经的模型已经迅速发展,以解决自然语言理解对话系统。我们介绍了三种神经体系结构:独立模型,分别对SF和IC进行建模,联合模型,同时利用两个任务的共同利益,以及迁移学习模型,将模型扩展到新的领域。我们讨论了SF和IC的研究现状,并强调了仍然需要注意的挑战。
2020-11-01 cs.CL
Vector Projection Network for Few-shot Slot Tagging in Natural Language Understanding
Shanghai Jiao Tong University(上海交通大学)
由于会话对话系统的巨大发展,Few-Shot槽标记变得对快速域转移和适应有吸引力。在本文中,我们提出了一个矢量投影网络的Few-Shot槽标记,利用投影的上下文词嵌入每个目标标签向量作为词标签的相似性。本质上,这种方法相当于具有自适应偏差的归一化线性模型。对比实验表明,我们提出的基于向量投影的相似性度量可以显着优于其他变种。具体来说,在基准SNIPS和NER的五次设置中,我们的方法分别通过F $_1$分数上的$6.30$和$13.79$点优于最强的少样本学习基线。我们的代码将在https://github.com/sz128/few_shot_slot_tagging_and_NER上发布。
2020-09-22 cs.CL
Thinking While Speaking: Inference-Time Knowledge Transfer for Responsive and Intelligent Conversational Voice Agents
Paul G. Allen School of Computer Science & Engineering(保罗·G·阿伦计算机科学与工程学院)
提出对话填充方法,通过小型说话者模型即时生成上下文响应以隐藏推理模型延迟,并在推理中无缝整合流式知识,在保持毫秒级响应速度的同时将准确度差距缩小至前沿推理模型的6.3%以内。
2026-07-02 cs.CL
Transfer Learning in Conversational Analysis through Reusing Preprocessing Data as Supervisors
University of Sydney(悉尼大学)
会话分析系统使用有噪声的人类标签进行训练,并且在多模态特征提取期间通常需要大量的预处理。在单任务学习中使用噪声标签会增加过度拟合的风险。辅助任务可以在相同的训练过程中提高主任务学习的性能-这种方法位于迁移学习和多任务学习(MTL)的交叉点。在本文中,我们探讨了如何预处理的数据用于特征工程可以重复使用作为辅助任务,从而促进数据的生产性使用。我们的主要贡献是:(1)识别出16个有益的辅助任务;(2)研究了主任务和辅助任务之间的学习能力分配方法;(3)研究了主任务和辅助任务之间的相对监督层次。IEMOCAP和SEMAINE数据上的大量实验验证了单任务方法的改进,并表明它可以推广到多个主要任务。
2021-12-02 cs.CL cs.LG
Evaluating Cross-Lingual Transfer Learning Approaches in Multilingual Conversational Agent Models
Amazon(亚马逊)
随着语音助理设备最近的爆炸式普及,人们越来越有兴趣使它们可用于其他国家和语言的用户群体。然而,为了为特定用户群体提供最高的准确性和最佳性能,大多数现有的语音助理模型都是针对每个地区或语言单独开发的,这需要线性投入。在本文中,我们提出了一个通用的多语言模型框架的自然语言理解(NLU)模型,它可以帮助引导新的语言模型更快,并减少所需的工作量,分别开发每种语言。我们将探讨不同的深度学习架构如何影响多语言NLU模型的性能。我们的实验结果表明,这些多语言模型可以达到相同或更好的性能相比,单语模型在特定语言的测试数据,而需要更少的努力,在创建功能和模型维护。
2020-12-07 cs.AI cs.CL
Empathetic BERT2BERT Conversational Model: Learning Arabic Language Generation with Little Data
American University of Beirut(贝鲁特美国大学)
在阿拉伯语对话代理中启用移情行为是构建类人会话模型的一个重要方面。虽然阿拉伯语自然语言处理在自然语言理解(NLU)方面取得了重大进展,但使用ArabBERT等语言模型,自然语言生成(NLG)仍然是一个挑战。NLG编码器-解码器模型的缺点主要是由于缺乏适合训练NLG模型(如会话代理)的阿拉伯语数据集。为了克服这个问题,我们提出了一个基于变换的编码器-解码器初始化与AraBERT参数。通过使用AraBERT预训练的权重初始化编码器和解码器的权重,我们的模型能够利用知识转移并提高响应生成的性能。为了在我们的会话模型中实现同理心,我们使用ArabicEmpatheticDialogues数据集对其进行训练,并在同理心响应生成方面实现了高性能。具体来说,我们的模型实现了17.0的低困惑值,与之前的最先进模型相比增加了5个BLEU点。此外,我们提出的模型得到了85名人类评估者的高度评价,验证了其在开放域环境中产生相关和流畅响应的同时表现出同理心的高能力。
2021-03-07 cs.CL
Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning
Salesforce Research(赛富时研究院);Salesforce AI Research(赛富时人工智能研究院)
该研究构建了含105种语言、单语约33万话语的跨语言对话数据集XSGD,提出基于提示调优的对齐方法,结合NLI分类器在对话任务的跨语言迁移中取得优于主流大模型的效果,尤其适配低资源少样本场景。
2024-01-27 cs.AI cs.CL
FETA: A Benchmark for Few-Sample Task Transfer in Open-Domain Dialogue
University of California, Santa Barbara(加州大学圣巴巴拉分校);University of Southern California(南加州大学);University of California, Santa Cruz(加州大学圣克鲁兹分校);Google Research(谷歌研究院)
任务转移,转移相关任务中包含的知识,有望减少微调语言模型所需的标记数据量。对话理解包含许多不同的任务,但任务转移尚未在会话人工智能中得到彻底研究。本文通过引入FETA(开放域对话中少样本任务转移的基准测试)来探讨会话任务转移。FETA包含两个基本的会话集,在其上有10个和7个任务注释,使得能够研究数据集内的任务转移;没有领域自适应的任务转移。我们利用三种流行的语言模型和三种学习算法来分析132个源目标任务对之间的可转换性,并为未来的工作创建一个基线。我们在单源和多源环境中进行实验,并报告有价值的发现,例如,大多数性能趋势是特定于模型的,跨度提取和多项选择任务从任务转移中受益最多。除了任务转移之外,FETA还可以成为未来研究预训练数据集和模型架构的效率和通用性以及持续和多任务学习等学习环境的宝贵资源。
2022-10-13 cs.CL
AMUSED: A Multi-Stream Vector Representation Method for Use in Natural Dialogue
Samsung Research Institute(三星研究院);Carnegie Mellon University(卡内基梅隆大学);Stony Brook University(石溪大学)
提出多流深度学习架构AMUSED,融合上下文、句法和外部知识生成统一嵌入,在下一句预测任务上显著提升,并用于构建经专家验证的检索式对话代理。
2019-12-04 cs.AI cs.CL cs.LG
Contextualized Attention-based Knowledge Transfer for Spoken Conversational Question Answering
Yale University(耶鲁大学);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
口语会话问答(SCQA)要求机器在给定语音话语和文本语料库的情况下对复杂的对话流程进行建模。与传统的文本问答任务不同,SCQA涉及音频信号处理、段落理解和上下文理解。然而,ASR系统引入了意想不到的噪声信号,这导致SCQA的性能下降。为了克服这个问题,我们提出了CADNet,一种新的上下文化的注意力蒸馏方法,它适用于交叉注意力和自我注意力,以获得ASR鲁棒的上下文嵌入表示的通道和对话历史,以提高性能。我们还介绍了口语传统的知识蒸馏框架提取ASR的鲁棒知识从教师模型的估计概率的学生。我们在Spoken-CoQA数据集上进行了广泛的实验,并证明了我们的方法在这项任务中取得了显着的性能。
2021-06-24 cs.AI cs.CL cs.IR
Unsupervised Neural Stylistic Text Generation using Transfer learning and Adapters
AWS AI Labs(亚马逊云科技人工智能实验室)
研究表明,个性是提高会话系统中的参与度和用户体验的关键驱动因素。会话代理还应该保持一致的角色,以便与用户进行引人入胜的会话。然而,文本生成数据集通常是众包的,因此具有平均效应,其中生成模型的风格是对数据集做出贡献的所有众包工作者的平均风格。虽然可以为每个任务收集特定于角色的数据集,但这将是一项昂贵且耗时的注释工作。在这项工作中,我们提出了一种新的迁移学习框架,它只更新$0.3\%$的模型参数,以学习响应生成的风格特定的属性。本研究以中华民国小说语料库为研究对象,探讨小说结尾文体生成的问题。我们从PERSONALITY-CAPTIONS数据集学习特定于样式的属性。通过大量的实验和评估指标,我们表明,我们的新的训练过程可以提高200的风格生成比编码器-解码器基线,同时保持与标准内容相关性指标,
2022-10-07 cs.CL
PoE: a Panel of Experts for Generalized Automatic Dialogue Assessment
National University of Singapore(新加坡国立大学);Universidad Politécnica de Madrid(马德里理工大学);Robert Bosch (SEA) Pte Ltd(博世(东南亚)私人有限公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
预计聊天机器人将在多个领域拥有丰富的知识,例如日常聊天,信息交换和情感情况下的接地。为了有效地衡量这样的会话代理的质量,基于模型的自动对话评估指标(ADEM),预计将在多个领域表现良好。尽管取得了重大进展,但在一个领域运作良好的ADEM不一定推广到另一个领域。这就需要一个专用的领域泛化网络架构。为了解决多域对话评估任务,我们提出了一个专家小组(PoE),一个多任务网络,由一个共享的Transformer编码器和一个轻量级适配器的集合。共享编码器捕获跨域对话的一般知识,而每个适配器专门用于一个特定的域并充当域专家。为了验证这个想法,我们构建了一个高质量的多域对话数据集,利用数据增强和伪标签。PoE网络在16个对话评估数据集上进行了全面评估,这些数据集涵盖了广泛的对话领域。它在所有评估数据集的平均斯皮尔曼相关性方面达到了最先进的性能。它表现出更好的zero-shot泛化比现有的国家的最先进的ADEM和能力,很容易适应新的领域与Few-Shot迁移学习。
2022-12-18 cs.CL
STREAM: A Data-Centric Framework for Mining High-Value Task-Oriented Dialogues from Streaming Media
Harbin Institute of Technology(哈尔滨工业大学);Byering Technology(伯英技术)
提出STREAM框架,利用流媒体数据合成大规模多领域任务导向对话数据集StreamDial,通过角色构建和对话蓝图结合RAG生成高质量对话,解决数据稀缺问题。
2026-05-24 cs.AI cs.CL
Addressee and Response Selection for Multilingual Conversation
Preferred Networks, Inc.(Preferred Networks公司);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);IBM Research - Tokyo(IBM东京研究院);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Tohoku University(东北大学)
开发能够用多种语言进行对话的会话系统对于自然语言处理来说是一个有趣的挑战。在本文中,我们介绍了多语言收件人和响应选择。在这个任务中,会话系统预测一个适当的收件人和响应输入消息在多种语言。如何利用高资源的语言数据来弥补低资源的语言数据是开发多语言应答系统的关键。我们提出了几种会话系统的知识转移方法。为了评估我们的方法,我们创建了一个新的多语言会话数据集。在数据集上的实验证明了该方法的有效性。
2018-08-12 cs.CL
CLASS-IT: Conversational and Lecture-Aligned Small-Scale Instruction Tuning for BabyLMs
CoLing Lab, Department of Philology, Literature and Linguistics, University of Pisa(皮尔切大学哲学、文学与语言学系语言实验室);Department of Computer Science, University of Pisa(皮尔切大学计算机科学系)
该研究针对小规模语言模型,对比不同指令微调数据集与应用策略的效果,发现微调场景下有稳定提升但难迁移至零样本任务,为低资源LM的泛化优化提供了方向参考。
2025-10-29 cs.CL
Joint prediction of truecasing and punctuation for conversational speech in low-resource scenarios
Johns Hopkins University(约翰斯·霍普金斯大学);VoiceLab(VoiceLab(波兰语音实验室))
大写和标点符号是理解书面文本和会话记录的重要线索。然而,许多ASR系统不产生标点和大小写格式的语音转录。我们建议使用一个多任务系统,可以利用套管和标点符号之间的关系,以提高其预测性能。而文本数据预测标点符号和truecasing似乎是丰富的,我们认为,书面文本资源是不够的会话模型的训练数据。我们通过比较标点符号和词的情况下的联合分布,并通过测试我们的模型跨域量化书面和会话文本域之间的不匹配。此外,我们表明,通过在书面文本域中训练模型,然后将迁移学习转移到对话中,我们可以用更少的数据实现合理的性能。
2021-09-13 cs.CL cs.LG
Nudging Neural Conversational Model with Domain Knowledge
Microsoft Research(微软研究院)
神经会话模型是有吸引力的,因为人们可以训练一个模型直接对对话的例子与最少的标签。然而,对于少量的数据,它们通常无法概括测试数据,因为它们倾向于捕获虚假的特征,而不是语义上有意义的领域知识。为了解决这个问题,我们提出了一种新的方法,允许任何人类教师将他们的领域知识以自然语言规则的形式转移到会话模型中。我们用三个不同的对话数据集测试了我们的方法。所有领域的性能提高证明了我们提出的方法的有效性。
2018-11-15 cs.AI cs.CL
InstructionCP: A fast approach to transfer Large Language Models into target language
National Taiwan University(国立台湾大学);ASUS Open Cloud Infrastructure Software Center(华硕开放云基础设施软件中心)
提出InstructionCP方法,通过在持续预训练中整合指令标签,使大型语言模型高效迁移至目标语言,同时保留对话与RLHF能力,仅需0.1B数据即可实现。
2024-05-30 cs.AI cs.CL
Generative Adversarial Networks for Annotated Data Augmentation in Data Sparse NLU
Amazon(亚马逊)
数据稀疏性是会话代理的自然语言理解(NLU)中与模型开发相关的关键挑战之一。对监督学习通常需要的高质量注释话语的需求使挑战变得更加复杂,通常导致数周的手工劳动和高成本。在本文中,我们提出了我们的结果,通过训练数据增强使用顺序生成对抗网络(GAN)提高NLU模型的性能。我们探讨数据生成的上下文中的两个任务,一个新的语言的引导和低资源功能的处理。对于这两个任务,我们探索了三个顺序的GAN架构,一个具有令牌级奖励功能,另一个具有我们自己实现的令牌级Monte Carlo推出奖励,第三个具有令牌级奖励。我们评估了这些反馈模型在几种采样方法中的性能,并将我们的结果与将原始数据上采样到相同规模的结果进行了比较。我们通过预训练嵌入的迁移学习进一步提高了GAN模型的性能。我们的实验表明,使用顺序生成对抗网络生成的合成数据在多个指标上提供了显着的性能提升,并且可以成为NLU任务的主要优势。
2020-12-09 cs.CL cs.LG
LIDSNet: A Lightweight on-device Intent Detection model using Deep Siamese Network
Samsung R&D Institute Bangalore(三星 Bangalore 研发研究所)
意图检测是任何自然语言理解(NLU)系统中的关键任务,并且形成面向任务的对话系统的基础。为了为边缘设备构建高质量的真实对话解决方案,需要在设备上部署意图检测模型。这就需要一个轻量级、快速和准确的模型,可以在资源受限的环境中有效地执行。为此,我们提出了LIDSNet,这是一种新型的轻量级设备上意图检测模型,它通过利用Deep Siamese Network学习更好的句子表示来准确预测消息意图。我们使用字符级特征来丰富字符级表示,并通过利用预训练的嵌入来实证证明迁移学习的优势。此外,为了研究我们架构中模块的功效,我们进行了消融研究并得出了我们的最佳模型。实验结果表明,LIDSNet在SNIPS和ATIS公共数据集上分别达到了98.00%和95.97%的竞争准确率,参数小于0.59M。我们进一步将LIDSNet与微调的BERT进行基准测试,结果表明,我们的模型在三星Galaxy S20设备上的推理过程中比MobileBERT至少轻41倍,快30倍,证明了其在资源受限的边缘设备上的效率。
2021-10-06 cs.CL cs.LG
Småprat: DialoGPT for Natural Language Generation of Swedish Dialogue by Transfer Learning
Luleå University of Technology(吕勒奥理工大学);RISE Research Institutes of Sweden(瑞典RISE研究机构)
构建能够产生令人信服的响应的开放域会话系统(或聊天机器人)是一项公认的挑战。最新的基于转换器的自然语言对话生成模型在模拟英语中的类人单轮对话方面表现出令人印象深刻的性能。这项工作调查,通过实证研究,这种模式的迁移学习到瑞典语的潜力。DialoGPT是一种英语预训练模型,通过对从公开来源获得的三种不同的瑞典语会话数据集进行训练来适应。困惑分数(一种自动化的内在语言模型度量)和人类评估的调查被用来评估微调模型的性能,结果表明,迁移学习的能力可以得到相当大的成功。要求对模拟对话进行评分的人类评估人员判断,对于在最大(瑞典)数据集上训练的模型,超过57%的聊天机器人响应与人类相似。我们在HuggingFace平台上提供英语和瑞典语聊天机器人的演示和模型检查点供公众使用。
2022-02-13 cs.CL cs.LG
Generative Adversarial Imitation Learning for Empathy-based AI
UC Irvine(加州大学欧文分校)
生成对抗性模仿学习(GAIL)是一种无模型算法,已被证明可以在模仿高维环境中的复杂行为方面提供强大的结果。在本文中,我们利用GAIL文本生成模型来开发基于移情的上下文感知会话AI。我们的模型使用了一个专家轨迹的共情反应对话,可以准确地显示正确的共情情绪时,产生的反应。GAIL模型的生成器使用GPT-2顺序预训练的语言模型,该模型基于来自40 GB互联网数据的1.17亿个参数进行训练。我们提出了一种新的应用程序中使用的方法在迁移学习微调GPT-2模型,以产生简洁,用户特定的移情反应验证对鉴别器。我们的新GAIL模型利用基于情感分析历史的强化学习方法,以个性化的方式对人类交互做出移情响应。我们发现,我们的模型对从Facebook Empathic Dialogues数据集收集的各种人类生成的提示的响应得分优于基线同行。此外,我们的模型改进了最近开发的各种基于历史的对话AI模型,因为我们的模型在3个或更多交互的持续对话中的性能优于类似的对话AI模型。
2021-05-27 cs.CL
Extracting Accurate Materials Data from Research Papers with Conversational Language Models and Prompt Engineering
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出 ChatExtract 方法,通过工程化提示和后续问答机制,利用对话式大语言模型以最少人工投入实现材料数据的高精度自动提取,精确率与召回率接近 90%,并成功构建了金属玻璃和高熵合金数据库。
2024-02-21 cond-mat.mtrl-sci cs.CL
Curricular Transfer Learning for Sentence Encoded Tasks
Luxembourg Institute of Science and Technology (LIST)(卢森堡科学技术研究院);University of Campinas (Unicamp)(坎皮纳斯大学)
针对NLP中源任务与目标任务分布漂移导致微调增益减弱的问题,提出由“数据黑客”和语法分析引导的课程式预训练步骤,在MultiWoZ任务上取得显著改进。
2023-08-03 cs.CL cs.LG
Cross-Lingual Transfer Learning for Multilingual Task Oriented Dialog
Stanford Linguistics(斯坦福语言学系);Facebook Conversational AI(脸书对话式人工智能部);Facebook AI Research(脸书人工智能研究院)
许多面向任务的会话AI系统的话语解释管道中的第一步之一是识别用户意图和相应的槽。由于用于该任务的机器学习模型的数据汇集是耗时的,因此期望利用高资源语言中的现有数据来训练低资源语言中的模型。然而,这种模型的开发在很大程度上受到了多语言训练数据缺乏的阻碍。在本文中,我们提出了一个新的数据集的57k注释的话语在英语(43k),西班牙语(8.6k)和泰国(5k)在域天气,警报和提醒。我们使用该数据集来评估三种不同的跨语言迁移方法:(1)翻译训练数据,(2)使用跨语言预训练嵌入,以及(3)使用多语言机器翻译编码器作为上下文单词表示的新方法。我们发现,给定几百个目标语言的训练样本,后两种方法优于翻译训练数据。此外,在非常低的资源设置中,多语言上下文单词表示比使用跨语言静态嵌入提供更好的结果。我们还比较了跨语言的方法,使用单语资源的上下文ELMo表示的形式,并发现,只要少量的目标语言数据,这种方法优于所有的跨语言的方法,这突出了需要更复杂的跨语言的方法。
2019-04-01 cs.CL
HaT5: Hate Language Identification using Text-to-Text Transfer Transformer
Luleå University of Technology(吕勒奥理工大学)
我们研究了最先进的(SoTA)架构T5(可在SuperGLUE上使用)的性能,并在来自2个相对不同的数据集的5个不同任务中与其他3个以前的SoTA架构进行了比较。这些数据集在任务数量和类型方面各不相同。为了提高性能,我们通过使用自回归模型来增加训练数据。我们在几个任务上实现了接近SoTA的结果-OLID 2019数据集任务A的宏F1得分为81.66%,仇恨言论和攻击性内容(HASOC)2021数据集任务A的宏F1得分为82.54%,其中SoTA分别为82.9%和83.05%。我们进行了误差分析,并解释了为什么其中一个模型(Bi-LSTM)使用一种公开的算法进行预测:集成梯度(IG)。这是因为可解释的人工智能(XAI)对于赢得用户的信任至关重要。这项工作的主要贡献是讨论了T5的实现方法;使用新的会话AI模型检查点进行数据增强,带来了性能改进;以及对HASOC 2021数据集缺点的启示。它通过使用一小部分示例揭示了数据注释不佳的困难,其中T5模型做出了正确的预测,即使测试集的地面真值不正确(在我们看来)。我们还在HuggingFace hub 1上提供了我们的模型检查点,以提高透明度。
2022-02-11 cs.CL
Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking
University of Edinburgh(爱丁堡大学)
面向任务的神经对话系统的最新进展主要集中在少数几种语言上,因为训练数据的注释繁琐且昂贵。机器翻译已被用于使系统多语言,但这可能会引入错误管道。另一个有前途的解决方案是通过预训练的多语言模型使用跨语言迁移学习。现有的方法训练多语言模型与额外的代码混合的任务数据或通过并行本体细化的跨语言表示。在这项工作中,我们通过对预训练的多语言模型进行中间微调来增强迁移学习过程,其中多语言模型使用不同但相关的数据和/或任务进行微调。具体来说,我们使用并行和会话电影字幕数据集设计跨语言的中间任务,适合下游的对话任务。我们只使用20万行并行数据进行中间微调,这已经适用于1782语言对。我们在并行的多语言WoZ(英语->中文,中文->英语)和多语言WoZ(英语->德语,英语->意大利语)数据集上测试了我们的方法。我们在并行MultiWoZ数据集和多语言WoZ数据集上实现了令人印象深刻的改进(联合目标准确度> 20%),分别只有10%的目标语言任务数据和zero-shot设置。
2021-09-28 cs.CL
Self-play for Data Efficient Language Acquisition
Brown University(布朗大学)
在交流时,人们在不同的对话角色中表现一致:人们理解他们所说的话,并能够说出他们听到的话。到目前为止,为语言任务开发的人工智能体缺乏这种对称性,这意味着受过语言训练的智能体无法理解语言,反之亦然。在这项工作中,我们利用通信的对称性,以提高学习代理的语言习得的效率和质量。具体来说,我们考虑的设置中,代理人必须学会理解和生成的话,在现有的语言,但与“甲骨文”的语言扬声器的交互访问的假设是非常有限的。我们表明,使用自我发挥作为直接监督的替代品,使代理跨角色转移其知识(例如,培训作为一个听众,但测试作为一个扬声器),并作出更好的推理地面真理词典使用只有少数的互动与神谕。
2020-10-10 cs.CL
A Closer Look At Feature Space Data Augmentation For Few-Shot Intent Classification
Amazon Alexa(亚马逊Alexa)
新的对话主题和功能不断被添加到对话式人工智能智能体中,如亚马逊Alexa和苹果Siri。由于数据汇集和注释不可扩展,并且通常成本高昂,因此只有少数几个新功能的示例可用,这导致泛化性能较差。我们将其表述为Few-Shot Integration(FSI)问题,其中使用几个示例来引入新的意图。在本文中,我们研究了六个特征空间数据增强方法,以提高分类性能,在FSI设置结合监督和无监督的表示学习方法,如BERT。通过对两个公共会话数据集SNIPS和Facebook Dialog语料库的实际实验,我们表明,特征空间中的数据增强提供了一种有效的方法来提高Few-Shot设置中的意图分类性能,超越了传统的迁移学习方法。特别是,我们表明,(a)在潜在空间的上采样是一个有竞争力的基线特征空间增强(b)添加两个例子之间的差异,一个新的例子是一个简单而有效的数据增强方法。
2019-10-09 cs.CL cs.IR cs.LG
AUGNLG: Few-shot Natural Language Generation using Self-trained Data Augmentation
Heriot-Watt University(赫瑞-瓦特大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
自然语言生成(NLG)是面向任务的对话系统中的一个关键部分,它负责将结构化语义表示(MR)转换为自然语言。对于大规模会话系统,通常具有数百个意图和数千个槽,基于模板的方法和基于模型的方法都是可扩展的。最近,神经NLG开始利用迁移学习,并在Few-Shot设置中显示出有希望的结果。本文提出了AUGNLG,一种新的数据增强方法,它结合了一个自我训练的神经检索模型与一个Few-Shot学习的NLU模型,自动创建MR到文本数据从开放域的文本。所提出的系统在BLEU和时隙出错率方面都优于FewShotWOZ数据上的最先进的方法。我们进一步确认了FewShotSGD数据的改进结果,并提供了我们系统关键组件的综合分析结果。我们的代码和数据可在www.example.com上获得。
2021-06-10 cs.CL
Cross-speaker style transfer for text-to-speech using data augmentation
Amazon Alexa, TTS Research(亚马逊 Alexa TTS 研究部)
我们解决的问题,跨扬声器的风格转移的文本转语音(TTS)使用数据增强通过语音转换。我们假设有一个语料库的中立的非表达性数据从一个目标扬声器和支持会话表达数据从不同的扬声器。我们的目标是建立一个TTS系统,是表达,同时保留目标扬声器的身份。所提出的方法依赖于语音转换,首先从一组支持表达的扬声器生成高质量的数据。然后将语音转换后的数据与来自目标说话人的自然数据合并,并用于训练单说话人多风格TTS系统。我们提供的证据表明,这种方法是有效的,灵活的,可扩展的。使用一个或多个支持扬声器以及可变量的支持数据来评估该方法。我们进一步提供的证据表明,这种方法允许一些可控性的发言风格,当使用多个支持扬声器。最后,我们将我们提出的技术扩展到7种语言的14个扬声器。结果表明,我们的技术不断提高合成样本的风格相似性,同时保留目标扬声器的身份。
2022-02-10 cs.CL cs.LG cs.SD
Following the Flow the Law Requires: Training Voice Agents to Transfer to Unseen Regulated Procedures in Debt Collection
Amity Research and Application Center (ARAC)(阿米蒂研究与应用中心(ARAC));Amity AI Holdings Co.,Ltd.(阿米蒂人工智能控股有限公司)
本研究训练小型自托管策略,借助FlowSpec规范微调90亿参数模型,使语音智能体在催收等场景中遵循合规流程,提升了文档检查准确率与场景通过率。
2026-10-15 cs.AI cs.CL cs.LG
On the Effectiveness of Neural Text Generation based Data Augmentation for Recognition of Morphologically Rich Speech
Budapest University of Technology and Economics(布达佩斯技术与经济大学);SpeechTex Ltd.(SpeechTex有限公司);THINKTech Research Center(THINKTech研究中心)
近年来,先进的神经网络模型已经渗透到自动语音识别(ASR)中,然而在语言建模中,许多系统仍然部分或全部依赖于传统的Back-off N-gram语言模型(BNLM)。其原因是训练和使用神经语言模型的高成本和复杂性,主要是通过添加第二次解码(重新评分)来实现。在我们最近的工作中,我们通过将知识从递归神经网络语言模型(RNNLM)转移到具有基于文本生成的数据增强的单通道BNLM,显着提高了会话语音转录系统的在线性能。在本文中,我们分析了可转移知识的数量,并证明了神经增强LM(RNN-BNLM)可以通过丢弃第二次解码并使系统具有实时能力来帮助捕获RNNLM的近50%的知识。我们还系统地比较了词和子词LM,并表明基于子词的神经文本增强在资源不足的情况下特别有益。此外,我们还表明,在第一遍使用RNN-BNLM,然后是神经第二遍,离线ASR结果甚至可以显着改善。
2020-06-09 cs.CL cs.SD eess.AS
S+PAGE: A Speaker and Position-Aware Graph Neural Network Model for Emotion Recognition in Conversation
会话中的情感识别由于其广泛应用的必要性,近年来引起了人们的广泛关注。现有的ERC方法大多将自我语境和说话人间语境分别建模,这使得它们之间缺乏足够的交互作用。在本文中,我们提出了一种新的ERC(S+PAGE),它包含三个阶段,结合Transformer和关系图卷积网络(R-GCN)的优点,更好地上下文建模的扬声器和位置感知图神经网络模型。首先,提出了一个双流会话Transformer,用于提取每个话语的粗略的自身和说话人间上下文特征。然后,一个说话人和位置感知的会话图的构建,我们提出了一个增强的R-GCN模型,称为PAG,细化的相对位置编码指导下的粗糙特征。最后,前两个阶段的特征都被输入到一个条件随机场层来模拟情感转移。
2021-12-23 cs.CL cs.SD eess.AS
Regularization Advantages of Multilingual Neural Language Models for Low Resource Domains
神经语言建模(LM)在包括自动语音识别在内的多个应用中带来了显著的改进。然而,它们通常需要大量的训练数据,这对于许多领域和语言是不可用的。在这项研究中,我们提出了一个多语言神经语言模型架构,共同训练的几个低资源语言的特定领域的数据。所提出的多语言LM由编码器和解码器中的语言特定的词嵌入和一个语言特定的LSTM层以及两个跨语言共享参数的LSTM层组成。这种多语言LM模型促进了跨语言的迁移学习,在资源非常少的情况下充当额外的正则化器。我们将我们提出的多语言方法与最先进的高度正则化的神经LM相结合,并在一系列训练数据大小的四种语言的会话数据域上进行评估。与单语LM相比,当可用的训练数据量有限时,结果显示我们提出的多语言LM的显著改进,表明跨语言参数共享在非常低资源的语言建模中的优势。
2019-05-29 cs.CL cs.LG stat.ML
Deep Transformer based Data Augmentation with Subword Units for Morphologically Rich Online ASR
Budapest University of Technology and Economics(布达佩斯技术与经济大学);SpeechTex Ltd.(SpeechTex有限公司);THINKTech Research Center(THINKTech研究中心)
最近,Deep Transformer模型已经被证明在ASR的语言建模任务中特别强大。然而,它们的高度复杂性使得它们很难在在线系统的第一(单)遍中应用。最近的研究表明,神经网络语言模型(LM)的相当一部分知识可以通过使用基于神经文本生成的数据增强转移到传统的n-gram。在我们的论文中,我们在一般文本语料库上预训练GPT-2 Transformer LM,并在匈牙利会话呼叫中心ASR任务上对其进行微调。我们表明,虽然使用Transformer生成的文本进行数据增强对于隔离语言效果很好,但它会导致形态丰富的语言中的词汇爆炸。因此,我们提出了一种新的方法,称为基于子词的神经文本增强,我们将生成的文本重新标记为统计派生的子词。我们比较了Morfessor和BPE统计子词标记器,并表明这两种方法可以显着提高WER,同时大大减少词汇量和内存需求。最后,我们还证明了基于子词的神经文本增强优于基于词的方法,不仅在整体WER方面,而且在识别OOV词方面。
2020-11-04 cs.CL eess.AS
ReviewPilot: A Multi-Agent System for Screening and Data Extraction in Systematic Reviews
University of Arizona(亚利桑那大学);Florida International University(佛罗里达国际大学);Vanderbilt University(范德堡大学);University of California, Irvine(加州大学欧文分校);New York University(纽约大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学博德研究所);University of Cincinnati(辛辛那提大学);University of South Florida(南佛罗里达大学);Vanderbilt University Medical Center(范德堡大学医学中心)
本研究提出多智能体系统ReviewPilot,自动化PRISMA系统评价的筛选与数据提取流程,在多LLM上优于单提示LLM与AgentSLR,且可跨领域迁移。
2026-10-16 cs.AI cs.CL cs.IR