Exploring Euphemism Detection in Few-Shot and Zero-Shot Settings
Carnegie Mellon University(卡内基梅隆大学)
这项工作建立在EMNLP 2022 FigLang研讨会提出的委婉语检测共享任务的基础上,并将其扩展到Few-Shot和zero-shot设置。我们展示了一个Few-Shot和zero-shot配方使用数据集从共享的任务,我们进行实验,在这些设置中使用RoBERTa和GPT-3。我们的研究结果表明,语言模型能够分类委婉语的条款相对较好,即使在训练过程中看不见的新术语,这表明它能够捕捉更高层次的概念相关的委婉语。
2022-10-24 cs.CL
Adversarial Learning for Zero-Shot Stance Detection on Social Media
Columbia University(哥伦比亚大学)
社交媒体上的立场检测可以帮助识别和理解日常生活中的倾斜新闻或评论。在这项工作中,我们提出了一个新的模型,用于在Twitter上进行zero-shot姿态检测,该模型使用对抗学习来概括各个主题。我们的模型在一些看不见的测试主题上以最小的计算成本实现了最先进的性能。此外,我们将zero-shot姿态检测扩展到新的主题,突出了zero-shot传输的未来方向。
2021-05-14 cs.CL
Prompt to be Consistent is Better than Self-Consistent? Few-Shot and Zero-Shot Fact Verification with Pre-trained Language Models
School of Computing and Information Systems(计算与信息系统学院);Singapore Management University(新加坡管理大学)
提出 ProToCo,通过生成声明变体并施加一致性约束,结合 PEFT 提升 PLM 的少样本与零样本事实验证能力,并在三个数据集上超越强基线及大型 ICL 模型。
2023-06-05 cs.CL
Hypothesis Engineering for Zero-Shot Hate Speech Detection
University of Zurich(苏黎世大学)
仇恨言论检测的标准方法依赖于足够的可用仇恨言论注释。扩展以前的工作,重新利用自然语言推理(NLI)模型的zero-shot文本分类,我们提出了一个简单的方法,结合多个假设,以提高英语NLI为基础的zero-shot仇恨语音检测。我们首先进行一个错误分析的香草NLI为基础的zero-shot仇恨言论检测,然后开发四个策略基于此分析。这些策略使用多个假设来预测输入文本的各个方面,并将这些预测组合成最终的判决。我们发现,用于初始错误分析的zero-shot基线已经优于HateCheck上的商业系统和微调的基于BERT的仇恨语音检测模型。所提出的策略的组合进一步将HateCheck上79.4%的zero-shot准确率提高了7.9个百分点(pp),将ETHOS上69.6%的准确率提高了10.0pp。
2022-10-03 cs.CL
T-Modules: Translation Modules for Zero-Shot Cross-Modal Machine Translation
Meta AI;Inria(法国国家信息与自动化研究所)
我们提出了一种新的方法来执行语音和文本之间的zero-shot跨模态转换的翻译任务。多语言语音和文本被编码在一个联合的固定大小的表示空间。然后,我们比较了解码这些多模式和多语言固定大小表示的不同方法,从而实现语言和模式之间的零镜头翻译(zero-shot translation)。我们所有的模型都是在不需要跨模态标记翻译数据的情况下进行训练的。尽管是固定大小的表示,我们在几个文本和语音翻译任务上取得了非常有竞争力的结果。特别是,我们显著提高了Must-C上zero-shot语音翻译的最新水平。在我们的框架中实现语音解码器,我们介绍了zero-shot直接语音到语音和文本到语音翻译的第一个结果。
2022-11-10 cs.CL
Realistic Zero-Shot Cross-Lingual Transfer in Legal Topic Classification
Athens University of Economics and Business(雅典经济与商业大学);Cognitiv+ Ltd(Cognitiv+有限公司);University of Copenhagen(哥本哈根大学)
我们考虑zero-shot跨语言迁移在法律主题分类使用最近的MultiEURLEX数据集。由于原始数据集包含并行文档,这是不现实的zero-shot跨语言迁移,我们开发了一个新版本的数据集没有并行文档。我们使用它来证明基于简化的方法大大优于多语言预训练模型的跨语言微调,这是MultiEURLEX之前最好的zero-shot传输方法。我们还开发了一个双语教师-学生zero-shot传输方法,利用额外的未标记的文件的目标语言,并表现得更好的模型微调直接标记的目标语言文件。
2022-06-08 cs.CL
Subword Segmentation and a Single Bridge Language Affect Zero-Shot Neural Machine Translation
University of Zurich(苏黎世大学);University of Edinburgh(爱丁堡大学)
Zero-shot神经机器翻译是一个有吸引力的目标,因为获取数据和为新的翻译方向构建翻译系统的成本很高。然而,以前的论文报道了混合成功的zero-shot翻译。与完全监督的系统相比,很难预测它在哪些设置中有效,以及什么限制了性能。在本文中,我们研究了zero-shot性能的多语种EN $\leftrightarrow$ {FR,CS,DE,FI}系统上训练的WMT数据。我们发现,zero-shot性能是非常不稳定的,可以通过超过6 BLEU的训练运行之间的变化,使其难以可靠地跟踪改进。我们观察到一个偏向复制源在zero-shot翻译,并探讨如何选择子词切分影响这种偏见。我们发现,特定于语言的子词切分的结果在训练时的子词复制较少,并导致更好的zero-shot性能相比,联合训练的分割。多语言模型中的最近趋势是不在所有语言对之间的并行数据上进行训练,而是具有单个桥接语言,例如英语。我们发现,这会对zero-shot翻译产生负面影响,并导致失败模式,即模型忽略语言标签,而是在zero-shot方向上产生英语输出。我们表明,这种偏向英语可以有效地减少,即使是少量的平行数据,在一些非英语对。
2020-11-03 cs.CL
ZeroKBC: A Comprehensive Benchmark for Zero-Shot Knowledge Base Completion
Texas A&M University(得克萨斯农工大学);Tencent AI Lab(腾讯人工智能实验室)
知识库补全(KBC)的目的是预测知识图谱中缺失的链接。以前的KBC任务和方法主要集中在所有测试实体和关系都出现在训练集中的设置上。然而,有有限的研究zero-shot KBC设置,在那里我们需要处理看不见的实体和关系,出现在一个不断增长的知识库。在这项工作中,我们系统地研究了不同的可能情况下的zero-shot KBC和开发一个全面的基准,ZeroKBC,涵盖这些情况下,不同类型的知识来源。我们的系统分析揭示了几个缺失但重要的zero-shot KBC设置。实验结果表明,规范和国家的最先进的KBC系统不能达到令人满意的性能在这个具有挑战性的基准。通过分析这些系统在解决ZeroKBC问题上的优势和劣势,我们进一步提出了几个重要的观察结果和未来的发展方向。
2022-12-06 cs.CL
Effective Strategies in Zero-Shot Neural Machine Translation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在本文中,我们提出了两个策略,可以应用于多语言神经机器翻译系统,以更好地解决zero-shot的情况下,即使没有任何平行语料库。实验结果表明,该算法在性能和计算资源方面都是有效的,尤其是在零资源条件下对不平衡数据的多语种翻译时,能够有效缓解语言偏见问题。
2017-11-22 cs.CL
Towards Zero-shot Commonsense Reasoning with Self-supervised Refinement of Language Models
SAP AI Research(SAP人工智能研究院)
我们能否获得现有的语言模型,并将其细化为zero-shot常识推理?本文提出了一个初步的研究,探索zero-shot常识推理的可行性Winograd模式挑战制定的任务作为自我监督细化的预训练语言模型。与以往依赖于微调注释数据集的研究相比,我们寻求通过损失景观细化来提高概念化。为此,我们提出了一种新的自监督学习方法,利用一组相似概念关系的语言扰动来改进语言模型。我们的概念上简单的框架实证分析表明,多个基准上的可行性zero-shot常识推理。
2021-09-10 cs.CL
X-Shot: A Unified System to Handle Frequent, Few-shot and Zero-shot Learning Simultaneously in Classification
Temple University(天普大学);University of California, Davis(加州大学戴维斯分校);Virginia Tech(弗吉尼亚理工大学);Penn State University(宾夕法尼亚州立大学)
该研究提出X-shot分类新挑战以适配真实场景中标签频率的多样性,同时提出BinBin方法,结合指令跟随的间接监督与大语言模型的弱监督,在多领域基准上取得了优于现有技术的表现。
2024-03-06 cs.CL
Zero-Shot Question Generation from Knowledge Graphs for Unseen Predicates and Entity Types
Université de Lyon(里昂大学);Laboratoire Hubert Curien(于贝尔·居里安实验室)
我们提出了一个神经模型,用于在“Zero-Shot”设置中从知识库三元组生成问题,即为包含在训练时未看到的谓词,主题类型或对象类型的三元组生成问题。我们的模型利用编码器-解码器架构中的自然语言语料库中的三元组出现,与原始的词性复制动作机制配对以生成问题。基准测试和人工评估表明,我们的模型为zero-shot QG设定了一个新的国家的最先进的。
2018-02-19 cs.CL
Soft Layer Selection with Meta-Learning for Zero-Shot Cross-Lingual Transfer
University of Maryland(马里兰大学);Amazon AI(亚马逊人工智能)
多语言预训练的上下文嵌入模型(Devlin等人,2019)在zero-shot跨语言迁移任务上取得了令人印象深刻的表现。找到最有效的微调策略来微调高资源语言上的这些模型,使其能够很好地转移到zero-shot语言是一项重要的任务。在本文中,我们提出了一种新的元优化器来软选择预训练模型的哪些层在微调期间冻结。我们通过模拟zero-shot传输场景来训练元优化器。跨语言自然语言推理的结果表明,我们的方法优于简单的微调基线和X-MAML(Nooralahzadeh等人,2020年)。
2021-07-21 cs.CL
Language Tags Matter for Zero-Shot Neural Machine Translation
ByteDance(字节跳动)
多语言神经机器翻译(MNMT)由于其高效性而引起了广泛的关注。MNMT模型的一个令人兴奋的优点是,它们还可以在无监督(zero-shot)语言方向之间进行翻译。在多媒体翻译中,语言标记策略常被用来指示翻译方向。在本文中,我们证明,LT不仅是翻译方向的指标,但也是至关重要的zero-shot翻译质量。不幸的是,以前的工作往往忽略了LT策略的重要性。我们证明了一个合适的LT策略可以提高语义表示的一致性和减轻脱靶问题的zero-shot方向。实验结果表明,在IWSLT17、Europarl和TED演讲翻译任务中,通过忽略源语言标签(NML)并在编码器中添加目标语言标签(TLT),zero-shot翻译策略可以获得比其他LT策略高出+8的BLEU评分。
2021-06-15 cs.CL
ZEROTOP: Zero-Shot Task-Oriented Semantic Parsing using Large Language Models
UC San Diego(加州大学圣迭戈分校);Microsoft Semantic Machines(微软语义机器公司)
我们探讨使用大语言模型(LLM)的zero-shot语义解析。语义解析涉及将自然语言语句映射到任务特定的含义表示。语言模型通常在公开可用的文本和代码上进行训练,并且不能期望在zero-shot设置中直接推广到特定于域的解析任务。在这项工作中,我们提出了ZEROTOP,一个zero-shot面向任务的分析方法,将语义解析问题分解成一组抽象和提取的问答(QA)问题,使我们能够利用LLM的能力,zero-shot回答阅读理解问题。对于每一个话语,我们提示LLM与问题相对应的顶级意图和一组插槽,并使用LLM代构建的目标意义表示。我们观察到,目前的LLM无法检测到无法回答的问题,因此,无法处理与缺失插槽对应的问题。为了解决这个问题,我们使用合成负样本在公共QA数据集上微调语言模型。实验结果表明,我们的基于QA的分解与微调LLM配对可以正确解析MTOP数据集中的话语~16%,而不需要任何注释数据。
2022-12-21 cs.CL
Narrowing the Gap between Zero- and Few-shot Machine Translation by Matching Styles
Johns Hopkins University(约翰霍普金斯大学)
本研究聚焦零样本与少样本机器翻译的性能差距,发现匹配目标语料写作风格可弥合约70%的差距,还探索了无需平行示例的零样本基线增强方法,为提升翻译指标提供参考。
2023-11-04 cs.CL
MulZDG: Multilingual Code-Switching Framework for Zero-shot Dialogue Generation
Northeastern University(东北大学)
在zero-shot场景中构建对话生成系统仍然是一个巨大的挑战,因为对话生成中的典型zero-shot方法严重依赖于大规模预训练的语言生成模型,例如GPT-3和T5。由于缺乏相应的平行对话语料库,使得在没有繁琐语言模型的情况下实现zero-shot对话生成的研究受到限制。在本文中,我们提出了一个简单但有效的多语言学习框架Zero-shot对话生成(称为MulZDG),可以有效地将知识从大规模训练样本的英语语料库转移到零样本的非英语语料库。此外,MulZDG可以被看作是一种多语言数据增强方法,以提高资源丰富的语言的性能。首先,我们从单语英语语料库中随机抽取翻译话语,构建多语言语码转换对话数据集。然后利用MulZDG对语码转换数据集进行训练,得到一个统一的多语言对话模型。MulZDG可以在不同语言之间进行隐式语义对齐。在DailyDialog和DSTC 7数据集上的实验结果表明,MulZDG不仅在zero-shot情况下取得了较好的性能,而且大大提高了源语言的性能。
2022-08-18 cs.CL
Monolingual and Cross-lingual Zero-shot Style Transfer
Institute of Computer Science(计算机科学研究所)
我们介绍了不同语言之间的zero-shot风格转换的任务。我们的训练数据包括多语言平行语料库,但不包含任何风格之间的平行句子,类似于最近以前的工作。我们提出了一个统一的多语言多风格机器翻译系统的设计,允许执行zero-shot风格转换在推理过程中,而且,它这样做的单语言和跨语言。我们的模型允许增加语料库中不同风格的存在多达3倍,很容易学会操作各种收缩,并提供合理的词汇交换,因为我们看到从手动评估。
2018-08-01 cs.CL
A Preliminary Evaluation of ChatGPT for Zero-shot Dialogue Understanding
Harbin Institute of Technology(哈尔滨工业大学);Central South University(中南大学)
本研究评估了ChatGPT在零样本对话理解任务(含SLU和DST)上的能力,发现其在多轮交互提示下表现优异,但在槽位填充任务上存在困难,为基于LLMs的零样本对话系统研究提供了见解。
2023-04-09 cs.CL
Zero-shot Cross-lingual Transfer is Under-specified Optimization
Johns Hopkins University(约翰斯·霍普金斯大学)
预训练的多语言编码器能够实现zero-shot跨语言迁移,但通常会产生不可靠的模型,这些模型在目标语言上表现出高性能差异。我们假设这种高方差是由于zero-shot跨语言迁移解决了一个未指定的优化问题。我们发现,任何线性插值模型之间的源语言单语模型和源+目标双语模型具有同样低的源语言泛化误差,但目标语言泛化误差减少平滑和线性,因为我们从单语双语模型,这表明该模型的斗争,以确定良好的解决方案,为源和目标语言单独使用源语言。此外,我们还发现zero-shot解位于目标语言错误泛化曲面的非平坦区域,导致了高方差。
2022-07-12 cs.CL
Zero-Shot Transfer Learning with Synthesized Data for Multi-Domain Dialogue State Tracking
Stanford University(斯坦福大学)
多域对话状态跟踪的Zero-shot迁移学习可以让我们处理新的域,而不会产生数据采集的高成本。本文提出了一种新的零短时迁移学习技术用于对话状态跟踪,其中领域内的训练数据都是由抽象的对话模型和领域本体合成的。我们表明,通过合成数据的数据增强可以提高MultiWOZ 2.1数据集上的TRADE模型和基于BERT的SUMBT模型的零样本学习的准确性。我们发现,仅使用SUMBT模型上的合成域内数据进行训练,可以达到使用完整训练数据集获得的准确度的2/3左右。我们将各领域的零样本学习平均提高了21%。
2020-05-02 cs.CL
Combining State-of-the-Art Models with Maximal Marginal Relevance for Few-Shot and Zero-Shot Multi-Document Summarization
University of Lethbridge(莱斯布里奇大学);International Institute of Information Technology Bangalore(班加罗尔国际信息技术学院)
在自然语言处理中,多文档摘要(MDS)比单文档摘要(SDS)更具有挑战性。这些挑战包括增加的搜索空间和包含冗余信息的更大可能性。虽然深度学习方法的进步已经导致开发了几种能够总结的高级语言模型,但特定于MDS问题的各种训练数据仍然相对有限。因此,MDS方法需要很少或不需要预训练,分别称为Few-Shot或zero-shot应用程序,可能是对当前汇总工具集的有益补充。为了探索一种可能的方法,我们设计了一种策略,结合国家的最先进的模型的输出,使用最大边际相关性(MMR)的重点是查询相关性,而不是文档的多样性。我们的基于MMR的方法显示了在Few-Shot和zero-shot MDS应用中当前最先进的结果的某些方面的改进,同时通过所有可用的度量保持最先进的输出标准。
2022-11-19 cs.CL
Political DEBATE: Efficient Zero-shot and Few-shot Classifiers for Political Text
本文提出Political DEBATE语言模型,用于政治文档的零样本和少样本分类,模型在效率和开放性上优于现有模型,并发布包含20多万政治文档的PolNLI数据集。
2024-09-03 cs.CL
Rethinking Zero-shot Neural Machine Translation: From a Perspective of Latent Variables
Rutgers University(罗格斯大学);Alibaba DAMO Academy(阿里巴巴达摩院);University of Science and Technology of China(中国科学技术大学)
Zero-shot翻译,直接在训练中看不到的语言对之间进行翻译,是多语言神经机器翻译(NMT)的一种有前途的能力。然而,由于最大似然训练目标,它通常会捕获输出语言和语言不变语义之间的虚假相关性,从而导致zero-shot翻译的传输性能较差。本文在传统的训练目标中引入了一种基于主元语言的去噪自编码目标,以提高zero-shot方向上的翻译精度。从隐变量的角度进行的理论分析表明,我们的方法实际上隐式地最大化了zero-shot方向的概率分布。在两个基准机器翻译数据集上,我们证明了该方法能够有效地消除虚假相关性,并显著优于最先进的方法,具有显着的性能。我们的代码可在https://github.com/Victorwz/zs-nmt-dae上获得。
2021-09-10 cs.CL
Cross-Lingual Text Classification with Multilingual Distillation and Zero-Shot-Aware Training
iFLYTEK Research(科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学)
多语言预训练语言模型(MPLM)不仅可以处理不同语言的任务,而且还表现出令人惊讶的zero-shot跨语言可移植性。然而,与最先进的单语预训练模型相比,MPLM通常无法在资源丰富的语言上实现可比较的监督性能。在本文中,我们的目标是提高多语言模型的监督和zero-shot的性能,同时只有监督语言的资源。我们的方法是基于高性能的单语模型与师生框架的知识转移。我们让多语言模型同时从多个单语言模型中学习。为了利用模型的跨语言可移植性,我们提出了MBLM(多分支多语言语言模型),一个模型建立在MPLM与多语言分支。每个分支都是一堆Transformers。MBLM使用zero-shot感知训练策略进行训练,该策略鼓励模型从来自所有分支的zero-shot表示的混合中学习。两个跨语言分类任务的结果表明,仅使用任务的监督数据,我们的方法提高了监督和zero-shot性能的MPLM。
2022-02-28 cs.CL
Zero-shot Speech Translation
Maastricht University(马斯特里赫特大学)
语音翻译是将一种语言的语音翻译成另一种语言的文本。使用自动语音识别(ASR)和机器翻译(MT)系统的用于ST的传统级联方法易于错误传播。端到端方法仅使用一个系统来避免传播错误,但由于数据稀缺而难以使用。我们探索了zero-shot翻译,它可以翻译一对在训练过程中看不到的语言,从而避免使用端到端ST数据。Zero-shot翻译已被证明适用于多语言机器翻译,但尚未针对语音翻译进行研究。我们试图建立zero-shot ST模型,这些模型只在ASR和MT任务上训练,但可以在推理过程中执行ST任务。挑战在于文本和音频的表示方式明显不同,因此模型以不同的方式学习ASR和MT任务,使得执行zero-shot变得不容易。这些模型在执行zero-shot ST时往往会输出错误的语言。我们通过添加额外的训练数据和辅助损失函数来解决这个问题,该函数可以最大限度地减少文本-音频差异。我们的实验结果和分析表明,该方法是有前途的zero-shot ST。此外,我们的方法是特别有用的,在Few-Shot设置,其中ST数据的数量有限,与直接端到端ST模型相比,提高了+11.8 BLEU点和+3.9 BLEU点相比,ST模型从预先训练的ASR模型微调。
2021-07-13 cs.CL
A Simple Meta-learning Paradigm for Zero-shot Intent Classification with Mixture Attention Mechanism
Dalian University of Technology(大连理工大学);Peking University(北京大学)
Zero-shot意图分类是对话系统中一项重要且具有挑战性的任务,其目的是在没有标注训练数据的情况下处理大量快速出现的未知意图。为了获得更好的性能,关键在于两个方面:提取更好的话语特征和增强模型的泛化能力。在本文中,我们提出了一个简单而有效的元学习范式的zero-shot意图分类。为了更好地学习话语的语义表示,我们引入了一种新的混合注意力机制,该机制通过同时利用分布式签名注意力和多层感知器注意力来编码相关的单词出现模式。为了增强模型从可见类到不可见类的迁移能力,我们采用元学习策略对zero-shot意图分类进行了重构,通过在可见类上模拟多个zero-shot分类任务来训练模型,并在模拟不可见类上采用元自适应过程来提高模型的泛化能力.在两个不同语言的真实对话数据集上进行的大量实验表明,我们的模型在标准和广义zero-shot意图分类任务上都优于其他强基线。
2022-06-05 cs.CL
Self-Learning for Zero Shot Neural Machine Translation
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
神经机器翻译(NMT)方法采用单语数据,在资源丰富的条件下显示出稳定的改进。然而,使用现实世界中资源少的语言进行评价,仍然导致业绩不令人满意。这项工作提出了一种新的zero-shot NMT建模方法,学习没有现在的标准假设的枢轴语言共享并行数据与zero-shot源和目标语言。我们的方法基于三个阶段:从任何预先训练的NMT模型初始化,至少观察目标语言,利用目标单语数据增强源端,以及学习将初始模型优化为zero-shot对,其中后两个构成自学习循环。涉及四个不同的(在语言家庭,脚本和相关性方面)zero-shot对的实证研究结果表明,我们的方法的有效性与高达+5.93 BLEU改善对监督双语基线。与无监督NMT相比,即使在域不匹配的设置中也观察到一致的改进,证明了我们方法的可用性。
2021-03-10 cs.CL
Zero-Shot Dialogue State Tracking via Cross-Task Transfer
The Hong Kong University of Science and Technology(香港科技大学);Facebook;Columbia University(哥伦比亚大学)
用于对话状态跟踪(DST)Zero-shot迁移学习使我们能够处理各种面向任务的对话域,而无需收集域内数据。在这项工作中,我们建议从一般的问答(QA)语料库的zero-shot DST任务的\textit{cross-task}知识。具体来说,我们提出了TransferQA,一个可转移的生成QA模型,通过文本到文本的Transformer框架,无缝地结合了提取QA和多选择QA,并跟踪DST中的分类槽和非分类槽。此外,我们引入了两种有效的方法来构建无法回答的问题,即否定问题采样和上下文截断,这使得我们的模型能够处理“无”值槽中的zero-shot DST设置。大量的实验表明,我们的方法大大改善了现有的zero-shot和Few-Shot的结果MultiWoz。此外,与Schema-Guided Dialogue数据集上经过充分训练的基线相比,我们的方法在看不见的领域中表现出更好的泛化能力。
2021-09-10 cs.CL
Zero-Shot Stance Detection: A Dataset and Model using Generalized Topic Representations
Columbia University(哥伦比亚大学)
姿态检测是理解日常生活中隐藏影响的重要组成部分。由于有数千个潜在的主题需要采取立场,大多数几乎没有训练数据,我们专注于zero-shot立场检测:从没有训练样本中分类立场。在本文中,我们提出了一个新的数据集zero-shot姿态检测,捕捉更广泛的主题和词汇变化比以前的数据集。此外,我们提出了一个新的立场检测模型,隐式捕捉主题之间的关系,使用广义的主题表示,并表明该模型提高了一些具有挑战性的语言现象的性能。
2020-10-07 cs.CL
Multi Task Learning For Zero Shot Performance Prediction of Multilingual Models
Microsoft Research(微软研究院);Microsoft R&D(微软研发中心)
已经观察到基于大规模多语言Transformer的语言模型在跨语言的zero-shot传输上令人惊讶地有效,尽管性能因语言而异,这取决于用于微调的枢轴语言。在这项工作中,我们建立在一些现有的技术预测的zero-shot性能的任务,通过建模它作为一个多任务的学习问题。我们为不同的任务联合训练预测模型,这有助于我们为那些只有很少几种语言的测试数据来衡量模型实际性能的任务构建更准确的预测器。我们的方法还使我们能够执行更强大的特征选择并确定一组共同的功能,影响zero-shot性能在各种任务。
2022-05-12 cs.CL
Leveraging Slot Descriptions for Zero-Shot Cross-Domain Dialogue State Tracking
The Hong Kong University of Science and Technology(香港科技大学);Facebook;Columbia University(哥伦比亚大学)
Zero-shot跨域对话状态跟踪(DST)使我们能够在看不见的域中处理面向任务的对话,而无需收集域内数据。本文提出了一种时隙描述增强的zero-shot跨域DST生成方法。具体来说,我们的模型首先使用预先训练的自注意编码器对对话上下文和时隙进行编码,并以自回归方式生成时隙值。此外,我们将插槽类型知情的描述,捕获跨插槽的共享信息,以促进跨领域的知识转移。在MultiWOZ数据集上的实验结果表明,该方法在跨域zero-shot条件下显著改善了现有的最新结果。
2021-05-10 cs.CL
Zero-Shot Dual Machine Translation
ETH Zürich(苏黎世联邦理工学院);Google(谷歌)
神经机器翻译(NMT)系统依赖于大量并行数据。这对低资源语言来说是一个巨大的挑战。基于最近的无监督和半监督方法的工作,我们提出了一种结合zero-shot和双重学习的方法。后者依赖于强化学习,以利用机器翻译任务的二元性,并且只需要目标语言对的单语数据。实验表明,在英语-法语和英语-西班牙语上训练的zero-shot双系统在西班牙语-法语(两个方向)上的zero-shot翻译性能上大大优于标准NMT系统。zero-shot dual方法接近可比较的监督设置的性能,在2.2 BLEU点内。我们的方法也可以获得改进的设置,其中少量的并行数据的zero-shot语言对是可用的。添加俄语,将我们的实验扩展到联合建模6个zero-shot翻译方向,所有方向都提高了4到15个BLEU点,再次达到接近监督设置的性能。
2018-05-25 cs.CL cs.NE
YourTTS: Towards Zero-Shot Multi-Speaker TTS and Zero-Shot Voice Conversion for everyone
Sopra Banking Software(索普拉银行软件公司);Federal University of Technology – Paraná(巴拉那联邦理工大学);Coqui(Coqui公司)
该研究提出基于VITS改进的YourTTS模型,实现零样本多说话人TTS与语音转换的SOTA效果,支持低资源语言场景,且仅需不到1分钟语音即可微调适配新说话人。
2023-04-30 cs.CL cs.SD eess.AS
ZeroPrompt: Scaling Prompt-Based Pretraining to 1,000 Tasks Improves Zero-Shot Generalization
Recurrent AI
我们提出了一种多任务预训练方法ZeroPrompt用于zero-shot泛化,重点是任务缩放和zero-shot提示。虽然以前的模型只在几十个任务上进行训练,但我们首次使用真实世界的数据扩展到1,000个任务。这导致了一个重要的发现,即任务缩放可以是模型缩放的有效替代方案;即,模型大小对具有极大数量的任务的性能几乎没有影响。我们的研究结果表明,在FLOPs中,任务缩放可以将训练效率提高30倍。此外,我们提出了一个提示方法,结合了遗传算法自动搜索最好的提示看不见的任务,以及其他一些改进。从经验上讲,ZeroPrompt大大提高了各种学术和生产数据集上零样本学习的效率和性能。
2022-10-31 cs.CL cs.LG
A Thorough Examination on Zero-shot Dense Retrieval
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Baidu Inc.(百度公司)
本文首次系统考察密集检索模型的零样本能力,从源训练集、目标数据集偏差及现有模型比较等方面分析关键影响因素,为理解和改进零样本DR提供证据。
2023-04-23 cs.CL cs.IR
Zero-shot Sequence Labeling for Transformer-based Sentence Classifiers
Imperial College London(帝国理工学院);King’s College London(伦敦国王学院)
我们研究如何在没有任何直接监督的情况下,在令牌级别将并行级Transformers修改为有效的序列标记器。当应用于基于变换器的架构时,用于zero-shot序列标记的现有方法不能很好地执行。由于Transformers包含多层多头自我注意,句子中的信息会分布在许多标记之间,从而对zero-shot标记级性能产生负面影响。我们发现,一个软的注意力模块,明确鼓励关注权重的锐度可以显着优于现有的方法。
2021-06-08 cs.AI cs.CL
Zero-Shot Verification-guided Chain of Thoughts
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Bloomberg(彭博公司)
本文提出零样本验证引导的思维链方法,通过新提示COT STEP分解推理步骤,并用两种零样本验证器提示评估推理链正确性,以引导多种LLM完成数学和常识推理任务。
2025-01-21 cs.AI cs.CL
Zero-Shot Text Classification with Self-Training
IBM Research(IBM研究院)
大型预训练语言模型的最新进展增加了对zero-shot文本分类的关注。特别是,在自然语言推理数据集上微调的模型由于其有希望的结果和现成的可用性而被广泛采用作为zero-shot分类器。然而,这些模型不熟悉目标任务的事实可能会导致不稳定和性能问题。我们提出了一种即插即用的方法,使用简单的自我训练方法来弥合这一差距,只需要类名和未标记的数据集,而不需要领域专业知识或试错。我们表明,微调的zero-shot分类器在其最有信心的预测导致显着的性能增益在广泛的文本分类任务,大概是因为自我训练适应zero-shot模型手头的任务。
2022-10-31 cs.CL cs.LG
Few-Shot and Zero-Shot Learning for Historical Text Normalization
University of Copenhagen(哥本哈根大学);University of Zurich(苏黎世大学)
历史文本规范化通常依赖于小的训练数据集。最近的工作表明,多任务学习可以通过利用与相关数据集的协同作用来实现显着的改进,但还没有对不同的多任务学习架构进行系统的研究。本文评估了63个多任务学习配置,用于基于序列到序列的历史文本规范化,跨越来自8种语言的10个数据集,使用自动编码,字素到音素映射和词形化作为辅助任务。当目标任务的训练数据有限时,我们观察到跨语言的一致的、显著的改进,但是当训练数据丰富时,改进很小或没有改进。我们还表明,零样本学习优于简单的,但相对较强的,身份基线。
2019-10-13 cs.CL cs.LG
Don't Use English Dev: On the Zero-Shot Cross-Lingual Evaluation of Contextual Embeddings
Amazon(亚马逊公司)
多语言上下文嵌入在zero-shot跨语言迁移学习中表现出最先进的性能,其中多语言BERT在一种源语言上进行微调,并在不同的目标语言上进行评估。然而,在四篇论文中,mBERT zero-shot准确度的已发表结果在MLDoc分类任务上的差异高达17分。我们表明,在零射击设置中使用英语开发准确性进行模型选择的标准实践使得MLDoc和XNLI任务难以获得可重复的结果。zero-shot设置。英语开发准确性通常与目标语言准确性不相关(甚至是反相关),并且在同一微调运行中的不同点处以及在不同微调运行之间,zero-shot性能变化很大。这些可再现性问题也存在于具有不同预训练嵌入的其他任务(例如,MLQA与XLM-R)。我们建议在提供zero-shot结果的同时提供oracle分数:仍然使用英语数据进行微调,但选择具有目标开发集的检查点。报告这个上限可以避免任意错误的检查点,从而使结果更加一致。
2020-10-06 cs.CL cs.LG
Distilling Hypernymy Relations from Language Models: On the Effectiveness of Zero-Shot Taxonomy Induction
BITS Pilani(Birla理工学院皮拉尼校区);Cardiff University(卡迪夫大学)
本文分析了zero-shot分类学习方法,该方法通过提示和句子评分从语言模型中提取知识。我们表明,尽管它们很简单,这些方法优于一些监督策略,并在适当的条件下与当前最先进的竞争力。我们还表明,提示的统计和语言特性决定下游的性能。
2022-02-10 cs.AI cs.CL
Zero-Shot Learning for Joint Intent and Slot Labeling
AWS AI Labs(亚马逊云科技人工智能实验室)
获得面向任务的对话系统的基于训练神经网络(NN)的自然语言理解(NLU)组件所需的大量的任务级意图和令牌级槽标签注释是昂贵且困难的,特别是对于具有大量且不断增长的意图和槽类型的许多现实世界任务。虽然零样本学习方法,不需要标记的例子-只有功能和辅助信息-已经提出了只用于插槽标签,我们表明,可以有利地执行联合zero-shot意图分类和插槽标签。我们证明了捕获意图和插槽之间的依赖关系,以及在zero shot设置中的话语中的不同插槽之间的依赖关系的价值。我们描述了NN架构,翻译之间的单词和句子嵌入空间,并证明这些修改是必要的,使零样本学习这项任务。我们展示了强基线的实质性改进,并通过可视化和消融研究解释了每个架构修改背后的直觉。
2022-11-29 cs.AI cs.CL
Language-Independent Representations Improve Zero-Shot Summarization
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对微调导致零样本跨语言摘要灾难性遗忘的问题,提出 QK 微调与平衡对抗语言分类器,以解耦任务知识和语言生成能力并获得语言无关表示。
2024-04-08 cs.AI cs.CL
Zero-Shot Translation using Diffusion Models
Facebook AI Research(Facebook人工智能研究院);Tel-Aviv University(特拉维夫大学)
在这项工作中,我们展示了一种新的神经机器翻译(NMT)方法,使用去噪扩散概率模型(DDPM),调整文本数据,在该领域的最新进展。我们表明,它是可能的翻译句子的非自回归使用扩散模型的源句子的条件。我们还表明,我们的模型能够在训练过程中看不到的语言对之间进行翻译(零样本学习)。
2021-11-02 cs.CL cs.LG
Zero-Shot Activity Recognition with Verb Attribute Induction
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
在本文中,我们研究了大规模的zero-shot活动识别建模的视觉和语言属性的动作动词。例如,动词“敬礼”有几个属性,如作为一个轻的运动,一个社会行为,并在持续时间短。我们使用这些属性作为视觉和文本表示之间的内部映射,以推理以前看不见的动作。与许多先前的工作,假设访问黄金标准属性的zero-shot类,并主要集中在对象属性,我们的模型唯一学习推断动作属性的字典定义和分布式单词表示。实验结果证实,从语言推断的动作属性可以提供一个预测信号,以前看不见的活动的zero-shot预测。
2017-09-02 cs.CL cs.CV
Z-ICL: Zero-Shot In-Context Learning with Pseudo-Demonstrations
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
本文提出 Z-ICL,通过原始语料库检索近邻并配对随机标签构建伪演示,同时减少模型直接复制,在九个分类数据集上显著提升零样本性能。
2023-06-03 cs.AI cs.CL
Contrastive Training Improves Zero-Shot Classification of Semi-structured Documents
University of Michigan(密歇根大学);AWS AI Labs(亚马逊云科技人工智能实验室)
我们研究了半结构化文档分类在一个zero-shot设置。半结构化文档的分类比标准的非结构化文档更具挑战性,因为位置、布局和样式信息在解释此类文档时起着至关重要的作用。在训练和测试期间类别都是固定的标准分类设置在可能出现新文档类别的动态环境中是不够的。我们专注于专门的zero-shot设置,其中的推理是在新的看不见的类。为了解决这个问题,我们提出了一种基于匹配的方法,它依赖于一个成对的对比目标进行预训练和微调。我们的研究结果表明,在监督和无监督zero-shot设置中,Macro F $_1$从建议的预训练步骤中得到了显着的提升。
2022-10-11 cs.AI cs.CL
Zero-Shot and Few-Shot Classification of Biomedical Articles in Context of the COVID-19 Pandemic
AMU(艾克斯-马赛大学);CNRS(法国国家科学研究中心);LIS(信息与系统实验室)
MeSH(Medical Subject Headings)是美国国家医学图书馆创建的大型主题词表,用于生物医学领域出版物的细粒度索引。在2019冠状病毒病疫情的背景下,MeSH描述符出现在与相应主题相关的文章中。Zero-shot分类是一个足够的响应,及时标记的论文流与MeSH类别。在这项工作中,我们假设,丰富的语义信息,在MeSH有可能改善BioBERT表示,使它们更适合于zero-shot/Few-Shot任务。我们将问题定义为确定MeSH术语定义,与论文摘要连接是否是有效实例,并利用多任务学习来诱导MeSH层次结构,这要归功于seq 2seq任务。结果建立了MedLine和LitCovid数据集的基线,探测表明,所得表示传达了MeSH中存在的层次关系。
2022-01-11 cs.CL cs.IR
MALM: Mixing Augmented Language Modeling for Zero-Shot Machine Translation
BITS Pilani(博拉理工学院)
大型预训练语言模型为NLP带来了显著的进步。预训练和微调在文本处理的任务中提供了最先进的性能。数据增强技术也有助于在低资源或零资源任务上构建最先进的模型。过去的许多工作都试图学习一个单一的多语种机器翻译模型的zero-shot翻译。虽然这些翻译模型产生了正确的翻译,但主要的挑战是这些模型产生了错误的语言用于zero-shot翻译。这项工作和它的结果表明,提示条件大模型不遭受小康目标语言的错误,即由于翻译错误的语言所产生的错误。我们实证证明了自监督预训练和数据增强对于zero-shot多语言机器翻译的有效性。
2022-10-01 cs.CL cs.LG
Open-source Large Language Models are Strong Zero-shot Query Likelihood Models for Document Ranking
CSIRO(联邦科学与工业研究组织);The University of Queensland(昆士兰大学)
本文研究仅预训练未微调的开源LLMs作为零样本查询似然模型的文档排序能力,发现额外指令微调可能降低效果,并提出结合LLM-QLM与混合检索器的先进排序系统。
2023-10-20 cs.CL cs.IR
SLIMER-IT: Zero-Shot NER on Italian Language
Università degli Studi di Siena(锡耶纳大学)
针对意大利语零样本NER任务,本文提出了评估框架及指令微调方法SLIMER-IT,利用富含定义和指导原则的提示,在未见实体标签上展现出优于现有模型的性能。
2024-11-14 cs.CL cs.IR
Zero is Not Hero Yet: Benchmarking Zero-Shot Performance of LLMs for Financial Tasks
Georgia Institute of Technology(佐治亚理工学院)
本文基准评测了 ChatGPT 与开源生成式 LLM 在金融任务上的零样本性能,发现其表现良好但通常不及微调 RoBERTa,并指出生成式模型标注耗时。
2023-05-26 cs.CL q-fin.GN
WOAH: Preliminaries to Zero-shot Ontology Learning for Conversational Agents
Telefónica R&D(西班牙电信研发部门);Universidad Politécnica de Madrid(马德里理工大学)
本文提出了加权本体近似启发式(WOAH),一种新的zero-shot方法,本体估计会话代理开发环境。该方法提取动词和名词分别从数据中提取的依赖关系,并应用相似性和稀疏性度量生成一个本体估计可配置的泛化水平。
2017-09-19 cs.AI cs.CL