VL-Taboo: An Analysis of Attribute-based Zero-shot Capabilities of Vision-Language Models
Goethe University Frankfurt(法兰克福歌德大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
视觉语言模型在大量随机收集的数据上进行训练,自出现以来在许多领域产生了重大影响。但是,尽管它们在图像-文本检索等各个领域都表现出了出色的性能,但它们的内部工作原理仍然没有得到充分的理解。目前的工作分析这些模型的真正zero-shot能力。我们从分析训练语料库开始,评估测试类在多大程度上(以及哪些)是真正的zero-shot,以及这与各个类的表现如何相关。我们随后分析了这些模型的基于属性的零样本学习能力,评估了这种经典的zero-shot概念在大规模网络监督中的表现。我们利用最近发布的LAION 400 M数据语料库以及CLIP、OpenCLIP和FLAVA的公开预训练模型,在CUB和AWA 2基准测试中评估基于属性的zero-shot能力。我们的分析表明:(i)流行的zero-shot基准测试中的大多数类在预训练期间被观察到(很多);(ii)zero-shot性能主要来自于模型识别类标签的能力,无论它们何时出现在文本中,并且仅在不使用类标签时观察到基于属性的zero-shot学习的性能显著较低;(iii)所使用的属性的数量可以对性能具有显著影响,并且可以容易地导致显著的性能降低。
2022-09-12 cs.AI cs.CL cs.CV
ZeroCap: Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmetic
Tel Aviv University(特拉维夫大学)
最近的文本到图像匹配模型将对比学习应用于大型语料库的未经策划的图像和句子对。虽然这样的模型可以为匹配和随后的zero-shot任务提供强大的分数,但是它们不能在给定图像的情况下生成字幕。在这项工作中,我们重新设计了这些模型,以在推理时生成给定图像的描述性文本,而无需任何进一步的训练或调整步骤。这是通过将视觉语义模型与大语言模型相结合来完成的,受益于两个网络规模模型中的知识。由此产生的字幕比通过监督字幕方法获得的字幕限制少得多。此外,作为一种零样本学习方法,它是非常灵活的,我们证明了它的能力,执行图像运算,其中输入可以是图像或文本,输出是一个句子。这使得新的高级视觉功能,如比较两个图像或解决视觉模拟测试。我们的代码可在https://github.com/YoadTew/zero-shot-image-to-text上获得。
2022-03-31 cs.AI cs.CL cs.CV
Zero-Shot Visual Question Answering
Australian Centre for Visual Technologies(澳大利亚视觉技术中心);The University of Adelaide(阿德莱德大学)
视觉问答(VQA)的部分吸引力在于它承诺回答关于以前看不见的图像的新问题。大多数当前的方法需要说明每一个可能概念的训练问题,并且因此永远不会实现这种能力,因为所需的训练数据的量将是令人望而却步的。解决关于图像的一般问题需要能够进行Zero-Shot VQA的方法,即能够回答超出训练问题范围的问题的方法。我们提出了一个新的VQA方法的评估协议,衡量他们的能力,执行Zero-Shot VQA,并在这样做突出了显着的实际缺陷,目前的方法,其中一些是掩盖在当前数据集的偏见。我们提出并评估了几种实现Zero-Shot VQA的策略,包括基于预训练词嵌入的方法,具有语义嵌入的对象分类器,以及示例图像的测试时检索。我们广泛的实验旨在作为Zero-Shot VQA的基线,并且它们还在标准VQA评估设置中实现了最先进的性能。
2016-11-20 cs.AI cs.CL cs.CV
Large Language Models are Zero-Shot Reasoners
The University of Tokyo(东京大学);Google Research(谷歌研究院)
预训练的大语言模型(LLM)被广泛应用于自然语言处理(NLP)的许多子领域,并且通常被称为具有特定任务样本的优秀Few-Shot学习器。值得注意的是,思维链(CoT)提示,最近的技术,通过一步一步的答案的例子引出复杂的多步推理,实现了最先进的性能在算术和符号推理,困难的系统2的任务,不遵循标准的缩放定律的LLM。虽然这些成功通常归因于LLM的少样本学习能力,但我们通过在每个答案之前简单地添加“让我们一步一步思考”来证明LLM是体面的zero-shot推理机。实验结果表明,我们的零射击CoT,使用相同的单一提示模板,显着优于zero-shot LLM性能在不同的基准推理任务,包括算术(MultiArith,GSM 8 K,AQUA-RAT,SVAMP),符号推理(最后一封信,硬币翻转),以及其他逻辑推理任务(日期理解,跟踪洗牌对象),没有任何手工制作的Few-Shot的例子,例如,使用大型InstructGPT模型,将MultiArith的准确度从17.7%提高到78.7%,将GSM 8 K的准确度从10.4%提高到40.7%(text-davinci-002),以及另一个现成的大型模型540 B参数PaLM的类似改进幅度。这种单一提示在非常多样化的推理任务中的多功能性暗示了LLM的未开发和未充分研究的基本zero-shot能力,这表明可以通过简单的提示提取高水平的多任务广泛的认知能…
2023-01-29 cs.AI cs.CL cs.LG
Dynamic Strategy Chain: Dynamic Zero-Shot CoT for Long Mental Health Support Generation
Jiangxi University of Finance and Economics(江西财经大学)
针对零样本思维链提示在心理健康长咨询文本生成中缺乏策略、无法个性化的问题,提出动态策略链方法,通过GPT2动态生成适配策略引导大模型生成回复,性能优于传统零样本思维链方法。
2023-08-21 cs.AI cs.CL cs.HC
WinCLIP: Zero-/Few-Shot Anomaly Classification and Segmentation
AWS AI Labs(AWS人工智能实验室);KAIST(韩国科学技术院)
视觉异常分类和分割是工业质量检测自动化的关键。该领域先前研究的重点是为每个质量检查任务训练自定义模型,这需要特定于任务的图像和注释。在本文中,我们离开这个制度,解决zero-shot和少数正常的镜头异常分类和分割。最近CLIP,一个视觉语言模型,已经显示出革命性的通用性与竞争力的零/Few-Shot性能相比,全监督。但CLIP在异常分类和分割任务上存在不足。因此,我们提出了基于窗口的CLIP(WinCLIP)(1)状态词和提示模板上的组合集成,以及(2)与文本对齐的窗口/补丁/图像级特征的有效提取和聚合。我们还提出了它的几个正常的镜头扩展WinCLIP+,它使用正常图像的互补信息。在MVTec-AD(和VisA)中,无需进一步调优,WinCLIP在zero-shot异常分类和分割中实现了91.8%/85.1%(78.1%/79.6%)的AUROC,而WinCLIP+在1次正常拍摄中实现了93.1%/95.2%(83.8%/96.4%),大大超过了最先进的水平。
2023-03-26 cs.AI cs.CL cs.CV
Small or Large? Zero-Shot or Finetuned? Guiding Language Model Choice for Specialized Applications in Healthcare
British Columbia Cancer Registry Provincial Health Services Authority(不列颠哥伦比亚省癌症登记处省级卫生服务局);Data Science Institute University of British Columbia(数据科学研究所不列颠哥伦比亚大学)
本研究通过病理报告分类任务,比较微调与零样本、小模型与大模型,发现微调的小语言模型在特定任务上超越零样本大模型,且领域预训练有额外优势。
2025-09-24 cs.AI cs.CL cs.LG
A Simple Meta-learning Paradigm for Zero-shot Intent Classification with Mixture Attention Mechanism
Dalian University of Technology(大连理工大学);Peking University(北京大学)
Zero-shot意图分类是对话系统中一项重要且具有挑战性的任务,其目的是在没有标注训练数据的情况下处理大量快速出现的未知意图。为了获得更好的性能,关键在于两个方面:提取更好的话语特征和增强模型的泛化能力。在本文中,我们提出了一个简单而有效的元学习范式的zero-shot意图分类。为了更好地学习话语的语义表示,我们引入了一种新的混合注意力机制,该机制通过同时利用分布式签名注意力和多层感知器注意力来编码相关的单词出现模式。为了增强模型从可见类到不可见类的迁移能力,我们采用元学习策略对zero-shot意图分类进行了重构,通过在可见类上模拟多个zero-shot分类任务来训练模型,并在模拟不可见类上采用元自适应过程来提高模型的泛化能力.在两个不同语言的真实对话数据集上进行的大量实验表明,我们的模型在标准和广义zero-shot意图分类任务上都优于其他强基线。
2022-06-05 cs.CL
Enabling Small Models for Zero-Shot Selection and Reuse through Model Label Learning
Nanjing University(南京大学)
本文提出模型标签学习(MLL)新范式,通过语义有向无环图和分类头组合优化算法,在模型中心中有效选择和重用专家模型,实现低成本、高可扩展的零样本任务解决能力。
2025-02-02 cs.AI
Gen-Z: Generative Zero-Shot Text Classification with Contextualized Label Descriptions
Allen Institute for AI(艾伦人工智能研究所);Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
针对语言模型提示易受错误校准和提示变化影响的问题,提出生成式框架Gen-Z,通过测量输入文本在标签描述条件下的似然实现零样本分类,整合上下文信息提升性能并增强鲁棒性。
2023-11-13 cs.CL
Zero-Shot Text Classification with Self-Training
IBM Research(IBM研究院)
大型预训练语言模型的最新进展增加了对zero-shot文本分类的关注。特别是,在自然语言推理数据集上微调的模型由于其有希望的结果和现成的可用性而被广泛采用作为zero-shot分类器。然而,这些模型不熟悉目标任务的事实可能会导致不稳定和性能问题。我们提出了一种即插即用的方法,使用简单的自我训练方法来弥合这一差距,只需要类名和未标记的数据集,而不需要领域专业知识或试错。我们表明,微调的zero-shot分类器在其最有信心的预测导致显着的性能增益在广泛的文本分类任务,大概是因为自我训练适应zero-shot模型手头的任务。
2022-10-31 cs.CL cs.LG
Bridging the Semantic Chasm: Synergistic Conceptual Anchoring for Generalized Few-Shot and Zero-Shot OOD Perception
Boston University(波士顿大学);Suffolk University(苏富比大学);Kyung Hee University, South Korea(韩国庆熙大学)
SynerNet通过协同神经代理网络框架,解决视觉语言模型在分布外概念感知中的跨模态对齐退化问题,提升少样本和零样本场景下的精度。
2026-01-30 cs.AI cs.CV
AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Shenzhen Loop Area Institute, Shenzhen, China(深圳市环域研究所)
本文提出AGFT框架,通过概率预测进行文本引导对抗训练,提升视觉-语言模型的零样本对抗鲁棒性,同时保持跨模态语义结构。
2026-03-31 cs.AI cs.CV cs.LG
Learning to Aggregate Zero-Shot LLM Agents for Corporate Disclosure Classification
University College London(伦敦大学学院)
本文通过聚合零样本大语言模型输出提升企业披露分类性能,发现监督聚合优于零样本投票,尤其在混合信号披露中表现更优。
2026-04-30 cs.AI cs.MA q-fin.CP
Zero-shot Sequence Labeling for Transformer-based Sentence Classifiers
Imperial College London(帝国理工学院);King’s College London(伦敦国王学院)
我们研究如何在没有任何直接监督的情况下,在令牌级别将并行级Transformers修改为有效的序列标记器。当应用于基于变换器的架构时,用于zero-shot序列标记的现有方法不能很好地执行。由于Transformers包含多层多头自我注意,句子中的信息会分布在许多标记之间,从而对zero-shot标记级性能产生负面影响。我们发现,一个软的注意力模块,明确鼓励关注权重的锐度可以显着优于现有的方法。
2021-06-08 cs.AI cs.CL
Distilling Hypernymy Relations from Language Models: On the Effectiveness of Zero-Shot Taxonomy Induction
BITS Pilani(Birla理工学院皮拉尼校区);Cardiff University(卡迪夫大学)
本文分析了zero-shot分类学习方法,该方法通过提示和句子评分从语言模型中提取知识。我们表明,尽管它们很简单,这些方法优于一些监督策略,并在适当的条件下与当前最先进的竞争力。我们还表明,提示的统计和语言特性决定下游的性能。
2022-02-10 cs.AI cs.CL
Zero-Shot Learning for Joint Intent and Slot Labeling
AWS AI Labs(亚马逊云科技人工智能实验室)
获得面向任务的对话系统的基于训练神经网络(NN)的自然语言理解(NLU)组件所需的大量的任务级意图和令牌级槽标签注释是昂贵且困难的,特别是对于具有大量且不断增长的意图和槽类型的许多现实世界任务。虽然零样本学习方法,不需要标记的例子-只有功能和辅助信息-已经提出了只用于插槽标签,我们表明,可以有利地执行联合zero-shot意图分类和插槽标签。我们证明了捕获意图和插槽之间的依赖关系,以及在zero shot设置中的话语中的不同插槽之间的依赖关系的价值。我们描述了NN架构,翻译之间的单词和句子嵌入空间,并证明这些修改是必要的,使零样本学习这项任务。我们展示了强基线的实质性改进,并通过可视化和消融研究解释了每个架构修改背后的直觉。
2022-11-29 cs.AI cs.CL
Language-Independent Representations Improve Zero-Shot Summarization
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对微调导致零样本跨语言摘要灾难性遗忘的问题,提出 QK 微调与平衡对抗语言分类器,以解耦任务知识和语言生成能力并获得语言无关表示。
2024-04-08 cs.AI cs.CL
Contrastive Training Improves Zero-Shot Classification of Semi-structured Documents
University of Michigan(密歇根大学);AWS AI Labs(亚马逊云科技人工智能实验室)
我们研究了半结构化文档分类在一个zero-shot设置。半结构化文档的分类比标准的非结构化文档更具挑战性,因为位置、布局和样式信息在解释此类文档时起着至关重要的作用。在训练和测试期间类别都是固定的标准分类设置在可能出现新文档类别的动态环境中是不够的。我们专注于专门的zero-shot设置,其中的推理是在新的看不见的类。为了解决这个问题,我们提出了一种基于匹配的方法,它依赖于一个成对的对比目标进行预训练和微调。我们的研究结果表明,在监督和无监督zero-shot设置中,Macro F $_1$从建议的预训练步骤中得到了显着的提升。
2022-10-11 cs.AI cs.CL
WOAH: Preliminaries to Zero-shot Ontology Learning for Conversational Agents
Telefónica R&D(西班牙电信研发部门);Universidad Politécnica de Madrid(马德里理工大学)
本文提出了加权本体近似启发式(WOAH),一种新的zero-shot方法,本体估计会话代理开发环境。该方法提取动词和名词分别从数据中提取的依赖关系,并应用相似性和稀疏性度量生成一个本体估计可配置的泛化水平。
2017-09-19 cs.AI cs.CL
Improving Zero-shot Multilingual Neural Machine Translation by Leveraging Cross-lingual Consistency Regularization
Baidu Inc.(百度公司)
本文提出跨语言一致性正则化CrossConST,通过弥合语言表示差距提升零样本多语言神经机器翻译性能,并在低资源和高资源基准上验证了其有效性。
2023-05-12 cs.AI cs.CL
What Makes Pre-trained Language Models Better Zero-shot Learners?
SenseTime Research(商汤科技研究院);Fudan University(复旦大学);University College Dublin(都柏林大学学院)
针对零样本场景下提示模板选择依赖标注数据的问题,提出基于困惑度的Perplection方法,提前预测模板性能,在无需标注样本时提升零样本文本分类效果。
2023-05-16 cs.AI cs.CL
GLiREL -- Generalist Model for Zero-Shot Relation Extraction
Quantexa(昆泰克萨斯)
本文提出 GLiREL,通过单次前向传播实现多实体零样本关系分类,并在 FewRel 与 WikiZSL 上达到最先进水平,同时提供多样化关系标签数据集的合成生成协议。
2025-01-06 cs.AI cs.CL cs.LG
Schema-Guided Paradigm for Zero-Shot Dialog
Carnegie Mellon University(卡内基梅隆大学)
开发机制,灵活地适应对话系统看不见的任务和领域是对话研究的一个主要挑战。神经模型从训练数据中隐式地记忆特定于任务的对话策略。我们认为这种内隐记忆排除了zero-shot迁移学习。为此,我们利用模式引导的范例,其中任务特定的对话策略显式地提供给模型。我们介绍了模式注意力模型(SAM)和改进的STAR语料库的模式表示。SAM在zero-shot设置中获得了显著的改进,与先前的工作相比,F1分数提高了+22。这些结果验证了对话中zero-shot概化的可行性。烧蚀实验也证明SAM的功效。
2021-06-13 cs.AI cs.CL cs.LG
mcBERT: Momentum Contrastive Learning with BERT for Zero-Shot Slot Filling
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
为了解决目标域可用数据有限的问题,Zero-shot孔填充受到了相当大的关注。零样本学习的一个重要因素是使模型学习广义和可靠的表示。为此,我们提出了mc BERT(代表与BERT的动量对比学习),以开发一个强大的零射击(zero-shot)插槽填充模型。mcBERT使用BERT来初始化两个编码器,即查询编码器和密钥编码器,并且通过应用动量对比学习来训练。我们在SNIPS基准测试上的实验结果表明,mcBERT大大优于以前的模型,记录了一个新的国家的最先进的。此外,我们还表明,组成mcBERT的每个组件有助于性能的提高。
2022-06-28 cs.AI cs.CL cs.LG
The Missing Ingredient in Zero-Shot Neural Machine Translation
Google AI(谷歌人工智能(Google AI))
多语言神经机器翻译(NMT)模型能够在多个源语言和目标语言之间进行翻译。尽管有各种方法来训练这样的模型,但它们难以进行zero-shot翻译:在训练期间没有一起看到的语言对之间进行翻译。在本文中,我们首先诊断为什么纯粹依赖于参数共享的最先进的多语言NMT模型无法推广到看不见的语言对。然后,我们提出了NMT编码器上的辅助损失,施加跨语言的代表性不变性。我们简单的方法大大提高了zero-shot翻译质量,而不会对监督方向进行回归。在WMT 14英语-法语-德语中,我们第一次实现了与旋转相同的zero-shot性能。我们还展示了我们的方法在IWEC 2017共享任务中对多种语言的轻松可扩展性。
2019-03-17 cs.AI cs.CL cs.LG
Zero-Shot Language Transfer vs Iterative Back Translation for Unsupervised Machine Translation
这项工作的重点是比较低资源语言对上的机器翻译的不同解决方案,即zero-shot迁移学习和无监督机器翻译。我们讨论了数据大小如何影响无监督MT和迁移学习的性能。此外,我们还研究了数据的域如何影响无监督MT的结果。在这个项目中执行的所有实验的代码都可以在Github上访问。
2021-03-31 cs.AI cs.CL cs.LG
Exploring Euphemism Detection in Few-Shot and Zero-Shot Settings
Carnegie Mellon University(卡内基梅隆大学)
这项工作建立在EMNLP 2022 FigLang研讨会提出的委婉语检测共享任务的基础上,并将其扩展到Few-Shot和zero-shot设置。我们展示了一个Few-Shot和zero-shot配方使用数据集从共享的任务,我们进行实验,在这些设置中使用RoBERTa和GPT-3。我们的研究结果表明,语言模型能够分类委婉语的条款相对较好,即使在训练过程中看不见的新术语,这表明它能够捕捉更高层次的概念相关的委婉语。
2022-10-24 cs.CL
Adversarial Learning for Zero-Shot Stance Detection on Social Media
Columbia University(哥伦比亚大学)
社交媒体上的立场检测可以帮助识别和理解日常生活中的倾斜新闻或评论。在这项工作中,我们提出了一个新的模型,用于在Twitter上进行zero-shot姿态检测,该模型使用对抗学习来概括各个主题。我们的模型在一些看不见的测试主题上以最小的计算成本实现了最先进的性能。此外,我们将zero-shot姿态检测扩展到新的主题,突出了zero-shot传输的未来方向。
2021-05-14 cs.CL
Prompt to be Consistent is Better than Self-Consistent? Few-Shot and Zero-Shot Fact Verification with Pre-trained Language Models
School of Computing and Information Systems(计算与信息系统学院);Singapore Management University(新加坡管理大学)
提出 ProToCo,通过生成声明变体并施加一致性约束,结合 PEFT 提升 PLM 的少样本与零样本事实验证能力,并在三个数据集上超越强基线及大型 ICL 模型。
2023-06-05 cs.CL
Hypothesis Engineering for Zero-Shot Hate Speech Detection
University of Zurich(苏黎世大学)
仇恨言论检测的标准方法依赖于足够的可用仇恨言论注释。扩展以前的工作,重新利用自然语言推理(NLI)模型的zero-shot文本分类,我们提出了一个简单的方法,结合多个假设,以提高英语NLI为基础的zero-shot仇恨语音检测。我们首先进行一个错误分析的香草NLI为基础的zero-shot仇恨言论检测,然后开发四个策略基于此分析。这些策略使用多个假设来预测输入文本的各个方面,并将这些预测组合成最终的判决。我们发现,用于初始错误分析的zero-shot基线已经优于HateCheck上的商业系统和微调的基于BERT的仇恨语音检测模型。所提出的策略的组合进一步将HateCheck上79.4%的zero-shot准确率提高了7.9个百分点(pp),将ETHOS上69.6%的准确率提高了10.0pp。
2022-10-03 cs.CL
T-Modules: Translation Modules for Zero-Shot Cross-Modal Machine Translation
Meta AI;Inria(法国国家信息与自动化研究所)
我们提出了一种新的方法来执行语音和文本之间的zero-shot跨模态转换的翻译任务。多语言语音和文本被编码在一个联合的固定大小的表示空间。然后,我们比较了解码这些多模式和多语言固定大小表示的不同方法,从而实现语言和模式之间的零镜头翻译(zero-shot translation)。我们所有的模型都是在不需要跨模态标记翻译数据的情况下进行训练的。尽管是固定大小的表示,我们在几个文本和语音翻译任务上取得了非常有竞争力的结果。特别是,我们显著提高了Must-C上zero-shot语音翻译的最新水平。在我们的框架中实现语音解码器,我们介绍了zero-shot直接语音到语音和文本到语音翻译的第一个结果。
2022-11-10 cs.CL
Realistic Zero-Shot Cross-Lingual Transfer in Legal Topic Classification
Athens University of Economics and Business(雅典经济与商业大学);Cognitiv+ Ltd(Cognitiv+有限公司);University of Copenhagen(哥本哈根大学)
我们考虑zero-shot跨语言迁移在法律主题分类使用最近的MultiEURLEX数据集。由于原始数据集包含并行文档,这是不现实的zero-shot跨语言迁移,我们开发了一个新版本的数据集没有并行文档。我们使用它来证明基于简化的方法大大优于多语言预训练模型的跨语言微调,这是MultiEURLEX之前最好的zero-shot传输方法。我们还开发了一个双语教师-学生zero-shot传输方法,利用额外的未标记的文件的目标语言,并表现得更好的模型微调直接标记的目标语言文件。
2022-06-08 cs.CL
Subword Segmentation and a Single Bridge Language Affect Zero-Shot Neural Machine Translation
University of Zurich(苏黎世大学);University of Edinburgh(爱丁堡大学)
Zero-shot神经机器翻译是一个有吸引力的目标,因为获取数据和为新的翻译方向构建翻译系统的成本很高。然而,以前的论文报道了混合成功的zero-shot翻译。与完全监督的系统相比,很难预测它在哪些设置中有效,以及什么限制了性能。在本文中,我们研究了zero-shot性能的多语种EN $\leftrightarrow$ {FR,CS,DE,FI}系统上训练的WMT数据。我们发现,zero-shot性能是非常不稳定的,可以通过超过6 BLEU的训练运行之间的变化,使其难以可靠地跟踪改进。我们观察到一个偏向复制源在zero-shot翻译,并探讨如何选择子词切分影响这种偏见。我们发现,特定于语言的子词切分的结果在训练时的子词复制较少,并导致更好的zero-shot性能相比,联合训练的分割。多语言模型中的最近趋势是不在所有语言对之间的并行数据上进行训练,而是具有单个桥接语言,例如英语。我们发现,这会对zero-shot翻译产生负面影响,并导致失败模式,即模型忽略语言标签,而是在zero-shot方向上产生英语输出。我们表明,这种偏向英语可以有效地减少,即使是少量的平行数据,在一些非英语对。
2020-11-03 cs.CL
ZeroKBC: A Comprehensive Benchmark for Zero-Shot Knowledge Base Completion
Texas A&M University(得克萨斯农工大学);Tencent AI Lab(腾讯人工智能实验室)
知识库补全(KBC)的目的是预测知识图谱中缺失的链接。以前的KBC任务和方法主要集中在所有测试实体和关系都出现在训练集中的设置上。然而,有有限的研究zero-shot KBC设置,在那里我们需要处理看不见的实体和关系,出现在一个不断增长的知识库。在这项工作中,我们系统地研究了不同的可能情况下的zero-shot KBC和开发一个全面的基准,ZeroKBC,涵盖这些情况下,不同类型的知识来源。我们的系统分析揭示了几个缺失但重要的zero-shot KBC设置。实验结果表明,规范和国家的最先进的KBC系统不能达到令人满意的性能在这个具有挑战性的基准。通过分析这些系统在解决ZeroKBC问题上的优势和劣势,我们进一步提出了几个重要的观察结果和未来的发展方向。
2022-12-06 cs.CL
Hansel: A Chinese Few-Shot and Zero-Shot Entity Linking Benchmark
Harbin Institute of Technology(哈尔滨工业大学);Wechat, Tencent(腾讯微信)
本文提出中文少样本与零样本实体链接基准Hansel,覆盖1万篇多样化文档,并建立强基线,在少样本和零样本场景下分别取得46.2%和76.6%的R@1,显著优于现有系统。
2023-10-29 cs.CL
Effective Strategies in Zero-Shot Neural Machine Translation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在本文中,我们提出了两个策略,可以应用于多语言神经机器翻译系统,以更好地解决zero-shot的情况下,即使没有任何平行语料库。实验结果表明,该算法在性能和计算资源方面都是有效的,尤其是在零资源条件下对不平衡数据的多语种翻译时,能够有效缓解语言偏见问题。
2017-11-22 cs.CL
Towards Zero-shot Commonsense Reasoning with Self-supervised Refinement of Language Models
SAP AI Research(SAP人工智能研究院)
我们能否获得现有的语言模型,并将其细化为zero-shot常识推理?本文提出了一个初步的研究,探索zero-shot常识推理的可行性Winograd模式挑战制定的任务作为自我监督细化的预训练语言模型。与以往依赖于微调注释数据集的研究相比,我们寻求通过损失景观细化来提高概念化。为此,我们提出了一种新的自监督学习方法,利用一组相似概念关系的语言扰动来改进语言模型。我们的概念上简单的框架实证分析表明,多个基准上的可行性zero-shot常识推理。
2021-09-10 cs.CL
X-Shot: A Unified System to Handle Frequent, Few-shot and Zero-shot Learning Simultaneously in Classification
Temple University(天普大学);University of California, Davis(加州大学戴维斯分校);Virginia Tech(弗吉尼亚理工大学);Penn State University(宾夕法尼亚州立大学)
该研究提出X-shot分类新挑战以适配真实场景中标签频率的多样性,同时提出BinBin方法,结合指令跟随的间接监督与大语言模型的弱监督,在多领域基准上取得了优于现有技术的表现。
2024-03-06 cs.CL
Zero-Shot Question Generation from Knowledge Graphs for Unseen Predicates and Entity Types
Université de Lyon(里昂大学);Laboratoire Hubert Curien(于贝尔·居里安实验室)
我们提出了一个神经模型,用于在“Zero-Shot”设置中从知识库三元组生成问题,即为包含在训练时未看到的谓词,主题类型或对象类型的三元组生成问题。我们的模型利用编码器-解码器架构中的自然语言语料库中的三元组出现,与原始的词性复制动作机制配对以生成问题。基准测试和人工评估表明,我们的模型为zero-shot QG设定了一个新的国家的最先进的。
2018-02-19 cs.CL
Soft Layer Selection with Meta-Learning for Zero-Shot Cross-Lingual Transfer
University of Maryland(马里兰大学);Amazon AI(亚马逊人工智能)
多语言预训练的上下文嵌入模型(Devlin等人,2019)在zero-shot跨语言迁移任务上取得了令人印象深刻的表现。找到最有效的微调策略来微调高资源语言上的这些模型,使其能够很好地转移到zero-shot语言是一项重要的任务。在本文中,我们提出了一种新的元优化器来软选择预训练模型的哪些层在微调期间冻结。我们通过模拟zero-shot传输场景来训练元优化器。跨语言自然语言推理的结果表明,我们的方法优于简单的微调基线和X-MAML(Nooralahzadeh等人,2020年)。
2021-07-21 cs.CL
Language Tags Matter for Zero-Shot Neural Machine Translation
ByteDance(字节跳动)
多语言神经机器翻译(MNMT)由于其高效性而引起了广泛的关注。MNMT模型的一个令人兴奋的优点是,它们还可以在无监督(zero-shot)语言方向之间进行翻译。在多媒体翻译中,语言标记策略常被用来指示翻译方向。在本文中,我们证明,LT不仅是翻译方向的指标,但也是至关重要的zero-shot翻译质量。不幸的是,以前的工作往往忽略了LT策略的重要性。我们证明了一个合适的LT策略可以提高语义表示的一致性和减轻脱靶问题的zero-shot方向。实验结果表明,在IWSLT17、Europarl和TED演讲翻译任务中,通过忽略源语言标签(NML)并在编码器中添加目标语言标签(TLT),zero-shot翻译策略可以获得比其他LT策略高出+8的BLEU评分。
2021-06-15 cs.CL
ZEROTOP: Zero-Shot Task-Oriented Semantic Parsing using Large Language Models
UC San Diego(加州大学圣迭戈分校);Microsoft Semantic Machines(微软语义机器公司)
我们探讨使用大语言模型(LLM)的zero-shot语义解析。语义解析涉及将自然语言语句映射到任务特定的含义表示。语言模型通常在公开可用的文本和代码上进行训练,并且不能期望在zero-shot设置中直接推广到特定于域的解析任务。在这项工作中,我们提出了ZEROTOP,一个zero-shot面向任务的分析方法,将语义解析问题分解成一组抽象和提取的问答(QA)问题,使我们能够利用LLM的能力,zero-shot回答阅读理解问题。对于每一个话语,我们提示LLM与问题相对应的顶级意图和一组插槽,并使用LLM代构建的目标意义表示。我们观察到,目前的LLM无法检测到无法回答的问题,因此,无法处理与缺失插槽对应的问题。为了解决这个问题,我们使用合成负样本在公共QA数据集上微调语言模型。实验结果表明,我们的基于QA的分解与微调LLM配对可以正确解析MTOP数据集中的话语~16%,而不需要任何注释数据。
2022-12-21 cs.CL
Narrowing the Gap between Zero- and Few-shot Machine Translation by Matching Styles
Johns Hopkins University(约翰霍普金斯大学)
本研究聚焦零样本与少样本机器翻译的性能差距,发现匹配目标语料写作风格可弥合约70%的差距,还探索了无需平行示例的零样本基线增强方法,为提升翻译指标提供参考。
2023-11-04 cs.CL
MulZDG: Multilingual Code-Switching Framework for Zero-shot Dialogue Generation
Northeastern University(东北大学)
在zero-shot场景中构建对话生成系统仍然是一个巨大的挑战,因为对话生成中的典型zero-shot方法严重依赖于大规模预训练的语言生成模型,例如GPT-3和T5。由于缺乏相应的平行对话语料库,使得在没有繁琐语言模型的情况下实现zero-shot对话生成的研究受到限制。在本文中,我们提出了一个简单但有效的多语言学习框架Zero-shot对话生成(称为MulZDG),可以有效地将知识从大规模训练样本的英语语料库转移到零样本的非英语语料库。此外,MulZDG可以被看作是一种多语言数据增强方法,以提高资源丰富的语言的性能。首先,我们从单语英语语料库中随机抽取翻译话语,构建多语言语码转换对话数据集。然后利用MulZDG对语码转换数据集进行训练,得到一个统一的多语言对话模型。MulZDG可以在不同语言之间进行隐式语义对齐。在DailyDialog和DSTC 7数据集上的实验结果表明,MulZDG不仅在zero-shot情况下取得了较好的性能,而且大大提高了源语言的性能。
2022-08-18 cs.CL
Monolingual and Cross-lingual Zero-shot Style Transfer
Institute of Computer Science(计算机科学研究所)
我们介绍了不同语言之间的zero-shot风格转换的任务。我们的训练数据包括多语言平行语料库,但不包含任何风格之间的平行句子,类似于最近以前的工作。我们提出了一个统一的多语言多风格机器翻译系统的设计,允许执行zero-shot风格转换在推理过程中,而且,它这样做的单语言和跨语言。我们的模型允许增加语料库中不同风格的存在多达3倍,很容易学会操作各种收缩,并提供合理的词汇交换,因为我们看到从手动评估。
2018-08-01 cs.CL
A Preliminary Evaluation of ChatGPT for Zero-shot Dialogue Understanding
Harbin Institute of Technology(哈尔滨工业大学);Central South University(中南大学)
本研究评估了ChatGPT在零样本对话理解任务(含SLU和DST)上的能力,发现其在多轮交互提示下表现优异,但在槽位填充任务上存在困难,为基于LLMs的零样本对话系统研究提供了见解。
2023-04-09 cs.CL
Zero-shot Cross-lingual Transfer is Under-specified Optimization
Johns Hopkins University(约翰斯·霍普金斯大学)
预训练的多语言编码器能够实现zero-shot跨语言迁移,但通常会产生不可靠的模型,这些模型在目标语言上表现出高性能差异。我们假设这种高方差是由于zero-shot跨语言迁移解决了一个未指定的优化问题。我们发现,任何线性插值模型之间的源语言单语模型和源+目标双语模型具有同样低的源语言泛化误差,但目标语言泛化误差减少平滑和线性,因为我们从单语双语模型,这表明该模型的斗争,以确定良好的解决方案,为源和目标语言单独使用源语言。此外,我们还发现zero-shot解位于目标语言错误泛化曲面的非平坦区域,导致了高方差。
2022-07-12 cs.CL
Zero-Shot Transfer Learning with Synthesized Data for Multi-Domain Dialogue State Tracking
Stanford University(斯坦福大学)
多域对话状态跟踪的Zero-shot迁移学习可以让我们处理新的域,而不会产生数据采集的高成本。本文提出了一种新的零短时迁移学习技术用于对话状态跟踪,其中领域内的训练数据都是由抽象的对话模型和领域本体合成的。我们表明,通过合成数据的数据增强可以提高MultiWOZ 2.1数据集上的TRADE模型和基于BERT的SUMBT模型的零样本学习的准确性。我们发现,仅使用SUMBT模型上的合成域内数据进行训练,可以达到使用完整训练数据集获得的准确度的2/3左右。我们将各领域的零样本学习平均提高了21%。
2020-05-02 cs.CL
Combining State-of-the-Art Models with Maximal Marginal Relevance for Few-Shot and Zero-Shot Multi-Document Summarization
University of Lethbridge(莱斯布里奇大学);International Institute of Information Technology Bangalore(班加罗尔国际信息技术学院)
在自然语言处理中,多文档摘要(MDS)比单文档摘要(SDS)更具有挑战性。这些挑战包括增加的搜索空间和包含冗余信息的更大可能性。虽然深度学习方法的进步已经导致开发了几种能够总结的高级语言模型,但特定于MDS问题的各种训练数据仍然相对有限。因此,MDS方法需要很少或不需要预训练,分别称为Few-Shot或zero-shot应用程序,可能是对当前汇总工具集的有益补充。为了探索一种可能的方法,我们设计了一种策略,结合国家的最先进的模型的输出,使用最大边际相关性(MMR)的重点是查询相关性,而不是文档的多样性。我们的基于MMR的方法显示了在Few-Shot和zero-shot MDS应用中当前最先进的结果的某些方面的改进,同时通过所有可用的度量保持最先进的输出标准。
2022-11-19 cs.CL
Political DEBATE: Efficient Zero-shot and Few-shot Classifiers for Political Text
本文提出Political DEBATE语言模型,用于政治文档的零样本和少样本分类,模型在效率和开放性上优于现有模型,并发布包含20多万政治文档的PolNLI数据集。
2024-09-03 cs.CL
Rethinking Zero-shot Neural Machine Translation: From a Perspective of Latent Variables
Rutgers University(罗格斯大学);Alibaba DAMO Academy(阿里巴巴达摩院);University of Science and Technology of China(中国科学技术大学)
Zero-shot翻译,直接在训练中看不到的语言对之间进行翻译,是多语言神经机器翻译(NMT)的一种有前途的能力。然而,由于最大似然训练目标,它通常会捕获输出语言和语言不变语义之间的虚假相关性,从而导致zero-shot翻译的传输性能较差。本文在传统的训练目标中引入了一种基于主元语言的去噪自编码目标,以提高zero-shot方向上的翻译精度。从隐变量的角度进行的理论分析表明,我们的方法实际上隐式地最大化了zero-shot方向的概率分布。在两个基准机器翻译数据集上,我们证明了该方法能够有效地消除虚假相关性,并显著优于最先进的方法,具有显着的性能。我们的代码可在https://github.com/Victorwz/zs-nmt-dae上获得。
2021-09-10 cs.CL
Cross-Lingual Text Classification with Multilingual Distillation and Zero-Shot-Aware Training
iFLYTEK Research(科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学)
多语言预训练语言模型(MPLM)不仅可以处理不同语言的任务,而且还表现出令人惊讶的zero-shot跨语言可移植性。然而,与最先进的单语预训练模型相比,MPLM通常无法在资源丰富的语言上实现可比较的监督性能。在本文中,我们的目标是提高多语言模型的监督和zero-shot的性能,同时只有监督语言的资源。我们的方法是基于高性能的单语模型与师生框架的知识转移。我们让多语言模型同时从多个单语言模型中学习。为了利用模型的跨语言可移植性,我们提出了MBLM(多分支多语言语言模型),一个模型建立在MPLM与多语言分支。每个分支都是一堆Transformers。MBLM使用zero-shot感知训练策略进行训练,该策略鼓励模型从来自所有分支的zero-shot表示的混合中学习。两个跨语言分类任务的结果表明,仅使用任务的监督数据,我们的方法提高了监督和zero-shot性能的MPLM。
2022-02-28 cs.CL
Zero-shot Speech Translation
Maastricht University(马斯特里赫特大学)
语音翻译是将一种语言的语音翻译成另一种语言的文本。使用自动语音识别(ASR)和机器翻译(MT)系统的用于ST的传统级联方法易于错误传播。端到端方法仅使用一个系统来避免传播错误,但由于数据稀缺而难以使用。我们探索了zero-shot翻译,它可以翻译一对在训练过程中看不到的语言,从而避免使用端到端ST数据。Zero-shot翻译已被证明适用于多语言机器翻译,但尚未针对语音翻译进行研究。我们试图建立zero-shot ST模型,这些模型只在ASR和MT任务上训练,但可以在推理过程中执行ST任务。挑战在于文本和音频的表示方式明显不同,因此模型以不同的方式学习ASR和MT任务,使得执行zero-shot变得不容易。这些模型在执行zero-shot ST时往往会输出错误的语言。我们通过添加额外的训练数据和辅助损失函数来解决这个问题,该函数可以最大限度地减少文本-音频差异。我们的实验结果和分析表明,该方法是有前途的zero-shot ST。此外,我们的方法是特别有用的,在Few-Shot设置,其中ST数据的数量有限,与直接端到端ST模型相比,提高了+11.8 BLEU点和+3.9 BLEU点相比,ST模型从预先训练的ASR模型微调。
2021-07-13 cs.CL