Context Shift Reduction for Offline Meta-Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；Cambricon Technologies（寒武纪科技）；University of Chinese Academy of Sciences（中国科学院大学）；Intelligent Software Research Center, Institute of Software, CAS（中国科学院软件研究所智能软件研究中心）；Shanghai Innovation Center（上海创新中心）
针对离线元强化学习中训练与测试阶段上下文分布偏移导致的任务推断错误、泛化能力下降问题，提出仅用离线数据的CSRO方法，通过两阶段策略影响消减机制，有效降低偏移并提升泛化性能。
2023-11-07 cs.AI cs.LG
Metaphor and Large Language Models: When Surface Features Matter More than Deep Understanding
HiTZ Center - Ixa University of the Basque Country UPV/EHU（希茨中心-ixa巴斯克大学UPV/EHU）
本文通过多数据集、多任务实验评估大语言模型的隐喻解释能力，发现其表现主要受词汇重叠和句子长度等表面特征影响，而非真正的隐喻理解，从而质疑其涌现的比喻语言理解能力，并呼吁建立更现实的评估框架。
2025-07-21 cs.AI cs.CL
Meta-Tuning LLMs to Leverage Lexical Knowledge for Generalizable Language Style Understanding
Georgia Institute of Technology（佐治亚理工学院）
本文提出基于代表性风格词汇对大语言模型进行元训练，使其无需微调即可识别新风格，并在13个既有任务和63个新任务上验证了该方法能持续提升零样本跨风格迁移能力。
2024-06-06 cs.CL cs.LG
Meta Reinforcement Learning with Successor Feature Based Context
University of Science and Technology of China（中国科学技术大学）
大多数强化学习（RL）方法只关注从零开始学习单个任务，而不能使用先验知识更有效地学习其他任务。最近提出了基于上下文的Meta RL技术作为解决这个问题的可能解决方案。然而，它们通常比传统的RL效率低，并且在训练过程中可能需要多次试错。为了解决这个问题，我们提出了一种新的元RL方法，与现有的元RL算法相比，该方法具有竞争力的性能，同时需要显着减少环境交互。通过将上下文变量与后继特征框架中分解奖励的思想相结合，我们的方法不仅可以同时为多个任务学习高质量的策略，而且可以通过少量的训练快速适应新任务。与最先进的元强化学习基线相比，我们在几个连续控制任务上实证显示了我们的方法的有效性和数据效率。
2022-07-29 cs.AI cs.LG
CoMet: Metaphor-Driven Covert Communication for Multi-Agent Language Games
School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）；Engineering Research Center of Intelligent Technology and Educational Application, Ministry of Education（教育部智能技术与教育应用工程研究中心）
CoMet框架通过结合隐喻推理与生成，增强LLM智能体在多智能体语言游戏中的隐蔽通信和语义规避能力，实验验证其显著提升战略性通信效果。
2025-05-23 cs.AI cs.CL
Metaphors in Pre-Trained Language Models: Probing and Generalization Across Datasets and Languages
School of Electrical and Computer Engineering（电气与计算机工程学院）；College of Engineering（工程学院）；University of Tehran（德黑兰大学）
人类语言中充满了隐喻。隐喻通过将新的概念和领域与更熟悉的概念和领域联系起来，帮助人们理解世界。因此，大型预训练的语言模型（PLM）被假定为编码对NLP系统有用的隐喻知识。在本文中，我们调查这一假设的PLM，通过探测隐喻性信息的编码，并通过测量跨语言和跨数据集概括这些信息。我们在多个隐喻检测数据集和四种语言（即，英语、西班牙语、俄语和波斯语）。我们大量的实验表明，在PLM的上下文表征编码隐喻知识，主要是在他们的中间层。知识可以在语言和数据集之间转移，特别是当注释在训练集和测试集之间保持一致时。我们的发现为认知科学家和NLP科学家提供了有用的见解。
2022-03-26 cs.CL
Dream to Adapt: Meta Reinforcement Learning by Latent Context Imagination and MDP Imagination
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Shanghai Jiao Tong University（上海交通大学）；Ford Motor Company（福特汽车公司）
本文提出MetaDreamer，一种基于上下文的元强化学习算法，通过潜在上下文插值想象和MDP想象减少数据需求，在数据效率和泛化上优于现有方法。
2023-11-11 cs.AI cs.LG cs.RO
ContextGuard: Structured Self-Auditing for Context Learning in Language Models
Peking University（北京大学）；SCUT（上海交通大学）；Tsinghua University（清华大学）
提出ContextGuard框架，通过结构化自我审计机制使大语言模型在复杂上下文任务中忠实遵循所有上下文约束，包括外围、持久和格式敏感要求。
2026-05-26 cs.AI cs.CL
In-context Learning Distillation: Transferring Few-shot Learning Ability of Pre-trained Language Models
Columbia University（哥伦比亚大学）
鉴于大型预训练语言模型的上下文学习的成功，我们引入上下文学习蒸馏，将上下文少样本学习能力从大型模型转移到较小的模型。我们建议将上下文学习目标与语言建模目标相结合，以将阅读上下文示例的能力和任务知识提取到较小的模型中。我们在两种不同的少样本学习范式下执行上下文学习蒸馏：Meta上下文调整（Meta-ICT）和多任务上下文调整（Multitask-ICT）。多任务ICT在多任务少样本学习上表现更好，但也需要比Meta-ICT更多的计算。我们的方法在两个基准上显示了元ICT和多任务ICT的一致改进：LAMA和CrossFit。我们的大量实验和分析表明，在多任务ICT范式下，上下文学习目标和语言建模目标是互补的。上下文学习目标与语言建模目标相结合时，可获得最佳性能。
2022-12-20 cs.CL cs.LG
Meta-Models: An Architecture for Decoding LLM Behaviors Through Interpreted Embeddings and Natural Language
Olin College of Engineering（奥林工程学院）
本研究提出元模型架构，利用输入模型的激活回答自然语言问题，以解码LLM行为，实验证明其能泛化到分布外欺骗场景。
2024-11-07 cs.AI cs.LG
LGM: Enhancing Large Language Models with Conceptual Meta-Relations and Iterative Retrieval
Philisense（哲思科技）
本文提出语言图模型LGM，通过提取继承、别名和组合等概念元关系并结合反思验证与概念迭代检索算法，使LLM无需截断即可处理任意长度文本，在标准基准上持续超越现有RAG方法。
2025-11-05 cs.AI cs.CL
Science is Exploration: Computational Frontiers for Conceptual Metaphor Theory
Cornell University（康奈尔大学）；Aarhus University（奥胡斯大学）
本文探讨大型语言模型能否准确识别和解释自然语言中的概念隐喻，通过基于隐喻标注指南的新颖提示技术，证明其能有效应用人类标注程序并展现深厚语言学知识，为大规模计算研究提供了有力工具。
2024-10-11 cs.CL cs.LG
CoLAKE: Contextualized Language and Knowledge Embedding
Fudan University（复旦大学）；Amazon Shanghai AI Lab（亚马逊上海人工智能实验室）
随着将事实知识整合到预先训练的语言模型（如BERT）中的新兴分支的出现，大多数现有模型都考虑了浅层、静态和单独预先训练的实体嵌入，这限制了这些模型的性能提升。很少有研究探讨在注入知识时深度情境化知识表示的潜力。在本文中，我们提出了语境化语言和知识嵌入（CoLAKE），它联合学习语言和知识的语境化表示与扩展的MLM目标。CoLAKE不是只注入实体嵌入，而是从大规模知识库中提取实体的知识上下文。为了处理知识上下文和语言上下文的异构性，我们将它们集成到一个统一的数据结构中，即词-知识图谱（WK图）。CoLAKE使用修改后的Transformer编码器在大规模WK图上进行预训练。我们在知识驱动任务、知识探索任务和语言理解任务上进行了实验。实验结果表明，CoLAKE在大多数任务上都优于以前的同类算法.此外，CoLAKE在我们的综合任务词-知识图谱完成上取得了令人惊讶的高性能，这显示了同时上下文化语言和知识表示的优越性。
2020-10-01 cs.AI cs.CL
Decoupled Context Processing for Context Augmented Language Modeling
Google Research（谷歌研究院）
语言模型可以用上下文检索器来扩充，以合并来自大型外部数据库的知识。通过利用检索到的上下文，神经网络不必在其内部参数中记住大量的世界知识，从而导致更好的参数效率、可解释性和模块性。在本文中，我们研究了一个简单而有效的架构，将外部环境到语言模型的基础上解耦的编码器解码器架构。我们表明，这样一个简单的架构实现竞争力的结果，自回归语言建模和开放域问答任务。我们还分析了所提出的模型进行接地上下文转移的行为。最后，我们讨论了这种检索增强模型的计算含义。
2022-10-11 cs.AI cs.CL cs.IR
Learning Context-aware Task Reasoning for Efficient Meta-reinforcement Learning
ShanghaiTech University（上海科技大学）
尽管最近基于深度网络的强化学习（RL）取得了成功，但在学习新任务时仍然难以达到人类水平的效率。虽然以前的努力试图使用元学习策略来解决这一挑战，但它们通常会遭受策略上RL算法的采样效率低下或离策略学习的元过拟合。在这项工作中，我们提出了一种新的元RL策略来解决这些限制。特别是，我们将元RL问题分解为三个子任务，任务探索，任务推理和任务实现，实例化两个深度网络代理和一个任务编码器。在元训练期间，我们的方法学习用于任务实现的任务条件演员网络，具有鼓励任务探索中的任务信息体验的自我监督奖励塑造的探索者网络，以及用于任务推理的上下文感知的基于图的任务编码器。我们在几个公共基准上进行了大量的实验，结果表明，我们的算法有效地进行了任务推理的探索，提高了训练和测试过程中的样本效率，并减轻了元过拟合问题。
2022-05-02 cs.AI cs.LG stat.ML
Context Meta-Reinforcement Learning via Neuromodulation
Loughborough University（拉夫堡大学）；HRL Laboratories（HRL实验室）
Meta-强化学习（meta-RL）算法使智能体能够在动态环境中快速适应来自少量样本的任务。这样的壮举是通过代理的策略网络中的动态表示（通过推理任务上下文，模型参数更新或两者）来实现的。然而，获得丰富的动态表示快速适应超越简单的基准问题是具有挑战性的，由于政策网络的负担，以适应不同的政策。本文通过引入神经调节作为模块化组件来增强调节神经元活动的标准策略网络，以产生用于任务适应的有效动态表示来解决这一挑战。在多个离散和连续的控制环境的复杂性不断增加的政策网络的建议扩展进行评估。为了证明元RL扩展的通用性和好处，将神经调制网络应用于两种最先进的元RL算法（CAVIA和PEARL）。结果表明，与基线相比，神经调节增强的元RL产生了更好的结果和更丰富的动态表示。
2022-04-26 cs.AI cs.LG cs.NE
MetaSICL: Globalizing Auditory LLMs for Underserved Speakers and Languages via Meta Speech In-Context Learning
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）
提出MetaSICL方法，利用高资源语音数据通过元学习增强听觉大语言模型的上下文学习能力，在低资源场景下优于直接微调。
2026-08-25 cs.AI cs.CL cs.SD
Meta-Learning Preferences for Multilingual LLM Alignment
University of Warwick（华威大学）；University College London（伦敦大学学院）；University of Basel（巴塞尔大学）
针对多语言环境下低资源语言对齐数据不足问题，提出元学习框架，利用其他语言偏好数据学习可转移初始化，经理论和实验验证，该方法在极低资源设置下比基线方法胜率最多提高28%，且在多场景表现优异。
2026-07-23 cs.CL
Decoupling Meta-Reinforcement Learning with Gaussian Task Contexts and Skills
University of Electronic Science and Technology of China（电子科技大学）；Sichuan Artificial Intelligence Research Institute（四川人工智能研究院）
针对离线元强化学习先验经验泛化不足的问题，本文提出DCMRL，通过对比任务上下文学习与GQ-VAE分别聚类并解耦上下文和技能潜空间，提升未知任务适应性能。
2023-12-11 cs.LG
Meta-Gradients in Non-Stationary Environments
University of Oxford（牛津大学）；DeepMind（深度思维）
元梯度方法（Xu等人，2018; Zahavy等人，2020）为非平稳强化学习问题中的超参数选择和自适应问题提供了一个有前途的解决方案。然而，在这样的环境中的元梯度的性质还没有得到系统的研究。在这项工作中，我们带来了新的清晰度元梯度在非平稳环境。具体而言，我们要问：（i）应该向学习的优化器提供多少信息，以便在生命周期内实现更快的自适应和泛化，（ii）在此过程中学习什么元优化器函数，以及（iii）元梯度方法是否在高度非平稳环境中提供更大的优势。为了研究提供给元优化器的信息的效果，如在最近的作品中（Flennerhag等人，2021; Almeida等人，2021），我们用所选上下文特征的学习元参数函数替换固定更新规则的调整元参数。上下文特征携带关于代理性能和环境变化的信息，因此可以通知学习的元参数调度。我们发现，添加更多的上下文信息通常是有益的，从而更快地适应元参数值和提高性能的生命周期。我们支持这些结果的定性分析所产生的元参数时间表和学习功能的上下文功能。最后，我们发现，没有上下文，元梯度不提供一个一致的优势，在高度非平稳的环境中的基线。我们的研究结果表明，上下文元梯度可以发挥关键作用，在非平稳设置中提取高性能的元梯度。
2022-09-13 cs.LG
Adaptive Constraint Propagation: Scaling Structured Inference for Large Language Models via Meta-Reinforcement Learning
Department of Computer Science, Iowa State University（计算机科学系，爱荷华州立大学）；Department of Civil, Construction & Environmental Engineering, Iowa State University（土木、建设与环境工程系，爱荷华州立大学）
MetaJuLS通过元强化学习实现高效结构化推断，提升大型语言模型的跨语言和跨任务适应能力，减少推断碳足迹。
2026-01-25 cs.CL
Evaluating Metalinguistic Knowledge in Large Language Models across the World's Languages
University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学学院）；University of Ljubljana, Faculty of Arts（卢布尔雅那大学艺术学院）；Jožef Stefan Institute（乔塞夫·斯塔芬研究所）
本研究通过跨语言评估揭示LLM在元语言知识上的局限性，发现其表现受数据可用性和语言资源影响，而非广泛语法能力。
2026-02-12 cs.CL
Fine-Tuning Language Models to Know What They Know
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cognizant AI Lab（认知人工智能实验室）
本文提出一种框架，通过进化策略对齐方法（ESMA）在控制偏差的同时提升大语言模型的元认知能力，并在未见数据集、语言和新知识上展现出鲁棒泛化性。
2026-11-13 cs.AI cs.CL cs.NE
HYBRIDMIND: Meta Selection of Natural Language and Symbolic Language for Enhanced LLM Reasoning
Yale University（耶鲁大学）
HYBRIDMIND通过元选择器为每个推理问题动态选择自然语言或符号语言，微调LLaMA-3.1-8B-Instruct作为元选择器在FOLIO和MATH上分别超越GPT-4o达4.4%和1.3%，并在FOLIO挑战子集上提升10%。
2025-02-26 cs.CL
Conceptual Metaphor Theory as a Prompting Paradigm for Large Language Models
Universität Oldenburg（奥尔登堡大学）
本文提出以概念隐喻理论作为提示范式，通过隐喻映射引导大语言模型进行结构化推理，实验表明该方法在推理准确性、清晰度和隐喻连贯性上均优于多个基线模型。
2025-02-04 cs.CL
MetaRuleGPT: Recursive Numerical Reasoning of Language Models Trained with Simple Rules
Zhejiang University（浙江大学）
针对大语言模型数学推理底层逻辑不足的问题，提出基于Transformer的MetaRuleGPT，通过在含基本、复合和迭代规则的抽象数据集上预训练，学习组合规则以执行精确计算与逻辑运算，显著提升了模型的数值推理能力。
2024-12-18 cs.CL
Meta-Task Prompting Elicits Embeddings from Large Language Models
University of Amsterdam（阿姆斯特丹大学）；University of Maryland（马里兰大学）；University of Technology Sydney（悉尼科技大学）；Microsoft Corporation（微软公司）；Tencent IEG（腾讯互动娱乐事业群）
本文提出MetaEOL方法，通过元任务提示从大型语言模型生成无监督句子嵌入，无需微调，在STS基准和下游任务中表现优异，并揭示新的缩放定律。
2024-07-22 cs.CL
MetaSteer: Context-Conditioned, nonlinear Steering via Attention-Projection Adaptation
School of Computer Science and Engineering, UNSW Sydney（悉尼新南威尔士大学计算机科学与工程学院）；ARC Centre of Excellence for Automated Decision-Making and Society (ADM+S)（澳大利亚研究理事会自动化决策与社会卓越中心）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
MetaSteer通过注意力投影适配实现上下文条件化的非线性引导，在零样本场景下达到或超越任务特定基线，并关联更强的智能体性能。
2026-10-01 cs.CL
Meta-Learning Neural Mechanisms rather than Bayesian Priors
Institut Jean Nicod（让·纳科德研究所）；Laboratoire de Sciences Cognitives et Psycholinguistique（认知科学与心理语言学实验室）；Département d’études cognitives, ENS, EHESS, CNRS, PSL University（认知研究部，法兰西学院，高等科学研究所，国家科学研究中心，巴黎综合理工学院）
本文研究元训练究竟赋予神经网络何种能力，发现其学到的是计数器等神经机制而非简单性先验，且单一形式语言在激励有用机制时可达到与5000种语言相当的元训练效果。
2025-06-03 cs.CL
A Dual-Perspective Metaphor Detection Framework Using Large Language Models
School of Informatics Xiamen University Xiamen, China
本文提出双视角隐喻检测框架DMD，结合隐喻理论的隐式与显式应用引导大语言模型，并通过自判断机制提升推理透明度和预测可靠性，在多个数据集上取得最优性能。
2024-12-25 cs.CL
URLs Help, Topics Guide: Understanding Metadata Utility in LLM Training
EPFL（苏黎世联邦理工学院）
本研究探讨了元数据在LLM训练中的效用，发现URL上下文能提升训练效率，而主题和格式信息则能引导生成输出，但不加速训练。
2025-11-24 cs.CL
Decomposed Mutual Information Optimization for Generalized Context in Meta-Reinforcement Learning
The University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tianjin University（天津大学）；Tsinghua University（清华大学）
在机器人应用中，适应过渡动力学的变化是必不可少的。上下文感知Meta强化学习通过学习具有紧凑上下文的条件策略，提供了一种灵活的方法来根据动态变化调整行为。然而，在实际应用中，智能体可能会遇到复杂的动力学变化。多个混杂因素可能会影响过渡动态，使其难以推断准确的决策背景。本文解决了这样的挑战分解相互信息优化（DOMINO）的上下文学习，明确地学习一个解开的上下文，最大限度地提高上下文和历史轨迹之间的互信息，同时最小化状态转换预测误差。理论分析表明，DOMINO算法通过学习解纠缠上下文，可以克服多混杂挑战对互信息的低估，减少对不同环境下样本采集数量的需求。大量的实验表明，DOMINO学习的上下文有利于基于模型和无模型强化学习算法的动力学泛化方面的样本效率和性能在看不见的环境。
2022-10-09 cs.LG
Meta-Learning for Contextual Bandit Exploration
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
我们描述MELEE，一个元学习算法，学习一个良好的探索政策，在互动的上下文强盗设置。在这里，算法必须基于上下文采取行动，并且仅基于来自所采取的行动的奖励信号进行学习，从而生成探索/利用权衡。MELEE通过基于合成数据学习离线任务的良好探索策略来解决这种权衡，它可以模拟上下文强盗设置。基于这些模拟，MELEE使用模仿学习策略来学习一个好的探索策略，然后可以在测试时应用于真正的上下文强盗任务。我们比较MELEE七个强大的基线上下文的强盗算法在一组三百个真实世界的数据集，在大多数情况下，它优于替代品，特别是当奖励的差异很大。最后，我们展示了拥有丰富的特征表示对于学习如何探索的重要性。
2019-01-23 cs.LG stat.ML
Evaluating Contextually Mediated Factual Recall in Multilingual Large Language Models
研究多语言大语言模型在自然上下文中回忆事实的能力，发现上下文中介显著降低事实回忆准确性，大模型更鲁棒，真实名称影响不系统。
2026-01-18 cs.CL
Finding Challenging Metaphors that Confuse Pretrained Language Models
University of Surrey（萨里大学）；University of Manchester（曼彻斯特大学）
针对现有隐喻研究多关注易处理隐喻的问题，提出自动化流水线识别对预训练语言模型有挑战性的隐喻，验证其会显著降低多类NLP任务性能。
2024-01-29 cs.CL
Metacognitive Retrieval-Augmented Large Language Models
Beijing Academy of Artificial Intelligence（北京人工智能研究院）；University de Montreal（蒙特利尔大学）
本文提出MetaRAG方法，将检索增强生成与元认知相结合，通过三步元认知调节流程使模型自我反思并修复认知不足，显著提升了多跳推理任务的响应准确性。
2024-02-18 cs.CL cs.IR
Meta-LinEXP3: Online-within-Online Learning for Adversarial Linear Contextual Bandits
College of Science, National University of Defense Technology（国防科技大学理学院）
针对对抗性线性上下文赌博机，提出在线内在线元学习算法 Meta-LinEXP3，利用任务先验指导内部学习器，实现次线性遗憾并验证于高光谱采样。
2026-09-16 cs.LG math.OC
When People are Floods: Analyzing Dehumanizing Metaphors in Immigration Discourse with Large Language Models
University of Maryland（马里兰大学）；University of Michigan（密歇根大学）
本文利用大型语言模型分析移民话语中的去人性化隐喻，探讨隐喻、政治意识形态与用户参与之间的关系。
2025-07-18 cs.CL cs.CY
Stochastic Dynamic Power Dispatch with High Generalization and Few-Shot Adaption via Contextual Meta Graph Reinforcement Learning
South China University of Technology（华南理工大学）；Fuzhou University（福州大学）
针对多元不确定性下实时多阶段随机电力调度策略泛化差、难适应新场景的问题，提出上下文 Meta-GRL，通过元学习与图表示实现少样本快速适配。
2024-01-19 cs.LG cs.SY eess.SY
Meta-Learning for Natural Language Understanding under Continual Learning Framework
New York University（纽约大学）
神经网络在处理各种自然语言理解（NLU）任务方面的成就已得到公认。已经开发了方法来训练鲁棒模型以处理多个任务以获得文本的一般表示。在本文中，我们实现了模型不可知的元学习（MAML）和在线感知元学习（OML）的元目标下的连续框架的自然语言理解任务。我们验证我们的方法在选定的SuperGLUE和GLUE基准。
2020-11-03 cs.AI cs.CL cs.LG
A Meta-Learning Perspective on Transformers for Causal Language Modeling
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文从元学习视角解析了Transformer在因果语言建模中的训练过程，通过阐明其内部优化机制，发现并理论分析了学习到的token表示范数的特殊特征，且得到了多设置实验的支持。
2024-03-25 cs.AI cs.CL cs.LG
MetaXL: Meta Representation Transformation for Low-resource Cross-lingual Learning
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
多语言预训练表示和跨语言迁移学习的结合是为低资源语言构建功能性NLP系统的最有效方法之一。然而，对于没有大规模单语语料库进行预训练或没有足够的注释数据进行微调的极低资源语言，迁移学习仍然是一个研究不足和具有挑战性的任务。此外，最近的工作表明，多语言表示在不同语言之间令人惊讶地不相交，这给迁移到资源极低的语言带来了额外的挑战。在本文中，我们提出了MetaXL，这是一个基于元学习的框架，它学会明智地将表示从辅助语言转换为目标语言，并使它们的表示空间更接近以进行有效的转换。在现实世界的低资源语言上进行的大量实验-没有访问大规模单语语料库或大量标记数据-用于跨语言情感分析和命名实体识别等任务，显示了我们方法的有效性。MetaXL的代码可在github.com/microsoft/MetaXL上公开获取。
2021-04-16 cs.CL cs.LG
Cross-lingual Adaption Model-Agnostic Meta-Learning for Natural Language Understanding
Kyoto University（京都大学）
使用辅助语言的Meta学习已经证明了跨语言自然语言处理的有希望的改进。然而，以前的研究从同一种语言中抽取元训练和元测试数据，这限制了模型的跨语言迁移能力。在本文中，我们提出了XLA-MAML，它在元学习阶段进行直接的跨语言适应。我们进行了zero-shot和Few-Shot两个自然语言推理和问答实验。实验结果证明了我们的方法在不同语言，任务和预训练模型上的有效性。我们还分析了元学习的各种跨语言特定设置，包括采样策略和并行性。
2021-11-10 cs.CL
Meta-Learning for Low-resource Natural Language Generation in Task-oriented Dialogue Systems
École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Tsinghua University（清华大学）；Hangzhou Dianzi University（杭州电子科技大学）
自然语言生成是面向任务的对话系统的重要组成部分。尽管NLG的神经方法最近取得了成功，但它们通常是针对具有丰富注释训练样本的特定领域开发的。在本文中，我们研究了在低资源设置的NLG生成句子在新的场景与少数训练样本。我们从元学习的角度制定的问题，并提出了一个广义的优化为基础的方法（元NLG）的基础上公认的模型不可知元学习（MAML）算法。元NLG定义了一组Meta任务，并直接将适应新的低资源NLG任务的目标纳入元学习优化过程。大量的实验进行了一个大型的多域数据集（MultiWoz）与不同的语言变化。我们表明，元NLG显着优于其他培训程序在各种低资源配置。我们分析了结果，并证明元NLG适应非常快，以及低资源的情况。
2019-05-14 cs.CL cs.LG
Meta-X$_{NLG}$: A Meta-Learning Approach Based on Language Clustering for Zero-Shot Cross-Lingual Transfer and Generation
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
近年来，NLP社区见证了多语言和跨语言迁移研究的快速发展，其中监督从高资源语言（HRL）转移到低资源语言（LRL）。然而，跨语言迁移在不同语言之间并不一致，特别是在zero-shot设置中。为了实现这一目标，一个有前途的研究方向是在有限的注释数据的情况下跨多个任务学习可共享的结构。下游的多语言应用程序可能会从这种学习设置中受益，因为全球大多数语言都是低资源的，并且与其他语言共享一些结构。在本文中，我们提出了一种新的元学习框架（称为Meta-X $_{NLG}$）学习共享结构的类型多样的语言的基础上元学习和语言聚类。这是朝着统一的跨语言迁移未见过的语言迈出的一步。我们首先聚类的语言表示的基础上，并确定每个集群的质心语言。然后，用所有质心语言训练Meta学习算法，并在zero-shot设置中对其他语言进行评估。我们在两个NLG任务（抽象文本摘要和问题生成），5个流行的数据集和30种类型不同的语言上证明了这种建模的有效性。在强基线基础上的持续改进表明了拟议框架的效力。该模型的精心设计使得这种端到端NLG设置不太容易受到意外翻译问题的影响，这是zero-shot跨语言NLG任务中的一个突出问题。
2022-03-19 cs.CL
Language Modeling with Learned Meta-Tokens
University of Pennsylvania（宾夕法尼亚大学）；IBM Research AI（IBM人工智能研究）
本文提出在预训练中注入元标记并设计元注意力机制，使语言模型以数据高效方式增强长距离依赖建模和长度泛化能力，并在合成任务上验证了其有效性。
2025-09-18 cs.CL cs.LG
Does language matter for spoken word classification? A multilingual generative meta-learning approach
Bytefuse
本文探讨多语言环境下元学习在口语分类中的应用，通过生成元持续学习算法训练不同语言模型，发现多语言模型表现最佳，但模型性能差异较小，训练数据独特小时数比语言数量更影响性能。
2026-05-14 cs.AI cs.CL
Language-Agnostic Meta-Learning for Low-Resource Text-to-Speech with Articulatory Features
Institute for Natural Language Processing（自然语言处理研究所）；University of Stuttgart（斯图加特大学）
虽然神经文本到语音系统在高资源场景中表现得非常好，但由于缺乏适当的训练数据，它们无法应用于世界上6,000多种口语中的大多数。在这项工作中，我们使用的嵌入来自发音向量，而不是嵌入来自音素身份学习音素表示，跨语言举行。结合语言不可知的Meta学习，这使我们能够在30分钟的数据上微调高质量的文本到语音模型，这些数据来自以前看不见的说话者所说的以前看不见的语言。
2022-03-07 cs.CL cs.LG eess.AS
MetaXLR -- Mixed Language Meta Representation Transformation for Low-resource Cross-lingual Learning based on Multi-Armed Bandit
Tel-Aviv University（特拉维夫大学）
本文提出MetaXLR方法，通过数据驱动选择多源语言并结合多臂老虎机算法进行样本选择，在相同数据量下显著提升极低资源语言的NER性能，并支持利用更大规模数据。
2023-05-31 cs.CL
Meta-Learning a Dynamical Language Model
Hugging Face Inc.（Hugging Face公司）；Cranberry-Lemon University（蔓越莓-柠檬大学）
我们认为，词级语言建模的任务和研究相结合的可能性隐藏状态为基础的短期表示与中期表示的动态权重的语言模型编码。我们的工作扩展了最近的实验语言模型与动态演变的权重铸造的语言建模问题到一个在线学习学习的框架中，其中一个元学习者是通过梯度下降训练不断更新的语言模型的权重。
2018-03-28 cs.CL
Coupling Retrieval and Meta-Learning for Context-Dependent Semantic Parsing
Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们提出了一种方法，将检索到的数据点作为上下文相关的语义解析的支持证据，如生成源代码的类环境的条件。我们的方法自然地结合了检索模型和元学习器，前者学习从训练数据中找到相似的数据点，后者将检索到的数据点视为快速适应的伪任务。具体来说，我们的检索器是一个上下文感知的编码器-解码器模型，具有考虑上下文环境的潜在变量，我们的元学习器学习在模型不可知的元学习范式中利用检索到的数据点进行快速适应。我们在CONCODE和CSQA数据集上进行了实验，其中上下文分别指JAVA代码中的类环境和会话历史。我们使用序列到动作模型作为基本语义解析器，它在两个数据集上都具有最先进的准确性。结果表明，上下文感知检索器和元学习策略都提高了准确性，并且我们的方法比检索和编辑基线更好。
2019-06-17 cs.CL
Persian Natural Language Inference: A Meta-learning approach
Sharif University of Technology（谢里夫理工大学）
从其他语言翻译信息可以改善低资源语言的任务结果。为低资源语言构建功能性自然语言处理系统的一种强大方法是将多语言预训练表示与跨语言迁移学习相结合。然而，一般来说，共享表征是单独学习的，无论是跨任务还是跨语言。本文提出了一种用于推断波斯语自然语言的元学习方法。或者，元学习使用不同的任务信息（例如波斯语中的QA）或其他语言信息（例如英语中的自然语言推理）。此外，我们调查的任务增强策略形成额外的高质量的任务的作用。我们使用四种语言和一个辅助任务来评估所提出的方法。与基线方法相比，所提出的模型始终优于它，准确性提高了大约6%。我们还研究了使用zero-shot评估和CCA相似性找到合适的初始参数的效果。
2022-05-18 cs.CL
Unsupervised Attention-based Sentence-Level Meta-Embeddings from Contextualised Language Models
University of Liverpool（利物浦大学）；Amazon（亚马逊）
在NLP社区中已经提出了各种上下文化的语言模型，这些模型在不同的语料库上训练以产生许多神经语言模型（NLM）。然而，不同的NLM在用作文本表示时在下游NLP应用中报告了不同水平的性能。我们提出了一种元嵌入学习方法，该方法采用独立训练的上下文化词嵌入模型，并学习保留输入源NLM互补优势的句子嵌入。我们提出的方法是无监督的，并且不与特定的下游任务绑定，这使得学习的元嵌入原则上适用于需要句子表示的不同任务。具体来说，我们首先投影由各个NLM获得的令牌级嵌入，并学习指示源嵌入对其令牌级元嵌入的贡献的注意力权重。接下来，我们应用均值池和最大池来从令牌级元嵌入生成令牌级元嵌入。在语义文本相似度基准测试上的实验结果表明，我们提出的无监督文本级元嵌入方法优于先前提出的文本级元嵌入方法以及有监督的基线。
2022-04-16 cs.CL
Cross-Lingual Language Model Meta-Pretraining
Beijing Institute of Technology（北京理工大学）
预训练的跨语言语言模型的成功依赖于两个基本能力，即，用于学习源语言中的下游任务的泛化能力，以及用于将任务知识转移到其他语言的跨语言可转移性。然而，目前的方法在单阶段跨语言预训练过程中联合学习这两种能力，导致泛化和跨语言迁移之间的权衡。在本文中，我们提出了跨语言的语言模型元预训练，学习这两种能力在不同的训练阶段。我们的方法在跨语言预训练之前引入了一个额外的元预训练阶段，其中模型在大规模单语语料库上学习泛化能力。然后，该模型着重于学习多语种语料库上的跨语言迁移。实验结果表明，我们的方法提高了泛化和跨语言迁移，并产生更好的对齐表示跨不同的语言。
2021-09-23 cs.CL
