Balancing Continuous Pre-Training and Instruction Fine-Tuning: Optimizing Instruction-Following in LLMs
Samsung Research(三星研究院)
本研究探讨了LLMs连续预训练与指令微调的关系,旨在无需指令数据和微调的情况下,找到一种计算效率最高的策略以同时获取最新知识并保持指令遵循能力。
2024-10-14 cs.CL
Task Competence Is Not Instruction Following: Evaluating Instruction-Conflicting Behavior in Small Language Models
Khajeh Nasir Toosi University of Technology(哈杰·纳西尔·图西理工大学);Apta AI, Spark AI Research(阿普塔人工智能公司,星火人工智能研究院)
研究小语言模型在指令冲突时的行为,通过跨任务设计,用标准准确率等指标评估指令微调的Qwen模型,发现任务能力提升不自动带来可靠行为控制,任务能力与指令遵循是不同能力,仅报标准准确率会掩盖问题。
2026-10-14 cs.CL
When Instructions Multiply: Measuring and Estimating LLM Capabilities of Multiple Instructions Following
The University of Tokyo(东京大学);Kyoto University(京都大学);University of the Ryukyus(冲绳大学)
本研究提出两个多指令跟随基准(ManyIFEval和StyleMBPP),通过实验发现性能随指令数增加而下降,并开发回归模型以约10%误差预测未见组合的性能,实现高效评估。
2025-09-25 cs.CL
Evaluation of Instruction-Following Ability for Large Language Models on Story-Ending Generation
Sony Group Corporation(索尼集团公司)
针对大语言模型指令遵循能力缺乏评估指标的问题,本文提出基于MRC模型的故事结局生成场景自动评估流水线,验证其与人类评估一致,且发现近期开源LLMs指令遵循性能接近GPT-3.5。
2024-06-24 cs.CL
VisIT-Bench: A Benchmark for Vision-Language Instruction Following Inspired by Real-World Use
Hebrew University(希伯来大学);Google Research(谷歌研究院);UCLA(加州大学洛杉矶分校);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);UCSB(加州大学圣塔芭芭拉分校);Stanford(斯坦福大学);LAION
VisIT-Bench是一个包含70个指令族、592个测试查询的视觉语言指令遵循基准,通过人工验证参考和文本LLM自动评估,揭示模型与GPT-4参考间存在显著质量差距。
2023-12-26 cs.AI cs.CL cs.CV
Text as Images: Can Multimodal Large Language Models Follow Printed Instructions in Pixels?
Apple(苹果公司);Microsoft Research(微软研究院);University of Washington(华盛顿大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
本文提出 VIM 评测像素化印刷指令,在八个基准上揭示开源 MLLM 的显著性能下降,并训练可同时鲁棒遵循文本与视觉模态指令的 v-MLLM。
2024-06-10 cs.AI cs.CL cs.CV
Large Language Model Instruction Following: A Survey of Progresses and Challenges
The Pennsylvania State University(宾夕法尼亚州立大学);The Ohio State University(俄亥俄州立大学)
本文首次全面综述大语言模型指令遵循研究,围绕指令定义与类型、建模方法、数据集与评估指标、性能影响因素及现存挑战五个核心问题展开系统梳理,为后续研究提供参考。
2024-05-25 cs.CL
Automatic Layout Planning for Visually-Rich Documents with Instruction-Following Models
UC Santa Barbara(加利福尼亚大学圣巴巴拉分校);Adobe Research(奥多比研究院)
本文提出一种用于布局规划的多模态指令遵循框架,通过三个布局推理任务训练模型,使非专业用户能便捷创建定制布局,在 Crello 上 mIoU 比 GPT-4V 高 12%。
2024-04-23 cs.AI cs.CL cs.CV
IFEval-Audio: Benchmarking Instruction-Following Capability in Audio-based Large Language Models
Nanyang Technological University (NTU)(南洋理工大学);MiroMind(米罗Mind);Institute for Infocomm Research (I 2 R)(信息与通信研究院);A*STAR(科技研究局)
针对音频类大型语言模型指令遵循能力未被充分研究的问题,提出IFEval-Audio评测数据集(含280个三元组、6个维度),对先进音频LLMs进行基准测试并公开数据集,填补该领域空白。
2025-11-12 cs.CL
DecIF: Improving Instruction-Following through Meta-Decomposition
Beijing University of Posts and Telecommunications(北京邮电大学);Peking University(北京大学)
针对指令数据依赖外部资源的问题,提出 DecIF 框架,通过元分解自动生成、校验指令与响应,并在多场景实验中证明其优异的指令遵循性能。
2025-06-11 cs.CL
SEIF: Self-Evolving Reinforcement Learning for Instruction Following
Shanghai Key Laboratory of Data Science, College of Computer Science and Artificial Intelligence, Fudan University(上海数据科学 key laboratory,计算机科学与人工智能学院,复旦大学);School of Data Science, Fudan University(数据科学学院,复旦大学);Ant Group(蚂蚁集团)
SEIF提出了一种自演化框架,通过闭环自我进化提升大语言模型的指令跟随能力,通过动态调整指令难度与模型能力相互促进,实验表明其在多模型规模上均有效提升性能。
2026-05-08 cs.CL
Instruction-following Evaluation through Verbalizer Manipulation
Samsung Research America(美国三星研究院);University of Southern California(南加州大学)
本文提出言语化器操纵评估协议,通过改变任务标签与模型先验的对齐程度来检验指令遵循能力,并在多模型多数据集上验证其有效性,发现现有模型在低对齐言语化器上表现显著下降。
2024-04-02 cs.CL
Analysis of Language Change in Collaborative Instruction Following
Cornell University(康奈尔大学);City University of New York(纽约市立大学)
我们在一个协作的、以目标为导向的教学任务中分析语言随时间的变化,在这个任务中,效用最大化的参与者形成惯例并增加他们的专业知识。以前的工作主要是在参考游戏的背景下研究这种情况,并一致发现,语言的复杂性是沿着多个维度,如话语长度,作为惯例的形成。相比之下,我们发现,由于能够提高指令效用,教师增加语言的复杂性,沿着这些先前研究的维度,以更好地与越来越熟练的指令追随者合作。
2021-09-09 cs.CL
Dancing in Chains: Reconciling Instruction Following and Faithfulness in Language Models
AWS AI Labs(亚马逊云科技人工智能实验室);Google(谷歌公司);Stanford University(斯坦福大学);Samaya AI(Samaya人工智能公司);Orby AI(Orby人工智能公司);NVIDIA(英伟达公司)
本文揭示了语言模型中指令遵循与忠实性之间的权衡,并提出基于拒绝采样的持续自指令微调方法ReSet,以更少的高质量数据显著优于普通多任务学习。
2024-07-31 cs.CL
From Complex to Simple: Enhancing Multi-Constraint Complex Instruction Following Ability of Large Language Models
Fudan University(复旦大学);School of Computer Science, Fudan University(复旦大学计算机科学技术学院);School of Data Science, Fudan University(复旦大学数据科学学院);Fudan-Aishu Cognitive Intelligence Joint Research Center(复旦-爱数认知智能联合研究中心)
本研究聚焦大语言模型多约束复杂指令遵循能力不足的问题,探究有效训练数据的特性,提出获取与利用该类数据的方法,经实验验证可提升模型指令遵循能力与多场景泛化性,且训练效率更优。
2024-06-18 cs.CL
FollowEval: A Multi-Dimensional Benchmark for Assessing the Instruction-Following Capability of Large Language Models
Lenovo Research AI Lab(联想研究院人工智能实验室);Tianjin University(天津大学)
本文提出FollowEval,一个由人类专家构建的中英双语多维基准,从五个关键维度评估大语言模型的指令遵循能力,实验发现模型性能显著落后于人类。
2023-11-16 cs.CL
StyleAdaptedLM: Enhancing Instruction Following Models with Efficient Stylistic Transfer
Adobe Research, India(Adobe研究院, 印度);Adobe Inc.(Adobe公司)
本文提出 StyleAdaptedLM 框架,通过在非结构化风格语料上训练 LoRA 适配器并与指令模型合并,在不损失指令遵循能力的前提下高效实现品牌或作者风格定制。
2025-07-24 cs.CL
GraphIF: Enhancing Multi-Turn Instruction Following for Large Language Models with Relation Graph Prompt
Zhenhe Li 1(李振和1);Can Lin 1(林灿1);Ling Zheng 1(郑凌1);Wen-Da Wei 2(韦文达2);Junli Liang 1(梁俊利1);Qi Song 1(宋琪1)
GraphIF通过构建关系图结构,利用图提示提升大语言模型的多轮指令遵循能力,实验表明其在多轮对话评估指标上表现优异。
2026-01-15 cs.CL
KCIF: Knowledge-Conditioned Instruction Following
IBM Research AI(IBM人工智能研究)
本研究提出KCIF,通过组合简单指令与知识基准,发现LLM在知识条件指令遵循上性能显著下降,凸显联合研究知识推理与指令遵循的重要性。
2025-05-23 cs.CL
Enhancing Complex Instruction Following for Large Language Models with Mixture-of-Contexts Fine-tuning
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(人工智能学院,北京邮电大学);LI Auto Inc.(LI汽车公司)
本文提出 MISO 多输入单输出架构与混合上下文微调范式,通过并行子上下文增强 SFT,显著提升 LLM 对复杂多约束指令的遵循能力及训练效率。
2025-05-17 cs.CL
Generalizing Verifiable Instruction Following
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
针对模型在精准指令遵循任务中对基准约束过拟合、泛化能力弱的问题,本文提出IFBench新基准评估58个新域外约束的泛化性,设计约束验证模块并通过RLVR提升性能,还发布相关训练资源。
2025-11-11 cs.CL
Hierarchical Alignment: Enforcing Hierarchical Instruction-Following in LLMs through Logical Consistency
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);University of Liverpool(利物浦大学);University of Edinburgh(爱丁堡大学)
本文提出NSHA方法,通过显式建模和执行指令优先级,解决LLM在多指令环境下保持一致性与安全性的挑战,提升任务性能和实用性。
2026-04-10 cs.CL
Alignment-based compositional semantics for instruction following
University of California, Berkeley(加州大学伯克利分校)
本文描述了一个基于解释的模型,用于解释上下文中的自然语言指令。我们将指令遵循视为对计划的搜索,根据对文本和环境的结构化观察对行动序列进行评分。通过明确建模的低层次组成结构的个人行动和高层次的结构完整的计划,我们能够学习接地表示的句子意义和语用约束的解释。为了展示模型的灵活性,我们将其应用于一组不同的基准测试任务。在每一项任务上,我们都超越了强大的特定任务基准,并取得了几项新的最先进的成果。
2017-04-12 cs.CL
Parrot: Enhancing Multi-Turn Instruction Following for Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Kuaishou(快手);School of Information, Renmin University of China(中国人民大学信息学院)
Parrot通过高效收集类人多轮指令和上下文感知偏好优化,显著提升LLM多轮指令遵循能力,实验显示最高提升7.2%,并开源数据集和代码。
2024-05-23 cs.CL
IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation
The Conversational Artificial Intelligence (CoAI) Group, Tsinghua University(清华大学对话人工智能(CoAI)小组);Zhipu AI(智谱AI);University of Electronic Science and Technology of China(电子科技大学)
本文提出IF-RewardBench,一个全面的指令遵循元评估基准,通过构建偏好图评估评判模型的排序能力,揭示现有模型缺陷,并展示其在下游任务中的更强相关性。
2026-04-16 cs.CL
Can LLMs Simulate Personas with Reversed Performance? A Systematic Investigation for Counterfactual Instruction Following in Math Reasoning Context
本文提出首个评估LLM反事实指令跟随能力的基准数据集,发现主流模型在模拟反向表现人物时表现不佳,揭示了反事实指令跟随的挑战。
2026-03-16 cs.CL
VCIFBench: Evaluating Complex Instruction Following for Video Understanding
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Jilin University(知识驱动人机智能工程研究中心,吉林大学);International Center of Future Science, Jilin University(未来科学国际中心,吉林大学)
提出VCIFBench基准,通过混合验证流水线评估多模态大模型在视频理解中遵循内容、格式、风格和结构约束的复杂指令能力,实验表明联合约束满足仍具挑战,DPO训练可提升性能。
2026-08-25 cs.CL
Answer is All You Need: Instruction-following Text Embedding via Answering the Question
University of California San Diego(加利福尼亚大学圣迭戈分校);Cisco(思科公司)
本文提出InBedder,通过将指令视为问题并编码预期答案,在问答任务上微调语言模型,构建了能捕捉用户指定文本特征的嵌入器,显著提升了指令遵循能力并具备高可解释性。
2024-02-15 cs.CL
Learning Instruction-Following Policies through Open-Ended Instruction Relabeling with Large Language Models
Carnegie Mellon University(卡内基梅隆大学)
本文提出利用大型语言模型对智能体历史轨迹进行开放式指令重标注,通过识别隐式完成的子任务丰富训练数据,从而在无需大量人工标注的情况下高效学习统一的指令遵循强化学习策略,并在Craftax环境中显著提升了样本效率与策略性能。
2025-06-24 cs.CL cs.LG
ImpRIF: Stronger Implicit Reasoning Leads to Better Complex Instruction Following
ByteDance China(字节跳动中国);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);State Key Laboratory of Virtual Reality Technology and Systems, Beihang University(北京航空航天大学虚拟现实技术与系统国家重点实验室)
本文提出ImpRIF方法,通过构建可验证推理图提升大语言模型对隐式推理指令的理解,从而增强复杂指令遵循能力,在五个基准测试中表现优异。
2026-04-20 cs.AI cs.CL
Do LLMs "know" internally when they follow instructions?
University of Cambridge(剑桥大学);Apple(苹果公司);University of Pennsylvania(宾夕法尼亚大学)
本研究探究LLMs是否在内部表征中编码指令遵循成功信息,识别出可预测遵循结果的“指令遵循维度”,并通过沿此维度修改表征提升遵循率,为可靠智能体构建提供洞见。
2025-03-28 cs.AI cs.CL
The Instruction Gap: LLMs get lost in Following Instruction
Vishesh Tripathi;Uday Allu;Biddwan Ahmed
本研究揭示了LLMs在企业部署中遵循指令的不足,通过评估13种模型发现Claude-Sonnet-4和GPT-5表现最佳,指出指令遵循能力的鸿沟及改进方向。
2025-12-19 cs.AI cs.CL
Are Humans Evolved Instruction Followers? An Underlying Inductive Bias Enables Rapid Instructed Task Learning
Amazon Alexa AI Seattle, USA(亚马逊Alexa AI西雅图美国)
本文提出人类具有进化形成的指令遵循偏置,即一种归纳偏置,使得从语言快速泛化行为成为可能,并类比大语言模型的指令微调,呼吁跨学科研究。
2026-06-29 cs.CL
Non-instructional Fine-tuning: Enabling Instruction-Following Capabilities in Pre-trained Language Models without Instruction-Following Data
本文提出用OpenWebText随机文本前半段作指令、GPT-3.5/4-turbo补全作响应的非指令性数据微调预训练LLMs,验证其能获得指令遵循能力,且LLaMA-3-70B-Instruct在Arena Hard上可比肩LLaMA-3.1-70B-Instruct。
2024-08-27 cs.AI cs.CL cs.LG
IFMTBench: A Comprehensive Benchmark for Multilingual Translation Instruction Following
Large Language Model Department, Tencent(腾讯大语言模型部)
提出IFMTBench基准,涵盖7种语言、4506个单约束和2838个多约束项,通过确定性检查器和基于LLM的评分器评估翻译指令遵循能力,揭示指令遵循随模型规模增长快于翻译质量,且术语表和结构化格式约束难度最高。
2026-05-27 cs.CL
XIFBench: Evaluating Large Language Models on Multilingual Instruction Following
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Queen Mary University of London(伦敦大学女王学院);Soochow University(苏州大学)
本文提出XIFBench基准,通过558条多语言指令和细粒度约束评估LLMs的指令遵循能力,并引入三项方法论创新支持跨语言评估,揭示了语言资源等因素对多语言指令遵循的影响。
2025-11-03 cs.CL
Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection
University of California Santa Barbara(加州大学圣巴巴拉分校);Microsoft(微软);Tencent AI Lab(腾讯人工智能实验室)
本文构建了一个基准来评估大型语言模型对提示注入攻击的指令遵循鲁棒性,通过大量实验揭示了模型在区分注入指令与原始指令方面的重大漏洞,并指出未来应重点提升模型对提示的整体理解与指令辨别能力。
2023-11-25 cs.AI cs.CL
Do LLMs estimate uncertainty well in instruction-following?
University of Cambridge(剑桥大学);Apple(苹果公司);National University of Singapore(新加坡国立大学)
本研究首次系统评估LLMs在指令遵循中的不确定性估计,发现现有方法在细微错误下表现不佳,提出受控评估框架以促进更可靠的AI代理。
2025-03-28 cs.AI cs.CL
M-IFEval: Multilingual Instruction-Following Evaluation
Lightblue KK.;Arkema(阿科玛)
本文提出多语言指令遵循评估基准M-IFEval,将IFEval扩展至法、日、西三种语言并涵盖通用与语言特定指令,在8个主流LLM上验证了多语言评估的必要性。
2025-02-07 cs.AI cs.CL
MUFFIN: Curating Multi-Faceted Instructions for Improving Instruction-Following
The Pennsylvania State University(宾夕法尼亚州立大学);The Ohio State University(俄亥俄州立大学);Fudan University(复旦大学);Westlake University(西湖大学);Temple University(天普大学)
MUFFIN通过为每个输入自动扩展多样化的任务来策划指令遵循数据集,在四个零样本基准上显著提升了不同规模LLM的指令遵循能力。
2024-03-15 cs.AI cs.CL
RoleMRC: A Fine-Grained Composite Benchmark for Role-Playing and Instruction-Following
Tencent YouTu Lab(腾讯优图实验室);King’s College London(伦敦国王学院);University of Warwick(华威大学);The Alan Turing Institute(阿兰·图灵研究所)
本文提出 RoleMRC 复合基准,通过多轮对话、角色扮演式阅读理解及复杂嵌套指令,细粒度评估 LLM 的角色扮演与指令遵循能力。
2025-02-17 cs.CL
IF-CRITIC: Towards a Fine-Grained LLM Critic for Instruction-Following Evaluation
The Conversational Artificial Intelligence (CoAI) Group, Tsinghua University(清华大学对话人工智能(CoAI)小组);Zhipu AI(智谱AI);University of Electronic Science and Technology of China(电子科技大学);The Knowledge Engineering Group (KEG), Tsinghua University(清华大学知识工程小组(KEG))
本文提出IF-CRITIC,通过细粒度、高效且可靠的评估方法提升LLM指令遵循能力,采用检查清单生成器和约束级偏好优化训练模型,实验表明其优于现有基线模型。
2026-04-16 cs.CL
Constraint Back-translation Improves Complex Instruction Following of Large Language Models
Department of Computer Science and Technology, BNRist, Tsinghua University(计算机科学与技术系,BNRist,清华大学)
针对LLMs复杂指令遵循能力不足的问题,提出约束回译技术,利用先进LLMs从现有高质量数据对中提取隐含约束并添加至指令,构建了CRAB数据集,有效提升了模型后训练效果。
2025-04-29 cs.AI cs.CL
AdvancedIF: Rubric-Based Benchmarking and Reinforcement Learning for Advancing LLM Instruction Following
Meta Superintelligence Labs(Meta超智能实验室);Princeton University(普林斯顿大学)
本研究提出AdvancedIF基准和RIFL方法,通过规则生成和奖励塑造提升大语言模型的指令跟随能力,在AdvancedIF上实现6.7%的提升。
2025-11-26 cs.CL
MTAC-IFBench: Benchmarking Instruction-Following in Multi-Turn Agentic Coding
Tsinghua University(清华大学);Zhipu AI(智谱AI);University of Electronic Science and Technology of China(电子科技大学)
提出MTAC-IFBench基准,通过多轮渐进式开发指令和多样化约束评估LLM代码智能体的指令遵循能力,发现其性能随交互轮次增加而显著下降。
2026-09-15 cs.CL
Enhancing and Assessing Instruction-Following with Fine-Grained Instruction Variants
University of Alberta(阿尔伯塔大学);Platform and Content Group, Tencent(腾讯平台与内容事业群)
针对LLMs难以准确评估和遵循相似指令变体的问题,提出数据增强技术DeMoRecon构建细粒度指令变体数据集FGIV,经其微调的模型在多种指令遵循基准上性能显著提升。
2024-10-15 cs.AI cs.CL cs.LG
IFDECORATOR: Wrapping Instruction Following Reinforcement Learning with Verifiable Rewards
Shanghai AI Laboratory(上海人工智能实验室);Shanghai Innovation Institute(上海创新研究院);Fudan University(复旦大学);East China Normal University(华东师范大学)
针对RLVR训练效率低和过度优化问题,提出IFDecorator框架,通过合作-对抗数据飞轮、IntentCheck和绊线机制,在IFEval上达到87.43%准确率,超越GPT-4o,并显著降低奖励黑客率。
2025-08-07 cs.CL
Training with Pseudo-Code for Instruction Following
通过伪代码训练提升LLM指令跟随能力,实现8-21%的提升并在数学和常识推理中取得平均30%的提升。
2026-03-11 cs.AI cs.CL
VISA: Agentic Self-Evolving Data Synthesis for Multimodal Instruction Following
vivo AI Lab(vivo AI实验室)
VISA是一种智能体式自进化数据合成框架,通过自进化循环优化多模态指令合成,在MM-IFEval等基准上提升了多模态指令遵循性能。
2026-08-28 cs.CL
NAVER LABS System Re-implementation for the IWSLT 2026 Instruction-Following Task
NAVER LABS(NAVER实验室);Florida State University(佛罗里达州立大学)
该研究为IWSLT 2026共享任务重新实现NAVER LABS系统,采用规定组件,保留三阶段方法,构建合成示例用于微调,其主要模型在EN-ZH语音翻译和英语SQA任务中取得了一定成绩。
2026-07-16 cs.CL
Lexical Redefinition Reveals Context-Sensitive Instruction Following
Queen Mary University of London(伦敦玛丽女王大学);University of Cambridge(剑桥大学)
本研究通过870个词对的实验,发现语言模型对词汇重定义的解释会受上下文证据影响,为研究其整合提示内多源信息提供了可控范式。
2026-10-14 cs.CL
Safety-Tuned LLaMAs: Lessons From Improving the Safety of Large Language Models that Follow Instructions
Stanford University(斯坦福大学);Bocconi University(博科尼大学)
本文研究指令调优模型的安全性问题,发现仅添加3%安全示例即可显著提升LLaMA等模型的安全性,且不损害其能力,但过度调优会导致拒绝安全提示,揭示了帮助性与安全性的权衡。
2024-03-19 cs.CL
Human Instruction-Following with Deep Reinforcement Learning via Transfer-Learning from Text
DeepMind(深度思维)
最近的工作描述了基于神经网络的代理,这些代理使用强化学习(RL)进行训练,以在模拟世界中执行类似语言的命令,这是迈向可以由人类用户指示的智能代理或机器人的一步。然而,从头开始通过深度RL优化多目标运动策略需要许多经验。因此,深度RL的指令遵循通常涉及从模板(通过环境模拟器)生成的语言,这并不反映真实用户的变化或模糊表达。在这里,我们提出了一种概念上简单的方法,用于训练具有深度RL的指令遵循代理,这些代理对自然人类指令具有鲁棒性。通过应用我们的方法与国家的最先进的预训练的基于文本的语言模型(BERT),在任务上需要代理识别和定位日常对象相对于其他对象在自然的3D模拟房间,我们展示了基本上以上的机会zero-shot从合成模板命令转移到自然的指令由人类。我们的方法是训练任何基于深度RL的系统与人类用户交互的通用方法,并弥合了最近取得显著成功的两个研究方向之间的差距:以代理为中心的运动行为和基于文本的表示学习。
2020-05-19 cs.CL
Are We There Yet? Learning to Localize in Embodied Instruction Following
Amazon Alexa AI(亚马逊Alexa人工智能部门)
智能指令遵循是一个具有挑战性的问题,它要求智能体从复杂的语言和视觉输入中推断出一系列原始动作以达到目标环境状态。行动学习从现实的环境和指令(ALFRED)是最近提出的基准,这个问题包括一步一步的自然语言指令,以实现子目标,组成一个最终的高层次的目标。这项任务的关键挑战包括定位目标位置并通过视觉输入导航到目标位置,以及将语言指令与对象的视觉外观相结合。为了解决这些挑战,在这项研究中,我们增加了代理的视野在导航子目标与多个视角,和训练代理预测其相对空间关系的目标位置在每个时间步。我们还通过在模型管道中引入预训练的目标检测模块来改进语言基础。实证研究表明,我们的方法超过了基线模型的性能。
2021-01-09 cs.AI cs.CL cs.CV