From Trajectories to Instructions: Language-Conditioned Meta-Reinforcement Learning
International Institute of Information Technology Bangalore(班加罗尔国际信息技术学院)
研究如何改进强化学习中模型无关元学习的内循环适应机制,提出LA - MAML,利用任务语言指令替代传统的轨迹收集和梯度更新,实验证明其在降低训练时间的同时性能相当或更优。
2026-07-22 cs.AI cs.LG
Learning from Symmetry: Meta-Reinforcement Learning with Symmetrical Behaviors and Language Instructions
Technical University of Munich(慕尼黑工业大学);Sun Yat-sen University(中山大学);Pazhou Lab(琶洲实验室)
本文提出一种结合对称行为与语言指令的双MDP元强化学习方法,通过利用行为与指令的对称性增强任务信息,在多个操作任务中显著提升了元强化学习的泛化能力和学习效率。
2023-07-04 cs.AI
Select-to-Act: Hierarchical Reinforcement Learning via Adaptive Language Guidance
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院);Canada CIFAR AI Chair, Amii(加拿大CIFAR人工智能主席,阿米(人工智能研究所))
提出分层强化学习框架HRLLI,将自然语言指令分解为可动态选择的语义指导,通过高层策略选择当前最相关的指令片段指导低层决策,显著提升样本效率和任务性能。
2026-06-23 cs.AI cs.LG
IKEA Manuals at Work: 4D Grounding of Assembly Instructions on Internet Videos
Stanford University(斯坦福大学);J.P. Morgan AI Research(摩根大通AI研究院)
本文提出IKEA Video Manuals数据集,提供家具零件3D模型、说明书、互联网装配视频及跨模态时空对齐标注,并验证其在装配计划生成等五个应用中的基线表现,揭示了视频装配指令4D grounding面临的遮挡等挑战。
2024-11-18 cs.AI cs.CV cs.LG
RLTutor: Reinforcement Learning Based Adaptive Tutoring System by Modeling Virtual Student with Fewer Interactions
Waseda University(早稻田大学);Waseda Research Institute for Science and Engineering(早稻田科学与工程研究院)
教育领域的一个主要挑战是提供复习时间表,以适当的间隔向每个学生呈现所学的项目,以便随着时间的推移保留记忆。近年来,人们尝试将项目评论表述为序列决策问题,以实现基于学生知识状态的自适应教学。此前有报道称,强化学习可以帮助实现数学模型的学生学习策略,保持较高的记忆率。然而,使用强化学习的优化需要大量的交互,因此它不能直接应用于实际的学生。在这项研究中,我们提出了一个优化教学策略的框架,通过构建一个虚拟的学生模型,同时最大限度地减少与实际教学目标的互动。此外,我们进行了一项实验,考虑到实际的指令使用的数学模型,并确认该模型的性能是与传统的教学方法。我们的框架可以直接替代人类学生实验中使用的数学模型,我们的结果可以作为理论教学优化和电子学习系统中的实际应用之间的缓冲。
2021-07-31 cs.AI cs.CY cs.LG
LTL2Action: Generalizing LTL Instructions for Multi-Task RL
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);Schwartz Reisman Institute for Technology and Society(施瓦茨·赖斯曼技术与社会研究所)
我们解决了教一个深度强化学习(RL)代理在多任务环境中遵循指令的问题。指令用一种众所周知的形式语言--线性时态逻辑(LTL)--来表达,并且可以指定多种复杂的、在时间上扩展的行为,包括条件和替代实现。我们提出的学习方法利用了LTL的组合语法和语义,使我们的RL代理能够学习任务条件策略,这些策略可以推广到新的指令,而不是在训练过程中观察到的。为了减少学习LTL语义的开销,我们引入了一个与环境无关的LTL预训练方案,该方案提高了下游环境中的样本效率。离散和连续域的目标组合任务集的$\sim10^{39}$独特的任务,并证明了我们的方法在学习解决(看不见的)任务,LTL指令的强度的实验。
2021-07-06 cs.AI cs.LG cs.RO
PRISM: Recovering Instruction Sets from Language Model Activations
Center for Cybersecurity Systems & Networks, Amrita Vishwa Vidyapeetham(阿姆里塔·维什瓦·维迪亚佩瑟姆网络安全系统与网络中心);Microsoft(微软);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
提出PRISM方法,通过激活条件解码从冻结目标模型隐藏状态中恢复活跃指令集,利用法官引导的GRPO优化,在多种场景下优于基线方法。
2026-09-29 cs.AI cs.LG
Bidirectional Preference Synthesis: Learning Prompt-Conditioned Preferences from Boundary Failures
Kuaishou Technology(快手科技);Nanjing University(南京大学)
针对边界失败中提示依赖缺失的问题,提出双向偏好合成(BPS)方法,通过为每个失败样本构建正反向配对,在不改变DPO目标下将已实现侧排名准确率从6.8%提升至62.3%,并保持能力保留。
2026-10-06 cs.AI cs.CL
LISA: Learning Interpretable Skill Abstractions from Language
Stanford University(斯坦福大学)
在复杂的多任务环境中有效利用语言指令的学习策略是顺序决策中的一个重要问题。虽然可以直接以整个语言教学为条件,但这种方法可能会出现泛化问题。在我们的工作中,我们提出了\emph{Learning Interpretable Skill Abstractions (LISA)},一个分层的模仿学习框架,可以学习不同的,可解释的原始行为或技能,从语言条件的演示,以更好地推广到看不见的指令。LISA使用矢量量化来学习与语言指令和学习策略的行为高度相关的离散技能代码。在导航和机器人操作环境中,LISA在低数据状态下优于强大的非分层决策Transformer基线,并且能够组合学习的技能来解决包含看不见的远程指令的任务。我们的方法展示了一种更自然的方式来处理顺序决策问题中的语言条件,并通过学习到的技能实现可解释和可控制的行为。
2022-12-06 cs.AI cs.CL cs.LG
ContractEval: Query-Conditioned Execution Matching for Procedural Instruction Conformance
Oracle Health AI(甲骨文健康人工智能);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
ContractEval通过将程序指令建模为查询活跃义务并与执行证据匹配,诊断LLM智能体执行中的结构性符合性失败,实现可审计的程序性符合性评估。
2026-09-10 cs.AI
CIM-Embed: Learning Instruction-Conditioned Multimodal Embeddings for Clustering
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院);Alibaba International Digital Commerce(阿里巴巴国际数字商业)
本文提出CIM-Embed框架,通过监督对比学习学习指令条件多模态嵌入,结合HDBSCAN在ProductMIC基准上实现指令条件聚类,性能优于通用嵌入基线。
2026-10-16 cs.AI cs.LG
$I^2G$: Generating Instructional Illustrations via Text-Conditioned Diffusion
University of Rochester(罗切斯特大学)
提出语言驱动框架,将程序性文本分解为目标与步骤,通过成分解析、话语连贯模型及新评估协议,在三个数据集上显著优于基线,生成准确反映指令的视觉内容。
2025-05-22 cs.AI cs.CL
ICCO: Learning an Instruction-conditioned Coordinator for Language-guided Task-aligned Multi-robot Control
Division of Information Science, Graduate School of Science and Technology, Nara Institute of Science and Technology (NAIST)(信息科学系,科学技术研究生学校,科学与技术国立研究所);Department of Cognitive Robotics, Faculty of Mechanical Engineering, Delft University of Technology(认知机器人系,机械工程学院,代尔夫特理工大学)
本文提出ICCO这一MARL框架,通过协调器融合语言指令与环境状态生成TACI,并联合训练局部智能体,以解决多机器人语言控制中的任务错位与行为不一致问题。
2025-07-23 cs.AI cs.RO
GoViG: Goal-Conditioned Visual Navigation Instruction Generation via Multimodal Reasoning
University of Washington(华盛顿大学);The Hong Kong Polytechnic University(香港理工大学);Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
本文提出GoViG任务,通过多模态推理生成基于初始和目标状态的视觉导航指令,采用自回归多模态大语言模型提升空间准确性和语言清晰度,提出两种多模态推理策略并构建R2R-Goal数据集验证方法有效性。
2026-04-29 cs.AI cs.CV
Rethinking Mutual Information for Language Conditioned Skill Discovery on Imitation Learning
Fudan University(复旦大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Tsinghua University(清华大学)
本文提出语言条件技能发现(LCSD)方法,通过向量量化和互信息最大化在无监督模仿学习中学习离散技能,并在多个语言条件机器人任务上验证其泛化性、可解释性和任务成功率优势。
2024-02-27 cs.AI cs.RO
MIND: Instruction-Conditioned Incremental Grounding for Robots
Indiana University Bloomington(印第安纳大学布卢明顿分校);Incheon National University(仁川国立大学)
本研究提出MIND框架,通过指令条件依赖维护机器人的目标房间决策,减少语义评估次数,在ProcTHOR、AI2-THOR及Unitree G1实验中均能保留全部或匹配重计算的决策。
2026-10-15 cs.AI cs.RO
CoFL: Continuous Flow Fields for Language-Conditioned Navigation
Matterport3D;ScanNet
CoFL通过端到端策略将鸟瞰图观测与语言指令映射为连续流场,实现工作空间条件下的场学习,提升导航精度与安全性,支持实时推理和闭环控制。
2026-04-29 cs.AI cs.RO
Instruction-Conditioned Electromagnetic Spectrum Understanding via Budget-Adaptive Signal Tokenization
School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院)
本研究针对电磁频谱监测需求,提出预算自适应信号分词器BATok与多模态指令数据集EMSpec-Instruct,实现将VLMs扩展至I/Q原始信号,在相关任务中取得了有竞争力的性能。
2026-10-09 cs.AI eess.SP
Grounding Spatial Relations in a Compact World Model: Instruction Leakage and a Goal-Free Dynamics Fix
Stony Brook University(纽约州立大学石溪分校);Westlake University(西湖大学)
研究以语言目标为条件的紧凑世界模型中空间关系建立问题,发现指令泄漏陷阱,提出将目标排除在动力学外并监督读取路径的修复方法,适用于相关世界模型,提升关系基础的准确性。
2026-07-09 cs.AI
CoFL-S: Spatially Queryable Sector Flow Fields for Local Language-Conditioned Navigation
Dragon Lab, Department of Mechanical Engineering, The University of Tokyo(龙实验室,机械工程系,东京大学)
提出CoFL-S,一种低层级视觉-语言-动作框架,通过预测机器人局部可见扇区上的语言条件流场并滚动生成连续轨迹,在连续时间Habitat基准测试中优于动作令牌和动作块基线,并实现零样本真实世界部署。
2026-09-28 cs.AI cs.RO
Generalizing LTL Instructions via Future Dependent Options
Georgia Institute of Technology(佐治亚理工学院)
在控制系统和机器人的许多实际应用中,线性时序逻辑(LTL)是一种广泛使用的任务规约语言,它具有一个组合语法,自然地诱导跨任务的时间扩展行为,包括条件和替代实现。LTL任务强化学习中的一个重要问题是学习任务条件策略,该策略可以zero-shot推广到训练中未观察到的新LTL指令。然而,由于符号观测通常是有损的,并且LTL任务可能具有较长的时间范围,因此以前的工作可能会遇到诸如训练采样效率低下以及所找到的解决方案的不可行性或次优性等问题。为了解决这些问题,本文提出了一种新的多任务强化学习算法,提高了学习效率和最优性。为了实现任务完成的全局最优性,我们建议通过一种新的离线策略方法来学习依赖于未来子目标的选项。为了更有效地传播满足未来子目标的回报,我们提出了训练一个多步价值函数的子目标序列的条件下,更新与蒙特卡洛估计的多步贴现收益。在三个不同领域的实验中,我们评估了LTL泛化能力的代理训练所提出的方法,显示其优势,比以前的代表性方法。
2022-12-15 cs.AI
Object-centric Inference for Language Conditioned Placement: A Foundation Model based Approach
Zhejiang University(浙江大学)
针对语言条件化物体放置任务,提出基于基础模型的以对象为中心框架,利用约0.26M参数实现97.75%成功率,并在少样本和泛化性上优于现有方法。
2023-04-06 cs.AI cs.LG cs.RO
DISC: Decoupling Instruction from State-Conditioned Control via Policy Generation
Zhejiang University(浙江大学);The University of Hong Kong(香港大学);TranscEngram
DISC通过策略生成解耦指令与状态条件控制,解决了任务状态耦合导致的观察泄漏问题,并在多个基准测试中表现出色,证明了语言生成的策略参数驱动行为。
2026-05-20 cs.AI cs.LG cs.RO
Task-conditioned probing of instruction-tuned multimodal LLMs: Region-specific brain alignment patterns under naturalistic stimuli
Technische Universität Berlin(柏林技术大学);Rice University(Rice 大学);AWS AI Labs, Amazon(Amazon 人工智能实验室);IIT Delhi(德里理工学院);University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Spector Inc(Spector 公司);IIIT-Hyderabad(海得拉巴理工学院);Microsoft(微软)
本研究探讨了指令调制多模态大语言模型在自然主义刺激下的大脑对齐模式,通过比较不同模型在视频和音频任务中的表现,揭示了指令调制对模型表示能力的影响。
2026-05-19 cs.AI cs.CL cs.CV
ReFormBench: Benchmarking the Stability of Response-Conditioned Format Correction in Large Language Models
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);College of Software, Jilin University(吉林大学软件学院);Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd(中国电信人工智能技术(北京)有限公司星辰AGI实验室);BiliBili Inc.(哔哩哔哩股份有限公司);University of Ottawa(渥太华大学);Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Jilin University(吉林大学知识驱动人机智能工程研究中心);International Center of Future Science, Jilin University(吉林大学未来科学国际中心)
研究针对大语言模型响应条件格式修正的稳定性,构建ReFormBench基准,通过TCPR、EMCR指标评估10个模型,发现合规与修正分数排名不同,Qwen3.5-9B经提示优化后指标提升。
2026-10-14 cs.AI
Policy-Guided World Model Planning for Language-Conditioned Visual Navigation
Drexel University(德雷塞尔大学)
本文提出PiJEPA框架,结合学习导航策略与潜在世界模型规划,通过微调Octo策略和冻结预训练视觉编码器,提升语言指导下的视觉导航准确性与指令遵循性。
2026-03-26 cs.AI cs.CL cs.RO
See and Think: Embodied Agent in Virtual Environment
Zhejiang University(浙江大学);University of Washington(华盛顿大学);Hong Kong University of Science and Technology (GZ)(香港科技大学(广州))
针对虚拟环境具身智能体构建需求,提出融合视觉感知、语言推理与代码动作的Minecraft智能体STEVE,配套构建多类型数据集,实验验证其在科技树解锁与方块搜索任务上的速度优势。
2024-07-09 cs.AI
FiLoRA: Focus-and-Ignore LoRA for Controllable Feature Reliance
University of Melbourne, Melbourne, Australia;Brain Science Institute, Korea Institute of Science;Department of Computer Science;Engineering, Korea University, Seoul, Republic of Korea;Division of Bio-Medical Science \& Technology, University of Science;Technology KIST School, Seoul, Republic of Korea
FiLoRA通过指令条件门控实现对多模态模型内部特征依赖的可控调节,提升模型在虚假特征干预下的鲁棒性。
2026-11-11 cs.AI cs.LG
Language-Conditioned World Modeling for Visual Navigation
University of Washington(华盛顿大学);National University of Singapore(新加坡国立大学);Clemson University(克莱姆森大学);Drexel University(德雷塞尔大学);Microsoft Research(微软研究院)
本文研究了基于语言的视觉导航问题,提出LCVN数据集并开发了两种模型家族,通过语言 grounding、未来状态预测和动作生成实现统一任务学习。
2026-10-01 cs.AI cs.CV cs.RO
Language-Conditioned Change-point Detection to Identify Sub-Tasks in Robotics Domains
Arizona State University(亚利桑那州立大学)
提出语言条件下的变化点检测方法,利用语言指令将长机器人轨迹分割为子任务片段,相比基线提升1.78%,并研究了样本复杂度。
2023-09-01 cs.AI cs.CL cs.RO
Layout Generation Agents with Large Language Models
Hitachi, Ltd.(日立公司)
针对3D虚拟空间布局生成效率低、现有方法未利用生成过程信息的问题,提出基于GPT-4V的智能体驱动布局生成系统,可高成功率生成符合指令的虚拟空间,并通过消融实验明确了性能提升的关键要素。
2024-05-13 cs.AI cs.HC
Control-Anchored Residual Flow Matching Conditioned on Gene Geometry for Virtual Cell Perturbation Modeling
East China Normal University(华东师范大学);Peking University(北京大学);University of Science and Technology of China(中国科学技术大学);Nanjing University(南京大学);Shanghai Jiao Tong University(上海交通大学)
该研究提出GeneGeoFlow模型,利用基因本体和控制衍生共表达网络的多尺度谱坐标构建扰动条件基因几何,结合控制锚定残差流与条件最优传输,在虚拟细胞扰动转录响应预测任务中取得优异性能。
2026-08-10 cs.AI q-bio.MN
CodeForge-MA: Execution-Verified Multi-Agent Learning with Language-Conditioned LoRA for Multilingual Code Generation
Northeastern University(东北大学);Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学);University of Southern California(南加州大学)
提出CodeForge-MA框架,通过多智能体数据锻造、执行验证强化微调和语言条件LoRA,提升多语言代码生成性能,实验显示稳健收益。
2026-10-06 cs.AI cs.LG
Language Conditioned Imitation Learning over Unstructured Data
Robotics at Google(谷歌机器人部门)
自然语言可能是人类与机器人交流任务的最灵活和最直观的方式。以前的模仿学习通常要求每个任务都指定一个任务id或目标图像--这在开放世界环境中通常是不切实际的。另一方面,以前的指令遵循方法允许代理行为由语言指导,但通常假设观察,致动器或语言中的结构限制了它们对机器人等复杂设置的适用性。在这项工作中,我们提出了一种方法,将自由形式的自然语言条件反射到模仿学习。我们的方法从像素、自然语言理解和多任务连续控制端到端学习感知,作为一个单一的神经网络。与模仿学习中的先前工作不同,我们的方法能够合并未标记和非结构化的演示数据(即没有任务或语言标签)。我们表明,这大大提高了语言条件的性能,同时降低了语言注释的成本不到总数据的1%。在测试时,用我们的方法训练的单一语言条件视觉策略可以在3D环境中执行各种各样的机器人操作技能,仅用每个任务的自然语言描述(例如,“打开抽屉.现在拿起积木现在按下绿色按钮").为了扩大代理可以遵循的指令数量,我们建议将文本条件策略与大型预训练神经语言模型相结合。我们发现,这使得一个政策是强大的许多出的分布同义词指令,而不需要新的示范。请在language-play.github.io上观看人类向我们的代理输入实时文本命令的视频
2021-07-07 cs.AI cs.CL cs.CV
JEPA-WAM: Connecting Generated Visual Instructions to World Action Models through JEPA Latent Representations
JEPA-WAM通过为文本指令生成多样视觉指令,利用V-JEPA编码器提取任务级语义,提升世界动作模型的指令跟随能力,在真实机器人基准上显著优于现有方法。
2026-09-18 cs.AI cs.RO
LEMMA: Learning Language-Conditioned Multi-Robot Manipulation
Amazon Alexa AI(亚马逊Alexa人工智能)
本文提出语言条件下多机器人操作基准 LEMMA,包含8类程序化任务及专家演示,并设计模块化分层规划基线,以解决任务分配和长时程操作中的强时间依赖挑战。
2023-09-17 cs.AI cs.MA cs.RO
VisIT-Bench: A Benchmark for Vision-Language Instruction Following Inspired by Real-World Use
Hebrew University(希伯来大学);Google Research(谷歌研究院);UCLA(加州大学洛杉矶分校);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);UCSB(加州大学圣塔芭芭拉分校);Stanford(斯坦福大学);LAION
VisIT-Bench是一个包含70个指令族、592个测试查询的视觉语言指令遵循基准,通过人工验证参考和文本LLM自动评估,揭示模型与GPT-4参考间存在显著质量差距。
2023-12-26 cs.AI cs.CL cs.CV
Natural Language Instructions for Scene-Responsive Human-in-the-Loop Motion Planning in Autonomous Driving using Vision-Language-Action Models
University of California, Merced(加州大学默塞德分校)
本研究利用视觉-语言-动作模型,通过指令条件规划提升自动驾驶的鲁棒性和轨迹对齐性能。
2026-02-04 cs.AI cs.CV cs.LG
Intelligent Virtual Assistants with LLM-based Process Automation
Ant Group(蚂蚁集团);Renmin University of China(中国人民大学)
本文提出 LLMPA 虚拟助手架构,利用 LLM 完成指令解析、目标推理与移动应用动作执行,并在 Alipay 中验证多步骤真实任务自动化。
2023-12-04 cs.AI cs.CL cs.LG
Voice2Action: Language Models as Agent for Efficient Real-Time Interaction in Virtual Reality
Cornell Tech(康奈尔科技学院)
针对VR中部署大语言模型智能体存在的交互效率低、3D操作类别复杂的问题,提出Voice2Action框架,通过分层分析语音与文本指令、结合环境反馈实时划分交互任务,在城市工程VR场景中实现了更高效准确的交互效果。
2023-09-29 cs.AI cs.CL cs.HC
Embodied Red Teaming for Auditing Robotic Foundation Models
MIT(麻省理工学院);Amazon(亚马逊公司)
本文提出具身红队测试(ERT)方法,利用视觉语言模型自动生成多样化且具有挑战性的指令,以审计基于语言条件的机器人模型的安全性与任务性能,并揭示了现有基准测试在评估现实世界表现方面的不足。
2025-02-10 cs.AI cs.LG cs.RO
Robotic Skill Acquisition via Instruction Augmentation with Vision-Language Models
Robotics at Google(谷歌机器人部门);University of Toronto(多伦多大学)
本文提出DIAL方法,利用预训练视觉语言模型CLIP的语义理解能力,为大规模未标注机器人演示数据自动生成语言标签,使模仿学习策略能以更低成本获取新能力并泛化至未见指令。
2023-07-01 cs.AI cs.LG cs.RO
VLABench: A Large-Scale Benchmark for Language-Conditioned Robotics Manipulation with Long-Horizon Reasoning Tasks
School of Computer Science, Fudan University(复旦大学计算机科学学院)
针对现有基准无法满足VLAs需求的问题,提出开源基准VLABench,包含100类任务和2000+物体,评估长时序推理与知识迁移能力,并提供高质量训练数据,实验证明当前先进VLAs和VLMs工作流仍面临挑战。
2024-12-24 cs.AI cs.CL cs.CV
ReALFRED: An Embodied Instruction Following Benchmark in Photo-Realistic Environments
Seoul National University(首尔大学);Yonsei University(延世大学)
针对虚拟环境与真实环境差距导致模型难部署的问题,提出基于真实3D场景的ReALFRED基准,扩展ALFRED以缩小视觉域差距,发现现有方法在所有指标上性能均下降,推动更真实的具身指令跟随研究。
2024-07-26 cs.AI cs.RO
CALVIN: A Benchmark for Language-Conditioned Policy Learning for Long-Horizon Robot Manipulation Tasks
University of Freiburg(弗赖堡大学);University of Technology Nuremberg(纽伦堡工业大学)
在环境中与人类共存的通用机器人必须学会将人类语言与其感知和行动联系起来,以便在一系列日常任务中发挥作用。此外,他们还需要掌握各种通用技能,以便通过遵循不受约束的语言指令来完成长期任务。在本文中,我们提出了CALVIN(从语言和视觉组合动作),一个开源的模拟基准学习长期的语言条件任务。我们的目标是开发能够在很长一段时间内解决许多机器人操作任务的代理,从机载传感器,并仅通过人类语言指定。CALVIN任务在序列长度、动作空间和语言方面比现有的视觉和语言任务数据集更复杂,并支持传感器套件的灵活规范。我们评估代理在zero-shot到新的语言指令和新的环境和对象。我们发现,基于多上下文模仿学习的基线模型在CALVIN上表现不佳,这表明开发创新代理人有很大的空间,这些代理人学习将人类语言与他们的世界模型联系起来。
2022-07-13 cs.AI cs.CL cs.CV
Key-Conditioned Orthonormal Transform Gating (K-OTG): Multi-Key Access Control with Hidden-State Scrambling for LoRA-Tuned Models
University of Copenhagen(哥本哈根大学)
K-OTG通过多密钥访问控制与隐藏状态混淆,实现对LoRA微调模型的授权保护,防止未经授权的使用同时保持授权功能的实用性。
2025-12-19 cs.AI cs.CR
InstructVTON: Optimal Auto-Masking and Natural-Language-Guided Interactive Style Control for Inpainting-Based Virtual Try-On
Amazon(亚马逊公司);University of California, Los Angeles (UCLA)(加州大学洛杉矶分校);Duke University(杜克大学)
InstructVTON利用视觉语言模型自动生成掩码,结合自然语言指令实现细粒度风格控制的交互式虚拟试穿,简化用户操作并提升效果。
2025-09-24 cs.AI cs.CV
BEACON: Language-Conditioned Navigation Affordance Prediction under Occlusion
Department of Cognitive Robotics (CoR), Delft University of Technology(认知机器人学系(CoR),代尔夫特理工大学)
BEACON通过融合视觉语言模型与深度信息,提升遮挡区域导航可行性预测的准确性。
2026-03-10 cs.AI cs.CV cs.RO
MENASpeechBank: A Reference Voice Bank with Persona-Conditioned Multi-Turn Conversations for AudioLLMs
Qatar Computing Research Institute(卡塔尔计算研究所)
MENASpeechBank通过合成数据管道生成多轮对话数据,支持音频大语言模型在多样化语音和方言场景中的训练与应用。
2026-09-21 cs.AI cs.CL cs.SD
Few-shot Object Grounding and Mapping for Natural Language Robot Instruction Following
Cornell University(康奈尔大学)
我们研究的问题,学习机器人的政策,遵循自然语言的指令,可以很容易地扩展到新的对象的原因。我们介绍了一个Few-Shot语言条件的对象接地方法训练的增强现实数据,使用范例来识别对象,并将它们与指令中提到的对象对齐。我们提出了一个学习的地图表示,编码对象的位置和它们的指示使用,并从我们的Few-Shot接地输出构建它。我们将这种映射方法集成到一个预防措施,以下政策,从而使它能够在测试时,通过简单地添加样本以前看不见的对象的原因。我们评估的任务,学习映射原始的观察和指示,以连续控制的物理四轴飞行器。我们的方法在存在新对象的情况下显著优于现有技术,即使现有方法在训练期间观察到所有对象。
2020-11-14 cs.AI cs.CL cs.CV
Answer-Conditioned Chains of Thought Degrade Verifiable-Reasoning Distillation in Large Language Models
研究发现大语言模型推理能力蒸馏中,答案条件思维链会降低训练数据质量,导致可验证推理准确性下降,损失随难度增加,机制是从答案反向合理化,危害是数据属性,建议盲目生成答案。
2026-07-17 cs.AI cs.CL
ACCORD: Action-Conditioned Contextual Grounding for Language Agents
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学)
针对用户指令常因隐含环境假设而欠指定,导致LLM智能体执行失败的问题,提出ACCORD框架,在每次动作前主动探测缺失信息并整合轨迹上下文,无需额外训练,在AppWorld和AlfWorld上显著提升任务完成率。
2026-06-16 cs.AI cs.CL
Multiverse: Language-Conditioned Multi-Game Level Blending via Shared Representation
Gwangju Institute of Science and Technology (GIST)(光州科学技术院);Dongguk University(东国大学)
本文提出多宇宙模型,通过共享表示实现跨游戏关卡融合,利用文本指令与关卡结构对齐的潜在空间,结合多正对比监督提升多游戏关卡生成的可控性和质量。
2026-03-31 cs.AI cs.LG
Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor
Tel Aviv University(特拉维夫大学);Meta AI
指令微调使预训练的语言模型能够从推理时间自然语言描述执行新任务。这些方法依赖于以众包数据集或用户交互形式存在的大量人类监督。在这项工作中,我们介绍了不自然的指令:一个创造性和多样化的指令的大型数据集,几乎没有人工劳动。我们收集了64,000个例子,通过提示一个语言模型,其中有三个种子指令示例,并引出第四个。然后,通过提示模型重新表述每个指令来扩展该集合,从而创建总共约240,000个指令、输入和输出的示例。实验表明,尽管包含相当数量的噪声,但在非自然指令上进行的训练与在开源手动管理的数据集上进行的训练的有效性相媲美,在各种基准测试中超过了T0++和Tk-Instruct等模型的性能。这些结果表明,模型生成的数据作为一种具有成本效益的替代众包数据集扩展和多样化的潜力。
2022-12-19 cs.AI cs.CL cs.LG