Instruction-Tuned Models Locally Produce More Syntactic Overlap -- But Not More Conditional Reuse -- Than Humans Do
University of Oxford(牛津大学)
研究大语言模型是否像人类一样句法趋同,通过替换范式数据在多个模型测量CFG规则复用。发现各模型与前一轮人类话语规则重叠多,指令微调模型有特点,还在词汇和语义相似度上有表现,揭示了模型在句法复用方面与人类的异同。
2026-11-03 cs.CL
Finetuning LLMs for Comparative Assessment Tasks
ALTA Institute, University of Cambridge(剑桥大学ALTA研究所)
本文提出一个面向比较评估任务的LLMs微调框架,通过在软概率上训练使模型输出与目标分布对齐,在保持高效子集比较性能的同时提升了最先进水平。
2024-09-24 cs.CL
Can Large Language Models Match Tutoring System Adaptivity? A Benchmarking Study
Carnegie Mellon University(卡内基梅隆大学)
本文通过提示变体框架在75个真实导学场景中评测Llama3-8B、Llama3-70B和GPT-4o的教学适应性,发现当前LLM难以匹敌智能导学系统的适应性,并开源了可复现的评测方法。
2025-04-07 cs.CL
Zero-shot and Few-shot Learning with Instruction-following LLMs for Claim Matching in Automated Fact-checking
Queen Mary University of London(伦敦玛丽女王大学)
本研究首次探索基于遵循指令的LLM的零样本和少样本学习方法,通过将其视为二分类任务并利用自然语言推理等成熟任务,解决自动事实核查中的声明匹配问题,同时发布了新数据集ClaimMatch及评估流程。
2025-02-28 cs.AI cs.CL
Prompt-MII: Meta-Learning Instruction Induction for LLMs
Carnegie Mellon University(卡内基梅隆大学);Language Technologies Institute(语言技术研究所)
本文提出基于强化学习的元学习框架PROMPT-MII,通过归纳紧凑指令替代上下文学习,在大幅降低token消耗的同时保持或提升了LLMs在新任务上的性能。
2025-10-31 cs.CL
Metric Calculating Benchmark: Code-Verifiable Complicate Instruction Following Benchmark for Large Language Models
Korea University(高丽大学)
本文提出MCBench基准,通过可代码验证的逐步指令执行字符串匹配指标,客观评估大语言模型的复杂指令遵循能力,并提供三个评估指标和三个变体。
2025-10-09 cs.CL
From Instance Training to Instruction Learning: Task Adapters Generation from Instructions
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent(腾讯);Unisound(云知声)
本文提出TAGI框架,依据任务指令以参数生成方式构建任务适配器,并通过知识蒸馏与两阶段超网络训练实现跨任务泛化,在多个基准上以更低计算成本匹敌或超越元学习及超网络基线。
2025-02-18 cs.CL
IFMTBench: A Comprehensive Benchmark for Multilingual Translation Instruction Following
Large Language Model Department, Tencent(腾讯大语言模型部)
提出IFMTBench基准,涵盖7种语言、4506个单约束和2838个多约束项,通过确定性检查器和基于LLM的评分器评估翻译指令遵循能力,揭示指令遵循随模型规模增长快于翻译质量,且术语表和结构化格式约束难度最高。
2026-05-27 cs.CL
BLEUBERI: BLEU is a surprisingly effective reward for instruction following
University of Maryland, College Park(马里兰大学学院公园分校)
本文提出BLEUBERI方法,利用BLEU作为奖励函数进行组相对策略优化,证明其在指令遵循任务上可与奖励模型对齐效果媲美,且更经济、更具事实依据。
2025-10-24 cs.AI cs.CL cs.LG
ADAPT: Learning Task Mixtures for Budget-Constrained Instruction Tuning
Lingo Research Group, Indian Institute of Technology Gandhinagar(林戈研究组,印度理工学院冈德hinagar分校);Soket AI(Soket人工智能)
ADAPT通过学习任务采样比例优化预算受限的指令微调,提升下游任务性能并更高效地分配训练资源。
2025-12-04 cs.CL
JMedLoRA:Medical Domain Adaptation on Japanese Large Language Models using Instruction-tuning
Graduate School of Medicine(医学研究生院)
本文提出JMedLoRA,通过基于LoRA的指令微调将日语大语言模型适配到医学问答领域,采用精确匹配、格式塔距离等多维度评估,证明该方法能部分注入领域知识且大模型效果更显著,同时展示了英语中心模型向日语适配的潜力与日语中心模型的局限。
2023-12-01 cs.CL
SOCIALITE-LLAMA: An Instruction-Tuned Model for Social Scientific Tasks
Stony Brook University(石溪大学);JP Morgan Chase(摩根大通);Bloomberg(彭博公司);Preferabli(普雷费布利公司);University of Pennsylvania(宾夕法尼亚大学);National Institute of Health(美国国立卫生研究院);Grammarly(grammarly公司)
本文提出指令调优模型Socialite-Llama,在20个社会科学NLP任务上超越基线Llama,并在多数任务上匹配或超越最先进多任务微调模型,证明指令调优能提升社会领域理解能力。
2024-03-14 cs.CL
Instruction Tuned Models are Quick Learners
Arizona State University(亚利桑那州立大学);Microsoft Research(微软研究院)
本研究验证了指令微调模型的样本效率,发现在单任务与多任务设置下,仅需少量下游训练数据即可达到甚至超越当前最优监督模型性能,同时也指出了部分任务类别受指令微调负面影响的现象。
2023-05-17 cs.CL
Transferable text data distillation by trajectory matching
Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出基于轨迹匹配的文本数据蒸馏方法,通过合成伪提示数据并匹配最近邻实现跨架构迁移,在ARC-Easy和MMLU基准上优于SOTA数据选择方法LESS,并展现出从OPT到Llama的良好可迁移性。
2025-04-24 cs.CL
Psychometric Predictive Power of Large Language Models
MBZUAI(穆罕默德·本·扎耶德人工智能大学);The University of Tokyo(东京大学);The University of Melbourne(墨尔本大学)
该研究从认知建模角度发现,指令调优未提升大语言模型模拟人类阅读行为的表现,特定提示虽能改善其心理测量预测能力但仍不及小型基础模型,纯下一词概率仍是人类阅读行为的强预测因子。
2024-04-15 cs.AI cs.CL
Capability Instruction Tuning: A New Paradigm for Dynamic LLM Routing
School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
提出能力指令调优新范式,通过构建能力指令和模型能力编码器,实现无需候选推理的动态LLM路由,达到最先进性能。
2025-02-24 cs.AI cs.CL cs.LG
Privacy-Preserving Instructions for Aligning Large Language Models
Sun Yat-sen University(中山大学);Google Research(谷歌研究院)
针对用户指令人工标注带来的隐私风险,本文提出用私有微调生成器产生具有差分隐私保证的合成指令,并通过分布匹配过滤保持效用,实验表明其可媲美真实指令且优于 Vicuna。
2024-07-02 cs.CL cs.CR
DynamixSFT: Dynamic Mixture Optimization of Instruction Tuning Collections
University of Michigan(密歇根大学);Microsoft Research(微软研究院);KAIST AI(韩国科学技术院人工智能研究所);Drexel University(德雷塞尔大学)
针对不断涌现的指令微调数据集,提出DynamixSFT动态自动优化方法。将问题转化为多臂老虎机设置,采用Prior-scaled Boltzmann Exploration和1-Step Look-ahead Reward更新采样概率,有效优化数据集并减少计算开销。
2026-07-07 cs.AI cs.CL cs.LG
Are You Sure You're Sure? On the Impact of Instruction Tuning on Confidence and Lexical Diversity
Cohere Labs(Cohere实验室);Laboratoire Hubert Curien(于贝尔·居里实验室);Bennett University(班尼特大学);Western University(西安大略大学)
本文研究指令微调对语言模型置信度与生成理由词汇多样性的影响,发现指令微调虽小幅降低校准度但显著改变置信度,且对理由多样性的影响存在差异,二者是指令微调的不同效应。
2026-09-21 cs.AI cs.CL
ICR-Drive: Instruction Counterfactual Robustness for End-to-End Language-Driven Autonomous Driving
Texas Tech University(德克萨斯科技大学);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心(BCAI))
提出ICR-Drive框架,通过生成四类扰动指令(改写、歧义、噪声、误导)并基于CARLA仿真评估,揭示语言条件驾驶模型对指令变化的脆弱性。
2026-04-07 cs.CL cs.CV
ToolPlanner: A Tool Augmented LLM for Multi Granularity Instructions with Path Planning and Feedback
XiaoMi AI Lab(小米AI实验室)
针对工具增强LLM训练指令与真实场景脱节、交互过程难遵循指令的问题,该研究构建MGToolBench多粒度指令数据集,提出带路径规划与双反馈的两阶段强化学习框架ToolPlanner,显著提升了多项性能指标。
2024-11-04 cs.AI cs.CL
Zero-Shot Classification of Crisis Tweets Using Instruction-Finetuned Large Language Models
Computer Science Department Georgia State University(计算机科学系乔治亚州立大学);Disaster Relief Systems MIT Lincoln Laboratory(灾难救援系统麻省理工学院林肯实验室)
本文评估GPT-4o、Gemini和Claude在CrisisBench危机推文上的零样本双任务分类能力,发现提示信息对不同任务效果不同且性能随数据集显著变化。
2024-09-30 cs.AI cs.CL
Controllable Text Generation in the Instruction-Tuning Era
Carnegie Mellon University(卡内基梅隆大学);School of Computer Science(计算机科学学院)
本文发布ConGenBench测试平台,发现提示方法在指令微调语言模型上优于传统可控生成方法,并提出自动生成约束数据集的算法以扩展可控性研究范围。
2024-05-02 cs.AI cs.CL
SemiAdapt-Instruct: Extensible Instruction Tuning via Latent Domain-Specialised Adapters
University of Limerick(利默里克大学)
SemiAdapt-Instruct是一种模块化指令微调框架,可发现潜在指令领域并训练对应LoRA适配器,无需全模型微调即可扩展,性能优于全模型微调且具备整体方法无法实现的可扩展性。
2026-08-07 cs.CL cs.LG
FineInstructions: Scaling Synthetic Instructions to Pre-Training Scale
University of Pennsylvania(宾夕法尼亚大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
研究针对大语言模型监督训练数据有限的问题,提出将互联网规模预训练文档知识转化为合成指令和答案训练对的程序,生成FineInstructions数据集,经实验验证该方法在预训练中表现优于其他技术。
2026-08-03 cs.CL cs.LG
Instruction Following by Principled Boosting Attention of Large Language Models
University of Pennsylvania(宾夕法尼亚大学)
本文提出InstABoost方法,通过提升指令相关注意力来增强指令遵循,避免了其他方法的缺陷,提升了指令引导与任务相关上下文的平衡。
2026-03-26 cs.AI cs.CL cs.LG
Instruction Complexity Induces Positional Collapse in Adversarial LLM Evaluation
Independent Researcher(独立研究者)
研究探讨指令复杂性如何影响对抗性LLM评估中的位置崩溃现象,通过六种条件对抗性指令梯度测试,发现不同指令类型导致不同的响应分布和内容参与度,揭示了指令复杂性对响应机制的影响。
2026-04-29 cs.AI cs.CL
HIGhER : Improving instruction following with Hindsight Generation for Experience Replay
Université de Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);DeepMind(深度思考);Google Research(谷歌研究院)
语言创造了世界的紧凑表示,并允许通过组合性描述无限的情况和目标。虽然这些特征可以促进指示,调节或结构化交互式代理行为,但即使在简单的指令遵循场景中,正确地将语言理解和强化学习联系起来仍然是一个开放的问题。这种联合学习问题可以通过专家演示、辅助损失或神经归纳偏差来缓解。在本文中,我们提出了一种正交的方法,称为经验重放(HIGH HER)的后见之明生成扩展后见之明经验重放(HER)的方法,以语言为条件的政策设置。每当智能体没有完成它的指令时,HIGHER就会学习输出一个与智能体轨迹相匹配的新指令,并用积极的奖励重新标记该事件。为了做到这一点,HIGHER通过使用过去的成功轨迹来学习将状态映射到指令中,这消除了需要外部专家干预来重新标记事件的需要,就像在香草HER.We显示了我们的方法在BabyAI环境中的效率,并演示了它如何补充其他指令遵循方法。
2020-12-10 cs.CL cs.LG stat.ML
NavRAG: Generating User Demand Instructions for Embodied Navigation through Retrieval-Augmented LLM
School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);School of Computing, National University of Singapore(新加坡国立大学计算机学院);College of Information Science and Technology, Beijing University of Chemical Technology(北京化工大学信息科学与技术学院)
NavRAG提出检索增强生成框架,通过构建分层场景描述树并模拟多样用户角色,为视觉-语言导航自动生成超过200万条用户需求指令,以降低数据标注成本并提升导航模型性能。
2025-03-07 cs.AI cs.CL cs.CV
Interpreting User Requests in the Context of Natural Language Standing Instructions
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Microsoft Semantic Machines(微软语义机器)
针对自然语言界面用户需重复偏好的问题,提出将长期指令作为对话建模额外语境的方法,构建覆盖17领域的NLSI数据集,实验显示API预测最高精确匹配率44.7%,凸显相关挑战。
2024-03-07 cs.AI cs.CL
When Verifiable Counts Depend on Wording: Auditing Wording Robustness in Instruction Following
Marquette University(马凯特大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);Georgia Tech(佐治亚理工学院);Cornell University(康奈尔大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校);Hikvision(海康威视)
本研究提出WISE评估套件,审计指令遵循模型对措辞变化的鲁棒性,发现仅改变措辞即可显著影响合规性、模型排名及稳定性。
2026-10-06 cs.AI cs.CL
Recommendation as Instruction Following: A Large Language Model Empowered Recommendation Approach
Renmin University of China(中国人民大学);Tencent(腾讯)
本文提出将推荐视为大语言模型的指令遵循,通过指令微调开源LLM(3B Flan-T5-XL),设计39个模板并生成252K条指令数据,在多个推荐任务上超越包括GPT-3.5在内的基线,实现更自然的用户交互推荐。
2023-05-11 cs.CL cs.IR
Uncertainty-Aware Gradient Signal-to-Noise Data Selection for Instruction Tuning
Alibaba Cloud Computing(阿里巴巴云 computing);The University of Edinburgh(爱丁堡大学)
GRADFILTERING通过利用GPT-2代理和LoRA集成,提出了一种考虑不确定性的数据选择方法,以提高指令微调的效率和效果。
2026-01-20 cs.AI cs.CL cs.LG
The Confident Liar: Diagnosing Multi-Agent Debate with Log-Probabilities and LLM-as-Judge
University of California, Irvine(加州大学伊文斯分校)
研究多智能体辩论中令牌级对数概率、LLM评判分数与任务准确性的关系,发现信心与推理质量在构造者上关联更强,且信心可检测关键推理失败。
2026-06-09 cs.AI cs.CL
TRIM: Token-wise Attention-Derived Saliency for Data-Efficient Instruction Tuning
Electrical and Computer Engineering, Purdue University(普渡大学电子与计算机工程系)
TRIM通过令牌层面的注意力分析提升数据效率,利用少量高质量样本构建指令微调数据集,显著优于现有方法,在部分任务中甚至超越全数据微调。
2026-05-14 cs.CL cs.LG
Towards Visual-Prompt Temporal Answering Grounding in Medical Instructional Video
College of Electrical and Information Engineering, Hunan University(湖南大学电气与信息工程学院)
针对医学教学视频中时间答案定位任务,提出视觉提示文本跨度定位方法,利用带时间戳字幕和视觉高亮特征,在MedVidQA上以mIOU提升28.36%超越现有方法。
2022-03-29 cs.AI cs.CL cs.CV
Pragmatic Instruction Following and Goal Assistance via Cooperative Language-Guided Inverse Planning
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
针对模糊指令下的智能体辅助问题,提出贝叶斯架构 CLIPS,联合语言与行动推断人类目标并最小化预期达成成本,在两个规划领域显著优于基线并接近人类判断。
2024-02-27 cs.AI cs.CL cs.LG
MM-Instruct: Generated Visual Instructions for Large Multimodal Model Alignment
CUHK MMLab(香港中文大学多媒体实验室);Waseda University(早稻田大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);SenseTime Research(商汤科技研究院);Shanghai AI Laboratory(上海人工智能实验室);CPII under InnoHK(创新香港旗下的CPII机构)
本文提出MM-Instruct数据集,利用LLM从图像描述数据生成多样化视觉指令,并训练LLaVA-Instruct模型显著提升多模态模型的指令遵循能力。
2024-06-28 cs.AI cs.CL cs.CV
LINGUIST: Language Model Instruction Tuning to Generate Annotated Utterances for Intent Classification and Slot Tagging
Amazon(亚马逊)
我们提出了LINGUIST,一种用于生成意图分类和插槽标记(IC+ST)的注释数据的方法,通过微调AlexaTM 5B,一个50亿参数的多语言序列到序列(seq2seq)模型,在灵活的指令提示符上。在SNIPS数据集的10次新意图设置中,LINGUIST大大超过了最先进的方法(反向翻译和示例外推),显示出目标意图的绝对改善,IC回忆为+1.9分,ST F1分数为+2.5分。在mATIS++数据集的zero-shot跨语言设置中,LINGUIST在6种语言的ST F1评分上的表现超过了具有插槽对齐的机器翻译的强基线,绝对值为+4.14分,同时匹配IC的性能。最后,我们验证了我们的结果在内部大规模的多语言数据集的会话代理IC+ST,并显示出显着的改善基线,使用回译,释义和插槽目录回复。据我们所知,我们是第一个演示大规模seq2seq模型的指令微调,以控制多语言意图和插槽标记数据生成的输出。
2022-09-20 cs.AI cs.CL cs.LG
Attention Instruction: Amplifying Attention in the Middle via Prompting
University of Cambridge(剑桥大学);University of Glasgow(格拉斯哥大学)
本文提出通过提示扩充注意力指令以缓解大语言模型的位置偏差,发现模型缺乏相对位置感知能力,但能利用匹配索引将注意力调整至特定片段,从而提升RAG应用中的信息利用率。
2024-06-24 cs.CL
INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval
National Taiwan University(台湾大学);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(台湾大学人工智能卓越研究中心)
研究针对现有语音检索系统无法适配多样用户意图的问题,构建首个指令感知语音检索基准INSPIRE,评估四类检索范式,发现当前无方法能稳健处理所有检索意图,凸显统一架构的必要性。
2026-08-18 cs.CL cs.SD eess.AS
Talk2Nav: Long-Range Vision-and-Language Navigation with Dual Attention and Spatial Memory
ETH Zurich(苏黎世联邦理工学院);K.U Leuven(鲁汶大学)
机器人在社会中的作用不断扩大,带来了与人类互动和交流的必要性。为了保持这种交互的直观性,我们提供了基于口头导航指令的自动寻路。我们的第一个贡献是创建了一个带有口头导航指令的大规模数据集。为此,我们开发了一个基于谷歌街景的交互式视觉导航环境;我们进一步设计了一种注释方法,以突出挖掘锚地标和它们之间的本地方向,以帮助注释者制定典型的,人类的参考。注释任务在AMT平台上众包,以构建具有$10,714$路线的新Talk 2Nav数据集。我们的第二个贡献是一种新的学习方法。灵感来自空间认知研究的心理概念化的导航指令,我们引入了一个软的双重注意力机制定义的分割语言指令,共同提取两个部分指令-一个用于匹配下一个即将到来的视觉地标和其他地方的方向匹配到下一个地标。在类似的线路上,我们还引入了空间记忆方案来编码局部方向转换。我们的工作利用了两条研究路线的进展:口头导航指令的心理形式化和自动寻路训练神经网络代理。大量的实验表明,我们的方法显着优于以前的导航方法。有关演示视频,数据集和代码,请参阅我们的项目页面:https://www.trace.ethz.ch/publications/2019/talk2nav/index.html
2020-10-22 cs.CL cs.CV cs.RO
NavComposer: Composing Language Instructions for Navigation Trajectories through Action-Scene-Object Modularization
Department of Control Science and Engineering, Tongji University(控制科学与工程系,同济大学)
针对语言导航指令数据不足且质量欠佳的问题,提出NavComposer框架,通过模块化分解与重组动作、场景和对象等语义实体自动生成高质量指令,并引入免标注评估系统NavInstrCritic,实现可扩展且通用的指令生成与评估。
2025-07-15 cs.AI cs.CL cs.CV
Induce, Edit, Retrieve: Language Grounded Multimodal Schema for Instructional Video Retrieval
University of Pennsylvania(宾夕法尼亚大学)
模式是复杂任务的结构化表示,可以通过允许模型将复杂任务分解为中间步骤来帮助人工智能。我们提出了一种新的系统,诱导图式从网络视频和概括他们捕捉看不见的任务,以提高视频检索性能的目标。我们的系统分为三个主要阶段:(1)给定一个具有相关视频的任务,我们使用联合视频-文本模型为任务构建一个初始模式,以将视频片段与wikiHow中的文本表示步骤相匹配;(2)我们通过利用语言模型编辑现有模式中的文本,将模式推广到看不见的任务。通过泛化,我们可以让我们的模式,以少量的学习数据,以涵盖更广泛的任务;(3)我们进行zero-shot教学视频检索与看不见的任务名称作为查询。我们的模式引导的方法优于现有的方法进行视频检索,我们证明了我们的系统诱导的模式比其他模型产生的更好。
2021-11-17 cs.CL cs.CV
Same Payload, Different Channel: Measuring Trust Asymmetry in Tool-Using Language Models
University of Arizona(亚利桑那大学)
本研究提出安全不对称分数(SAS),通过匹配恶意载荷仅改变传递上下文,系统测量了语言模型在不同通道(用户消息、工具元数据、工具输出)中对对抗性内容的脆弱性差异,发现代理原生模型在工具描述通道更脆弱,而通用模型相反,且机制研究表明安全相关表示在深层网络非线性编码。
2026-08-25 cs.CL cs.CR cs.LG
Object-and-Action Aware Model for Visual Language Navigation
The University of Adelaide(阿德莱德大学);Harbin Institute of Technology, Weihai(哈尔滨工业大学(威海));Aipixel Inc.(Aipixel 公司)
视觉和语言导航(VLN)的独特之处在于,它需要在可视环境的基础上将相对通用的自然语言指令转化为机器人代理动作。这需要从两种截然不同的自然语言信息中提取价值。第一个是对象描述(例如,“桌子”,“门”),每个呈现为代理通过找到环境中可见的项目来确定下一个动作的提示,第二个是动作规范(例如,“直行”、“左转”),这允许机器人直接预测接下来的运动,而不依赖于视觉感知。然而,大多数现有的方法很少注意区分这些信息彼此在指令编码和混合在一起的文本对象/动作编码和视觉感知/候选视点的方向特征之间的匹配。在本文中,我们提出了一个对象和动作感知模型(OAAM),分别处理这两种不同形式的基于自然语言的指令。这使得每个过程能够灵活地将以对象为中心/以动作为中心的指令与其对应的视觉感知/动作取向相匹配。然而,由上述解决方案引起的一个附带问题是,指令中提到的对象可能在两个或更多个候选视点的方向上被观察到,因此0AAM可能不会将最短路径上的视点预测为下一动作。为了解决这个问题,我们设计了一个简单但有效的路径损耗来惩罚偏离地面真实路径的轨迹,实验结果证明了所提出的模型和路径损耗的有效性,以及它们在未知环境中与R2 R数据集上的50%SPL分数和R4 R数据集上的40%CLS分数相结合的优越性,优于以前的最先进技术。
2020-07-29 cs.CL cs.CV
Reference Wording Shapes Retrieval of Robot Task Instructions
本研究以RLBench操作基准为对象,探究参考措辞对机器人任务指令检索的影响,对比5种无训练词汇排序器,发现字符n-gram TF-IDF表现最优,添加索引描述可提升检索准确率。
2026-10-14 cs.AI cs.CL cs.IR
Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vision-Language Navigation
University of California, Santa Barbara(加州大学圣巴巴拉分校);Microsoft Research, Redmond(微软研究院雷德蒙德分院);Duke University(杜克大学)
视觉语言导航(VLN)是在真实的3D环境中导航一个具体的智能体执行自然语言指令的任务。在本文中,我们研究如何解决这一任务的三个关键挑战:跨模态接地,不适定反馈,泛化问题。首先,我们提出了一种新的增强跨模态匹配(RCM)方法,通过强化学习(RL)在局部和全局上强制跨模态接地。特别地,匹配评论家用于提供内在奖励以鼓励指令和轨迹之间的全局匹配,并且推理导航器用于在局部视觉场景中执行跨模态接地。在VLN基准数据集上的评估表明,我们的RCM模型在SPL上的性能明显优于以前的方法10%,并达到了新的最先进的性能。为了提高学习策略的泛化能力,我们进一步引入了一种自监督模仿学习(SIL)方法,通过模仿自己过去的好决策来探索未知的环境。我们证明,SIL可以近似一个更好,更有效的政策,这极大地减少了成功率的性能差距之间的可见和不可见的环境(从30.7%到11.7%)。
2019-04-06 cs.AI cs.CL cs.CV
Alignment Is All You Need: Instruction-Free Training for General Audio-Language Models
Zhejiang University(浙江大学);Tencent Hunyuan(腾讯混元)
该研究提出仅对齐的无指令大音频-语言模型LALM,仅训练轻量投影器,在多模态数据集上用更少数据达到或优于基线,证明仅靠对齐即可构建有竞争力的多模态大语言模型。
2026-08-20 cs.CL cs.SD eess.AS