Phase Diagram of Vision Large Language Models Inference: A Perspective from Interaction across Image and Instruction
Japan Advanced Institute of Science and Technology(日本先进科学研究院);RIKEN(日本资源技术研究所)
本文通过测量不同模态 token 隐状态间的上下文化,揭示 VLLMs 沿 Transformer 深度推理时经历对齐、模态内编码、模态间编码和输出准备四阶段动态。
2025-05-15 cs.CL
Fuzzy, Symbolic, and Contextual: Enhancing LLM Instruction via Cognitive Scaffolding
Department of Computer Science University of Regina(计算机科学系 皇家大学)
该研究探究提示层归纳偏置对大语言模型教学对话认知行为的影响,提出搭配短期记忆模式的符号支架方法,经消融实验验证完整系统优于基线,证明认知支架可有效塑造LLM的教学策略。
2025-10-29 cs.AI cs.CL
CIMR: Contextualized Iterative Multimodal Reasoning for Robust Instruction Following in LVLMs
Singapore Institute of Management(新加坡管理学院)
针对大视觉语言模型难处理复杂多步多模态指令的问题,提出带上下文感知迭代推理与自校正模块的CIMR框架,在新MAP数据集上准确率达91.5%,优于多款主流模型。
2025-07-22 cs.CL cs.LG
Tuna: Instruction Tuning using Feedback from Large Language Models
Singapore University of Technology and Design(新加坡科技设计大学);Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学)
本文提出Tuna模型,通过概率排序和上下文排序方法对指令微调后的LLM进行微调,以增加生成更好响应的可能性,在多个基准测试中持续提升性能并超越强化学习基线。
2023-10-20 cs.CL cs.LG
Know the Unknown: An Uncertainty-Sensitive Method for LLM Instruction Tuning
The Hong Kong University of Science and Technology(香港科学与技术大学)
针对LLM难以承认知识局限的问题,提出不确定性敏感的两阶段微调方法US-Tuning,增强知识边界识别与指令遵循,显著减少幻觉,并在Llama2-7B上超越GPT-4。
2025-05-29 cs.CL
In-Context Probing: Toward Building Robust Classifiers via Probing Large Language Models
ETH Zurich(苏黎世联邦理工学院);Google DeepMind(谷歌DeepMind)
本文提出上下文探测(ICP)方法,通过探测指令上下文化的表示来预测标签,相比上下文学习对指令变化更稳健,性能可与微调媲美,尤其适合小模型和少量训练数据场景。
2023-12-22 cs.CL
IterSelectTune: An Iterative Training Framework for Efficient Instruction-Tuning Data Selection
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院)
本文提出IterSelectTune迭代训练框架,在几乎不依赖人工和GPT-4的情况下,仅用约20%源数据选择高质量指令数据,并在多个基准上超越全量数据微调效果,从而降低指令微调的计算成本。
2024-10-17 cs.CL
MISAR: A Multimodal Instructional System with Augmented Reality
University of Rochester(罗切斯特大学)
本研究提出MISAR系统,利用大型语言模型整合视觉、听觉和情境多模态信息,通过第一人称视频和语音分析解决AR中的任务表现量化挑战,提升了状态估计能力,推动更具适应性的AR系统发展。
2023-10-18 cs.CL cs.CV
Dancing in Chains: Reconciling Instruction Following and Faithfulness in Language Models
AWS AI Labs(亚马逊云科技人工智能实验室);Google(谷歌公司);Stanford University(斯坦福大学);Samaya AI(Samaya人工智能公司);Orby AI(Orby人工智能公司);NVIDIA(英伟达公司)
本文揭示了语言模型中指令遵循与忠实性之间的权衡,并提出基于拒绝采样的持续自指令微调方法ReSet,以更少的高质量数据显著优于普通多任务学习。
2024-07-31 cs.CL
A Taxonomy of Errors in English as she is spoke: Toward an AI-Based Method of Error Analysis for EFL Writing Instruction
DongA University(东亚大学)
本研究提出一种基于AI的英语写作错误分析系统,利用大型语言模型对写作错误进行分类和纠正,展示AI在EFL教学中的潜力。
2025-11-29 cs.CL
Context-Aware Neural Gradient Mapping for Fine-Grained Instruction Processing
该论文提出上下文感知神经梯度映射框架,通过将上下文嵌入融入梯度调整机制,实现细粒度指令处理,提升泛化能力、鲁棒性和计算效率。
2025-04-24 cs.AI cs.CL
COSMIC: Data Efficient Instruction-tuning For Speech In-Context Learning
Microsoft(微软)
本文提出COSMIC多模态LLM,通过GPT-3.5从语音转写生成SQA对进行数据高效指令微调,以少量参数和450小时英语语音数据获得指令遵循与上下文学习能力,并提升翻译、跨域适配和上下文偏置ASR性能。
2024-06-14 cs.AI cs.CL eess.AS
SFR-RAG: Towards Contextually Faithful LLMs
Salesforce AI Research(Salesforce AI研究院)
该研究提出聚焦上下文忠实生成、减少幻觉的小型指令微调模型SFR-RAG,搭配统一评估框架ContextualBench,以更少参数量在多项RAG基准上取得SOTA,且通用任务表现具竞争力。
2024-09-16 cs.AI cs.CL
In-Context Examples Matter: Improving Emotion Recognition in Conversation with Instruction Tuning
Hefei University of Technology(合肥工业大学);Zhengzhou University(郑州大学)
本文提出单阶段上下文指令微调框架InitERC,通过上下文示例学习说话人、上下文与情感的对齐,在三个数据集上显著超越现有基线。
2025-08-16 cs.CL
Role-aware Heuristic Episodic Attention for Conversational LLMs
National Key Laboratory of Parallel and Distributed Computing(平行与分布式计算国家重点实验室);College of Computer Science and Technology(计算机科学与技术学院);National University of Defense Technology(国防科学技术大学)
Rhea通过角色意识启发式片段注意力框架,有效缓解多轮对话中上下文衰减问题,提升对话模型的准确性和指令一致性。
2026-10-27 cs.CL
PersoDPO: Scalable Preference Optimization for Instruction-Adherent, Persona-Grounded Dialogue via Multi-LLM Evaluation
School of Computing, Macquarie University(计算机学院,麦考瑞大学)
PersoDPO通过多LLM评估实现可扩展的偏好优化,提升对话系统的人格导向和上下文连贯性。
2026-02-04 cs.CL cs.HC
M-DaQ: Retrieving Samples with Multilingual Diversity and Quality for Instruction Fine-Tuning Datasets
Huawei Technologies Ltd.(华为技术有限公司);University of Science and Technology of China(中国科学技术大学)
M-DaQ通过联合优化指令-响应质量与跨语言语义多样性,构建高质量平衡训练数据,验证了多语言设置下的Superficial Alignment Hypothesis,并在18种语言上展示出超过60%的胜率。
2026-04-30 cs.CL
Understanding the Interplay between Parametric and Contextual Knowledge for Large Language Models
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of Arizona(亚利桑那大学)
本文研究了大型语言模型中参数化知识与上下文知识间的动态交互,将其关系分为四类,并引入ECHOQA基准。研究发现,当存在上下文信息时,LLMs倾向于抑制内部参数化知识,即使该信息无关或互补,这揭示了模型在知识密集型任务中的可靠性隐患。
2024-10-10 cs.CL
sPhinX: Sample Efficient Multilingual Instruction Fine-Tuning Through N-shot Guided Prompting
Microsoft Corporation(微软公司);Harvard University(哈佛大学);Adobe Research(Adobe研究);MBZUAI University(MBZUAI大学);Hippocratic AI;Meta AI
本文提出sPhinX多语言指令微调数据集构建方法及LANGIT的N-shot引导策略,显著提升Mistral-7B和Phi-3-Small在多语言基准上的性能,同时保持英语能力且无灾难性遗忘。
2025-06-18 cs.CL
SearchInstruct: Enhancing Domain Adaptation via Retrieval-Based Instruction Dataset Creation
Iran University of Science and Technology(伊朗科学技术大学);University of Tehran(塔里哈大学)
本文提出SearchInstruct方法,通过检索领域相关资源并利用LLM扩展问题,构建高质量SFT指令数据集,显著提升了模型在特定领域的性能并支持模型编辑任务。
2025-09-12 cs.CL
Continual Learning for Instruction Following from Realtime Feedback
University of California, Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
提出利用协作交互中的实时二元反馈、通过contextual bandit持续训练指令遵循智能体的方法,数千次人机交互显示准确率绝对提升15.4%,且反馈信号接近监督演示数据。
2023-12-05 cs.AI cs.CL cs.LG
CAPITU: A Benchmark for Evaluating Instruction-Following in Brazilian Portuguese with Literary Context
Maritaca AI;Jusbrasil
CAPITU基准通过八部巴西文学经典作品背景,结合可验证指令约束与文化内容,评估LLM在巴西葡萄牙语中的指令遵循能力,测试18种前沿模型,揭示多轮对话中约束持久性差异及形态学约束等挑战。
2026-03-23 cs.CL
BrailleLLM: Braille Instruction Tuning with Large Language Models for Braille Domain Tasks
Zhejiang Key Laboratory of Accessible Perception and Intelligent Systems, Zhejiang University(浙江无障碍感知与智能系统重点实验室,浙江大学);Alibaba Group(阿里巴巴集团);Worcester Polytechnic Institute(沃斯特理工学院);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and DataSecurity(杭州高新技术区(滨江)区块链与数据安全研究院)
针对盲文信息处理数据稀缺、传统微调效果差的问题,构建含数学公式的中英文盲文混合数据集,提出句法树数据增强方法与盲文知识微调(BKFT),基于指令微调开发BrailleLLM,实现多类盲文任务性能提升,为低资源多语言盲文研究奠基。
2025-10-21 cs.CL
Knowledge-Instruct: Effective Continual Pre-training from Limited Data using Instructions
Microsoft(微软)
本文提出Knowledge-Instruct方法,通过纯指令微调从有限数据中高效注入新知识,在保持通用推理能力的同时减少灾难性遗忘,并发布新数据集Companies验证知识注入效果。
2025-04-08 cs.AI cs.CL
StochasT: Learning with Stochastic Turn Depth for Visual Instruction Tuning
Boston University(波士顿大学);Rutgers University(罗格斯大学)
针对视觉指令微调中多轮训练与单轮测试不匹配的问题,提出StochasT方法,通过随机分组语言任务为不同大小的轮次深度,增强模型在单轮和多轮场景下的鲁棒性。
2026-07-02 cs.CL cs.CV cs.LG
Teaching LLMs How to Learn with Contextual Fine-Tuning
University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文提出上下文微调方法,利用模仿人类认知策略的指令提示指导LLM训练,提升其在医疗和金融新数据集上的快速微调能力。
2025-08-07 cs.AI cs.CL cs.LG
EPI-SQL: Enhancing Text-to-SQL Translation with Error-Prevention Instructions
Jiangxi University of Finance and Economics(江西财经大学)
本文提出EPI-SQL框架,通过从Spider数据集生成通用错误预防指令并结合上下文定制,在零样本下使LLMs规避潜在错误,实现85.1%的执行准确率,性能媲美高级少样本方法。
2024-04-21 cs.AI cs.CL cs.DB
Leveraging Contextual Information for Effective Entity Salience Detection
Bloomberg(彭博公司)
本文研究实体显著性检测,提出以 cross-encoder 架构微调中型预训练语言模型并融合上下文信息,在四个公开数据集上验证其显著优于特征工程方法,同时揭示 zero-shot prompting 的局限。
2024-04-02 cs.CL
PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners
University of California, Los Angeles(加州大学洛杉矶分校);Georgia Institute of Technology(佐治亚理工学院);Tsinghua University(清华大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);NEC Laboratories America(美国NEC实验室)
针对领域微调数据中的敏感 PII 泄露问题,提出 PrivacyMind 范式,通过理论分析与多种技术基准测试,证明正负例指令微调可在注入领域知识的同时保护推理隐私。
2024-10-28 cs.AI cs.CL cs.LG
LongMagpie: A Self-synthesis Method for Generating Large-scale Long-context Instructions
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);Xiaohongshu Inc(小红书公司);Tsinghua University(清华大学)
LongMagpie利用对齐后的长上下文LLMs自回归生成文档相关查询,自动合成大规模高质量长上下文指令数据,在多个基准上取得领先性能。
2025-06-03 cs.AI cs.CL
FinGPT: Enhancing Sentiment-Based Stock Movement Prediction with Dissemination-Aware and Context-Enriched LLMs
本文提出一种数据驱动方法,通过融入新闻传播广度、上下文数据和明确指令来增强大语言模型在基于情感的股票走势预测中的表现,实验显示预测准确率提升8%。
2025-06-22 cs.CL cs.LG q-fin.CP
Nevermind: Instruction Override and Moderation in Large Language Models
Drexel University(德雷塞尔大学)
本研究基准测试了不同规模LLM在冲突情境下的指令遵循能力,发现较大模型表现最佳,但改进指令遵循与安全过滤相矛盾,提出安全措施应外部化。
2024-02-05 cs.AI cs.CL cs.LG
Diagnose, Localize, Align: A Full-Stack Framework for Reliable LLM Multi-Agent Systems under Instruction Conflicts
University of California, Los Angeles(加州大学洛杉矶分校);Sea AI Lab(Sea AI 实验室);Stanford University(斯坦福大学);University of Oxford(牛津大学);Yale University(耶鲁大学);NTU(南洋理工大学);NUS(新加坡国立大学);Boston University(波士顿大学)
本文提出了一种全栈框架,通过诊断、定位和对齐三个阶段提升LLM多智能体系统在指令冲突下的可靠性。
2025-12-15 cs.CL
Man Made Language Models? Evaluating LLMs' Perpetuation of Masculine Generics Bias
University of Strasbourg(斯特拉斯堡大学)
本研究评估了本地及专有大型语言模型在回应法语通用指令时的阳性通性偏误情况,发现其存在明显偏误且极少使用性别公平语言,凸显了此类偏误的持续性。
2026-09-01 cs.AI cs.CL
Vikhr: The Family of Open-Source Instruction-Tuned Large Language Models for Russian
ITMO University(ITMO大学);HSE University(莫斯科国立高等经济大学);Accenture(Accenture公司);MBZUAI(穆罕默德·本·拉希德智能科学研究院)
本文提出Vikhr,一种专为俄语设计的开源指令调优大型语言模型,通过改进的双语模型和持续预训练提升性能与效率。
2026-06-23 cs.AI cs.CL
Instruct-FinGPT: Financial Sentiment Analysis by Instruction Tuning of General-Purpose Large Language Models
Columbia University(哥伦比亚大学);Swinburne University of Technology(斯威本科技大学)
本文提出Instruct-FinGPT,通过将监督数据转为指令数据并微调通用大语言模型,提升金融情感分析,尤其在数值和上下文理解上超越现有模型。
2023-06-22 cs.CL cs.LG q-fin.ST
Instruct and Extract: Instruction Tuning for On-Demand Information Extraction
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对非专家用户的长尾临时信息抽取需求,提出按需信息抽取新范式,构建InstructIE基准并开发ODIE模型,显著优于同等规模开源模型。
2023-10-24 cs.AI cs.CL
Does Context Matter? ContextualJudgeBench for Evaluating LLM-based Judges in Contextual Settings
Salesforce AI Research(Salesforce人工智能研究部门)
针对现有LLM评判器缺乏语境场景评估的问题,提出包含2000个响应对的ContextualJudgeBench基准,实验发现即使SOTA模型在该基准上的一致准确率也仅约55%。
2025-03-19 cs.AI cs.CL cs.LG
KIT's Offline Speech Translation and Instruction Following Submission for IWSLT 2025
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文介绍KIT提交至IWSLT 2025的离线语音翻译与指令遵循赛道方案,依托大语言模型分别设计多识别融合加两步翻译的流水线、语音编码器结合大模型的端到端架构,均加入文档级精调提升性能。
2025-05-19 cs.AI cs.CL
The Persona Hierarchy Model: Understanding Contextual Generalization in Fine-Tuning LLMs
Northeastern University(东北大学);Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
本文提出人格层级模型解释大语言模型微调中的上下文泛化现象,并通过120个模型实验验证,同时提出人格保留正则化方法有效抑制不期望的泛化,降低奖励黑客行为。
2026-10-08 cs.CL cs.LG
FalseReject: A Resource for Improving Contextual Safety and Mitigating Over-Refusals in LLMs via Structured Reasoning
The Ohio State University(俄亥俄州立大学);Amazon(亚马逊)
为缓解LLMs对良性查询的过度拒绝问题,本文提出FalseReject资源及图信息增强的对抗性多智能体框架,生成16k数据集以训练模型进行结构化推理,在保障整体安全性的同时大幅减少了不必要的拒绝。
2025-07-15 cs.AI cs.CL
Otter: A Multi-Modal Model with In-Context Instruction Tuning
Nanyang Technological University(南洋理工大学);Microsoft Research(微软研究院)
本文提出 Otter 多模态模型及 MIMIC-IT 数据集,通过文本与视觉上下文中示例进行指令微调,提升模型在复杂视频和多图像理解任务中的收敛、泛化与表现。
2025-07-28 cs.CL cs.CV
Raw Text is All you Need: Knowledge-intensive Multi-turn Instruction Tuning for Large Language Model
Computer School, Beijing Information Science & Technology University(北京信息科技大学计算机学院);Beihang University(北京航空航天大学)
本文提出 R2S 框架,通过对话逻辑链引导大语言模型从原始文档生成知识密集型多轮对话,构建 G I NSTRUCT 数据集并微调 GLLM,以增强跨领域指令微调效果。
2024-07-03 cs.AI cs.CL
Adaptive Instruction Composition for Automated LLM Red-Teaming
Capital One, AI Foundations(Capital One人工智能基础研究)
本文提出自适应指令生成框架,通过强化学习平衡探索与利用,提升红队测试的攻击效果与多样性,优于随机组合和现有方法。
2026-04-22 cs.AI cs.CL cs.CR
Enhancing Event Reasoning in Large Language Models through Instruction Fine-Tuning with Semantic Causal Graphs
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Peraton Labs(Peraton实验室)
本文提出基于语义因果图的指令微调方法,通过SCG指令和LoRA增强LLM的事件检测能力,在多个事件检测指标上显著超越标准微调并优于GPT-4,同时保持通用推理能力。
2024-08-30 cs.CL cs.LG
LLaMA-E: Empowering E-commerce Authoring with Object-Interleaved Instruction Following
University of Technology Sydney(悉尼科技大学);The Hong Kong Polytechnic University(香港理工大学);Etsy(Etsy公司)
本文提出 LLaMA-E 统一电商创作模型,通过对象交错指令覆盖顾客、卖家与平台特征,在多项电商任务上实现最先进性能并具备零样本应用优势。
2024-06-11 cs.AI cs.CL cs.IR
Measuring Pragmatic Influence in Large Language Model Instructions
University of Melbourne(墨尔本大学);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文提出了一种框架分解和分类方法,系统测量大型语言模型指令中的隐含影响,揭示了框架对指令优先级的可预测影响。
2026-09-14 cs.AI cs.CL
Generative Representational Instruction Tuning
Contextual AI(康泰克斯人工智能公司);The University of Hong Kong(香港大学);Microsoft Corporation(微软公司)
本文提出生成式表示指令微调(GRIT),通过指令区分任务训练大型语言模型同时处理生成与嵌入任务,在多项基准上达到先进水平并无性能损失地统一两类任务,显著加速检索增强生成。
2025-03-03 cs.AI cs.CL cs.LG
ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents
Upstage;Opentutorials;Indiana University Bloomington(印第安纳大学布卢明顿分校);Korea University Sejong Campus(韩国大学世宗校区)
ISD-Agent-Bench通过结合经典ISD理论与现代推理方法,为评估基于LLM的教学系统设计代理提供了全面的基准。
2026-02-11 cs.CL cs.SE
The Truth Stays in the Family: Enhancing Contextual Grounding via Inherited Truthful Heads in Model Lineages
University of Science and Technology of China(中国科学技术大学)
研究发现基础LLM与下游变体间存在上下文真相分数的强继承性,提出TruthProbe软门控策略放大真相头以提升上下文真实性并减少多模态幻觉。
2026-08-12 cs.AI cs.CL cs.LG
Revisiting the Reliability of Language Models in Instruction-Following
Tsinghua University(清华大学);Ant Group(蚂蚁集团)
本文提出可靠@k指标和自动生成相似提示的流水线,构建IFEval++基准,发现当前模型在细微差异提示下性能下降高达61.8%,并探索了三种改进方法。
2026-05-28 cs.AI cs.CL cs.SE
GuardianBench: A Same-Scene Instruction-Contrastive Benchmark for Latent Contextual Risk in Embodied AI
Shandong University(山东大学);National University of Singapore(新加坡国立大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Xiaomi Corporation(小米公司)
该研究提出基于国际安全标准的同场景指令对比基准GuardianBench,发现VLMs对指令不敏感,用轻量级目标VLOS可提升其安全推理性能。
2026-08-25 cs.AI cs.CL cs.RO
Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Carnegie Mellon University(卡内基梅隆大学);National University of Singapore(新加坡国立大学)
本文提出ConfAIde基准,依据情境完整性理论测试指令微调LLM的隐私推理能力,发现GPT-4和ChatGPT仍会分别在39%和57%的情境中泄露隐私。
2024-06-28 cs.AI cs.CL cs.CR
FocalLens: Instruction Tuning Enables Zero-Shot Conditional Image Representations
University of Washington(华盛顿大学);Apple(苹果公司)
本文提出 FocalLens,一种通过自然语言指令和视觉指令微调生成条件图像表示的方法,在图像检索、分类和图像-文本检索等任务上优于 CLIP 等通用视觉编码器。
2025-04-11 cs.CL cs.CV cs.LG