EmoInstruct-TTS: Dual-Path Instruction-Guided Emotional Speech Synthesis
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（科大讯飞研究院）；Huawei Technologies Co., Ltd.（华为技术有限公司）
提出EmoInstruct-TTS双路径框架，通过情感嵌入和指令条件情感流模型实现细粒度情感控制，提升语音情感可控性和自然度。
2026-06-23 cs.AI cs.CL cs.SD
Context-Aware Neural Gradient Mapping for Fine-Grained Instruction Processing
该论文提出上下文感知神经梯度映射框架，通过将上下文嵌入融入梯度调整机制，实现细粒度指令处理，提升泛化能力、鲁棒性和计算效率。
2025-04-24 cs.AI cs.CL
Finetuning Generative Large Language Models with Discrimination Instructions for Knowledge Graph Completion
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；National Institute of Healthcare Data Science, Nanjing University（南京大学国家卫生健康数据科学研究院）
本文提出微调框架DIFT，通过轻量级模型获取候选实体并利用判别指令微调LLM进行选择，结合截断采样和KG嵌入注入，有效避免锚定错误并提升知识图谱补全性能。
2024-07-23 cs.AI cs.CL
mEOL: Training-Free Instruction-Guided Multimodal Embedder for Vector Graphics and Image Retrieval
KAIST（韩国科学技术院）；POSTECH
本文提出无需训练的指令引导多模态嵌入框架，通过多模态大语言模型将文本、位图和SVG代码映射到对齐的嵌入空间，利用模态特定指令和结构化SVG提示实现嵌入方向控制，构建首个文本到SVG检索基准，展示出优于传统基线的性能。
2026-04-18 cs.AI cs.CV
On the Representational Limits of Quantum-Inspired 1024-D Document Embeddings: An Experimental Evaluation Framework
本文提出一个实验框架，用于构建基于重叠窗口和多尺度聚合的量子启发式1024维文档嵌入，通过诊断工具评估混合检索性能，发现BM25仍为强基线，而量子启发式嵌入在排名信号上表现不稳定。
2026-04-10 cs.AI cs.IR quant-ph
ALM2Vec: Learning Audio Embeddings for Universal Audio Retrieval with Large Audio-Language Models
Zhejiang University（浙江大学）；Johns Hopkins University（约翰霍普金斯大学）
提出ALM2Vec框架，利用预训练大型音频语言模型学习统一嵌入空间，实现跨域、任务感知的音频检索，支持指令感知检索，在标准基准上表现优异。
2026-07-01 cs.AI cs.SD eess.AS
Facilitating large language model Russian adaptation with Learned Embedding Propagation
Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学）
本文提出学习嵌入传播（LEP）方法，通过直接向现有指令微调LLM植入新语言知识，以低数据需求实现俄语适配，性能媲美传统指令微调方法。
2024-12-30 cs.AI cs.CL
On the Inseparability of Instructions and Data in Shared-Embedding Sequence Models
Independent Researcher（独立研究员）
本文证明在共享嵌入架构中，由于缺乏强制控制-数据分离，完美防御提示注入在数学上是不可能的，并提出了语义忠实控制（SFC）的概念，通过三个理论结果揭示了其根本原因，类比冯·诺依曼架构的代码-数据混淆问题。
2026-06-29 cs.AI cs.CR cs.LG
GEM: A Generative Embedding Model Bridging Reasoning and Retrieval
University of Glasgow（格拉斯哥大学）
针对传统检索器表层匹配导致的需求解读差距问题，提出生成式嵌入模型GEM，将推理与检索统一，在相关任务上性能优于基线，还可通过提示扩展测试时计算提升效果。
2026-08-17 cs.AI cs.CL cs.IR
Instruction-Augmented Long-Horizon Planning: Embedding Grounding Mechanisms in Embodied Mobile Manipulation
The Hong Kong Polytechnic University（香港理工大学）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（东方理工大学宁波数字孪生研究院）；Great Bay University（大湾区大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出IALP系统，将LLM抽象推理与接地机制结合，把用户指令增强为PDDL问题，在真实长时程移动操作任务中实现超过80%的平均成功率。
2025-03-11 cs.AI cs.RO
Cure or Poison? Embedding Instructions Visually Alters Hallucination in Vision-Language Models
The University of Queensland（昆士兰大学）；University of California, Merced（加州大学默塞德分校）
本研究提出Prompt-in-Image方法，将文本指令嵌入图像，消除单独文本输入，在Qwen2.5-VL上提升POPE准确率4.1%并降低幻觉，但导致LLaVA和InstructBLIP性能大幅下降，揭示不同视觉编码器的处理差异。
2025-08-03 cs.AI cs.CV
Do LLMs "know" internally when they follow instructions?
University of Cambridge（剑桥大学）；Apple（苹果公司）；University of Pennsylvania（宾夕法尼亚大学）
本研究探究LLMs是否在内部表征中编码指令遵循成功信息，识别出可预测遵循结果的“指令遵循维度”，并通过沿此维度修改表征提升遵循率，为可靠智能体构建提供洞见。
2025-03-28 cs.AI cs.CL
NV-Embed: Improved Techniques for Training LLMs as Generalist Embedding Models
NVIDIA（英伟达）
NV-Embed通过潜在注意力层、去除因果掩码和两阶段对比指令微调等技术，显著提升LLM作为通用嵌入模型的性能，在MTEB和AIR基准上取得领先成绩。
2025-02-25 cs.AI cs.CL cs.IR
Stronger Enforcement of Instruction Hierarchy via Augmented Intermediate Representations
NVIDIA（英伟达）
通过在中间表示中注入增强的指令层级信号，有效降低提示注入攻击的成功率，同时保持模型性能。
2026-03-09 cs.AI cs.LG
InstructPTS: Instruction-Tuning LLMs for Product Title Summarization
Amazon.com, Inc.（亚马逊公司）
本文提出InstructPTS，一种基于指令微调LLMs的商品标题摘要方法，通过新颖的指令微调策略实现可控摘要，在真实电商数据上相比简单微调显著提升了准确率。
2023-10-25 cs.AI cs.CL
Investigating Instruction Tuning Large Language Models on Graphs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National Taiwan University（台湾大学）
本研究构建含79类图任务的指令调优数据集，探究发现JSON格式图表示更利于大语言模型理解图结构，并分析了影响其跨图任务泛化能力的关键因素。
2024-08-10 cs.AI cs.CL
CommonIT: Commonality-Aware Instruction Tuning for Large Language Models via Data Partitions
Institute of Computing and Intelligence, Harbin Institute of Technology（哈尔滨工业大学计算与智能学院）；Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司）
本文提出 CommonIT 共性感知指令微调策略，通过任务、嵌入和长度三种度量对指令数据聚类划分，使每个训练小批量仅含同组数据，在多个 LLM 和数据集上验证了其提升指令遵循能力的有效性。
2024-10-04 cs.AI cs.CL
Transformer-based Causal Language Models Perform Clustering
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文通过简化指令遵循任务和合成数据分析 Transformer 因果语言模型，揭示其在隐藏空间中动态聚类数据以学习任务信息，并探讨该机制对泛化、预训练与对齐的启示。
2024-03-03 cs.AI cs.CL
Dynosaur: A Dynamic Growth Paradigm for Instruction-Tuning Data Curation
UCLA（加州大学洛杉矶分校）；Peking University（北京大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
本文提出Dynosaur动态增长范式，利用现有数据集元数据自动生成指令微调数据，以低成本获得高质量数据，并通过持续学习方案缓解遗忘并提升泛化能力。
2023-10-26 cs.AI cs.CL
DRIP: Defending Prompt Injection via Token-wise Representation Editing and Residual Instruction Fusion
National University of Singapore（新加坡国立大学）；Shanghai Jiao Tong University（上海交通大学）
针对传统LLM易受提示注入攻击且现有防御难以平衡实用性与安全性的问题，提出DRIP，通过去指令化数据token和残差指令融合提升鲁棒性，在基准测试中显著降低攻击成功率并保持实用性。
2025-11-18 cs.AI cs.CR
Instruction Finetuning DeepSeek-R1-8B Model Using LoRA and NEFTune
University of Hong Kong（香港大学）；Northeastern University（东北大学）
本研究结合LoRA和NEFTune微调DeepSeek-R1-8B模型，用于金融命名实体识别，在七类实体上达到0.912的微F1分数，优于多个基线模型。
2026-06-09 cs.AI
Point-Bind & Point-LLM: Aligning Point Cloud with Multi-modality for 3D Understanding, Generation, and Instruction Following
Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；Huazhong University of Science and Technology（华中科技大学）
本文提出Point-Bind和Point-LLM，将点云与多模态对齐，实现3D生成、理解和指令跟随，无需3D指令数据即可提升问答能力。
2023-09-01 cs.AI cs.CL cs.CV
UMER: Unifying Embedding and Ranking via Pair-Aware Discriminative Reasoning for Universal Multimodal Retrieval
本研究针对通用多模态检索的需求，提出UMER框架，通过感知对的判别推理联合学习对比式嵌入与判别式排序，在MMEB-V2基准上实现最优性能且支持可调整预算的推理。
2026-08-27 cs.AI
Better Alignment with Instruction Back-and-Forth Translation
University of Washington（华盛顿大学）；Meta FAIR
该研究提出指令往返翻译方法，基于网络语料构建高质量合成数据用于大语言模型对齐，在AlpacaEval上胜率优于多个常见指令数据集，兼具网络信息规模与回复质量优势。
2024-08-13 cs.AI cs.CL cs.LG
Large Language Models Are Human-Level Prompt Engineers
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；University of Waterloo（滑铁卢大学）
大语言模型（LLM）通过对自然语言指令的调节，已经显示出作为通用计算机的令人印象深刻的能力。然而，任务性能在很大程度上取决于用于引导模型的提示的质量，并且最有效的提示是由人类手工制作的。受经典程序合成和人类提示工程方法的启发，我们提出了自动提示工程师（APE）来自动生成和选择指令。在我们的方法中，我们将指令视为“程序”，通过搜索LLM提出的指令候选池进行优化，以最大化所选的得分函数。为了评估所选指令的质量，我们评估所选指令之后的另一个LLM的zero-shot性能。在24个NLP任务上的实验表明，我们自动生成的指令的性能大大优于之前的LLM基线，并且在19/24个任务上实现了比人工注释器生成的指令更好或相当的性能。我们进行了广泛的定性和定量分析，以探讨APE的性能。我们表明，APE设计的提示可以应用于引导模型走向真实性和/或信息量，以及通过简单地将它们前置到标准的上下文学习提示来提高少样本学习性能。请查看我们的网页https://sites.google.com/view/automatic-prompt-engineer。
2023-03-10 cs.AI cs.CL cs.LG
Self-Foveate: Enhancing Diversity and Difficulty of Synthesized Instructions from Unsupervised Text via Multi-Level Foveation
Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
Self-Foveate通过多级聚焦方法提升无监督文本合成指令的多样性和难度，采用细粒度到整体模式的提取策略，并结合重合成模块提高指令质量。
2026-02-03 cs.AI
Correlating instruction-tuning (in multimodal models) with vision-language processing (in the brain)
Technische Universität Berlin（柏林技术大学）；IIIT Hyderabad（海得拉巴国家理工学院）；Univ of Maryland（马里兰大学）；Rice Univ（Rice 大学）；Univ of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Spector Inc（Spector 公司）；Microsoft（微软公司）
本研究探究指令微调的多模态大语言模型（MLLMs）与大脑视觉-语言处理的对齐性，发现其优于纯视觉模型且与CLIP相当，并揭示指令特定概念（如计数与识别）与大脑活动强相关，提示增强任务特定信息捕获可提升脑响应预测精度。
2025-05-26 cs.AI cs.LG q-bio.NC
Mitigating Hallucinations in Large Vision-Language Models with Instruction Contrastive Decoding
Universität Hamburg（汉堡大学）；The University of Sydney（悉尼大学）
本文提出指令对比解码（ICD）方法，通过对比标准和指令扰动分布来减少大型视觉语言模型推理时的幻觉，显著缓解对象级和属性级幻觉并增强模型的通用感知与识别能力。
2024-06-05 cs.AI cs.CL cs.CV
Pay More Attention to the Robustness of Prompt for Instruction Data Mining
National University of Defense Technology（国防科技大学）
本文提出一个高质量在线指令数据挖掘框架，通过攻击提示生成对抗性指令数据，并引入对抗性指令遵循难度指标与对抗性指令输出嵌入一致性方法筛选数据，实验证明该方法有效且突显了提示鲁棒性的重要性。
2025-03-31 cs.AI
Leveraging LLMs for On-the-Fly Instruction Guided Image Editing
University of Lisbon（里斯本大学）
针对仅依据自然语言指令编辑图像的任务，本文提出一种无需训练或微调的即时方法，通过图像描述、DDIM 反演、编辑方向嵌入和图像编辑三步流程，在 MAGICBRIFF 数据集上超越现有最先进模型。
2024-12-04 cs.AI cs.CL cs.CV
BTZSC: A Benchmark for Zero-Shot Text Classification Across Cross-Encoders, Embedding Models, Rerankers and LLMs
European Central Bank（欧洲中央银行）
BTZSC是一个涵盖22个公开数据集的零样本文本分类基准，系统比较了跨编码器、嵌入模型、重排序器和LLMs四种模型家族，发现重排序器和LLMs在性能上表现突出，嵌入模型在准确性和延迟之间取得良好平衡。
2026-03-12 cs.AI cs.CL cs.LG
CYCLE-INSTRUCT: Fully Seed-Free Instruction Tuning via Dual Self-Training and Cycle Consistency
Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）；Tianjin University（天津大学）
本文提出Cycle-Instruct框架，通过答案生成器与问题生成器的双重自训练和循环一致性机制，仅利用原始无标注文本实现完全无种子的指令微调，在多个数据轨道上取得优于种子驱动回译基线且媲美强监督方法的性能。
2025-08-22 cs.AI cs.CL cs.LG
Text-to-Audio Generation using Instruction-Tuned LLM and Latent Diffusion Model
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出TANGO，利用指令微调LLM Flan-T5作为文本编码器并结合潜在扩散模型，在更小数据集上实现文本到音频生成性能超越AudioLDM。
2023-05-29 cs.AI cs.CL cs.SD
Learning to Instruct for Visual Instruction Tuning
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学合作中元创新中心）；Microsoft Research Asia（微软亚洲研究院）；Hong Kong Baptist University（香港 Baptist 大学）；School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）
本文提出L2T方法，通过将损失函数同时纳入指令和响应序列，解决了视觉指令微调中的过拟合和捷径学习问题，在无需额外数据或计算开销的情况下显著提升了多模态大语言模型的视觉理解能力并缓解了幻觉。
2025-10-11 cs.AI cs.CL cs.CV
VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks
University of Waterloo（滑铁卢大学）；Salesforce Research（Salesforce研究院）
本文提出 MMEB 大规模多模态嵌入基准和 VLM2Vec 对比训练框架，将任意视觉-语言模型转换为基于任务指令的通用嵌入模型，并在分布内与分布外任务上实现 10%-20% 的绝对平均提升。
2025-01-02 cs.AI cs.CL cs.CV
Pragmatic Embodied Spoken Instruction Following in Human-Robot Collaboration with Theory of Mind
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；Johns Hopkins University（约翰霍普金斯大学）；Brown University（布朗大学）
针对嘈杂语音下的人机协作指令跟随难题，提出基于心智理论的神经符号模型SIFToM，利用视觉语言模型进行务实推断，在模拟和真实环境中显著提升性能并接近人类水平。
2025-10-06 cs.AI cs.HC cs.MA
GraphTool-Instruction: Revolutionizing Graph Reasoning in LLMs through Decomposed Subtask Instruction
University of Electronic Science and Technology of China（电子科技大学）
GraphTool-Instruction通过分解图推理任务为三个子任务，提升LLMs在图推理中的性能，实现SOTA效果。
2024-12-11 cs.AI cs.LG
Multi-LLM Collaborative Alignment via Stackelberg Games
University of Washington（华盛顿大学）；Amazon（亚马逊）；University of British Columbia（不列颠哥伦比亚大学）
提出Stackelberg对齐框架，通过EXP3赌博机自适应选择指令，结合声誉加权同伴判断，提升多语言模型协作对齐性能，在12个基准上最高超越基线25%。
2026-10-08 cs.AI cs.LG
Instruction Alignment for Binary Code Representation Learning
Shandong University（山东大学）；Hong Kong University of Science and Technology（香港科技大学）
该研究针对二进制代码表示学习忽略指令级对应关系的问题，提出将指令对齐作为辅助训练目标，经实验验证可提升检索精度与相似性判断的区分度。
2026-08-13 cs.AI cs.CR cs.SE
BinBert: Binary Code Understanding with a Fine-tunable and Execution-aware Transformer
Sapienza University of Rome（罗马第一大学）
二进制代码分析的最近趋势促进了基于指令嵌入模型的神经解决方案的使用。指令嵌入模型是将汇编指令序列转换为嵌入向量的神经网络。如果嵌入网络经过训练，使得从代码到向量的转换部分地保留了语义，则网络有效地表示汇编代码模型。在本文中，我们提出了BinBert，一种新的汇编代码模型。BinBert构建在一个Transformer上，该transformer在一个包含汇编指令序列和符号执行信息的巨大数据集上进行了预训练。BinBert可以应用于汇编指令序列，并且它是可微调的，即它可以作为任务特定数据的神经架构的一部分进行重新训练。通过微调，BinBert学习如何将预训练获得的一般知识应用于特定任务。我们在一个多任务基准上评估了BinBert，该基准是我们专门设计来测试对汇编代码的理解的。基准测试由几个任务组成，其中一些来自文献，还有一些我们设计的新任务，以及内在和下游任务的混合。我们的研究结果表明，BinBert优于最先进的二进制指令嵌入模型，提高了二进制代码理解的标准。
2022-08-13 cs.CR cs.LG
Secure Audio Embedding in Images using Nature-Inspired Optimization
本文提出利用HHO优化的LSB方法，实现图像中音频的高效安全嵌入，提升图像质量和鲁棒性。
2025-12-09 cs.CR
Multi-relational Instruction Association Graph for Cross-architecture Binary Similarity Comparison
跨体系结构的二进制相似性比较在许多安全应用中是必不可少的。最近，研究人员提出了基于学习的方法来提高比较性能。他们采用了指令预训练、个体二进制编码和基于距离的相似性比较的范式。然而，在外部代码语料库上预训练的指令嵌入在各种现实世界的应用中并不通用。对跨体系结构的二进制代码单独编码会积累指令集的语义差距，限制比较的准确性。提出了一种基于多关系指令关联图的跨体系结构二进制相似性比较方法。我们从不同的角度将单架构指令令牌与上下文相关性和跨架构令牌与潜在的语义相关性相关联。然后，我们利用关系图卷积网络（R-GCN）进行特定类型的图信息传播。我们的方法可以弥合跨架构指令表示空间的差距，同时避免外部预训练工作量。我们进行了大量的实验，基本块级和功能级数据集，以证明我们的方法的优越性。此外，对大规模真实世界物联网恶意软件重用功能集合的评估表明，我们的方法对于识别在各种架构的物联网设备上传播的恶意软件是有价值的。
2022-06-28 cs.CR
Beyond Over-Refusal: Defending Indirect Prompt Injection via Latent Instruction Manifolds
Zhejiang University（浙江大学）；Hong Kong Polytechnic University（香港理工大学）；University of Science and Technology of China（中国科学技术大学）；OPPO Research Institute（OPPO研究院）
针对LLMs防御间接提示注入时的安全-效用权衡问题，提出AEGIS模型，通过指令敏感投影器与统一多层共识机制实现出色的攻击检测性能，缓解IPI攻击。
2026-08-25 cs.CR
Image Corruption-Inspired Membership Inference Attacks against Large Vision-Language Models
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出基于图像退化启发的成员推断攻击方法，用于检测目标图像是否被用于训练大视觉-语言模型，通过图像退化和文本嵌入相似性进行攻击。
2026-02-04 cs.CR cs.CV
