PACIFIC: a framework for generating benchmarks to check Precise Automatically Checked Instruction Following In Code
IBM Research(IBM研究)
PACIFIC框架通过生成具有明确预期输出的基准,评估LLM在代码指令遵循和dry运行能力上的表现,提供了一种抗污染且可扩展的评估方法。
2025-12-22 cs.AI cs.SE
Generating Signed Language Instructions in Large-Scale Dialogue Systems
Khoury College of Computer Science, Northeastern University(东北大学Khoury计算机科学学院);Gallaudet University(加劳德特大学)
本文首次在全球多模态对话AI平台上实现融合美国手语指令的目标导向系统,通过大语言模型驱动的手语翻译和基于令牌的视频检索生成手语教学内容,并验证了其与非手语版本相当的用户评分及优异的检索与生成质量。
2024-10-17 cs.AI cs.CL cs.CY
Tell, Draw, and Repeat: Generating and Modifying Images Based on Continual Linguistic Instruction
University of Guelph(圭尔夫大学);Microsoft Research(微软研究院);Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);Vector Institute for Artificial Intelligence(矢量人工智能研究所);University of Montreal(蒙特利尔大学);Canadian Institute for Advanced Research(加拿大高级研究院)
条件文本到图像生成是一个活跃的研究领域,有许多可能的应用。现有的研究主要集中在一个步骤中从可用的条件信息生成单个图像。一步生成之外的一个实际扩展是迭代地生成图像的系统,以正在进行的语言输入或反馈为条件。这比一步生成任务更具挑战性,因为这样的系统必须理解其生成的图像的内容,这些内容与反馈历史、当前反馈以及反馈历史中存在的概念之间的交互有关。在这项工作中,我们提出了一个经常性的图像生成模型,它既考虑到生成的输出到当前的步骤,以及所有过去的指令生成。我们表明,我们的模型是能够生成的背景,添加新的对象,并应用简单的转换现有的对象。我们相信我们的方法是迈向互动生成的重要一步。代码和数据可在https://www.microsoft.com/en-us/research/project/generative-neural-visual-artist-geneva/上获得。
2019-09-23 cs.CV
Ensemble-Instruct: Generating Instruction-Tuning Data with a Heterogeneous Mixture of LMs
IBM Research AI(IBM研究院人工智能部门)
本文提出Ensemble-Instruct方法,通过简化ICL模板和多模型输出集成,在较小且开源的语言模型上生成高质量指令微调数据,显著提升了模型性能。
2023-10-21 cs.AI cs.CL
InstructPipe: Generating Visual Blocks Pipelines with Human Instructions and LLMs
Google Research, USA(谷歌研究, 美国);The University of Tokyo, Japan(东京大学, 日本)
本文提出InstructPipe,利用大语言模型和代码解释器,通过文本指令生成可视化ML流水线,降低新手学习门槛,提升工作效率并激发创新。
2025-03-13 cs.AI cs.HC
IR-GAN: Image Manipulation with Linguistic Instruction by Increment Reasoning
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室)
条件图像生成是一个非常活跃的研究课题,包括文本到图像和图像翻译。近年来,语言指导下的图像处理给多模态条件生成带来了新的挑战。然而,传统的条件图像生成模型主要关注于生成高质量、视觉真实感强的图像,缺乏解决图像与指令之间的局部一致性问题。为了解决这个问题,我们提出了一个增量推理生成对抗网络(IR-GAN),其目的是原因之间的一致性视觉增量图像和语义增量的指令。首先,我们引入单词级和提示级指令编码器,从历史相关指令中学习用户意图作为语义增量。然后将语义增量表示嵌入到源图像的语义增量表示中,生成目标图像,源图像起到参照辅助的作用。最后,我们提出了一个推理机来衡量视觉增量和语义增量之间的一致性,从而净化了用户的意图,并保证了生成的目标图像的良好逻辑。在两个数据集上进行的大量实验和可视化表明了IR-GAN的有效性。
2022-04-02 cs.CV
A New Pipeline For Generating Instruction Dataset via RAG and Self Fine-Tuning
Providence University(静宜大学)
近年来,随着大语言模型的快速发展,对能够满足企业和组织独特需求的特定领域Agent的需求不断增加。与力求广泛覆盖的一般模型不同,这些专门的代理依赖于针对其预期应用程序量身定制的集中数据集。本研究提出了一种管道,利用LLM和检索增强生成相关框架的力量,构建高质量的指令数据集,使用自定义文档集合对特定领域进行微调。通过嵌入特定于域的文档,流水线生成相关的和上下文适当的指令,从而有效地创建用于在目标域上微调LLM的综合数据集。这种方法克服了传统数据集创建方法的局限性,传统数据集创建方法通常依赖于手动管理或网络抓取技术,这些技术可能会引入噪声和不相关的数据。值得注意的是,我们的管道提供了一个动态的解决方案,可以快速适应特定领域文档集合中的更新或修改,无需完全重新训练。此外,它通过从有限的初始文档集合生成指令数据集来解决数据稀缺的挑战,使其适合于综合数据集稀缺的不受欢迎或专业领域。作为一个案例研究,我们将这种方法应用到精神病学领域,这是一个需要专业知识和敏感处理患者信息的领域。由此产生的微调LLM展示了所提出的方法的可行性,并强调了其在各种行业和领域中广泛采用的潜力,其中定制的,准确的和上下文相关的语言模型是必不可少的。
2024-08-12 cs.AI cs.CL
CodecLM: Aligning Language Models with Tailored Synthetic Data
Google Cloud AI Research(谷歌云AI研究院);Google Cloud AI(谷歌云AI);Google Research(谷歌研究院)
CodecLM框架通过编码-解码原理,利用LLM将种子指令编码为元数据并解码生成定制合成数据,结合Self-Rubrics和对比过滤,在多个基准上超越现有方法,提升指令遵循能力。
2024-04-08 cs.AI cs.CL cs.LG
CigTime: Corrective Instruction Generation Through Inverse Motion Editing
The University of Hong Kong(香港大学);Meta Reality Labs(元宇宙现实实验室)
针对运动技能学习等场景的逆向需求,该研究提出CigTime方法,通过大语言模型和现有运动框架构建三元组数据集,训练新型运动-语言模型生成纠正指令,性能优于基线,可用于指导用户修正动作。
2024-12-06 cs.CV
Coherent Zero-Shot Visual Instruction Generation
University of Maryland College Park(马里兰大学帕克分校)
本文提出一个无需训练的零样本框架,结合扩散模型与大语言模型,系统整合文本理解与图像生成,以解决多步骤视觉指令中对象一致性与状态平滑转换的难题,实验证明其能生成连贯且美观的视觉指令。
2024-06-08 cs.AI cs.CV
InsActor: Instruction-driven Physics-based Characters
Nanyang Technological University(南洋理工大学);Dyson Robot Learning Lab(戴森机器人学习实验室);National University of Singapore(新加坡国立大学)
InsActor提出一种利用扩散策略和潜在技能序列生成指令驱动物理角色动画的框架,在运动生成和路径点朝向任务上达到最先进水平,适用于长时程指令任务。
2023-12-28 cs.CV cs.GR cs.RO
DM-Align: Leveraging the Power of Natural Language Instructions to Make Changes to Images
KU Leuven(鲁汶大学)
提出DM-Align模型,通过词对齐显式推理图像需改变或保留的部分,实现透明可解释的基于文本的语义图像编辑,在图像背景保留和长文本指令处理上优于基线。
2024-04-27 cs.CV
Mapping the Mind of an Instruction-based Image Editing using SMILE
University of Hull(赫尔大学);University of Oslo(奥斯陆大学)
针对基于指令的图像编辑模型黑盒问题,提出模型无关可解释性方法SMILE,通过视觉热图揭示文本对图像生成的影响,提升模型透明度与可信度。
2024-12-20 cs.AI cs.CV cs.HC
LongForm: Effective Instruction Tuning with Reverse Instructions
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning(慕尼黑机器学习中心);Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室)
LongForm通过反向指令从人类语料生成指令数据,构建LongForm-C数据集,以低成本实现有效指令微调,在长文本生成和问答任务上超越更大规模及先前微调模型。
2024-10-03 cs.AI cs.CL cs.LG
Contrastive Instruction Tuning
University of Southern California(南加州大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);The Pennsylvania State University(宾夕法尼亚州立大学);University of California, Davis(加利福尼亚大学戴维斯分校)
本文提出对比指令微调CoIN,通过拉近语义等价指令对的表示并拉远不同语义指令对的表示,增强大语言模型对未见指令变化的鲁棒性,在PromptBench上平均提升2.5%准确率。
2024-06-06 cs.AI cs.CL cs.LG
Mitigating Hallucinations in Large Vision-Language Models with Instruction Contrastive Decoding
Universität Hamburg(汉堡大学);The University of Sydney(悉尼大学)
本文提出指令对比解码(ICD)方法,通过对比标准和指令扰动分布来减少大型视觉语言模型推理时的幻觉,显著缓解对象级和属性级幻觉并增强模型的通用感知与识别能力。
2024-06-05 cs.AI cs.CL cs.CV
Controllable Navigation Instruction Generation with Chain of Thought Prompting
School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
针对现有导航指令生成模型风格内容不可控、忽视环境空间建模的问题,提出融合带地标的思维链机制、空间拓扑建模任务和风格混合训练策略的C-Instructor方法,实现可控指令生成且性能更优。
2024-07-16 cs.AI cs.CV
Find the Intention of Instruction: Comprehensive Evaluation of Instruction Understanding for Large Language Models
Korea University(高丽大学)
本研究提出指令意图(IoInst)基准,评估大型语言模型在干扰下理解指令的能力,发现最先进模型仍存在不足,并分析了多种应对策略。
2025-01-23 cs.AI
Raw Text is All you Need: Knowledge-intensive Multi-turn Instruction Tuning for Large Language Model
Computer School, Beijing Information Science & Technology University(北京信息科技大学计算机学院);Beihang University(北京航空航天大学)
本文提出 R2S 框架,通过对话逻辑链引导大语言模型从原始文档生成知识密集型多轮对话,构建 G I NSTRUCT 数据集并微调 GLLM,以增强跨领域指令微调效果。
2024-07-03 cs.AI cs.CL
EmoVIT: Revolutionizing Emotion Insights with Visual Instruction Tuning
Jilin University(吉林大学);National Taiwan University(台湾大学);National Yang Ming Chiao Tung University(阳明交通大学)
本文提出EmoVIT架构,通过GPT辅助生成情感视觉指令数据并结合大型语言模型,有效解决了视觉情感理解中指令数据稀缺的问题,在情感分类、情感推理和幽默理解任务上展现出卓越性能。
2024-04-25 cs.AI cs.CV
Self-play with Execution Feedback: Improving Instruction-following Capabilities of Large Language Models
Alibaba Inc.(阿里巴巴集团);Qwen Team(通义千问团队)
本文提出AutoIF方法,通过将指令遵循数据质量验证转化为代码验证并利用执行反馈生成训练数据,显著提升了Qwen2和LLaMA3在SFT、离线DPO和在线DPO下的指令遵循能力。
2024-07-18 cs.AI cs.CL cs.LG
Improving Vision-and-Language Navigation by Generating Future-View Image Semantics
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出VLN-SIG方法,通过预训练代理任务让智能体生成未来导航视图语义,并利用辅助损失进行微调,在Room-to-Room和CVDN数据集上取得最先进性能,同时提升可解释性和长路径导航能力。
2023-04-11 cs.AI cs.CL cs.CV
GemmAr: Enhancing LLMs Through Arabic Instruction-Tuning
Clusterlab Team(Clusterlab 团队);Polytech INTL(国际理工学院)
针对阿拉伯语NLP缺乏高质量指令微调数据集的问题,研究构建了多领域的InstAr-500k阿拉伯语指令数据集,微调Gemma-7B得到的GemmAr-7B-V1在多项阿拉伯语基准测试中表现优异,缩小了阿英语言模型性能差距。
2024-07-09 cs.AI cs.CL
Biomedical Visual Instruction Tuning with Clinician Preference Alignment
Stanford University(斯坦福大学);Emory University(埃默里大学);University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
提出BioMed-VITAL框架,通过临床医生偏好对齐生成和选择指令数据,显著提升生物医学多模态模型的视觉对话和医学VQA性能。
2024-07-16 cs.AI cs.CL cs.CV
Evolutionary Contrastive Distillation for Language Model Alignment
Amazon(亚马逊公司)
提出演化对比蒸馏(ECD)方法,通过逐步演化指令生成困难负样本对比数据,结合DPO对比学习算法提升语言模型复杂指令遵循能力,7B模型性能超越SOTA 7B并媲美70B模型。
2024-10-10 cs.AI cs.CL cs.LG
AIR: Complex Instruction Generation via Automatic Iterative Refinement
Alibaba Group(阿里巴巴集团)
本文提出自动迭代细化框架AIR,通过从文档生成并迭代优化带约束的复杂指令,构建AIR-10K数据集,显著提升大语言模型遵循复杂指令的能力。
2025-02-27 cs.AI cs.CL
Zero-shot cross-lingual transfer in instruction tuning of large language models
Naver Labs Europe(Naver欧洲实验室)
本研究系统探讨了大型语言模型指令微调中的零样本跨语言迁移,发现只要在超参数调优中考虑多语言性并使用足够数据,仅用英语训练的模型也能在其他语言中生成正确且全面的响应,但存在事实性低和流畅性错误的问题。
2024-04-22 cs.AI cs.CL
Knowledge-Instruct: Effective Continual Pre-training from Limited Data using Instructions
Microsoft(微软)
本文提出Knowledge-Instruct方法,通过纯指令微调从有限数据中高效注入新知识,在保持通用推理能力的同时减少灾难性遗忘,并发布新数据集Companies验证知识注入效果。
2025-04-08 cs.AI cs.CL
Into the Unknown: Generating Geospatial Descriptions for New Environments
Bar-Ilan University(巴伊兰大学);Google Research(谷歌研究院)
本文针对 Rendezvous 任务在新环境中训练数据稀缺、地理定位分辨率低的问题,提出利用地理空间数据构建知识图谱,并通过 CFG 模板与大语言模型生成高质量合成导航指令,在未见环境上将 100 米精度提升 45.83%,且 CFG 增强优于 LLM 增强。
2024-06-28 cs.AI cs.CL
Beyond Simple Edits: X-Planner for Complex Instruction-Based Image Editing
UC Berkeley(伯克利大学);HKU(香港大学);Adobe(Adobe公司)
针对扩散图像编辑方法难以处理复杂指令、身份保留差、依赖手动掩码等问题,提出基于多模态大语言模型的X-Planner系统,通过思维链推理分解指令并自动生成编辑类型和掩码,实现精准编辑且在基准测试中表现优异。
2025-07-07 cs.CV
ReqBrain: Task-Specific Instruction Tuning of LLMs for AI-Assisted Requirements Generation
Technical University of Munich(慕尼黑工业大学)
本文提出ReqBrain,一个基于微调LLM的AI辅助工具,用于自动生成真实且充分的软件需求,通过五个7B模型对比,Zephyr-7b-beta表现最佳,验证了生成式AI在需求工程中的潜力。
2025-05-23 cs.AI cs.LG cs.SE
Layout Generation Agents with Large Language Models
Hitachi, Ltd.(日立公司)
针对3D虚拟空间布局生成效率低、现有方法未利用生成过程信息的问题,提出基于GPT-4V的智能体驱动布局生成系统,可高成功率生成符合指令的虚拟空间,并通过消融实验明确了性能提升的关键要素。
2024-05-13 cs.AI cs.HC
Can LLMs Generate Human-Like Wayfinding Instructions? Towards Platform-Agnostic Embodied Instruction Synthesis
University of Maryland, College Park(马里兰大学帕克分校)
本文提出首个无需训练、平台无关的LLM驱动方法,利用上下文学习和视觉问答自动合成类人寻路指令,并在多个仿真平台及REVERIE导航实验中验证其可替代人工标注数据。
2024-04-02 cs.AI cs.RO
An Effective Data Creation Pipeline to Generate High-quality Financial Instruction Data for Large Language Model
Harbin Institute of Technology(哈尔滨工业大学)
本文提出一种数据创建流水线,通过ChatGPT生成AI投资者与专家对话并结合人类专家反馈,构建了103k多轮对话的指令微调数据集,显著提升了大型语言模型在金融任务中的回答质量。
2023-07-31 cs.AI cs.CL cs.LG
EditShield: Protecting Unauthorized Image Editing by Instruction-guided Diffusion Models
Zhejiang University of Technology(浙江工业大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Lehigh University(理海大学)
针对指令引导扩散模型的未经授权图像编辑问题,提出EditShield方法,通过添加不可感知扰动改变潜在表示,使模型生成不真实图像,实验证明其在多种设置下有效且鲁棒。
2024-07-17 cs.CR cs.CV
Action-based image editing guided by human instructions
KU Leuven(鲁汶大学)
本文提出一种动作敏感的文本图像编辑模型,通过对比学习识别动作差异,利用视频帧构建前后场景数据集,实现从静态起始图像生成动作最终场景的动态编辑。
2025-02-04 cs.CV
How Instruction-Tuning Imparts Length Control: A Cross-Lingual Mechanistic Analysis
Università degli Studi di Milano, Department of Computer Science(米兰大学计算机科学系)
该研究针对大语言模型长度控制难题,通过跨语言机制分析发现指令微调通过重构模型后层组件提升长度控制能力,且不同语言下组件贡献模式存在差异。
2025-09-02 cs.AI cs.CL
Enabling robots to follow abstract instructions and complete complex dynamic tasks
University of Edinburgh(爱丁堡大学);Massachusetts Institute of Technology(麻省理工学院);Princeton University(普林斯顿大学);Alan Turing Institute(艾伦·图灵研究所)
提出融合 LLM、知识库与 IFVF 的机器人框架,将抽象指令转为可执行代码并利用力觉视觉反馈应对动态干扰,通过制作咖啡等任务验证有效性。
2024-06-17 cs.AI cs.CL cs.LG
Key Algorithms for Keyphrase Generation: Instruction-Based LLMs for Russian Scientific Keyphrases
University of Tyumen(秋明大学);Novosibirsk State University(新西伯利亚国立大学)
针对俄语科学关键词生成因形态复杂和数据集有限导致现有方案受限的问题,评估基于提示的LLM方法,发现其无需特定微调即可优于常见基线,还分析了少样本示例选择策略与人工评估结果。
2024-10-23 cs.AI cs.CL
Toward General Instruction-Following Alignment for Retrieval-Augmented Generation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
针对检索增强生成(RAG)系统中指令遵循对齐评估与改进的研究空白,提出了自动化、可验证的合成流水线VIF-RAG及高质量数据集,并构建了FollowRAG基准,显著提升了大型语言模型在RAG场景下的指令遵循能力。
2024-10-12 cs.AI cs.CL cs.IR
Show Me: Unifying Instructional Image and Video Generation with Diffusion Models
Michigan State University(密歇根州立大学)
ShowMe通过统一视频扩散模型的空间和时间组件,提升指令图像和视频生成的性能与一致性。
2025-11-21 cs.CV
Reasoning Up the Instruction Ladder for Controllable Language Models
Department of Computer Science and Engineering, The Ohio State University(俄亥俄州立大学计算机科学与工程系);Microsoft Research(微软研究院);Allen Institute for AI(艾伦人工智能研究所)
通过将指令层级解析重构为推理任务,并构建VerIH数据集进行轻量级强化学习,使模型能优先处理高层级指令,在冲突场景下提升约20%的指令遵循准确率,并增强对越狱和提示注入的鲁棒性。
2026-07-02 cs.AI cs.CL
UniData: Universal Multimodal Instruction Generation Pipeline
The Hong Kong University of Science and Technology(香港科技大学);ATH, Alibaba Group(阿里巴巴集团 ATH);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Northwestern Polytechnical University(西北工业大学);Zhejiang University(浙江大学)
针对多模态指令数据集构建的人力成本高、现有方法模态支持有限及多轮指令生成困难的问题,提出UniData通用多模态指令生成流水线,构建含2万条9种模态的UniDataset,实现SOTA数据质量并提升其他多模态模型能力。
2026-10-09 cs.AI cs.CL
GenHowTo: Learning to Generate Actions and State Transformations from Instructional Videos
CIIRC CTU(捷克技术大学 CIIRC);University of Bristol(布里斯托尔大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出GenHowTo,利用教学视频自动挖掘状态-动作-变换三元组并训练条件扩散模型,在生成动作与物体状态变换图像上显著优于现有方法。
2024-04-02 cs.CV
Leveraging Unstructured Text Data for Federated Instruction Tuning of Large Language Models
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
针对联邦指令微调要求客户端具备结构化指令数据的不切实际问题,提出FedIT-U2S框架,通过基于检索的少样本生成将非结构化文本转为指令对再微调,拓宽应用场景且在多领域显著提升模型效果。
2024-09-11 cs.AI cs.CL cs.MA
RewriteLM: An Instruction-Tuned Large Language Model for Text Rewriting
Google Research(谷歌研究院)
针对LLM在跨句子重写任务中的不足,提出指令调优与强化学习新策略,并构建OpenRewriteEval基准,显著提升重写性能。
2023-12-19 cs.AI cs.CL
A Cross-Architecture Instruction Embedding Model for Natural Language Processing-Inspired Binary Code Analysis
University of South Carolina(南卡罗来纳大学)
给定一个闭源程序,如大多数的专有软件和病毒,二进制代码分析是必不可少的许多任务,如代码剽窃检测和恶意软件分析。今天,源代码经常被编译用于各种体系结构,使得跨体系结构的二进制代码分析变得越来越重要。一个二进制文件在反汇编后,用汇编语言表示。因此,最近的工作开始探索自然语言处理(NLP)启发的二进制代码分析。在NLP中,单词通常以高维向量表示(即,嵌入)以促进进一步处理,这是许多NLP任务中最常见和最关键的步骤之一。我们把指令看作是NLP启发的二进制代码分析中的单词,并旨在将指令表示为嵌入。为了便于跨架构的二进制代码分析,我们的目标是,类似的指令,无论其架构,有嵌入彼此接近。为此,我们提出了一种联合学习的方法来生成指令嵌入,捕捉不仅在一个架构内的指令的语义,但它们的语义关系跨架构。据我们所知,这是第一个跨体系结构的指令嵌入模型的建立工作。作为一个展示,我们应用该模型来解决二进制代码相似性比较的最基本的问题之一-基于语义的基本块比较,解决方案优于基于代码统计的方法。实验结果表明,该模型在其他跨体系结构的二进制代码分析任务中具有广阔的应用前景。
2018-12-23 cs.AI cs.CL cs.CR
A Unified Framework for Motion Reasoning and Generation in Human Interaction
Korea University(高丽大学);NAVER AI Lab(NAVER人工智能实验室)
本文提出统一交互式运动-语言模型VIM及大规模指令微调数据集Inter-MT2,以同时理解和生成多轮对话中的运动与文本,并在多项交互式运动任务上验证其通用性。
2025-03-12 cs.AI
Call2Instruct: Automated Pipeline for Generating Q&A Datasets from Call Center Recordings for LLM Fine-Tuning
Instituto de Informática – Universidade Federal de Goiás(信息技术学院 – 巴西戈亚州联邦大学)
本文提出Call2Instruct自动化流程,通过音频处理、文本处理和语义提取技术,从呼叫中心录音生成问答数据集,用于LLM微调。
2025-12-01 cs.AI cs.CL cs.HC
InstructAny2Pix: Flexible Visual Editing via Multimodal Instruction Following
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
InstructAny2Pix提出一种多模态指令跟随系统,结合多模态编码器、扩散模型与多模态LLM,支持用户通过音频、图像和文本指令灵活编辑图像,并引入细化先验模块提升生成质量。
2024-10-17 cs.CV
Zero-Shot Keyphrase Generation: Investigating Specialized Instructions and Multi-Sample Aggregation on Large Language Models
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Bloomberg(彭博公司)
本文研究大型语言模型在零样本关键短语生成任务中的潜力,通过引入专业化指令和任务特定的多样本聚合策略,显著提升了模型相比基线的生成效果。
2025-03-01 cs.AI cs.CL
EHRTutor: Enhancing Patient Understanding of Discharge Instructions
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Minnesota Twin Cities(明尼苏达大学双城分校);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
EHRTutor利用大型语言模型,通过基于出院指导的对话式问答和总结对患者进行教育,评估显示其优于基线,并可用于生成合成训练对话。
2023-10-30 cs.AI cs.CL
DKL: Decoupled Knowledge Learning for Instruction-Tuned Language Models
IBM(国际商业机器公司);Indian Institute of Technology, Madras(马德拉斯印度理工学院)
本研究提出DKL方法,通过对指令调优语言模型对应的基础大语言模型进行扩展预训练并合并权重,在不损害指令跟随能力的前提下提升RAG准确率,且训练数据需求远低于现有方案。
2026-09-03 cs.AI cs.CL
Semantics-Aware Human Motion Generation from Audio Instructions
本文提出一种端到端框架,利用掩码生成Transformer和记忆检索注意力模块处理音频输入,生成与音频语义对齐的人体动作,并验证了音频指令比文本更自然有效。
2025-05-29 cs.CV cs.SD