X-Eval: Generalizable Multi-aspect Text Evaluation via Augmented Instruction Tuning with Auxiliary Evaluation Aspects
Virginia Tech(弗吉尼亚理工大学);Fudan University(复旦大学);Amazon Inc.(亚马逊公司)
针对多维度文本评估需泛化到未见维度的难题,提出两阶段指令微调框架X-Eval,搭配定制数据集AspectInstruct,可让轻量模型达到与GPT-4等先进评估器相当甚至更高的人类判断相关性。
2024-04-13 cs.AI cs.CL cs.LG
Task--Specificity Score: Measuring How Much Instructions Really Matter for Supervision
Lingo Research Group, Indian Institute of Technology Gandhinagar(林戈研究组,印度理工学院冈德hinagar分校);Soket AI(Soket人工智能公司)
任务特异性分数用于衡量指令在监督学习中的重要性,通过对比真实指令与替代指令来提升模型性能。
2026-02-03 cs.AI cs.CL
Don't Reinvent the Wheel: Efficient Instruction-Following Text Embedding based on Guided Space Transformation
State Key Lab of CAD&CG(CAD与CG国家重点实验室);School of Computing(计算机学院);National University of Singapore(新加坡国立大学);School of Intelligence Science and Engineering(智能科学与工程学院);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出GSTransform框架,通过引导空间变换实时调整预计算嵌入以适配用户指令,解决了指令遵循文本嵌入中重复编码语料库的高计算开销问题,在提升嵌入质量的同时实现6~300倍加速。
2025-05-30 cs.AI cs.CL cs.IR
Do LLMs estimate uncertainty well in instruction-following?
University of Cambridge(剑桥大学);Apple(苹果公司);National University of Singapore(新加坡国立大学)
本研究首次系统评估LLMs在指令遵循中的不确定性估计,发现现有方法在细微错误下表现不佳,提出受控评估框架以促进更可靠的AI代理。
2025-03-28 cs.AI cs.CL
A Lightweight Multi Aspect Controlled Text Generation Solution For Large Language Models
Tongji University(同济大学)
本文提出基于数据增强的轻量级多属性可控文本生成流程,通过缓解传统数据集偏差与属性相关性,使大语言模型经指令微调后在MCTG任务上准确率提升20%。
2024-10-18 cs.AI cs.CL
TextBind: Multi-turn Interleaved Multimodal Instruction-following in the Wild
Tencent AI Lab(腾讯AI实验室);Nara Institute of Science and Technology(奈良科学技术研究所);Tsinghua University(清华大学)
本文提出 TextBind 框架,仅需图像-文本对即可让大型语言模型生成多轮交错多模态指令-响应对话,并设计了以语言模型为中心的 MIM 架构处理图文输入输出,发布了相关数据集、模型和演示以促进多模态指令遵循研究。
2024-06-03 cs.AI cs.CL
mEdIT: Multilingual Text Editing via Instruction Tuning
Grammarly;New York University Abu Dhabi(纽约大学阿布扎比分校)
本研究提出多语言文本编辑模型mEdIT,通过指令微调多语言预训练大模型,覆盖六大语系三类编辑任务,在多基准上性能优于现有多语言大模型,且对新语言泛化性更好,相关资源已公开。
2024-04-17 cs.AI cs.CL
Text as Images: Can Multimodal Large Language Models Follow Printed Instructions in Pixels?
Apple(苹果公司);Microsoft Research(微软研究院);University of Washington(华盛顿大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
本文提出 VIM 评测像素化印刷指令,在八个基准上揭示开源 MLLM 的显著性能下降,并训练可同时鲁棒遵循文本与视觉模态指令的 v-MLLM。
2024-06-10 cs.AI cs.CL cs.CV
Controllable Text Generation in the Instruction-Tuning Era
Carnegie Mellon University(卡内基梅隆大学);School of Computer Science(计算机科学学院)
本文发布ConGenBench测试平台,发现提示方法在指令微调语言模型上优于传统可控生成方法,并提出自动生成约束数据集的算法以扩展可控性研究范围。
2024-05-02 cs.AI cs.CL
$\textbf{Only-IF}$:Revealing the Decisive Effect of Instruction Diversity on Generalization
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University Of Chicago(芝加哥大学);Meta
本文通过受图灵完备马尔可夫算法启发的对照实验,证明跨语义领域的数据多样化是模型泛化到未见指令的关键因素,并指出在专家和通才模型微调中,提高指令多样性比单纯增加相似数据数量更能有效提升性能。
2024-10-18 cs.AI cs.CL cs.LG
MURI: High-Quality Instruction Tuning Datasets for Low-Resource Languages via Reverse Instructions
CIS, LMU Munich(慕尼黑大学CIS学院);Munich Center for Machine Learning(慕尼黑机器学习中心);Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室);Cohere for AI
本文提出MURI方法,利用反向指令和翻译流水线,无需人工标注即可为200种低资源语言生成超200万指令-输出对,经评估和微调实验验证,有效提升NLU和开放式生成性能。
2024-09-19 cs.AI cs.CL cs.LG
Improving Text-to-Audio Instruction Following via Fine-Grained Feedback from Audio-Aware Large Language Models
National Taiwan University(国立台湾大学);Amazon(亚马逊)
研究文本到音频指令跟随问题,提出用音频感知大语言模型作细粒度评判器的框架,经验证后用其反馈构建偏好对优化,引入S3Bench基准,实验证明该方法能提升事件完整性、时间排序和指令跟随准确性,且保持音频质量。
2026-07-28 cs.AI cs.CL cs.LG
Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning
University of California, Santa Barbara, USA(加州大学圣芭芭拉分校);MIT-IBM Computing Research Lab, IBM Research, USA(麻省理工-IBM计算研究实验室,IBM研究)
提出SpeechCombine,通过单轮30k小时语音预训练和权重组合,无需指令微调即可实现指令跟随,有效将文本LLM能力迁移至语音域。
2026-07-03 cs.CL eess.AS
A Comparative Analysis of Instruction Fine-Tuning LLMs for Financial Text Classification
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Arizona State University(亚利桑那州立大学)
本研究通过指令微调Mistral-7B、Llama3-8B和Phi3-mini等小型LLM,结合模型合并技术,显著提升了金融文本分类及零样本复杂任务性能。
2024-11-04 cs.AI cs.CL
RewriteLM: An Instruction-Tuned Large Language Model for Text Rewriting
Google Research(谷歌研究院)
针对LLM在跨句子重写任务中的不足,提出指令调优与强化学习新策略,并构建OpenRewriteEval基准,显著提升重写性能。
2023-12-19 cs.AI cs.CL
Con Instruction: Universal Jailbreaking of Multimodal Large Language Models via Non-Textual Modalities
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Technical University of Darmstadt(达姆施塔特工业大学)
本文提出 Con Instruction 方法,通过优化对抗性图像或音频在嵌入空间中与目标指令对齐,实现对多模态大语言模型的通用越狱攻击,并引入 ARC 框架评估攻击效果,在多个模型上取得最高攻击成功率。
2025-05-31 cs.CL cs.CR cs.LG
Answer is All You Need: Instruction-following Text Embedding via Answering the Question
University of California San Diego(加利福尼亚大学圣迭戈分校);Cisco(思科公司)
本文提出InBedder,通过将指令视为问题并编码预期答案,在问答任务上微调语言模型,构建了能捕捉用户指定文本特征的嵌入器,显著提升了指令遵循能力并具备高可解释性。
2024-02-15 cs.CL
InstructOCR: Instruction Boosting Scene Text Spotting
Meituan(美团);Xi’an Jiaotong University(西安交通大学)
针对现有场景文本定位识别方法忽略人类语言指令优势的问题,提出基于指令的InstructOCR模型,结合文本与图像编码器及属性定制指令,在常用基准取得SOTA,还可提升场景文本VQA任务性能。
2025-01-13 cs.AI cs.CV
A High-Quality Text-Rich Image Instruction Tuning Dataset via Hybrid Instruction Generation
University at Buffalo(布法罗大学);Adobe Research(奥多比研究院)
针对大型多模态模型在富文本图像上的数据不足问题,提出LLaVAR-2,通过人工与GPT-4o混合生成指令并过滤低质量数据,构建了424k对高质量指令数据集,显著提升了模型微调效果。
2024-12-20 cs.CL cs.CV
Toward Unified Controllable Text Generation via Regular Expression Instruction
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本文提出正则表达式指令(REI),通过指令机制统一建模词汇、位置、长度等可控文本生成约束及其组合,仅需微调中等模型或对大模型少样本学习,实验显示其成功率高且优于多数基线。
2023-09-20 cs.AI cs.CL
Leveraging Unstructured Text Data for Federated Instruction Tuning of Large Language Models
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
针对联邦指令微调要求客户端具备结构化指令数据的不切实际问题,提出FedIT-U2S框架,通过基于检索的少样本生成将非结构化文本转为指令对再微调,拓宽应用场景且在多领域显著提升模型效果。
2024-09-11 cs.AI cs.CL cs.MA
One-Shot Learning as Instruction Data Prospector for Large Language Models
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Alibaba Group(阿里巴巴集团);The University of Sydney(悉尼大学)
针对指令微调中数据质量难以保证的问题,提出Nuggets方法,利用单样本学习评估指令数据对锚点集困惑度的影响来筛选高质量数据,实验证明仅用前1%数据即可超越全量数据微调效果。
2024-06-03 cs.AI cs.CL
LLaVAR: Enhanced Visual Instruction Tuning for Text-Rich Image Understanding
Georgia Tech(佐治亚理工学院);Adobe Research(奥多比研究院);Stanford University(斯坦福大学)
LLaVAR通过利用OCR和GPT-4生成文本丰富图像指令数据,增强视觉指令微调,显著提升文本VQA准确率并保持ScienceQA高性能。
2024-02-02 cs.CL cs.CV
Enhancing Large Language Models Against Inductive Instructions with Dual-critique Prompting
The Chinese University of Hong Kong(香港中文大学)
本文针对大语言模型易受基于反事实前提的归纳式指令误导的问题,构建了INDust基准揭示其普遍脆弱性,并提出Dual-critique提示方法,有效提升了多种大语言模型抵御不同类型归纳式指令的鲁棒性。
2024-03-07 cs.CL
Look at the Text: Instruction-Tuned Language Models are More Robust Multiple Choice Selectors than You Think
Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);LMU Munich(慕尼黑大学);Bocconi University(博科尼大学)
本文研究指令微调语言模型在多项选择题中的稳健性,发现文本答案比首个词元概率对问题扰动更稳健,尤其在不匹配率超过50%时,优于去偏方法,支持文本答案评估。
2024-08-20 cs.AI cs.CL
Chinese Open Instruction Generalist: A Preliminary Release
Beijing Academy of Artificial Intelligence(北京人工智能研究院);The University of Sheffield(谢菲尔德大学);University of Michigan Ann Arbor(密歇根大学安娜堡分校);Dartmouth University(达特茅斯学院);Zhejiang University(浙江大学);Beihang University(北京航空航天大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出 COIG 项目,针对 4 个子任务构建并人工校验约 20 万条高质量中文指令微调样本,且开源并持续更新。
2023-04-25 cs.AI cs.CL
A Controlled Study of Decoding-Time Truthfulness Methods on Instruction-Tuned LLMs
Independent Researcher(独立研究员)
本研究通过分析每层令牌logits特征,提出CHAIR框架检测幻觉,在TruthfulQA和MMLU上显著提升零样本检测准确率。
2026-06-12 cs.CL
XATU: A Fine-grained Instruction-based Benchmark for Explainable Text Updates
UC Davis(加州大学戴维斯分校);Megagon Labs(Megagon实验室)
本文提出XATU,首个细粒度指令的可解释文本编辑基准,涵盖多难度任务,结合LLM与人工标注,验证了指令调优和解释在提升LLM编辑能力中的关键作用。
2024-03-14 cs.CL
Self-Foveate: Enhancing Diversity and Difficulty of Synthesized Instructions from Unsupervised Text via Multi-Level Foveation
Research Center for Social Computing and Interactive Robotics(社会计算与交互机器人研究中心);Harbin Institute of Technology(哈尔滨工业大学)
Self-Foveate通过多级聚焦方法提升无监督文本合成指令的多样性和难度,采用细粒度到整体模式的提取策略,并结合重合成模块提高指令质量。
2026-02-03 cs.AI
When Engineering Outruns Intelligence: Rethinking Instruction-Guided Navigation
本文通过检测器受控实验对比 InstructNav 与两种免训练前沿导航变体,揭示 ObjectNav 的零样本提升主要来自几何工程,LLM 更适合作为轻量语义启发。
2025-09-27 cs.AI cs.LG cs.RO
Text-to-Audio Generation using Instruction-Tuned LLM and Latent Diffusion Model
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出TANGO,利用指令微调LLM Flan-T5作为文本编码器并结合潜在扩散模型,在更小数据集上实现文本到音频生成性能超越AudioLDM。
2023-05-29 cs.AI cs.CL cs.SD
How You Prompt Matters! Even Task-Oriented Constraints in Instructions Affect LLM-Generated Text Detection
Tokyo Institute of Technology(东京工业大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文研究任务导向指令约束对LLM生成文本检测的影响,通过学生论文写作实验发现此类约束会使检测器性能波动显著增大(标准差最高达14.4 F1),并指出LLM的指令遵循能力是导致该影响的关键因素。
2024-10-01 cs.CL
SIFT-50M: A Large-Scale Multilingual Dataset for Speech Instruction Fine-Tuning
Amazon AGI(亚马逊AGI);Apple Inc.(苹果公司)
该研究构建含5000万样本的多语言语音指令微调数据集SIFT-50M,训练的SIFT-LLM在指令遵循基准上优于现有模型,同时提出EvalSIFT基准支持相关研究。
2025-04-17 cs.AI cs.CL eess.AS
Empowering Large Language Models for Textual Data Augmentation
Google DeepMind(谷歌DeepMind);Worcester Polytechnic Institute(伍斯特理工学院);Northwestern University(西北大学)
本文提出一种自动生成并选择任务感知指令的解决方案,赋能LLMs为不同下游任务创建高质量增强数据,在26个少样本学习任务上取得最佳性能。
2024-04-26 cs.AI cs.CL
Otter: A Multi-Modal Model with In-Context Instruction Tuning
Nanyang Technological University(南洋理工大学);Microsoft Research(微软研究院)
本文提出 Otter 多模态模型及 MIMIC-IT 数据集,通过文本与视觉上下文中示例进行指令微调,提升模型在复杂视频和多图像理解任务中的收敛、泛化与表现。
2025-07-28 cs.CL cs.CV
Latent Jailbreak: A Benchmark for Evaluating Text Safety and Output Robustness of Large Language Models
Zhejiang University(浙江大学);School of Engineering, Westlake University(西湖大学工程学院)
该研究提出同时评估大语言模型安全性与鲁棒性的Latent Jailbreak基准,构建含嵌入恶意指令的潜在越狱提示数据集,通过多维度分析发现现有模型对不同指令动词存在响应优先级差异与越狱率区别。
2023-08-28 cs.CL
Human Instruction-Following with Deep Reinforcement Learning via Transfer-Learning from Text
DeepMind(深度思维)
最近的工作描述了基于神经网络的代理,这些代理使用强化学习(RL)进行训练,以在模拟世界中执行类似语言的命令,这是迈向可以由人类用户指示的智能代理或机器人的一步。然而,从头开始通过深度RL优化多目标运动策略需要许多经验。因此,深度RL的指令遵循通常涉及从模板(通过环境模拟器)生成的语言,这并不反映真实用户的变化或模糊表达。在这里,我们提出了一种概念上简单的方法,用于训练具有深度RL的指令遵循代理,这些代理对自然人类指令具有鲁棒性。通过应用我们的方法与国家的最先进的预训练的基于文本的语言模型(BERT),在任务上需要代理识别和定位日常对象相对于其他对象在自然的3D模拟房间,我们展示了基本上以上的机会zero-shot从合成模板命令转移到自然的指令由人类。我们的方法是训练任何基于深度RL的系统与人类用户交互的通用方法,并弥合了最近取得显著成功的两个研究方向之间的差距:以代理为中心的运动行为和基于文本的表示学习。
2020-05-19 cs.CL
Suri: Multi-constraint Instruction Following for Long-form Text Generation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);NVIDIA(英伟达)
本文构建含复杂约束的长文本数据集 Suri,并提出利用合成损坏指令提供负反馈的 I-ORPO 对齐方法,使 7B 模型在保持质量的同时生成约 5K tokens 且更受人类偏好。
2024-10-02 cs.CL
Planning with Logical Graph-based Language Model for Instruction Generation
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Department of Computer Science, Guizhou University(贵州大学计算机科学系)
本文提出 Logical-GLM,通过构建逻辑贝叶斯图并生成逻辑骨架来指导语言模型训练,在更少数据和参数下提升指令文本生成的逻辑正确性与可解释性。
2024-07-05 cs.AI cs.CL
On Instruction-Finetuning Neural Machine Translation Models
Microsoft Azure AI(微软Azure人工智能部门)
本研究提出神经机器翻译模型的指令微调方法,将大语言模型的指令遵循能力蒸馏到小型NMT模型中,实现多类翻译任务的联合处理,性能媲美GPT-3.5-Turbo,提升定制化翻译服务效率。
2024-10-07 cs.AI cs.CL
Domain Agnostic Text Redaction from Natural Language Rules using Instruction Tuning
Mphasis Limited(美费西斯有限公司)
本文提出一种基于指令微调语言模型的领域无关可解释文本脱敏方案,支持用户以自然语言定义敏感信息,可应用于法律、医疗等关键场景的自动文本脱敏。
2026-08-18 cs.AI cs.CL
Instructional Text Across Disciplines: A Survey of Representations, Downstream Tasks, and Open Challenges Toward Capable AI Agents
KUIS AI Lab, Koç University, Istanbul, Türkiye(KUIS AI实验室,科克大学,伊斯坦布尔,土耳其);Koç University, Istanbul, Türkiye(科克大学,伊斯坦布尔,土耳其);Johns Hopkins University, Baltimore, USA(约翰霍普金斯大学,巴尔的摩,美国);Friedrich-Alexander-Universität Erlangen-Nürnberg, Germany(埃尔兰根-纽伦堡弗里德里希-亚历山大大学,德国)
本文综述了指令文本的表示方法、下游任务及挑战,旨在为AI代理提供统一视角,填补不同研究方向间的空白。
2026-03-23 cs.CL
MLAN: Language-Based Instruction Tuning Preserves and Transfers Knowledge in Multimodal Language Models
Washington University in St. Louis(华盛顿大学圣路易斯分校);The University of British Columbia(不列颠哥伦比亚大学);Google Research(谷歌研究);Virginia Tech(弗吉尼亚理工大学);University of California, Davis(加州大学戴维斯分校);Sony AI(索尼人工智能);University of California, Berkeley(加州大学伯克利分校)
提出一种偏重文本的视觉指令微调策略,通过引入多样化纯文本数据建立知识库,在12个数据集上以一半训练token实现跨模态知识迁移并保持零样本性能。
2025-06-28 cs.CL
Text2Motion: From Natural Language Instructions to Feasible Plans
Stanford University(斯坦福大学)
本研究提出基于语言的规划框架Text2Motion,结合技能库Q函数的可行性启发式规则引导大语言模型任务规划,主动解决技能序列几何依赖,在长时程序列操作任务上成功率达82%,显著优于现有方法。
2023-11-26 cs.AI cs.LG cs.RO
IFEval-Audio: Benchmarking Instruction-Following Capability in Audio-based Large Language Models
Nanyang Technological University (NTU)(南洋理工大学);MiroMind(米罗Mind);Institute for Infocomm Research (I 2 R)(信息与通信研究院);A*STAR(科技研究局)
针对音频类大型语言模型指令遵循能力未被充分研究的问题,提出IFEval-Audio评测数据集(含280个三元组、6个维度),对先进音频LLMs进行基准测试并公开数据集,填补该领域空白。
2025-11-12 cs.CL
KIT-19: A Comprehensive Korean Instruction Toolkit on 19 Tasks for Fine-Tuning Korean Large Language Models
Seoul National University(首尔大学)
本文提出了KIT-19,一个包含19项韩语NLP任务的指令数据集,用于微调韩语大型语言模型,实验证明基于该数据集训练的模型显著优于现有韩语LLM。
2024-03-25 cs.CL
The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions
OpenAI
针对LLM因系统提示与不可信输入同优先级而易受攻击的漏洞,提出指令层级框架及数据生成方法,训练GPT-3.5选择性忽略低特权指令,大幅提升对未见攻击的鲁棒性且基本不损失标准能力。
2024-04-19 cs.CL cs.CR cs.LG
Coherent Zero-Shot Visual Instruction Generation
University of Maryland College Park(马里兰大学帕克分校)
本文提出一个无需训练的零样本框架,结合扩散模型与大语言模型,系统整合文本理解与图像生成,以解决多步骤视觉指令中对象一致性与状态平滑转换的难题,实验证明其能生成连贯且美观的视觉指令。
2024-06-08 cs.AI cs.CV
GRAFT: GRaPH and Table Reasoning for Textual Alignment -- A Benchmark for Structured Instruction Following and Visual Reasoning
ServiceNow
GRAFT基准通过结构化图表和表格及多步骤问题,评估大语言模型在视觉文本对齐、指令遵循和视觉推理方面的综合能力。
2025-12-02 cs.AI cs.LG cs.MM
Unified Text Structuralization with Instruction-tuned Language Models
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
文本结构化是自然语言处理的重要研究领域之一,包括信息抽取和结构形式化。然而,目前的文本结构化研究缺乏来自不同领域和语言的人工标注的高质量数据集,这需要专门的专业知识。此外,大多数IE方法是针对特定类型的结构化数据设计的,例如,实体、关系和事件,使得它们很难推广到其他事物。在这项工作中,我们提出了一个简单而有效的方法来指导大语言模型(LLM)从文本中提取各种结构。更具体地说,我们添加了一个前缀和后缀指令,分别表示所需的IE任务和结构类型,然后将文本送入LLM。在两个LLM上的实验表明,该方法可以使语言模型在各种语言和知识的数据集上表现出与其他最先进的方法相当的性能,并且可以通过改变指令的内容来推广到其他IE子任务。我们的方法的另一个好处是,它可以帮助研究人员在低源和特定领域的情况下构建数据集,例如,金融、法律等领域,成本低。
2023-03-30 cs.CL
Incubating Text Classifiers Following User Instruction with Nothing but LLM
University of California, San Diego(加利福尼亚大学圣迭戈分校)
该研究提出Incubator框架,通过微调LLM并结合语义嵌入聚类优化,仅依据用户指令生成分类数据,无需人工标注即可训练分类器,可处理复杂依赖类别,在基准测试中表现优异,还支持逻辑文本挖掘。
2024-05-20 cs.CL
PRIME: Evaluating Prompt Resolution Under Incompatible Instructions in LLMs
School of Electrical Engineering;Computer Science (SEECS), National University of Sciences
提出PRIME框架,通过生成校准冲突(响应长度、输出格式、推理)并采用确定性行为分类法,分析大语言模型处理冲突指令的行为,发现冲突类型比模型规模对行为影响更大。
2026-06-23 cs.AI
CU-ICU: Customizing Unsupervised Instruction-Finetuned Language Models for ICU Datasets via Text-to-Text Transfer Transformer
Faculty of Engineering Chulalongkorn University(工程学院朱拉隆功大学)
CU-ICU利用T5架构结合少样本提示与稀疏参数更新,在仅更新不到1%参数的情况下,显著提升ICU场景中脓毒症检测、死亡率预测和临床记录生成的准确性与可解释性。
2025-07-18 cs.CL
DoG-Instruct: Towards Premium Instruction-Tuning Data via Text-Grounded Instruction Wrapping
Southeast University(东南大学);Tencent AI Lab(腾讯AI实验室)
本文提出DoG-Instruct方法,通过训练LLM基于人工文档生成指令-响应对并包装表达,以减少幻觉并提升数据质量,在AlpacaEval上以1/5训练数据实现10%相对性能提升。
2024-05-25 cs.CL