From Output to Evaluation: Does Raw Instruction-Tuned Code LLMs Output Suffice for Fill-in-the-Middle Code Generation?
NVIDIA Santa Clara, CA 95051, USA(NVIDIA Santa Clara 分部)
本文研究指令微调代码 LLM 的 FIM 原始输出是否仍需后处理,发现监督微调可在完整行填充场景下免截断评估,但随机代码片段填充仍需后处理。
2025-06-09 cs.CL cs.SE
MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning
Virginia Tech(弗吉尼亚理工大学)
本研究提出首个多模态指令微调基准数据集MultiInstruct,基于OFA模型结合迁移学习策略,提升了多模态零样本性能,并设计敏感度指标验证了多任务微调对降低指令变体敏感度的作用。
2023-06-10 cs.CL
A Comparative Study between Full-Parameter and LoRA-based Fine-Tuning on Chinese Instruction Data for Instruction Following Large Language Model
Beike Inc.(贝壳公司)
本文以LLaMA为基座,在中文指令数据上对比全参数微调与LoRA微调,分析基座模型、数据规模、可学习参数量和训练成本对性能的影响,为中文大模型训练提供成本与性能权衡参考。
2023-04-18 cs.CL
Context-Aware Neural Gradient Mapping for Fine-Grained Instruction Processing
该论文提出上下文感知神经梯度映射框架,通过将上下文嵌入融入梯度调整机制,实现细粒度指令处理,提升泛化能力、鲁棒性和计算效率。
2025-04-24 cs.AI cs.CL
LaMini-LM: A Diverse Herd of Distilled Models from Large-Scale Instructions
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Monash University(莫纳什大学);The University of British Columbia(不列颠哥伦比亚大学)
本研究针对大语言模型资源消耗大的问题,构建258万条多样化指令集,蒸馏出涵盖不同架构与规模的LaMini-LM模型群,在15个NLP基准上性能媲美基线且规模远更小。
2024-01-29 cs.CL
CRAFT: Extracting and Tuning Cultural Instructions from the Wild
Institute for Infocomm Research (IR), A*STAR(信息通信研究院(IR),新加坡科技研究局);Centre for Frontier AI Research (CFAR), A*STAR(前沿人工智能研究中心(CFAR),新加坡科技研究局)
针对大语言模型文化推理能力不足的问题,本文提出CRAFT流水线,从非结构化语料提取文化指令调优数据,在三个地区实验中实现最高6%的性能提升,为文化指令调优集构建提供了新方向。
2024-07-10 cs.CL
Speech-Copilot: Leveraging Large Language Models for Speech Processing via Task Decomposition, Modularization, and Program Generation
National Taiwan University(台湾大学)
本文提出Speech-Copilot框架,通过任务分解构建语音处理专用工具集,并利用基于大型语言模型的智能体生成程序执行任务,在Dynamic-SUPERG基准上达到最先进性能,提供灵活可扩展的免训练解决方案。
2024-09-23 cs.CL cs.SD eess.AS
Instruction-following Evaluation through Verbalizer Manipulation
Samsung Research America(美国三星研究院);University of Southern California(南加州大学)
本文提出言语化器操纵评估协议,通过改变任务标签与模型先验的对齐程度来检验指令遵循能力,并在多模型多数据集上验证其有效性,发现现有模型在低对齐言语化器上表现显著下降。
2024-04-02 cs.CL
Large Language Model Instruction Following: A Survey of Progresses and Challenges
The Pennsylvania State University(宾夕法尼亚州立大学);The Ohio State University(俄亥俄州立大学)
本文首次全面综述大语言模型指令遵循研究,围绕指令定义与类型、建模方法、数据集与评估指标、性能影响因素及现存挑战五个核心问题展开系统梳理,为后续研究提供参考。
2024-05-25 cs.CL
Instructional Text Across Disciplines: A Survey of Representations, Downstream Tasks, and Open Challenges Toward Capable AI Agents
KUIS AI Lab, Koç University, Istanbul, Türkiye(KUIS AI实验室,科克大学,伊斯坦布尔,土耳其);Koç University, Istanbul, Türkiye(科克大学,伊斯坦布尔,土耳其);Johns Hopkins University, Baltimore, USA(约翰霍普金斯大学,巴尔的摩,美国);Friedrich-Alexander-Universität Erlangen-Nürnberg, Germany(埃尔兰根-纽伦堡弗里德里希-亚历山大大学,德国)
本文综述了指令文本的表示方法、下游任务及挑战,旨在为AI代理提供统一视角,填补不同研究方向间的空白。
2026-03-23 cs.CL
Enhancing Complex Instruction Following for Large Language Models with Mixture-of-Contexts Fine-tuning
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(人工智能学院,北京邮电大学);LI Auto Inc.(LI汽车公司)
本文提出 MISO 多输入单输出架构与混合上下文微调范式,通过并行子上下文增强 SFT,显著提升 LLM 对复杂多约束指令的遵循能力及训练效率。
2025-05-17 cs.CL
Enhancing Large Language Models Against Inductive Instructions with Dual-critique Prompting
The Chinese University of Hong Kong(香港中文大学)
本文针对大语言模型易受基于反事实前提的归纳式指令误导的问题,构建了INDust基准揭示其普遍脆弱性,并提出Dual-critique提示方法,有效提升了多种大语言模型抵御不同类型归纳式指令的鲁棒性。
2024-03-07 cs.CL
Patches of Nonlinearity: Instruction Vectors in Large Language Models
Ubiquitous Knowledge Processing Lab (UKP Lab)(通用知识处理实验室);Department of Computer Science, Technical University of Darmstadt and National Research Center for Applied Cybersecurity ATHENE, Germany(计算机科学系,达姆施塔特技术大学和应用网络安全国家研究中心ATHENE,德国)
通过因果中介分析发现指令表示在模型中高度局部化,称为指令向量(IVs),并揭示其线性可分性与非线性因果交互并存,提出一种免于线性假设的新方法定位信息处理,发现IVs作为电路选择器。
2026-06-23 cs.CL
IgnitionInnovators at "Discharge Me!": Chain-of-Thought Instruction Finetuning Large Language Models for Discharge Summaries
RMIT University(皇家墨尔本理工大学)
本文提出基于LLM的框架解决出院摘要文档记录任务,通过指令微调与思维链提示策略优化文本生成,有效提升了临床信息的结构正确性与忠实度。
2024-07-24 cs.CL
Instruction-tuning Aligns LLMs to the Human Brain
EPFL(洛桑联邦理工学院)
本文评估25个原始与指令微调LLM,发现指令微调可提升大脑对齐约6%,且该对齐与模型规模和世界知识任务表现强相关。
2024-08-09 cs.CL
WenyanGPT: A Large Language Model for Classical Chinese Tasks
Minzu University of China(中国民族大学);National Language Resources Monitoring & Research Center of Languages(语言资源监测与研究中心)
本文针对现有模型在文言文任务表现不佳的问题,通过对LLaMA3-8B-Chinese进行持续预训练和指令微调构建了WenyanGPT模型,并开发了评估基准WenyanBENCH,显著提升了文言文任务的性能。
2025-04-29 cs.CL
NAVER LABS Europe Submission to the Instruction-following Track
NAVER LABS Europe(NAVER LABS欧洲);University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文提出一种基于 SeamlessM4T-v2-large 语音编码器投影器和 Llama-3.1-8B-Instruct LoRA 适配器的多任务系统,可同时处理英语语音的 ASR、ST 和 SQA 任务并输出中、意、德文本。
2025-06-02 cs.CL
From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix
T-Tech
针对企业自托管LLM的GPU池碎片化问题,通过分维度训练GRPO专家并经SLERP合并,构建的单模型可整合50%平台流量,性能优于大7倍的基线模型。
2026-09-02 cs.CL
Pre-Learning Environment Representations for Data-Efficient Neural Instruction Following
University of California, Berkeley(加州大学伯克利分校)
我们认为学习映射的问题,从自然语言指令的状态转换(行动),在一个数据有效的方式。我们的方法从这样一个想法中得到灵感:将语言与通过前语言观察已经形成的概念联系起来应该更容易。我们增加了一个基线的预防以下的学习者与初始环境学习阶段,使用观察的语言自由状态转换,以诱导一个合适的潜在的行动表示之前,处理预防以下的训练数据。我们表明,映射到预先学习的表示大大提高了系统的表现,其表示是从有限的教学数据单独学习。
2019-07-23 cs.AI cs.CL cs.LG
Benchmarking Large Language Models with Augmented Instructions for Fine-grained Information Extraction
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Paradigm. Inc.(第四范式公司);Tsinghua University(清华大学);HKUST(香港科技大学)
本研究针对大语言模型适配细粒度信息抽取的需求,构建了带增强指令的细粒度IE基准数据集,实验发现模型性能不由规模单一决定,架构等因素也很关键,为LLM在IE领域的精细化应用提供参考。
2023-10-08 cs.CL
Specialist or Generalist? Instruction Tuning for Specific NLP Tasks
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室);Cohere;Tencent AI Lab(腾讯AI实验室)
本文研究了在构建特定NLP任务的专家模型时引入通用指令微调的效果,发现其在任务覆盖广或数据有限时提升性能并增强理解推理能力,但含幻觉的通用数据会损害事实知识任务表现。
2023-10-23 cs.CL
IHDec: Divergence-Steered Contrastive Decoding for Securing Multi-Turn Instruction Hierarchies
Chung-Ang University(Chung-Ang大学)
针对多轮对话中指令层级失效问题,提出基于Jensen-Shannon散度的无训练对比解码方法IHDec,自动检测并抑制越级指令,优于训练基线且保持响应质量。
2026-09-18 cs.CL
Leveraging LLMs for On-the-Fly Instruction Guided Image Editing
University of Lisbon(里斯本大学)
针对仅依据自然语言指令编辑图像的任务,本文提出一种无需训练或微调的即时方法,通过图像描述、DDIM 反演、编辑方向嵌入和图像编辑三步流程,在 MAGICBRIFF 数据集上超越现有最先进模型。
2024-12-04 cs.AI cs.CL cs.CV
EcomGPT: Instruction-tuning Large Language Models with Chain-of-Task Tasks for E-commerce
针对通用大语言模型在电商场景泛化能力不足的问题,构建含250万条数据的电商指令数据集EcomInstruct,基于任务链任务训练出EcomGPT,其电商跨任务泛化表现优于ChatGPT。
2023-08-28 cs.CL
REFINE-AF: A Task-Agnostic Framework to Align Language Models via Self-Generated Instructions using Reinforcement Learning from Automated Feedback
Indian Institute of Technology, Kharagpur(印度理工学院,克哈格普尔)
本文提出REFINE-AF半自动化任务无关框架,利用开源小型LLM自生成指令并结合基于自动化反馈的RL训练,以更低成本生成微调数据,并在63%至66%的任务上显著优于以往方法。
2025-05-10 cs.CL
Unified Text Structuralization with Instruction-tuned Language Models
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
文本结构化是自然语言处理的重要研究领域之一,包括信息抽取和结构形式化。然而,目前的文本结构化研究缺乏来自不同领域和语言的人工标注的高质量数据集,这需要专门的专业知识。此外,大多数IE方法是针对特定类型的结构化数据设计的,例如,实体、关系和事件,使得它们很难推广到其他事物。在这项工作中,我们提出了一个简单而有效的方法来指导大语言模型(LLM)从文本中提取各种结构。更具体地说,我们添加了一个前缀和后缀指令,分别表示所需的IE任务和结构类型,然后将文本送入LLM。在两个LLM上的实验表明,该方法可以使语言模型在各种语言和知识的数据集上表现出与其他最先进的方法相当的性能,并且可以通过改变指令的内容来推广到其他IE子任务。我们的方法的另一个好处是,它可以帮助研究人员在低源和特定领域的情况下构建数据集,例如,金融、法律等领域,成本低。
2023-03-30 cs.CL
CyberPal.AI: Empowering LLMs with Expert-Driven Cybersecurity Instructions
IBM Research(IBM研究院);Ben-Gurion University(本古里安大学)
针对大语言模型在网络安全领域应用的挑战,研究构建专家知识驱动的指令数据集SecKnowledge,微调得到安全专用模型CyberPal.AI,并推出综合评估基准SecKnowledge-Eval,性能较基线最高提升24%。
2024-08-17 cs.CL
LIFBench: Evaluating the Instruction Following Performance and Stability of Large Language Models in Long-Context Scenarios
East China Normal University(东华师范大学);iQIYI Inc(iQIYI公司);Shanghai Innovation Institute(上海创新研究院)
本文提出 LIFBench 数据集与 LIFEval 评分方法,从长度、表达和变量维度系统评估 20 个主流 LLM 在长上下文指令遵循中的性能与稳定性。
2025-07-23 cs.CL
Resilience of Large Language Models for Noisy Instructions
Institute for Infocomm Research (IR), A*STAR(信息通信研究院);Centre for Frontier AI Research (CFAR), A*STAR(前沿人工智能研究中心)
本文研究大语言模型对ASR、OCR、语法、打字及干扰内容五类噪声指令的鲁棒性,发现模型整体性能显著下降,并评估了re-pass净化策略,指出纠正含噪指令尤其是开源LLMs仍面临重大挑战。
2024-10-03 cs.CL
Optimizing Psychological Counseling with Instruction-Tuned Large Language Models
Shangqiu University(商丘大学)
针对心理健康服务需求增长的问题,本文提出用专业提示对大语言模型进行指令微调的心理咨询优化方法,经专业咨询师反馈优化数据集与多维度评估,模型性能优于基线模型,可提供可扩展的心理支持工具。
2024-06-19 cs.AI cs.CL
Listwise Cross-Encoder Fine-Tuning vs. Agentic Instruction Tuning for LLM Rerankers: A Systematic Study in Medical Procedure Reranking
Healthee
本文系统性对比列表式交叉编码器微调与智能体指令微调两种LLM重排序范式,在自建医疗流程重排序数据集上,发现1.09亿参数的ListNet微调交叉编码器性能优于40亿参数的Qwen3-Reranker-4B,参数量仅为后者1/37,相关成果已开源。
2026-08-11 cs.CL cs.IR
Visual Instruction Tuning Aligns Modalities through Abstraction
Area Science Park, Trieste, Italy(特里埃斯特Area Science Park)
通过探针分析和因果干预,发现视觉指令调优将视觉特征直接嵌入LLM的中间语义层,绕过早期单模态处理层,并通过扩展和强化现有抽象阶段对齐视觉与文本表示。
2026-11-13 cs.CL cs.CV cs.LG
Merging Triggers, Breaking Backdoors: Defensive Poisoning for Instruction-Tuned Language Models
Graduate School of Artificial Intelligence, POSTECH, Republic of Korea(POSTECH人工智能研究生院,韩国);Department of Computer Science and Engineering, POSTECH, Republic of Korea(POSTECH计算机科学与工程系,韩国)
本文提出MB-Defense框架,通过防御性中毒和后门中和两个阶段,提升指令微调语言模型对后门攻击的鲁棒性,实验表明其有效降低攻击成功率并保持指令遵循能力。
2026-04-20 cs.AI cs.CL
Few-Shot Prompting for Extractive Quranic QA with Instruction-Tuned LLMs
Faculty of Computer Science MSA University Giza, Egypt(计算机科学学院 MSA大学 埃及吉扎);Faculty of Computer Science MSA University Egypt(计算机科学学院 MSA大学 埃及)
本文提出使用少样本提示与指令微调LLM进行《古兰经》抽取式问答,结合阿拉伯语提示框架和后处理系统,有效提升了精确度并减少了幻觉,最佳配置达到0.637的pAP10分数。
2025-08-08 cs.CL cs.IR
Adding Instructions during Pretraining: Effective Way of Controlling Toxicity in Language Models
NVIDIA(英伟达)
预训练的大语言模型已经成为解决各种自然语言处理(NLP)任务不可或缺的工具。然而,在现实世界的应用程序中安全地部署它们是具有挑战性的,因为它们会产生有毒内容。为了应对这一挑战,我们提出了两种新的预训练数据增强策略,可以显着降低模型毒性,而不会影响其实用性。我们的两个战略是:(1)MEDA:将原始毒性评分作为元数据添加到预训练样本中,以及(2)INST:将指令添加到指示其毒性的那些样本中。我们的研究结果表明,我们的最佳执行策略(INST)大大降低了毒性概率高达61%,同时保留了五个基准NLP任务的准确性,并将四个偏差检测任务的AUC分数提高了1.3%。我们还通过调整训练样本的数量和模型参数的数量来证明我们的技术的普遍性。
2023-02-14 cs.AI cs.CL
Fuzzy, Symbolic, and Contextual: Enhancing LLM Instruction via Cognitive Scaffolding
Department of Computer Science University of Regina(计算机科学系 皇家大学)
该研究探究提示层归纳偏置对大语言模型教学对话认知行为的影响,提出搭配短期记忆模式的符号支架方法,经消融实验验证完整系统优于基线,证明认知支架可有效塑造LLM的教学策略。
2025-10-29 cs.AI cs.CL
ClimateChat: Designing Data and Methods for Instruction Tuning LLMs to Answer Climate Change Queries
Tsinghua University(清华大学)
本研究针对气候变化领域高精度指令数据不足的问题,提出自动化构建指令数据的方法,构建ClimateChat-Corpus数据集并微调得到ClimateChat大语言模型,显著提升了气候变化问答任务性能,为领域大模型训练提供参考。
2025-06-12 cs.AI cs.CL
InSerter: Speech Instruction Following with Unsupervised Interleaved Pre-training
The Chinese University of Hong Kong(香港中文大学);Alibaba Group(阿里巴巴集团)
本文提出InSerter方法,通过无监督交错语音-文本表征预训练提升语音大语言模型的指令遵循能力,并构建首个语音指令遵循基准SpeechInstructBench,取得SOTA性能。
2025-06-04 cs.CL cs.HC cs.SD
MDCure: A Scalable Pipeline for Multi-Document Instruction-Following
Yale University(耶鲁大学);Google Research(谷歌研究)
为解决LLM处理多文档时的依赖与冗余难题,提出MDCure框架生成高质量指令数据,并引入MDCureRM奖励模型过滤数据,使各类模型在多文档基准上性能最高提升75.1%。
2025-04-28 cs.CL cs.LG
Imperative Interference: Social Register Shapes Instruction Topology in Large Language Models
the University of British Columbia(不列颠哥伦比亚大学);the Georgia Institute of Technology(佐治亚理工学院)
研究探讨了社会语体如何影响大语言模型中指令拓扑,通过多语言实验发现指令拓扑反转由社会语体调解,改写指令可减少跨语言差异。
2026-10-09 cs.AI cs.CL cs.SE
Don't Reinvent the Wheel: Efficient Instruction-Following Text Embedding based on Guided Space Transformation
State Key Lab of CAD&CG(CAD与CG国家重点实验室);School of Computing(计算机学院);National University of Singapore(新加坡国立大学);School of Intelligence Science and Engineering(智能科学与工程学院);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出GSTransform框架,通过引导空间变换实时调整预计算嵌入以适配用户指令,解决了指令遵循文本嵌入中重复编码语料库的高计算开销问题,在提升嵌入质量的同时实现6~300倍加速。
2025-05-30 cs.AI cs.CL cs.IR
Multilingual Long-Form Speech Instruction Following: KIT's Submission to IWSLT 2026
Karlsruhe Institute of Technology(卡尔斯鲁厄理工大学);Carnegie Mellon University(卡内基梅隆大学)
提出一种通用数据增强流水线,通过片段拼接、LLM标签生成和跨语言翻译将短语音语料转换为长语音训练数据,结合似然与最小贝叶斯风险解码解决长语音语义任务退化问题。
2026-06-03 cs.CL eess.AS
SpeechCaps: Advancing Instruction-Based Universal Speech Models with Multi-Talker Speaking Style Captioning
National Taiwan University(台湾大学);University of Southern California(南加州大学)
本文提出多说话人说话风格字幕生成任务,利用大语言模型生成描述并以此预训练结合指令微调模型,显著提升了通用语音模型在Dynamic-SUPERB等基准上的说话人与情感识别等性能。
2024-08-25 cs.CL eess.AS
UITron-Speech: Towards Automated GUI Agents Based on Speech Instructions
UITron-Speech通过语音指令和截图处理,实现首个端到端GUI代理,提升无障碍人机交互的可行性。
2025-11-26 cs.AI cs.CL
Layer by Layer: Uncovering Where Multi-Task Learning Happens in Instruction-Tuned Large Language Models
Institute for Language, Cognition and Computation, University of Edinburgh(爱丁堡大学语言、认知与计算研究所);Nvidia Research(英伟达研究院)
针对指令微调 LLM 在何处保留任务知识的问题,本文用矩阵分析工具比较60余个 NLP 任务的层表征,定位通用表征转向任务表征的位置。
2024-10-25 cs.CL cs.LG
Inhibitory Attention for Clinical Long-Context Reasoning: Characterizing and Mitigating Lost-in-the-Middle Effects in EHR Processing
University of California San Francisco(加利福尼亚大学旧金山分校);Waymark(韦马克公司)
该研究针对电子病历处理中的临床中间信息丢失问题,提出查询条件化临床抑制方法,经实验验证其在中间位置指令及整体任务上的表现均优于多种基线检索与重排序方法。
2026-08-24 cs.AI cs.CL
DACIP-RC: Domain Adaptive Continual Instruction Pre-Training via Reading Comprehension on Business Conversations
Dialpad Inc.(Dialpad公司)
针对小型语言模型在商业对话任务中零样本能力不足及微调导致灾难性遗忘的问题,提出DACIP-RC持续预训练方法,通过阅读理解生成指令,显著提升会议摘要等任务的泛化性能。
2025-10-09 cs.AI cs.CL
TIMER: Temporal Instruction Modeling and Evaluation for Longitudinal Clinical Records
Stanford University(斯坦福大学)
提出TIMER框架,包含时间感知基准TIMER-Bench和指令调优方法TIMER-Instruct,通过时间指令建模提升LLM对纵向电子健康记录的时间推理能力,使模型性能在基准上提升7.3%和9.2%。
2025-03-06 cs.AI cs.CE cs.CL
InstructProtein: Aligning Human and Protein Language via Knowledge Instruction
Zhejiang University(浙江大学);ZJU-Hangzhou Global Scientific and Technological Innovation Center(浙江大学杭州国际科创中心);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室)
针对大语言模型难以理解蛋白质序列的问题,研究提出InstructProtein模型,通过知识图谱构建指令数据集并经预训练与指令微调实现蛋白质与人类语言的双向生成,性能显著优于现有模型,为相关研究开辟新方向。
2023-10-05 cs.CL q-bio.BM
Training LLMs to Enforce Multi-Level Instruction Hierarchies via Gravity-Weighted Direct Preference Optimization
Department of Computational Linguistics, University of Zurich, Switzerland(计算语言学系,苏黎世大学,瑞士)
提出重力加权DPO(GW-DPO)方法,通过线性或双边调度加权冲突级别间的结构距离,结合层次分隔符和指令段嵌入,在Llama-3.1-8B-Instruct上提升多级指令优先级遵守率并降低过度拒绝率。
2026-06-09 cs.CL cs.CR
SecureCode: A Production-Grade Multi-Turn Dataset for Training Security-Aware Code Generation Models
研究针对AI编码助手生成漏洞代码问题,提出SecureCode数据集,涵盖网络应用安全和AI/ML安全领域,有特定对话结构,经质量保证,发布统一数据集、开源模型及评估框架,是首个提供相关覆盖的公共数据集。
2026-07-08 cs.AI cs.CL cs.CR
Instruction-Following Speech Recognition
Apple(苹果公司);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出指令跟随语音识别,训练 Listen-Attend-Spell 模型从零开始理解并执行自由形式文本指令,在 Librispeech 上无需 LLMs 或预训练模块即可完成转录操作、摘要及选择性转录等任务,并提升隐私安全性。
2023-09-18 cs.CL cs.LG cs.SD
PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance
Wuhan University(武汉大学);Sun Yat-Sen University(中山大学);Southwest Jiaotong University(西南交通大学);University of Florida(佛罗里达大学);ChanceFocus AMC(ChanceFocus资产管理公司)
针对金融领域缺乏开源专属大模型、指令数据与评估基准的问题,本文提出PIXIU框架,包含13.6万条多任务金融指令数据、微调LLaMA得到的FinMA模型,以及含6类任务的评估基准,开源资源以推动金融AI研究。
2023-06-08 cs.AI cs.CL
A Study of Large Language Models for Patient Information Extraction: Model Architecture, Fine-Tuning Strategy, and Multi-task Instruction Tuning
University of Florida(佛罗里达大学);Selfii
本研究围绕患者信息抽取任务,考察不同架构大语言模型、参数高效微调算法及多任务指令微调的效果,通过多数据集基准测试验证相关方法的抽取性能与泛化能力。
2025-09-05 cs.AI cs.CL