Robust Graph Fine-Tuning with Adversarial Graph Prompting
School of Computer Science and Technology, Anhui University(计算机科学与技术学院,安徽大学);State Key Laboratory of Opto-Electronic Information Acquisition and Protection Technology(光电信息采集与防护技术国家重点实验室)
本文提出对抗图提示(AGP)方法,通过整合对抗学习提升图神经网络在对抗噪声下的鲁棒性,并在多个基准任务上验证了其有效性。
2026-01-01 cs.LG
Fine-tuning for Better Few Shot Prompting: An Empirical Comparison for Short Answer Grading
University of Southern California - Institute for Creative Technologies(南加州大学创意技术研究所);University of California, Santa Cruz(加州大学圣克鲁兹分校)
本研究比较了微调与少样本提示在自动短答案评分中的效果,发现微调对开放权重模型效用有限,但可提升闭源模型性能,且合成数据能显著改进Llama 3.1模型。
2025-08-06 cs.LG
Evaluating Generalization and Representation Stability in Small LMs via Prompting, Fine-Tuning and Out-of-Distribution Prompts
Boston University, Boston, USA(波士顿大学);Carnegie Mellon University, Pittsburgh, USA(卡内基梅隆大学);Stanford University, Palo Alto, USA(斯坦福大学)
本文比较了小型语言模型在少样本提示和监督微调下的泛化能力与内部表征稳定性,揭示了两者在分布内外的表现差异,为低数据环境下的模型选择提供了实证指导。
2025-06-25 cs.AI cs.LG
Prompting or Fine-tuning? A Comparative Study of Large Language Models for Taxonomy Construction
McGill University(麦吉尔大学);Linköping University(林雪平大学)
本研究比较了提示与微调两种方法在分类体系构建中的性能,发现提示方法在无显式训练时更优,但微调方法更易满足结构约束,为方法选择提供指导。
2023-09-04 cs.CL cs.LG
Simultaneous Masking, Not Prompting Optimization: A Paradigm Shift in Fine-tuning LLMs for Simultaneous Translation
Oregon State University(俄勒冈州立大学)
针对现有同传大模型微调的提示优化方法存在训练集冗余、计算低效等问题,本文提出基于注意力掩码的SimulMask微调新范式,在多语言对上实现翻译质量提升与成本降低。
2024-10-09 cs.CL cs.LG
Prompting a Pretrained Transformer Can Be a Universal Approximator
University of Oxford(牛津大学)
本文证明对预训练Transformer进行前缀微调可实现序列到序列函数的通用逼近,且单个注意力头即可逼近任意连续函数,并给出所需前缀长度的理论界。
2024-02-22 cs.AI cs.LG math.FA
Attribute Controlled Dialogue Prompting
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);Huawei(华为)
本文提出一种基于实例级控制代码生成提示的对话生成算法,突破固定提示假设,在开放域对话任务上以5%-6%参数超越提示基线并媲美微调。
2023-07-11 cs.CL cs.LG
How Many Data Points is a Prompt Worth?
Hugging Face
当微调预训练模型进行分类时,研究人员要么使用通用模型头,要么使用特定于任务的提示进行预测。提示的支持者认为,提示提供了一种注入特定任务指导的方法,这在低数据制度中是有益的。我们的目标是通过在公平的环境中对提示进行严格的测试来量化这种好处:在许多任务和数据大小的相同条件下比较提示和基于头部的微调。通过控制许多优势来源,我们发现激励确实提供了一个好处,而且这个好处可以量化每个任务。结果表明,提示通常值得在分类任务中平均使用100个数据点。
2021-04-06 cs.LG
DAGPrompT: Pushing the Limits of Graph Prompting with a Distribution-aware Graph Prompt Tuning Approach
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
本文提出 DAGPrompT,通过 GLoRA 模块优化 GNN 编码器并引入跳级特定提示,解决复杂图上的预训练与微调差异问题,在 10 个数据集上准确率最高提升 4.79。
2025-01-25 cs.AI cs.LG
P2P: Tuning Pre-trained Image Models for Point Cloud Analysis with Point-to-Pixel Prompting
Tsinghua University(清华大学)
如今,在大规模数据集上预训练大模型已经成为深度学习中的一个重要课题。预训练模型具有良好的表达能力和可移植性,在自然语言处理和二维视觉中取得了巨大的成功,并主导了许多下游任务。然而,这是不平凡的,以促进这样的预训练调整范例的3D vision,鉴于有限的训练数据是相对不便collect.In本文中,我们提供了一个新的角度,利用预先训练的2D知识在3D域来解决这个问题,调整预训练的图像模型与新的点到像素提示点云分析在一个较小的参数成本。遵循提示工程的原则,我们将点云转换为具有几何保持投影和几何感知着色的彩色图像,以适应预训练的图像模型,其权重在点云分析任务的端到端优化期间保持冻结。我们进行了大量的实验来证明,与我们提出的点到像素的优化相配合,更好的预训练图像模型将在3D视觉中带来更好的性能。该方法在图像预训练领域得到了蓬勃发展,在ScanObjectNN的最难设置上达到了89.3%的准确率,超过了传统的点云模型,可训练参数少得多。我们的框架在ModelNet分类和ShapeNet部分分割上也表现出非常有竞争力的性能。代码可在https://github.com/wangzy22/P2P上获得。
2022-10-12 cs.AI cs.CV cs.LG
Prompting Large Language Models for Clinical Temporal Relation Extraction
UTHealth at Houston(休斯顿德克萨斯大学健康科学中心);Mayo Clinic(妙佑医疗国际)
本文在2012 i2b2 CTRE任务上评估多种LLM的FFT与PEFT提示微调策略,全监督下GatorTron-Base硬提示以89.54% F1刷新SOTA,并分析了少样本设置差异。
2024-12-04 cs.CL cs.LG
Understanding Prompt Tuning and In-Context Learning via Meta-Learning
Google DeepMind(谷歌DeepMind)
本文以贝叶斯元学习视角分析最优提示,给出提示可行与不可行的判据,并通过 LSTM、Transformer 及 prefix-tuning 实验揭示软前缀的独特机制。
2025-10-17 cs.AI cs.LG stat.ML
Inoculation Prompting: Instructing LLMs to misbehave at train-time improves test-time alignment
Anthropic;ML Alignment and Theory Scholars(ML对齐与理论学者项目);Constellation;Redwood Research
针对大语言模型在有缺陷监督信号下训练会习得奖励黑客等不良行为的问题,提出反直觉的接种提示技术,通过训练时主动要求模型做出不良行为来阻止其习得该行为,在四种设置中验证了其有效性且不损害所需能力。
2025-10-27 cs.LG
Automatic Label Sequence Generation for Prompting Sequence-to-sequence Models
Tsinghua University(清华大学);Princeton University(普林斯顿大学);Renmin University of China(中国人民大学);Tencent Inc(腾讯公司);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);International Innovation Center of Tsinghua University(清华大学国际创新中心);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
与使用预训练模型进行标准微调相比,将下游应用程序转换为语言建模任务的调优已被证明是样本高效的。然而,提示的一个缺陷是需要手动设计的模式,其结果可能不直观,并且需要大型验证集进行调优。为了应对这一挑战,我们提出了AutoSeq,一种全自动提示方法:(1)我们在序列到序列模型上采用自然语言提示,允许自由形式的生成和更大的标签搜索空间;(2)我们提出了标签序列-具有不定长度的短语来描述标签-它消除了手动模板的需要,比单个标签词更具表达力;(3)利用束搜索自动生成大量的标签序列候选,并提出了对比重排序的方法来获得最佳组合。AutoSeq显著优于其他非手动设计方法,例如软提示微调、适配器调优和对单个标签词的自动搜索;在各种任务中,生成的标签序列甚至优于策划的手动序列。我们的方法揭示了序列到序列模型在少样本学习中的潜力,并揭示了一条通往通用和自动提示的道路。本文的源代码可以从https://github.com/thunlp/Seq2Seq-Prompt获得。
2022-09-20 cs.CL cs.LG
Prompt-Tuning Bandits: Enabling Few-Shot Generalization for Efficient Multi-Task Offline RL
Örebro University(奥雷布罗大学);King, Microsoft Gaming(微软游戏公司)
针对PDT均匀采样提示导致任务区分信息不足的问题,本文提出一种推理时基于赌博机的轻量级提示调优框架,通过优化轨迹提示选择提升多任务离线RL的少样本泛化性能、样本效率与可扩展性。
2025-07-18 cs.LG
Visual prompting reimagined: The power of the Activation Prompts
Michigan State University(密歇根州立大学);University of Pennsylvania(宾夕法尼亚大学);New Jersey Institute of Technology(新泽西理工学院);IBM Research(IBM研究院);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出激活提示(AP)以改进视觉提示(VP),通过在中间层激活图上引入通用扰动,揭示VP在性能和效率上的固有局限,并在29个数据集上验证AP在准确性和效率上的优势。
2026-04-07 cs.CV cs.LG
Hateful Meme Detection through Context-Sensitive Prompting and Fine-Grained Labeling
National University of Singapore(新加坡国立大学)
提出一个端到端概念框架,通过整合模态、上下文敏感提示、细粒度标注与微调优化多模态仇恨模因检测,实现最高准确率和AUROC。
2024-11-13 cs.AI cs.CL cs.CV
Can Gradient Descent Simulate Prompting?
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出一种元训练语言模型的方法,通过基于梯度的元学习并以模型自身的提示预测作为目标,使梯度更新能模拟提示的效果,从而在单次更新后恢复部分提示性能,为长上下文建模提供新途径。
2025-06-26 cs.CL cs.LG
CoF-CoT: Enhancing Large Language Models with Coarse-to-Fine Chain-of-Thought Prompting for Multi-domain NLU Tasks
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Salesforce Research(赛富时研究院);Amazon(亚马逊)
针对思维链在大型语言模型自然语言理解任务中应用不足的问题,提出粗到细思维链方法,结合抽象意义表示结构化知识作为中间步骤,有效提升了模型在零样本和少样本多领域设置下处理多粒度NLU任务的能力。
2023-10-23 cs.CL cs.LG
Selective Prompting Tuning for Personalized Conversations with LLMs
University of Surrey(萨里大学);Southern University of Science and Technology(南方科技大学);ByteDance AI Lab(字节跳动AI实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森AI实验室)
针对LLMs个性化对话中文本提示效果不佳和直接微调易产生重复回复的问题,提出选择性提示调优(SPT),通过可训练密集检索器自适应选择软提示,结合对比和融合学习,在CONVAI2上使回复多样性提升高达90%。
2024-06-26 cs.AI cs.CL cs.LG
Antibody: Strengthening Defense Against Harmful Fine-Tuning for Large Language Models via Attenuating Harmful Gradient Influence
Department of Electrical and Computer Systems Engineering, Monash University, Australia(莫纳什大学电气与计算机系统工程系);Department of Data Science and AI, Monash University, Australia(莫纳什大学数据科学与人工智能系)
Antibody通过削弱有害梯度影响,提升大型语言模型对有害微调攻击的防御能力,并增强微调性能。
2026-02-28 cs.LG
One Size Fits All for Semantic Shifts: Adaptive Prompt Tuning for Continual Learning
KAIST(韩国科学技术院);Korea University(高丽大学);KRAFTON(KRAFTON公司)
针对持续学习中语义漂移程度不一的问题,提出自适应提示方法AdaPromptCL,通过动态分组与精炼机制提升性能,最高提升21.3%。
2024-07-22 cs.LG
lo-fi: distributed fine-tuning without communication
University of Washington(华盛顿大学);Meta AI Research, FAIR Team(Meta人工智能研究院,FAIR团队)
当对大型神经网络进行微调时,通常使用多个节点并在每个优化步骤中传递梯度。相比之下,我们研究完全本地的微调,我们称之为低保真。在lo-fi期间,每个节点独立地进行微调,而不进行任何通信。然后,在微调结束时跨节点平均权重。当在ImageNet上对DeiT-base和DeiT-large进行微调时,与基线相比,该过程匹配分布中的准确性,并提高了分布偏移下的准确性,基线观察到相同的数据量,但在每一步都传达了梯度。我们还观察到,当在Common Crawl上对OPT语言模型(最多1.3 B参数)进行微调时,lo-fi与基线性能相匹配。通过消除通信需求,低保真降低了微调大型模型的资源障碍,并在通信成本过高的情况下实现了微调。
2022-11-12 cs.LG
Can Instruction Fine-Tuned Language Models Identify Social Bias through Prompting?
Vector Institute for AI(向量人工智能研究院);McGill University(麦吉尔大学)
该研究评估指令微调语言模型通过零样本提示识别社会偏见的能力,发现Alpaca 7B表现最优(准确率56.7%),扩大模型规模与数据多样性可提升性能,是其偏见缓解框架的首个组成部分。
2023-07-19 cs.AI cs.CL cs.CY
Prompting and Fine-Tuning of Small LLMs for Length-Controllable Telephone Call Summarization
AppTek GmbH;RWTH Aachen University(亚琛工业大学)
本文提出利用前沿模型生成长度可控、多样化的合成通话数据并微调 Llama-2-7B,使其摘要质量在多项指标上媲美 GPT-4。
2024-10-24 cs.AI cs.CL cs.LG
Memory-Space Visual Prompting for Efficient Vision-Language Fine-Tuning
School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);National Key Laboratory of General Artificial Intelligence(通用人工智能全国重点实验室)
针对视觉提示增加语言模型输入长度的问题,本文提出MemVP,将视觉提示与FFN权重拼接以注入知识,在多种VL任务上降低训练与推理开销并超越PEFT方法。
2024-05-09 cs.CL cs.CV cs.LG
Discourse-Aware Soft Prompting for Text Generation
Facebook AI Research(脸书人工智能研究院)
当前有效的微调方法(例如,适配器、前缀调优等)通过训练神经语言模型的一小部分额外参数,优化了条件文本生成,同时冻结其余参数以提高效率。虽然在某些生成任务上表现出很强的性能,但它们并不能推广到所有的生成任务。我们表明,软提示为基础的条件文本生成可以改善简单而有效的方法,模拟人类书面文本的话语结构建模。我们研究了两种设计选择:第一,我们应用\textit{hierarchical blocking}的前缀参数来模拟人类书面文本的更高层次的话语结构。其次,我们在网络的不同层对前缀参数应用\textit{attention sparsity},并在softmax函数上学习稀疏变换。我们发现,结构化设计的前缀参数产生更多的连贯性,忠实性和相关的代比基线前缀调整的所有生成任务。
2022-05-23 cs.CL cs.LG stat.ML
À-la-carte Prompt Tuning (APT): Combining Distinct Data Via Composable Prompting
AWS AI Labs(AWS人工智能实验室);UCLA(加州大学洛杉矶分校)
我们介绍了点菜提示微调(APT),一个基于变换的计划,调整提示不同的数据,使他们可以任意组成的推理时间。可以在不同的设备上、在不同的时间、以及在不同的分布或域上隔离地训练各个提示。此外,每个提示仅包含有关其在训练期间暴露的数据子集的信息。在推理过程中,可以根据任意选择的数据源组装模型,我们称之为“点菜式学习”。点菜式学习使得能够构建特定于每个用户的个人访问权和偏好的定制模型。我们可以通过简单地添加或删除相应的提示来添加或删除模型中的信息,而无需从头开始重新训练。我们证明,点菜建立的模型实现的准确性在$5\%$的模型训练的工会各自的来源,具有可比的成本方面的培训和推理时间。对于持续学习基准Split CIFAR-100和CORe 50,我们实现了最先进的性能。
2023-02-15 cs.AI cs.CL cs.CV
FireAct: Toward Language Agent Fine-tuning
System2 Research(System2研究机构);University of Cambridge(剑桥大学);Monash University(莫纳什大学);Princeton University(普林斯顿大学)
该研究提出FireAct方法,通过多任务多提示轨迹微调语言模型构建语言智能体,证实微调可显著提升性能,为语言智能体微调提供实验基础与研究方向。
2023-10-09 cs.AI cs.CL cs.LG
LightNER: A Lightweight Tuning Paradigm for Low-resource NER via Pluggable Prompting
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Hangzhou Innovation Center, Zhejiang University(浙江大学杭州国际科创中心);Alibaba Group(阿里巴巴集团);State Key Laboratory of Media Convergence Production Technology and Systems(媒体融合生产技术与系统国家重点实验室)
大多数NER方法依赖于大量的标记数据进行模型训练,这在具有有限训练数据的低资源场景中很难实现。现有的主流方法通常会遇到目标域与资源丰富的源域具有不同的标签集的挑战,这可以归纳为类迁移和域迁移。在本文中,我们提出了一个轻量级的调优范式低资源NER通过可插拔提示(LightNER)。具体来说,我们构建了统一的可学习的实体类别的动词生成的实体跨度序列和实体类别没有任何标签特定的分类器,从而解决了类迁移问题。我们进一步提出了一个可插入的指导模块,通过将可学习的参数作为指导纳入自我注意力层,它可以重新调节注意力并适应预先训练的权重。请注意,我们只调整那些插入的模块,而预训练的语言模型的整个参数是固定的,因此,使我们的方法对于低资源场景是轻量级和灵活的,并且可以更好地跨领域传输知识。实验结果表明,LightNER在标准监督环境中可以获得相当的性能,并在低资源环境中优于强基线。代码在https://github.com/zjunlp/DeepKE/tree/main/example/ner/few-shot中。
2022-09-14 cs.AI cs.CL cs.DB
Learning to Perform Complex Tasks through Compositional Fine-Tuning of Language Models
Northwestern University(西北大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
如何有效地编码组合任务结构一直是人工智能的核心挑战。最近的思维链提示已经表明,非常大的神经语言模型(LM),明确地展示涉及在一个目标任务的推理步骤可能会提高性能的端到端的学习,专注于目标任务。然而,由于思维链提示依赖于庞大的预先训练的LM,因此其具有显著的局限性。在这项工作中,我们提出了成分微调(CFT):明确分解成组件任务的目标任务的基础上的方法,然后微调较小的LM的课程,这样的组件任务。我们将CFT应用于两个领域的推荐任务,世界旅行和当地餐饮,以及先前研究的推理任务(体育理解)。我们表明,即使在相同的数据量下,CFT也优于端到端学习,并且随着更多的组件任务通过微调建模,CFT的性能会不断提高。与思维链提示相比,CFT使用仅7.4%大小的LM执行至少一样好,并且还适用于在预训练期间数据不可用的任务域。
2022-10-23 cs.AI cs.CL cs.LG
Low-Data Supervised Adaptation Outperforms Prompting for Cloud Segmentation Under Domain Shift
University of Georgia(佐治亚大学)
本文研究了在遥感影像云分割任务中,低数据监督微调优于提示方法,发现使用少量标注数据可显著提升性能,而提示方法效果有限。
2026-04-10 cs.CV cs.LG
A Graph Prompt Fine-Tuning Method for WSN Spatio-Temporal Correlation Anomaly Detection
本文提出一种基于图神经网络的WSN空间时间相关性异常检测方法,通过预训练-图提示-微调策略提升检测性能和泛化能力。
2026-01-19 cs.AI cs.LG
Understanding Catastrophic Forgetting in Language Models via Implicit Inference
Carnegie Mellon University(卡内基梅隆大学)
该研究提出语言模型微调引发灾难性遗忘源于隐式任务推断偏差,通过Conjugate Prompting(含多语言翻译提示)可恢复部分预训练能力,也揭示安全微调存在被绕过的风险。
2024-04-14 cs.CL cs.LG
pMoE: Prompting Diverse Experts Together Wins More in Visual Adaptation
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
pMoE通过整合多个领域专家的知识,提升视觉适应任务的性能和效率。
2026-02-26 cs.AI cs.CV cs.LG
Zero- and Few-Shot Prompting with LLMs: A Comparative Study with Fine-tuned Models for Bangla Sentiment Analysis
University of New Brunswick(新不伦瑞克大学);Daffodil International University(水仙国际大学);Qatar Computing Research Institute(卡塔尔计算研究所)
本文构建了包含33,606条孟加拉语文本的情感分析数据集,并比较零样本、少样本LLM提示与微调模型,发现单语Transformer模型表现最优。
2024-04-05 cs.CL cs.LG
Prompting and Fine-tuning Large Language Models for Automated Code Review Comment Generation
Bangladesh University of Engineering and Technology(孟加拉工程技术大学);University of California(加利福尼亚大学)
本研究通过QLoRA微调开源LLM和利用函数调用图等语义元数据增强闭源LLM提示,有效提升了自动化代码审查注释生成的质量,在CodeReviewer数据集上取得显著性能提升并获人工评估验证。
2024-11-15 cs.CL cs.LG cs.SE
Fine-Tuning can Distort Pretrained Features and Underperform Out-of-Distribution
Stanford University(斯坦福大学)
当将预训练模型转移到下游任务时,两种流行的方法是完全微调(更新所有模型参数)和线性探测(仅更新最后一个线性层-“头部”)。众所周知,微调导致更好的精度分布(ID)。然而,在本文中,我们发现,当预训练的特征很好并且分布偏移很大时,微调可以达到比线性探测分布外(OOD)更差的准确性。在10个分布偏移数据集(Breeds-Living 17,Breeds-Brachty 30,DomainNet,CIFAR $\to$ STL,CIFAR10.1,FMoW,ImageNet V2,ImageNet-R,ImageNet-A,ImageNet-Sketch)上,与线性探测相比,微调平均获得了2%的高精度ID,但7%的低精度OOD。我们从理论上证明,即使在一个简单的设置中,ID和OOD精度之间的这种权衡也会出现:微调过参数化的双层线性网络。我们证明,当我们初始化一个固定的或随机的头部时,微调的OOD误差很高-这是因为当微调学习头部时,神经网络的下层同时改变并扭曲预训练的特征。我们的分析表明,线性探测然后完全微调(LP-FT)的简单两步策略,有时用作微调启发式,结合了微调和线性探测的优点。从经验上讲,LP-FT在上述数据集上的表现优于微调和线性探测(比完全微调好1%的ID,好10%的OOD)。
2022-02-21 cs.CV cs.LG
Fine-Tuning without Performance Degradation
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
针对离线策略微调早期的性能下降问题,提出基于Jump Start的新算法,通过在线性能估计逐步增加探索,实现快速微调并显著减少性能下降。
2025-05-01 cs.AI cs.LG
Fine-tuning Timeseries Predictors Using Reinforcement Learning
Reykjavik University, Department of Engineering(雷克雅未克大学工程系)
本文提出通过强化学习优化金融预测模型,通过反向传播损失提升模型性能,并验证微调对模型的提升效果及迁移学习价值。
2026-03-20 cs.AI cs.LG
Memorization in NLP Fine-tuning Methods
University of California San Diego(加州大学圣地亚哥分校);University of Virginia(弗吉尼亚大学)
大语言模型通过记忆训练数据而表现出隐私风险,最近的几项工作已经研究了预训练阶段的这种风险。然而,很少有人关注微调阶段,也不清楚不同的微调方法(如微调完整模型,模型头和适配器)在记忆风险方面的比较。随着“预先培训和微调”模式的扩散,这引起了越来越多的关注。在本文中,我们实证研究记忆的微调方法,使用成员推理和提取攻击,并表明它们的敏感性是非常不同的。我们观察到,微调模型的头部对攻击的敏感性最高,而微调较小的适配器似乎不太容易受到已知提取攻击。
2022-11-04 cs.CL cs.LG
Effective Structured Prompting by Meta-Learning and Representative Verbalizer
Southern University of Science and Technology(南方科技大学);Hong Kong University of Science and Technology(香港科技大学);Peng Cheng Laboratory(鹏城实验室)
针对预训练MLM提示微调中单一初始化不足及计算内存开销大的问题,提出利用元学习提示池和注意力机制构建实例依赖提示,并引入RepVerb直接构建标签嵌入,实现参数高效且性能更优的结构化提示框架MetaPrompter。
2024-03-21 cs.AI cs.CL cs.LG
Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor
Tel Aviv University(特拉维夫大学);Meta AI
指令微调使预训练的语言模型能够从推理时间自然语言描述执行新任务。这些方法依赖于以众包数据集或用户交互形式存在的大量人类监督。在这项工作中,我们介绍了不自然的指令:一个创造性和多样化的指令的大型数据集,几乎没有人工劳动。我们收集了64,000个例子,通过提示一个语言模型,其中有三个种子指令示例,并引出第四个。然后,通过提示模型重新表述每个指令来扩展该集合,从而创建总共约240,000个指令、输入和输出的示例。实验表明,尽管包含相当数量的噪声,但在非自然指令上进行的训练与在开源手动管理的数据集上进行的训练的有效性相媲美,在各种基准测试中超过了T0++和Tk-Instruct等模型的性能。这些结果表明,模型生成的数据作为一种具有成本效益的替代众包数据集扩展和多样化的潜力。
2022-12-19 cs.AI cs.CL cs.LG
Navigating the Landscape of Large Language Models: A Comprehensive Review and Analysis of Paradigms and Fine-Tuning Strategies
本文针对ChatGPT兴起后大模型快速普及的背景,对大模型的各类微调方法及相关技术进展、先进应用开展了全面综述分析。
2024-04-13 cs.AI cs.CL cs.LG
Prompting Whole Slide Image Based Genetic Biomarker Prediction
East China Normal University(华东师范大学);Tongji University(同济大学);Tongji Hospital(同济医院)
针对全切片图像遗传生物标志物预测的实例提取与成分交互难题,提出结合大语言模型医学提示的由粗到细预测方法,在结直肠癌数据集上取得优异性能且具临床可解释性。
2024-06-26 cs.CE cs.CV cs.LG
GrIPS: Gradient-free, Edit-based Instruction Search for Prompting Large Language Models
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出无梯度、基于编辑的提示指令搜索方法 GrIPS,可自动改写人类指令并支持 API 模型调优,在多模型和八类任务上显著提升性能。
2023-04-26 cs.AI cs.CL cs.LG
Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA
Department of Electrical and Computer Engineering University of Toronto(电气与计算机工程系 东京大学)
本研究重新审视了LLM微调中的记忆化问题,发现模型规模和数据重复等因素在LoRA微调中不遵循预训练和全量微调的趋势,且LoRA在保持任务表现的同时显著降低了记忆化风险。
2026-11-02 cs.AI cs.CL cs.CR
Rethinking the Hyperparameters for Fine-tuning
Amazon Web Services(亚马逊云科技);University of Pennsylvania(宾夕法尼亚大学);University of California, Los Angeles(加州大学洛杉矶分校)
从预训练的ImageNet模型进行微调已成为各种计算机视觉任务的事实标准。目前的微调实践通常涉及选择一个临时的超参数选择,并将它们固定在通常用于从头开始训练的值上。本文重新审视了设置超参数进行微调的几种常见做法。我们的研究结果是基于广泛的经验评估微调各种迁移学习基准。(1)虽然先前的工作已经彻底研究了学习率和批量大小,微调的动量是一个相对未探索的参数。我们发现动量的值也会影响微调性能,并将其与以前的理论研究结果联系起来。(2)用于微调的最佳超参数,特别是有效学习率,不仅依赖于数据集,而且对源域和目标域之间的相似性敏感。这与从头开始训练的超参数相反。(3)基于引用的正则化使模型接近初始模型,但不一定适用于“不相似”的数据集。我们的发现挑战了微调的常见做法,并鼓励深度学习从业者重新思考微调的超参数。
2020-02-19 cs.CV cs.LG stat.ML
AxBench: Steering LLMs? Even Simple Baselines Outperform Sparse Autoencoders
Stanford University(斯坦福大学)
本文提出AxBench基准,用于评估和比较语言模型的引导与概念检测技术,发现提示和简单基线方法优于稀疏自编码器,并引入了兼具竞争力和可解释性的ReFT-r1方法。
2025-03-03 cs.AI cs.CL cs.LG