Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen!
The Conversational AI (CoAI) group, DCST, Tsinghua University(清华大学计算机科学与技术系对话式人工智能组);The University of Melbourne(墨尔本大学);MYbank, Ant Group(蚂蚁集团网商银行)
研究揭示了在开源大语言模型上微调时,通过简单后门训练可能窃取私有微调数据的风险,实验表明提取成功率高达76.3%,并提出检测防御策略但发现其易被绕过。
2026-04-03 cs.CL
Effects of diversity incentives on sample diversity and downstream model performance in LLM-based text augmentation
Faculty of Information Technology, Brno University of Technology(布尔诺理工大学信息技术学院);Kempelen Institute of Intelligent Technologies(坎佩伦智能技术研究院);University of Pittsburgh(匹兹堡大学)
本研究考察众包中成熟的三种文本多样性激励方法(禁忌词、异常值提示、异常值链式处理)在基于LLM的文本增强中的作用,发现禁忌词提升多样性最显著,提示方法则使下游模型性能最高。
2024-08-18 cs.CL
Emulating Retrieval Augmented Generation via Prompt Engineering for Enhanced Long Context Comprehension in LLMs
Kyoto University(京都大学)
提出用提示工程和CoT在LLM内部模拟RAG,通过标记相关片段并逐步整合证据,提升长上下文多跳问答性能。
2025-02-18 cs.CL
Safeguard Fine-Tuned LLMs Through Pre- and Post-Tuning Model Merging
National Taiwan University(国立台湾大学);Intel Lab(英特尔实验室)
本文提出通过合并预微调与后微调模型权重,在不使用额外安全数据的情况下缓解微调导致的安全性退化,同时提升下游任务性能。
2025-08-28 cs.CL
Evaluating Hydro-Science and Engineering Knowledge of Large Language Models
State Key Laboratory of Hydro-Science and Engineering, Department of Hydraulic Engineering(水利科学与工程国家重点实验室、水利学院);Department of Computer Science and Technology(计算机科学与技术系);Zhipu AI(智谱AI);CHN Energy Dadu River Big Data Services Co., Ltd.(中国能源大渡河大数据服务有限公司)
本研究提出Hydro-SE LLM评估基准,评估大语言模型在水科学与工程领域的知识和应用能力,揭示其优势与不足。
2025-12-03 cs.CL
Do LLMs Need to Think in One Language? Correlation between Latent Language and Task Performance
NAIST(日本国立信息与科技研究所);NII LLMC(日本信息处理学会大语言模型中心);MBZUAI(微软亚洲人工智能研究院);RIKEN(日本研究机构);Tohoku University(东北大学);The University of Tokyo(东京大学);Nagoya Institute of Technology(名古屋技术大学)
本研究探讨了LLMs潜在语言与任务性能的相关性,发现因模型在最终层调整内部表示以匹配目标语言,保持潜在语言一致性并非总是提升下游任务性能的必要条件。
2025-05-27 cs.CL
Identifying and Manipulating Personality Traits in LLMs Through Activation Engineering
Wolfram Institute(沃尔夫拉姆研究所);Hidoba Research(希多巴研究)
本研究基于激活工程方法,借鉴相关研究开发出识别和调整LLMs中人格特质相关激活方向的技术,以实现人格动态微调,同时深化对LLMs可解释性的理解并审视伦理意义。
2025-01-10 cs.AI cs.CL
Downstream bias mitigation is all you need
本文研究了LLMs在预训练和微调阶段的偏见吸收情况,发现与干预预训练模型相比,在下游微调阶段缓解特定领域数据集中的偏见对降低模型偏见的影响更大。
2024-08-28 cs.CL
Can LLM be a Good Path Planner based on Prompt Engineering? Mitigating the Hallucination for Path Planning
College of Computer Science(计算机科学学院);Sichuan Normal University(四川师范大学);School of Information and Software Engineering(信息与软件工程学院);University of Electronic Science and Technology of China(电子科技大学)
本文提出S2RCQL模型,通过空间到关系转换、基于Q学习的路径规划算法和反向课程学习技术,缓解大语言模型在路径规划中的空间幻觉与上下文不一致幻觉,并在ERNIE-Bot 4.0上实现成功率和最优率23%--40%的提升。
2025-05-07 cs.CL
Evaluating Large Language Models for Real-World Engineering Tasks
Helmut Schmidt University(海德堡-哈雷大学)
针对现有LLM工程评估依赖简化用例、特设场景的不足,本文构建含100+真实生产工程问题的数据集,评估4款前沿LLM,发现其基础推理较强但抽象推理等能力薄弱。
2025-05-12 cs.AI cs.CL
A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks
New York University(纽约大学)
本文综述了44篇研究论文,总结了29个NLP任务上的39种提示工程方法,分类讨论了这些技术在各数据集上的性能、所用LLMs及对应SoTA。
2024-07-24 cs.AI cs.CL
LLMs4All: A Review of Large Language Models Across Academic Disciplines
University of Notre Dame(诺丁汉大学)
本文综述了大型语言模型在跨学科领域的应用,探讨其在不同学术领域中的影响、局限及未来发展方向。
2025-11-23 cs.CL
From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future
School of Electrical and Computer Engineering, The University of Sydney(悉尼大学电气与计算机工程学院);University at Buffalo, SUNY(纽约州立大学布法罗分校);University of Chicago(芝加哥大学)
本文综述LLMs与基于LLM的智能体在软件工程中的应用现状,区分二者差异,分析六个关键主题的相关工作及模型基准,为该领域未来研究提供启示。
2025-04-13 cs.AI cs.CL cs.SE
Employing General-Purpose and Biomedical Large Language Models with Advanced Prompt Engineering for Pharmacoepidemiologic Study Design
Department of Drug Design and Pharmacology, University of Copenhagen(哥本哈根大学药物设计与药理学系)
本文比较通用和生物医药大语言模型在药事流行病学研究设计中的表现,发现通用模型在相关性和逻辑性上表现更优,但提示策略对模型性能影响显著。
2026-04-20 cs.CL
Let's Unlearn Stereotypes Before Decision-Making: Assessing the Impact of Intrinsic Bias Mitigation on Downstream Fairness in LLMs
本研究提出公平感知概念忘却(FACU)方法,在保留预测性能的同时缓解LLM内在偏差,可提升下游公平性,结合反事实数据增强效果更佳,为LLM公平性优化提供了新路径。
2026-08-10 cs.CL cs.CY cs.LG
Industrial Engineering with Large Language Models: A case study of ChatGPT's performance on Oil & Gas problems
California State University, San Bernardino(加州州立大学圣贝纳迪诺分校);IBM Technology(IBM科技);University of Houston(休斯顿大学)
本文以 ChatGPT 为案例评估大语言模型在石油与天然气工程问题中的表现,揭示其识别物理方程强弱解的局限,并明确 LLM 最适用的工业工程场景。
2023-04-27 cs.CL
Towards Explainable and Language-Agnostic LLMs: Symbolic Reverse Engineering of Language at Scale
Institute for Experiential AI at Northeastern University(东北大学体验人工智能研究院)
针对LLM因亚符号性质导致无法解释的局限,提出在符号环境下对语言进行大规模自下而上的逆向工程,结合符号表示与LLM成功关键,探讨该项目的实现路径。
2023-07-27 cs.AI cs.CL
Towards Goal-oriented Prompt Engineering for Large Language Models: A Survey
Nanyang Technological University(南洋理工大学)
该综述梳理现有提示工程方法,指出拟人化提示设计的局限,提出目标导向提示构建可显著提升LLMs性能,构建五阶段分类框架并提出未来研究方向,凸显该方向的应用潜力。
2024-09-17 cs.AI cs.CL
FedEval-LLM: Federated Evaluation of Large Language Models on Downstream Tasks with Collective Wisdom
WeBank Co., Ltd(微众银行);Hong Kong University of Science and Technology(香港科技大学)
针对联邦学习中大语言模型评估面临的数据泄露和领域知识缺乏问题,提出FedEval-LLM框架,利用参与者个性化模型联盟作为评审者,在不依赖标注测试集和外部工具的情况下实现可靠评估,显著提升评估能力并与人类偏好高度一致。
2024-04-18 cs.AI cs.CL cs.LG
EmoLLMs: A Series of Emotional Large Language Models and Annotation Tools for Comprehensive Affective Analysis
The University of Manchester(曼彻斯特大学);Artificial Intelligence Research Center(人工智能研究中心)
本文提出了EmoLLMs系列模型、多任务情感分析指令数据集AAID(234K样本)及评估基准AEB(14个任务),通过指令微调使模型在情感分析任务上超越多数开源LLM并达到ChatGPT和GPT-4水平,可作为情感标注工具。
2024-06-18 cs.CL
Scaling Laws for Predicting Downstream Performance in LLMs
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊公司)
本文提出两阶段方法FLP及其扩展FLP-M,通过预训练损失作为中间指标,利用小规模采样语言模型预测大语言模型的下游性能,在7B和13B模型上实现10%以内的误差,并支持多数据源混合场景。
2025-04-07 cs.AI cs.CL cs.LG
Protoknowledge Shapes Behaviour of LLMs in Downstream Tasks: Memorization and Generalization with Knowledge Graphs
Human-centric ART, University of Rome Tor Vergata(罗马托维加塔大学人本艺术研究中心);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文提出原型知识概念,分类为词汇、层次和拓扑形式,通过知识激活任务度量,并研究其对文本到SPARQL性能的影响,为探索语义级数据污染提供实用工具。
2025-05-21 cs.AI cs.CL
LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers
Department of Computer Science, Virginia Tech(弗吉尼亚理工学院计算机科学系)
本文提出LLM-FE框架,结合LLM的领域知识和推理能力,通过进化搜索自动发现表格学习任务中的有效特征,优于现有方法。
2026-05-10 cs.AI cs.CL cs.LG
Unveiling Downstream Performance Scaling of LLMs: A Clustering-Based Perspective
Bytedance Seed(字节跳动种子)
本文提出基于难度聚类的框架,用于预测大语言模型下游任务性能,通过构建稳定子集和理论支持的扩展定律,实现更准确的性能预测。
2026-03-09 cs.AI cs.CL cs.LG
Using LLMs for Automated Privacy Policy Analysis: Prompt Engineering, Fine-Tuning and Explainability
School of Cyber Science and Engineering, Shanghai Jiao Tong University(上海交通大学网络安全科学与工程学院);Institute of Cyber Security for Society (iCSS), University of Kent(肯特大学社会网络安全研究所)
本研究针对LLMs在自动化隐私政策分析中应用不足的问题,结合提示工程与LoRA微调构建分类器,在4个SOTA语料库上验证其性能优于现有方法,且可解释性三项指标均超91.1%。
2025-03-16 cs.AI cs.CL
Using Large Language Models for Knowledge Engineering (LLMKE): A Case Study on Wikidata
King's College London(伦敦国王学院)
针对基于Wikidata的知识工程任务,本文提出结合知识探测与实体映射的LLMKE流水线,利用预训练大语言模型生成宾语并链接至对应QID,在ISWC 2023挑战赛Track 2中夺冠,宏平均F1达0.701,验证了LLMs在协作式知识工程中的应用潜力。
2023-09-15 cs.AI cs.CL
Geotechnical Parrot Tales (GPT): Harnessing Large Language Models in geotechnical engineering
本文探讨利用大语言模型(如GPT)于岩土工程,强调提示工程和上下文重要性,并开发统一自然语言界面处理复杂任务,以提升工作流程和基础设施可持续性。
2023-06-21 cs.CL physics.geo-ph
Unlocking the Potential: Benchmarking Large Language Models in Water Engineering and Research
Beijing Normal University(北京师范大学);National University of Singapore(新加坡国立大学);Qingdao University of Technology(青岛理工大学);TÜV SÜD(南德认证检测(TÜV南德));Google(谷歌)
本文首次构建水工程领域基准WaterER,系统评测七个主流大模型在983项任务上的表现,揭示各模型优势并推动其成为真正的水专家。
2024-07-22 cs.AI cs.CL
Energy-Aware LLMs: A step towards sustainable AI for downstream applications
Concordia University(康科迪亚大学)
本文提出了一种端到端的管道,研究在通信网络故障工单分析中LLM的能效与性能的权衡,并通过两个真实数据集评估了根因分析和响应反馈任务的性能提升。
2025-03-22 cs.AI cs.CL cs.LG
Studying the impacts of pre-training using ChatGPT-generated text on downstream tasks
Utrecht University(乌得勒支大学)
本研究探讨了在语言模型预训练阶段使用ChatGPT生成的人工文本的影响,通过对比RoBERTa与ChatGPT在三项下游任务及性别偏见上的表现,发现人工文本的引入对模型性能和偏见均无显著影响。
2023-09-02 cs.AI cs.CL
Learning to Rewrite Prompts for Bootstrapping LLMs on Downstream Tasks
Hopcroft Center on Computing Science Huazhong University of Science and Technology (HUST)(霍普克罗夫特计算科学中心华中科技大学)
本文提出一种基于反向翻译策略训练的小参数模型,专门优化机器翻译任务的提示输入部分,以降低训练开销并提升性能,且可扩展至其他下游任务。
2025-10-08 cs.AI cs.CL cs.LG
Forecasting Downstream Performance of LLMs With Proxy Metrics
Mila – Quebec AI Institute & McGill University(魁北克AI研究院与麦吉尔大学);CIFAR AI Chair(CIFAR人工智能主席);ServiceNow Research Periodic Labs(ServiceNow研究周期实验室)
本文提出通过聚合候选模型的下一个token分布中的token级统计信息(如熵、top-k准确率和专家token排名)来构建代理指标,以更准确地预测大语言模型的下游性能,优于传统的损失和计算量基线方法。
2026-05-18 cs.CL cs.LG
RLPF: Reinforcement Learning from Prediction Feedback for User Summarization with LLMs
Google DeepMind(谷歌DeepMind)
针对预训练LLM生成的用户摘要简洁但缺乏下游任务上下文、难以利用长噪声用户历史的问题,提出RLPF方法微调LLM生成适配下游任务的简洁用户摘要,显著提升下游性能与摘要质量,兼具泛化性。
2025-01-17 cs.AI cs.CL cs.LG
Unveiling the Lexical Sensitivity of LLMs: Combinatorial Optimization for Prompt Enhancement
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文揭示了LLMs对任务指令中微小词汇变化过度敏感的问题,并提出黑盒组合优化框架COPLE,通过代理任务反馈迭代优化提示词汇,有效恢复模型在指令遵循和下游任务中的能力。
2024-05-31 cs.AI cs.CL
Integrating Chemistry Knowledge in Large Language Models via Prompt Engineering
Tsinghua University(清华大学);University of Oxford(牛津大学)
本文提出在提示工程中嵌入领域特定知识以提升LLMs在科学领域的性能,构建了涵盖小分子、酶和晶体材料属性的基准数据集,实验证明该方法在准确率、F1等指标上优于传统策略,能有效减少幻觉并提升响应质量。
2024-04-22 cs.AI cs.CL
Scaling Laws for Downstream Task Performance of Large Language Models
Google Research(谷歌研究);OpenAI(开放人工智能);Stanford University(斯坦福大学)
本研究探讨了预训练数据规模和分布对齐对大语言模型下游任务性能的影响,揭示了扩展定律在迁移学习中的应用及翻译质量的预测方法。
2026-01-29 cs.CL cs.LG stat.ML
Enhance Graph Alignment for Large Language Models
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Pennsylvania State University(宾夕法尼亚州立大学)
针对LLM图建模中自监督与下游任务错位导致的负迁移问题,提出GALLM模型,通过对齐任务模板和类别提示方法,显著提升了模型在多数据集上的泛化性和零样本能力。
2024-10-15 cs.CL cs.IR
Instruction Tuning with and without Context: Behavioral Shifts and Downstream Impact
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Adobe Research(Adobe研究);KAIST AI(韩国科学技术院人工智能实验室);Mila – Quebec AI Institute(魁北克人工智能研究所);NAVER Cloud AI(NAVER云人工智能)
本文研究了指令微调中带上下文与不带上下文对模型行为和下游性能的影响,发现上下文增强训练能提升模型基础性并减少幻觉,同时提出在实际部署中分离上下文模型以获得更稳健的性能。
2026-01-08 cs.AI cs.CL
Learning to Poison Large Language Models for Downstream Manipulation
Department of Computer Science, Wayne State University(韦恩州立大学计算机科学系);Computer Science and Engineering Department, Oakland University(奥克兰大学计算机科学与工程系);College of Innovation and Technology, University of Michigan-Flint(密歇根大学弗林特分校创新与技术学院)
本研究提出一种针对LLM监督微调过程的梯度引导后门触发器学习(GBTL)算法,通过高效识别对抗性触发器实现数据投毒攻击,并验证了上下文学习和持续学习两种防御策略的有效性。
2025-05-29 cs.CL cs.CR cs.LG
GradPruner: Gradient-Guided Layer Pruning Enabling Efficient Fine-Tuning and Inference for LLMs
Ant Group Beijing, China(蚂蚁集团北京)
GradPruner通过梯度引导的层剪枝技术,在保持高精度的同时实现LLM微调和推理的高效优化。
2026-01-27 cs.AI cs.CL
Legal Prompt Engineering for Multilingual Legal Judgement Prediction
Thomson Reuters Labs(汤森路透实验室)
法律提示工程(Legal Prompt Engineering,LPE)是一个指导和帮助大语言模型(LLM)执行自然法律语言处理(NLLP)技能的过程。我们的目标是使用LPE与LLM在长的法律文件的法律判断预测(LJP)的任务。我们调查性能的zero-shot LPE的情况下,文本从欧洲人权法院(英语)和瑞士联邦最高法院(德语,法语和意大利语)的事实。我们的研究结果表明,zero-shot LPE比基线更好,但与当前最先进的监督方法相比,它仍然不足。尽管如此,结果是重要的,因为1)没有使用明确的特定领域数据-因此我们表明,转移到法律领域是可能的通用LLM,2)LLM直接应用而无需任何进一步的训练或微调-这反过来又大大节省了额外的计算成本。
2022-12-05 cs.AI cs.CL
Privacy Policy Analysis through Prompt Engineering for LLMs
SINTEF(辛泰夫研究院)
本文提出PAPEL框架,利用LLMs和提示工程自动化分析隐私政策,通过零样本、少样本及思维链提示实现信息提取、标注与摘要,在OPP-115基准上F1达0.8以上,减少训练需求并提升适应性。
2024-09-23 cs.CL cs.CY cs.SE
Revisiting Jailbreaking for Large Language Models: A Representation Engineering Perspective
School of Computer Science, Fudan University(复旦大学计算机科学学院)
该研究从表征工程视角探究大语言模型越狱漏洞的底层机制,发现其自我防护能力关联表征空间特定活动模式,可通过调控该模式改变模型抗越狱鲁棒性,为越狱研究提供新视角并警示开源LLM的滥用风险。
2025-02-21 cs.AI cs.CL
A Systematic Review on Prompt Engineering in Large Language Models for K-12 STEM Education
Carnegie Mellon University(卡内基梅隆大学);University of Sheffield(谢菲尔德大学);Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
本研究通过PRISMA协议系统综述2021-2024年间30篇文献,分析了K-12 STEM教育中LLMs结合提示工程的应用,发现少样本和思维链等先进提示策略效果显著,且微调小模型在特定情境下可优于大模型。
2024-10-14 cs.CL cs.HC
DataPrep-Bench: Benchmarking LLMs as Training Data Preparators
Peking University(北京大学);Institute for Advanced Algorithms Research(先进算法研究院);OriginHub Technology(源创科技)
研究LLMs作为训练数据准备者的表现,引入DataPrep - Bench统一基准,涵盖数据构建与质量评估,在多领域和模型上评估,发布相关智能体和评估器,为衡量LLM驱动数据准备能力提供框架。
2026-07-24 cs.CL cs.LG
Conversational Context Classification: A Representation Engineering Approach
Nanyang Technological University Singapore(南洋理工大学新加坡)
本文提出利用表示工程和一类支持向量机识别LLM内部状态中的上下文子空间,以提高对话上下文检测的准确性。
2026-01-18 cs.AI cs.CL cs.CR
Harnessing Multi-Agent LLMs for Complex Engineering Problem-Solving: A Framework for Senior Design Projects
Information Technology University(信息技术大学);Zayed University(扎耶德大学);University of Oxford(牛津大学);Qatar University(卡塔尔大学)
本文提出一个多智能体大语言模型框架,通过不同专家视角的LLM智能体协同、协商与提示工程模拟人类工程团队,以支持工程专业学生的高年级设计项目并提升复杂问题解决能力。
2025-01-02 cs.AI cs.CL cs.LG
Assessing Large Language Models in Mechanical Engineering Education: A Study on Mechanics-Focused Conceptual Understanding
University of Georgia(佐治亚大学);Tongji University(同济大学)
该研究用126道力学多选题评估GPT-3.5、GPT-4和Claude-2.1,发现GPT-4总体优于其他模型及人类群体,解释型提示能显著提升表现。
2024-01-13 cs.AI cs.CL physics.ed-ph
Temporal Alignment of Time Sensitive Facts with Activation Engineering
University of New South Wales(新南威尔士大学)
本文提出利用激活工程将LLaMA 2时间对齐到特定时间点,无需训练或数据集构建,在相对和显式提示下分别提升44%和16%,性能媲美微调方法且计算效率更高。
2025-05-20 cs.CL cs.LG
Multi-party Goal Tracking with LLMs: Comparing Pre-training, Fine-tuning, and Prompt Engineering
Heriot-Watt University(赫瑞-瓦特大学);Edinburgh Centre for Robotics(爱丁堡机器人中心);Alana AI(阿拉纳人工智能)
本研究比较微调、预训练和提示工程三种方法,在有限数据下用LLMs追踪多方对话中的用户目标,发现GPT-3.5-turbo配合推理风格提示效果最佳,但多方对话仍具挑战。
2023-08-29 cs.CL cs.HC
LQER: Low-Rank Quantization Error Reconstruction for LLMs
Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
本文提出LQER方法,结合量化与低秩近似,利用激活诱导缩放矩阵驱动量化误差的奇异值分布,在无需知识蒸馏等复杂优化的情况下实现近乎无损的W4A8量化,并在下游任务中减少硬件资源消耗。
2024-05-30 cs.CL cs.LG
A Survey on Prompting Techniques in LLMs
George Mason University(乔治梅森大学)
本文对大语言模型的各类提示技术展开综述,梳理现有研究的分类体系,同时指出该领域待解决的问题,为后续研究提供方向。
2024-04-16 cs.AI cs.CL
Multilingual Prompt Engineering in Large Language Models: A Survey Across NLP Tasks
New York University, CIMS(纽约大学);Cleveland State University(克利夫兰州立大学)
本文综述多语言提示工程,按任务分类39种提示技术,分析覆盖约250种语言的36篇论文及30项NLP任务,并总结LLM、SoTA方法与跨语系资源差异。
2025-05-16 cs.AI cs.CL cs.LG
Leveraging Large Language Models with Chain-of-Thought and Prompt Engineering for Traffic Crash Severity Analysis and Inference
College of Engineering(工程学院);University of Georgia(佐治亚大学)
本文将事故严重程度推断建模为分类任务,利用模板叙述、CoT 与领域提示工程评估 GPT-3.5-turbo 及 LLaMA3 模型,证明 LLaMA3-70B 与 CoT 提示可显著提升推理性能。
2024-08-04 cs.AI cs.CL cs.LG