The Perplexity Paradox: Why Code Compresses Better Than Math in LLM Prompts
Bona Opera Studios(博纳歌剧工作室)
本文揭示代码在LLM提示中比数学压缩更有效的原因,并提出TAAC算法实现更高效的压缩。
2026-01-21 cs.AI cs.CL
BayesPrompt: human readable prompts that make sense
Scuola Internazionale Superiore di Studi Avanzati (SISSA)(国际高等研究学院(SISSA));Flatiron Institute(弗拉蒂伦研究所)
针对提示词优化任务的不适定性,本文提出BayesPrompt算法,将提示词优化重定义为贝叶斯后验推断以生成可读提示词,在真实数据集上较当前最优方法有显著指标提升。
2026-08-19 cs.CL
Demystifying ChatGPT: How It Masters Genre Recognition
Department of Computer Science and Engineering, Indian Institute of Technology Patna(计算机科学与工程系,印度理工学院帕纳布分校);Sony Research India(索尼印度研究)
本研究利用 MovieLens-100K 数据集和 IMDb 海报信息,结合视觉语言模型增强提示,发现 ChatGPT 在电影类型预测上优于其他 LLMs,微调后表现最佳。
2025-07-05 cs.AI cs.CL
LatentBreak: Jailbreaking Large Language Models through Latent Space Feedback
University of Cagliari(卡利亚里大学);Centre for AI Governance(人工智能治理中心);Foundation AI – Cisco Systems Inc.(AI基金会——思科系统公司)
针对现有越狱攻击易被基于困惑度的过滤检测的问题,本文提出白盒攻击LatentBreak,通过最小化潜在空间距离来替换词语生成低困惑度自然对抗提示,在多个安全模型上有效规避防御并优于现有算法。
2025-10-30 cs.AI cs.CL cs.LG
Prompt-tuning in ASR systems for efficient domain-adaptation
Amazon(亚马逊)
自动语音识别(ASR)系统已经在非常不同的领域中的许多工业应用中找到了它们的用途。由于特定领域的系统在域内评估方面比通用系统表现得更好,因此显然需要内存和计算效率高的领域自适应。特别地,调整用于重新评分ASR假设的基于参数重转换器的语言模型是具有挑战性的。在这项工作中,我们克服了这个问题,使用提示微调,一种方法,训练少量的域令牌嵌入参数,以总理基于变换器的LM到一个特定的域。每个域只需要几个额外的参数,我们就可以在使用未适应LM的基线上获得更好的困惑分数。尽管是参数高效的,但这些改进与具有数亿参数的完全微调模型的改进相当。我们复制我们的研究结果在困惑的数字字出错率在特定领域的ASR系统中的一个这样的域。
2021-10-22 cs.CL
Demystifying Chains, Trees, and Graphs of Thoughts
ETH Zurich(苏黎世联邦理工学院);Dell(戴尔);Cledar;BASF SE(巴斯夫欧洲公司)
本文通过分析提示执行流程,构建了首个结构增强的大语言模型推理方案分类法,揭示了不同结构对推理性能和成本的影响,并探讨了提示工程与语言模型生态系统的理论基础。
2026-04-01 cs.AI cs.CL cs.LG
PromptEHR: Conditional Electronic Healthcare Records Generation with Prompt Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
由于隐私问题,纵向多模式电子医疗记录(EHR)具有挑战性,这阻碍了ML在医疗保健应用中的使用。合成EHR生成绕过了共享敏感的真实患者记录的需要。然而,现有的方法都是通过无条件生成或纵向推理来生成单模态EHR,灵活性不高,使得EHR不现实。在这项工作中,我们建议制定EHR生成作为一个文本到文本的翻译任务的语言模型(LM),这足以高度灵活的事件插补在生成过程中。我们还设计了快速学习,以控制由数字和分类人口统计特征条件的一代。我们评估合成EHR质量的两个困惑的措施占其纵向模式(纵向插补困惑,lpl)和连接跨模态(跨模态插补困惑,mpl)。此外,我们利用两个对手:成员和属性推理攻击的隐私保护评估。在MIMIC-III数据上的实验表明,该方法在真实EHR生成上具有优越性(与最佳基线相比,lpl平均降低了53.1%,mpl平均降低了45.3%),同时具有较低的隐私风险。软件可在https://github.com/RyanWangZf/PromptEHR上获得。
2022-10-11 cs.AI cs.CL
Detecting Language Model Attacks with Perplexity
University of Michigan(密歇根大学)
针对大语言模型的对抗性后缀越狱攻击问题,本研究发现对抗性查询困惑度极高,通过结合困惑度与token长度训练Light-GBM模型,解决了纯困惑度过滤的误报问题,有效检测大部分攻击。
2023-11-07 cs.AI cs.CL cs.CR
Demystifying Reinforcement Learning Post-Training of Language Models
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
本研究拆解语言模型的RL后训练算法,探究各因素对其结果的影响,为NLP领域人员提供RL后训练的入门指南。
2026-09-01 cs.AI cs.CL cs.LG
Efficient Response Generation Strategy Selection for Fine-Tuning Large Language Models Through Self-Aligned Perplexity
University of Adelaide(阿德莱德大学)
本文提出自对齐困惑度度量,通过小样本评估候选输出与目标LLM风格的一致性,从而高效选择最佳数据生成策略,避免穷举训练,并在多个推理基准上验证了其有效性。
2025-08-27 cs.CL
What Makes Pre-trained Language Models Better Zero-shot Learners?
SenseTime Research(商汤科技研究院);Fudan University(复旦大学);University College Dublin(都柏林大学学院)
针对零样本场景下提示模板选择依赖标注数据的问题,提出基于困惑度的Perplection方法,提前预测模板性能,在无需标注样本时提升零样本文本分类效果。
2023-05-16 cs.AI cs.CL
FLRT: Fluent Student-Teacher Redteaming
Confirm Labs
本文提出 FLRT 方法,通过基于蒸馏的优化和流畅性约束改进 GCG 与 BEAST,生成人类可读的越狱提示,在多个安全微调模型上实现高攻击成功率并具备跨任务与黑盒迁移能力。
2024-10-01 cs.AI cs.CL
The language of prompting: What linguistic properties make a prompt successful?
Institute for Logic, Language and Computation, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
本研究探究不同规模、训练类型的LLM在语义等价但语言结构不同的提示下的表现,发现性能与常见的语言属性假设不符,进而提出更稳健的提示研究评估标准。
2023-11-03 cs.AI cs.CL cs.LG
On the Fallacy of Global Token Perplexity in Spoken Language Model Evaluation
Carnegie Mellon University(卡内基梅隆大学);National Taiwan University(国立台湾大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Massachusetts Institute of Technology(麻省理工学院)
针对口语语言模型评估中直接使用文本困惑度公式计算语音令牌困惑度的问题,提出基于似然和生成的新型评估方法,更忠实反映生成质量,并缩小了最佳模型与人类基线之间的差距。
2026-05-27 cs.AI cs.CL
Benchmarking Parameter-Efficient Fine-Tuning of Large Language Models for Low-Resource Tajik Text Generation with the Tajik Web Corpus
Institute of Computational Mathematics and Information Technologies, Kazan Federal University(喀山联邦大学计算数学与信息技术研究所);Bokhtar State University named after Nosiri Khusrav(努西里·胡斯劳夫命名的博赫塔国立大学)
该研究发布塔吉克网络语料库,测试9种架构17种配置的三种微调策略,得出Mistral 7B搭配QLoRA r=8为最优方案,是首个针对塔吉克语文本生成的PEFT基准测试。
2026-08-11 cs.CL
Knowledge-Prompted Estimator: A Novel Approach to Explainable Machine Translation Assessment
Huawei Technologies CO., LTD(华为技术有限公司)
针对现有大语言模型机器翻译质量评估指标缺乏句子级分析的问题,提出融合三种单步提示技术的知识提示估计器(KPE),提升了句子级评估性能与可解释性。
2023-06-13 cs.CL
Alzheimer's Dementia Detection Using Perplexity from Paired Large Language Models
School of Computer Science(计算机科学学院)
本研究采用具备指令遵循能力的Mistral-7B大语言模型,将配对困惑度方法用于阿尔茨海默病痴呆检测,准确率优于现有方法及ADReSS 2020基准最优方法,且决策边界可解释,还发现模型学到了患者语言模式,为相关研究提供新方向。
2025-06-11 cs.AI cs.CL cs.LG
kNN-Prompt: Nearest Neighbor Zero-Shot Inference
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
检索增强语言模型(LM)使用非参数记忆,大大优于他们的非检索同行的困惑为基础的评价,但它是一个悬而未决的问题,他们是否实现了类似的收益在几个和zero-shot最终任务的准确性。我们广泛地研究了这样一个模型,k-最近邻LM(kNN-LM),表明收益边际转移。主要的挑战是实现定义不同的最终任务类标签的动词化器标记的覆盖。为了应对这一挑战,我们还引入了kNN-Prompt,这是一个简单有效的kNN-LM,具有自动扩展的模糊动词(例如,扩展可怕的,也包括愚蠢和其他任务特定的同义词用于情感分类)。在九个不同的最终任务中,使用kNN提示与GPT-2大产生显着的性能提升超过强大的zero-shot基线(13.4%的绝对改善比基本LM平均)。我们还表明,其他优势的非参数增强持有终端任务; kNN提示是有效的领域自适应,没有进一步的训练,增益随着检索模型的大小。
2022-11-01 cs.CL
AutoDAN: Generating Stealthy Jailbreak Prompts on Aligned Large Language Models
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);USC(南加州大学);University of California, Davis(加利福尼亚大学戴维斯分校)
本文提出AutoDAN,一种利用分层遗传算法自动生成隐蔽越狱提示的新型攻击方法,解决了现有技术可扩展性与隐蔽性问题,在跨模型和跨样本攻击中表现卓越并能有效绕过困惑度防御。
2024-03-20 cs.AI cs.CL
Where is the answer? Investigating Positional Bias in Language Model Knowledge Extraction
OMRON SINIC X(欧姆龙SINIC X);Google Research(谷歌研究院);Google Cloud AI Research(谷歌云人工智能研究院)
针对大型语言模型微调后存在的“困惑度诅咒”问题,研究发现其知识提取存在位置偏差,即易提取文档首句信息、难提取中间或结尾信息,通过发布相关数据集及验证去噪自回归损失等正则化方法的改善作用,为改进知识提取及讨论RAG与微调权衡提供新依据。
2025-04-18 cs.AI cs.CL
DETAIL Matters: Measuring the Impact of Prompt Specificity on Reasoning in Large Language Models
Emory University(埃默里大学)
本文通过DETAIL框架研究提示特定性对大语言模型推理性能的影响,发现特定性提升准确性,尤其对小型模型和程序性任务效果显著。
2025-12-01 cs.AI cs.CL
RePPL: Recalibrating Perplexity by Uncertainty in Semantic Propagation and Language Generation for Explainable QA Hallucination Detection
The Hong Kong University of Science and Technology(香港科学与技术大学);Tsinghua University(清华大学)
RePPL通过校准语义传播和语言生成中的不确定性,提升问答幻觉检测性能,生成token级不确定性评分作为解释。
2026-02-02 cs.AI cs.CL
HAMSA: Hijacking Aligned Compact Models via Stealthy Automation
MIPT(莫斯科国立信息安全学院);Sberbank(俄罗斯储蓄银行);AIRI(人工智能研究机构);MTUCI(莫斯科联邦大学);ISP RAS(俄罗斯科学院信息与通信技术研究所);Cadi Ayyad University(卡迪·艾亚德大学)
本文提出HAMSA自动化红队框架,通过多阶段演化搜索生成语义自然且隐蔽的越狱提示,以绕过对齐紧凑型LLMs的安全防护,并在英语和新标注的阿拉伯语基准上验证了多语言攻击效果。
2025-08-22 cs.CL
Adapting Large Language Models to a Low-Resource Agglutinative Language: A Comparative Study of LoRA and QLoRA for Bashkir
Institute of Computational Mathematics and Information Technologies, Kazan Federal University(计算数学与信息科技学院,卡兹安联邦大学)
本文比较了LoRA和QLoRA两种参数高效微调方法在低资源黏着语巴什基尔语上的适配效果,发现QLoRA在7B规模模型上能在质量和计算成本间取得有效平衡。
2026-06-01 cs.CL
Fairness or Fluency? An Investigation into Language Bias of Pairwise LLM-as-a-Judge
University of Southern California(南加州大学);Arizona State University(亚利桑那州立大学)
本文研究了LLM-as-a-judge在配对任务中的语言偏见,发现不同语言在性能和偏好上有显著差异,且语言偏见不能仅由困惑度解释。
2026-01-20 cs.AI cs.CL
AutoDAN: Interpretable Gradient-Based Adversarial Attacks on Large Language Models
University of Maryland, College Park(马里兰大学帕克分校);Adobe Research(奥多比研究院)
针对现有LLM安全防御方案的局限性,提出融合两类攻击优势的AutoDAN梯度对抗攻击方法,生成高成功率、可读可解释的越狱提示,具备强泛化迁移性,为红队测试和越狱机制研究提供新路径。
2023-12-14 cs.AI cs.CL cs.CR
Controlling the Extraction of Memorized Data from Large Language Models via Prompt-Tuning
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Amazon(亚马逊)
本研究提出利用提示微调控制大型语言模型中记忆数据的提取率,设计了分别用于攻击和防御的两种提示训练策略,在GPT-Neo模型上验证了有效性,实现了提取率的显著增减并平衡隐私与效用。
2023-05-19 cs.AI cs.CL
Benchmarking zero-shot stance detection with FlanT5-XXL: Insights from training data, prompting, and decoding strategies into its near-SoTA performance
Indiana University Bloomington(印第安纳大学伯明顿分校);Center for Complex Networks and Systems(复杂网络与系统中心)
本文用 FlanT5-XXL 在多个推文立场数据集上评估零样本立场检测,分析提示、解码、困惑度及否定表述的影响,证明其可匹敌微调 SoTA,并发现正向偏差。
2024-03-01 cs.AI cs.CL cs.LG
Why Are My Prompts Leaked? Unraveling Prompt Extraction Threats in Customized Large Language Models
The Hong Kong Polytechnic University(香港理工大学)
针对定制化大型语言模型(LLMs)的提示词泄露问题,本文分析了提示词记忆机制及影响提取的关键属性,提出基于困惑度和注意力矩阵的假设,发现现有对齐模型仍易受攻击,进而提出防御策略使Llama2-7B和GPT-3.5的提取率大幅下降。
2025-02-12 cs.CL cs.CR
DataMan: Data Manager for Pre-training Large Language Models
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
本文提出数据管理器DataMan,通过让LLM自我识别14项质量标准和15个应用领域,对447B token语料进行标注,并据此筛选30B token训练1.3B模型,显著提升了ICL、困惑度和指令遵循能力,验证了质量排序与领域混合的有效性。
2025-04-08 cs.AI cs.CL
Talking Nonsense: Probing Large Language Models' Understanding of Adversarial Gibberish Inputs
Amazon AWS AI(亚马逊AWS人工智能);Stanford University(斯坦福大学)
本研究利用 Greedy Coordinate Gradient 优化器构造对抗性乱码提示(LM Babel),发现大型语言模型能据此生成连贯响应,且生成有害文本与良性文本难度相当,揭示了其在分布外提示上的对齐缺失。
2024-04-29 cs.AI cs.CL cs.LG
Are All Prompt Components Value-Neutral? Understanding the Heterogeneous Adversarial Robustness of Dissected Prompt in Large Language Models
Duke University(杜克大学);North China University of Technology(北方工业大学);Hong Kong Polytechnic University(香港理工大学);Australian National University(澳大利亚国立大学);Nanyang Technological University(南洋理工大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Forestry University(北京林业大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
针对现有对抗攻击将提示视为整体而忽略组件差异的问题,提出PromptAnatomy框架解剖提示组件并用ComPerturb选择性扰动,结合PPL过滤,在多个数据集和LLMs上实现最先进攻击成功率。
2025-08-03 cs.AI cs.CL cs.CR
CMed-GPT: Prompt Tuning for Entity-Aware Chinese Medical Dialogue Generation
Beijing University of Technology(北京工业大学)
本文提出基于中文医疗文本的GPT预训练模型CMed-GPT,通过融合实体嵌入并应用p-tuning,显著提升了中文医疗对话生成的质量,验证了提示微调优于传统微调。
2023-11-24 cs.AI cs.CL
Broken-Token: Filtering Obfuscated Prompts by Counting Characters-Per-Token
JFrog
提出CPT-Filtering技术,通过计算文本每Token平均字符数(CPT)利用BPE分词器特性,以极低成本和高准确率识别并过滤利用密码和字符编码的越狱攻击,为LLMs提供可即时部署的防御层。
2025-10-30 cs.AI cs.CL cs.CR
Autocompletion of Chief Complaints in the Electronic Health Records using Large Language Models
Marquette University(马凯特大学);University of Wisconsin-Platteville(威斯康星大学普拉特维尔分校)
本文针对电子健康记录中主诉记录耗时的问题,提出基于LSTM、BioGPT微调及GPT-4提示的自动补全方法,实验表明BioGPT-Large以1.65的困惑度显著优于基线模型,验证了大型语言模型在医疗主诉文档生成中的有效性。
2024-01-11 cs.AI cs.CL cs.LG
Query Language Sensitivity in Automated Sentiment Scores of LLM Responses
研究大语言模型品牌答案中非确定性的来源,通过交叉随机效应分解将响应级品牌结果总方差分为提示内重采样等四个来源,应用于多语言多模型语料库,发现查询语言是最大方差来源,跨语言和模型能提升可靠性而非重复提示。
2026-11-03 cs.CL cs.IR
Reducing Sentiment Bias in Language Models via Counterfactual Evaluation
DeepMind(深度思维);University of California, Los Angeles(加州大学洛杉矶分校);University College London(伦敦大学学院)
语言建模架构的进步和大型文本语料库的可用性推动了自动文本生成的进展。虽然这导致模型能够生成连贯的文本,但它也促使模型内化训练语料库中存在的社会偏见。本文旨在量化和减少语言模型表现出的一种特殊类型的偏见:生成文本的情感偏见。给定条件情境(例如,书写提示)和语言模型,我们分析所生成的文本的情感是否(以及如何)受到敏感属性的值的变化的影响(例如,国家名称、职业、性别),在条件语境中使用一种反事实评价的形式。我们通过采用公平的机器学习文献中的个人和群体公平性指标来量化情感偏见,并证明在两个不同的语料库(新闻文章和维基百科)上训练的大规模模型表现出相当大的偏见水平。然后,我们提出嵌入和情感预测派生正则化的语言模型的潜在表示。正则化改进了公平性度量,同时保留了可比的困惑度和语义相似度。
2020-10-08 cs.CL cs.CY cs.LG
Just read twice: closing the recall gap for recurrent language models
本文针对循环大语言模型长上下文回忆受数据顺序影响的问题,将其归结为集合不相交性问题,并提出 JRT-Prompt 与 JRT-RNN,显著提升 ICL 质量和预填充吞吐量。
2024-07-07 cs.CL cs.LG