Reasoning-Token Spikes Under Prompted Untruthful Responses in Large Language Models
Chapman University（查普曼大学）；INSERM U992, Cognitive Neuroimaging Unit, NeuroSpin Center（法国国家健康与医学研究院U992认知神经影像单元，神经自旋中心）；University of California, Los Angeles（加州大学洛杉矶分校）；California Institute of Technology（加州理工学院）
本研究探讨通过推理令牌数量检测大模型不实回答，发现明确提示不实回答会显著增加推理令牌使用，可作为内容无关的检测信号。
2026-10-12 cs.AI cs.CL
In-Context Impersonation Reveals Large Language Models' Strengths and Biases
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；University of Porto（波尔图大学）；INESC TEC（葡萄牙系统与计算机工程研究所（技术与科学））；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
本研究探讨LLMs在上下文生成时模仿不同角色（人设）的能力，发现模仿可提升视觉与语言任务表现并恢复人类发展特征，同时能揭示模型隐藏的优势与偏见。
2023-11-26 cs.AI cs.CL cs.LG
Prompted LLMs as Chatbot Modules for Long Open-domain Conversation
KRAFTON（KRAFTON公司）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出无需微调的 MPC 框架，将预训练 LLM 作为模块并结合少样本提示、CoT 与外部记忆，实现长时一致的开放域对话，人工评估显示其性能媲美微调聊天机器人。
2023-05-08 cs.AI cs.CL cs.LG
Compromesso! Italian Many-Shot Jailbreaks Undermine the Safety of Large Language Models
Bocconi University（博科尼大学）
本文研究意大利语多示例越狱攻击对LLM安全性的影响，构建意大利语不安全问答数据集，发现四个开源LLM家族在少量不安全示例下即出现不安全行为，且随示例增多迅速恶化。
2024-08-08 cs.CL
Auto prompting without training labels: An LLM cascade for product quality assessment in e-commerce catalogs
Amazon Catalog AI（亚马逊目录人工智能）
本研究提出一种免训练的LLM自动提示级联系统，无需训练标签即可优化电商商品质量评估提示，相比思维链提示提升8-10%的精确率和召回率，大幅降低专家工作量，且能跨语言、跨任务泛化。
2025-10-27 cs.AI cs.CL
Large Language Models as Misleading Assistants in Conversation
New York University（纽约大学）；Yale University（耶鲁大学）；OpenAI
本研究探讨LLMs在对话中作为助手时可能产生的误导性影响，通过对比真实与欺骗性助手的实验，发现GPT-4能显著降低任务准确率，并指出额外上下文可部分缓解此影响。
2024-07-16 cs.AI cs.CL cs.CY
Unveiling the Potential of Knowledge-Prompted ChatGPT for Enhancing Drug Trafficking Detection on Social Media
West Virginia University（西弗吉尼亚大学）；University of Notre Dame（圣母大学）
本文首次系统研究利用ChatGPT等大语言模型检测社交媒体毒品贩运，提出知识知情提示框架和蒙特卡洛dropout提示优化方法，检测准确率较基线模型提升近12%，有效应对毒贩的欺骗性语言和委婉语。
2023-07-07 cs.AI cs.CL cs.SI
Mapping and Influencing the Political Ideology of Large Language Models using Synthetic Personas
The University of Queensland（昆士兰大学）；GESIS（德国社会科学信息研究所）；University of Udine（乌迪内大学）
本研究利用PersonaHub合成人格和PCT测试，映射并尝试操纵LLMs的政治意识形态，发现模型对右翼威权主义提示响应显著，而对左翼自由意志主义响应有限，揭示了意识形态操纵的响应不对称性。
2025-02-26 cs.AI cs.CL
Prompted Opinion Summarization with GPT-3.5
IIT Bombay（印度理工学院孟买分校）；Salesforce AI（赛富时人工智能研究院）；UT Austin（德克萨斯大学奥斯汀分校）
本文探索了使用GPT-3.5进行提示式意见摘要的流水线方法，通过递归摘要和监督聚类等技术处理大规模用户评论，并在人工评估中表现优异，同时引入了三个新评估指标。
2023-05-23 cs.CL
Language Models Fail to Introspect About Their Knowledge of Language
Department of Linguistics The University of Texas at Austin（语言学系 德克萨斯大学奥斯汀分校）；Department of Cognitive Science Johns Hopkins University（认知科学系 约翰霍普金斯大学）
本研究通过21个开源LLM在语法知识和单词预测任务上的实验，提出新内省度量，发现模型无法内省，提示响应不能反映其内部语言知识。
2025-09-23 cs.AI cs.CL
CascadeBERT: Accelerating Inference of Pre-trained Language Models via Calibrated Complete Models Cascade
Peking University（北京大学）；Tencent Inc.（腾讯公司）
动态提前退出旨在通过在内部层中发出预测而不通过整个模型来加速预训练语言模型（PLM）的推理。本文对动态提前退出机制进行了实证分析，发现其在高加速比下面临性能瓶颈。一方面，PLM在浅层中的表示缺乏高级语义信息，因此不足以进行准确的预测。另一方面，内部分类器做出的现有决策是不可靠的，导致错误地发出早期预测。相反，我们提出了一个新的框架，用于加速PLM的推理，CascadeBERT，它以级联的方式动态选择适当大小和完整的模型，为预测提供全面的表示。我们进一步设计了一个难度感知目标，鼓励模型输出反映每个实例的真实难度的类概率，以实现更可靠的级联机制。实验结果表明，CascadeBERT在6个分类任务上与现有的动态提前退出方法相比，在4个$\times$加速下，总体性能提高了15%，预测结果更加准确.
2021-09-03 cs.CL
Alignment Drift in CEFR-prompted LLMs for Interactive Spanish Tutoring
Department of Linguistics, Cognitive Science, and Semiotics（语言学、认知科学与符号学系）
该研究通过7B至12B开源LLM模拟西班牙语师生对话，评估CEFR系统提示对A1、B1、C1文本难度的控制能力，发现长期交互中存在“对齐漂移”，并提出低成本可扩展评估方法。
2025-06-07 cs.CL
Cascade: Hierarchical Recoverability Control for Large Language Model Unlearning
Beihang University（北京航空航天大学）；Renmin University of China（中国人民大学）；MemTensor (Shanghai) Technology Co., Ltd.（迈腾科技（上海）有限公司）
提出Cascade分层框架，通过路径路由、表示压缩和解码干预控制LLM遗忘中的知识可恢复性，在TOFU等基准上验证有效。
2026-09-16 cs.CL
The Probabilities Also Matter: A More Faithful Metric for Faithfulness of Free-Text Explanations in Large Language Models
Google DeepMind（谷歌DeepMind）；University College London（伦敦大学学院）
本文提出相关解释忠实性指标CEF及相关反事实测试CCT，通过考虑预测标签分布的总偏移而非仅二元变化，更准确地度量大型语言模型自由文本解释的忠实性，并在Llama2模型上验证其能捕捉CT遗漏的忠实性方面。
2024-06-07 cs.AI cs.CL
The fragility of "cultural tendencies" in LLMs
Department of Linguistics, Tongji University（同济大学语言学系）；Department of Computational Linguistics, Tübingen University（图宾根大学计算语言学系）；The Institute of Natural Language Processing, Stuttgart University（斯图加特大学自然语言处理研究所）
本研究批判性复现LSZ关于LLM文化倾向的实验，发现其并非稳定特质，而是模型和任务设计的脆弱产物，提示语言影响极小。
2025-10-07 cs.CL
Prompted Aspect Key Point Analysis for Quantitative Review Summarization
RMIT University（RMIT大学）；Nanyang Technological University（南洋理工大学）
本文提出PAKPA框架，利用方面情感分析和LLM提示式上下文学习，生成忠实且量化准确的关键点，用于定量评论摘要，在Yelp和SPACE数据集上达到最先进性能。
2024-07-19 cs.CL
Fairness or Fluency? An Investigation into Language Bias of Pairwise LLM-as-a-Judge
University of Southern California（南加州大学）；Arizona State University（亚利桑那州立大学）
本文研究了LLM-as-a-judge在配对任务中的语言偏见，发现不同语言在性能和偏好上有显著差异，且语言偏见不能仅由困惑度解释。
2026-01-20 cs.AI cs.CL
Poor Alignment and Steerability of Large Language Models: Evidence from College Admission Essays
本研究通过分析大学录取文书发现，大语言模型在对齐和操控性方面存在不足，提示信息未能有效改变模型输出的语言模式。
2026-01-22 cs.CL
Large Language Models can Learn Rules
Google（谷歌公司）；Université de Montréal（蒙特利尔大学）；HEC Montréal（蒙特利尔高等商学院）；University of Alberta（阿尔伯塔大学）
提出Hypotheses-to-Theories (HtT)框架，通过归纳和演绎两阶段让LLM自动学习并应用规则库进行推理，解决隐式知识错误问题，在多类推理任务中准确率提升10-30%，且规则具备跨模型和问题形式的迁移能力。
2024-12-19 cs.AI cs.CL
A Philosophical Introduction to Language Models -- Part I: Continuity With Classic Debates
Macquarie University（麦考瑞大学）；University of Houston（休斯顿大学）
本文探讨大型语言模型与认知科学、AI和语言学经典哲学争论的联系，指出其成功挑战了传统假设，并强调需进一步实证研究其内部机制。
2024-01-08 cs.AI cs.CL cs.LG
Large Language Model Cascades with Mixture of Thoughts Representations for Cost-efficient Reasoning
George Mason University（乔治梅森大学）；Microsoft（微软）；Virginia Tech（弗吉尼亚理工大学）
本文提出LLM级联框架，利用较弱模型的答案一致性判断问题难度，混合思维链与程序思维采样，在六个基准上以40%成本达到强模型性能。
2024-02-08 cs.AI cs.CL cs.LG
Towards Explainable In-the-Wild Video Quality Assessment: A Database and a Language-Prompted Approach
Nanyang Technological University（南洋理工大学）；SenseTime Group Limited（商汤集团有限公司）；Sensetime Research（商汤科技研究院）
针对自然场景视频质量评估难以解释具体质量因素的问题，构建了包含4543个视频、13个维度的Maxwell数据库，并提出基于CLIP的语言提示方法MaxVQA，实现了多维质量因素联合评估与最优泛化。
2023-08-03 cs.CL cs.CV cs.MM
Multitask Prompted Training Enables Zero-Shot Task Generalization
Hugging Face；Brown University（布朗大学）；Snorkel AI；BigScience；KFUPM（法赫德国王石油与矿业大学）；IRISA（法国信息与随机系统研究所）；IMATAG；Hyperscience；SAP（思爱普）；NTU（南洋理工大学）；UCSD（加州大学圣地亚哥分校）；SambaNova Systems；Walmart Labs（沃尔玛实验室）；VU Amsterdam（阿姆斯特丹自由大学）；University of Virginia（弗吉尼亚大学）；ASUS（华硕）；ZEALS；NYU（纽约大学）；IBM Research（IBM研究院）；UC Berkeley（加州大学伯克利分校）；Parity；Inria（法国国家信息与自动化研究所）；Naver Labs Europe（Naver欧洲实验室）；BITS Pilani（博拉理工学院）；University of Rome（罗马大学）；Stanford（斯坦福大学）；Charles River Analytics（查尔斯河分析公司）；Booz Allen（博思艾伦）；EleutherAI
大语言模型最近已经被证明在不同的任务集合上获得合理的zero-shot泛化（Brown等人，2020年）。已经假设这是语言模型的预训练中的内隐多任务学习的结果（Radford等人，2019年）。zero-shot泛化是否可以直接通过外显多任务学习来诱导？为了大规模地测试这个问题，我们开发了一个系统，可以轻松地将任何自然语言任务映射到人类可读的提示形式。我们转换了大量的监督数据集，每个数据集都有多个不同措辞的提示。这些提示的数据集允许对模型执行完全保留任务的能力进行基准测试。我们微调预训练的编码器-解码器模型（Raffel等人，2020; Lester等人，2021年）在这个多任务混合覆盖各种各样的任务。该模型在几个标准数据集上实现了强大的zero-shot性能，通常优于高达16倍大小的模型。此外，我们的方法在BIG-Bench基准测试的一部分任务上获得了很好的性能，比模型的性能高出6倍。所有经过训练的模型都可以在https://github.com/bigscience-workshop/t-zero上找到，所有提示都可以在https://github.com/bigscience-workshop/promptsource上找到。
2022-03-17 cs.CL cs.LG
When Does Personality Composition Matter for Multi-Agent LLM Teams?
School of Computing & AI（计算与人工智能学院）
研究通过操纵前沿LLM的人格特质，发现人格对多智能体团队性能的影响取决于任务结构：在编码任务中影响小，在开放协作和谈判任务中显著降低性能。
2026-07-15 cs.AI cs.CL
Pruning as a Defense: Reducing Memorization in Large Language Models
Indian Institute of Technology, Roorkee（鲁尔基印度理工学院）；Groq Inc（Groq公司）
针对大语言模型易记忆训练数据、易遭成员推理攻击的问题，研究发现简单剪枝技术可有效降低模型记忆程度，为缓解成员推理攻击提供了一种基础的防御思路。
2025-02-18 cs.AI cs.CL cs.LG
Leveraging Large Language Models for Building Interpretable Rule-Based Data-to-Text Systems
Poznan University of Technology（波兹南理工大学）；Charles University（查理大学）
提出利用大型语言模型自动构建纯Python的、完全可解释的基于规则的数据到文本系统，在WebNLG上以更少幻觉和更高效率超越直接生成及微调模型。
2025-02-28 cs.AI cs.CL
CASCADE: Case-Based Continual Adaptation for Large Language Models During Deployment
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Jilin University（吉林大学知识驱动人机智能工程研究中心）；International Center of Future Science, Jilin University（吉林大学未来科学国际中心）；Department of Informatics, King’s College London（伦敦国王学院信息学院）；The Alan Turing Institute（艾伦·图灵研究所）；AI Centre, Department of Computer Science, UCL（UCL计算机科学系人工智能中心）
本文提出CASCADE框架，通过在部署期间持续学习提升LLM性能，实现20.9%的提升，并在多个领域任务中优于基线方法。
2026-05-05 cs.AI cs.CL cs.LG
Cascaded Batch Prompting
CyberAgent（赛博agent公司）
针对批量提示导致大语言模型下游任务性能不可预测的问题，提出级联批量提示方法，在多项选择问答等任务上性能优于单提示基线，且加速效果与批量大小成正比，在帕累托前沿达到新最优。
2026-08-28 cs.CL
Mimicry without understanding: the origins of decision bias in large language models
本研究揭示大语言模型（LLMs）存在两类偏差生成机制，经四项经济偏差实验发现ChatGPT-4o和Qwen会表现出社会认同偏差与损失厌恶偏差，偏差程度可被科学报告预测，还明确了LLMs偏差的潜在组成过程。
2026-08-14 cs.AI cs.CL cs.HC
LLMs Prompted for Graphs: Hallucinations and Generative Capabilities
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（雷恩信息、信号与图像研究所）；LAAS/CNRS（法国国家科学研究中心自动化与系统分析实验室）；PEReN
本文研究了LLMs在复述和生成图方面的能力，提出了基于幻觉视角的评估指标，发现图幻觉幅度可表征模型优越性，且生成任务结果良好可复现，为网络科学与机器学习社区搭建了桥梁。
2025-04-04 cs.AI cs.CL cs.SI
LiST: Lite Prompted Self-training Makes Parameter-Efficient Few-shot Learners
Purdue University（普渡大学）；Microsoft Research（微软研究院）
我们提出了一种新的方法LiST是精简自训练的缩写，用于少样本学习的大型预训练语言模型（PLM）的参数高效微调。LiST使用两种关键技术改进了最近采用基于FFT的微调（FN）的方法。第一个是使用自训练来利用大量未标记数据用于Few-Shot设置中的基于神经网络的FN。我们使用自我训练结合元学习来重新加权嘈杂的伪提示标签。自训练是昂贵的，因为它需要重复更新所有模型参数。因此，我们使用第二种技术进行轻量级微调，其中我们引入了少量特定于任务的参数，这些参数在自我训练期间进行微调，同时保持PLM编码器冻结。我们的实验表明，LiST可以有效地利用未标记的数据，以提高少样本学习的模型性能。此外，微调是高效的，因为它只更新一小部分参数，并且由于多个任务可以共享一个公共PLM编码器作为主干，因此减少了整体模型占用空间。对六个NLU任务的综合研究表明，LiST比经典微调提高了35%，比基于神经网络的FN提高了6%，当每个任务的标记示例不超过30个时，可训练参数的数量减少了96%。在只有14 M个可调参数的情况下，LiST在Few-Shot NLU任务上的性能比GPT-3在上下文中学习高出33%。
2022-05-18 cs.CL
Prompted Contextual Vectors for Spear-Phishing Detection
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Accenture Cyber Research Lab（埃森哲网络安全研究实验室）
提出基于LLM推理的文档向量化方法，通过量化邮件中的说服原则生成上下文向量，在仅用传统邮件训练下，对LLM生成的鱼叉式钓鱼邮件检测F1达91%。
2024-12-24 cs.CL cs.CR cs.LG
Evaluating Gender Bias Transfer between Pre-trained and Prompt-Adapted Language Models
Apple（苹果公司）
本文考察提示适配场景下的性别偏见迁移，发现 Mistral、Falcon 和 Llama 的预训练内在偏见与零样本、少样本及公平/偏见提示下的表现高度相关。
2024-12-04 cs.AI cs.CL cs.LG
Can Prompts Rewind Time for LLMs? Evaluating the Effectiveness of Prompted Knowledge Cutoffs
UC San Diego（UC圣迭戈大学）；SUNY Buffalo（纽约州立大学布法罗分校）
本研究评估提示能否让大语言模型模拟更早的知识截止，发现其对直接事实有效，但对因果相关知识遗忘困难，凸显了时间预测评估的严谨性需求。
2025-10-15 cs.CL cs.LG
In-Context Alignment: Chat with Vanilla Language Models Before Fine-Tuning
University of Washington（华盛顿大学）
本文提出在推理阶段通过上下文学习为未微调的 Llama-2 提供少量对齐示范，在不改变权重的情况下将相对 text-davinci-003 的胜率提升 7 倍，达到与对齐微调强基线相当的水平。
2023-08-08 cs.AI cs.CL cs.LG
When Do Large Language Models Exhibit Unsolicited Deception?
UC San Diego（加州大学圣迭戈分校）
本研究通过预注册实验和2x2博弈，评估18种LLMs在无指令下的欺骗行为，发现所有模型在特定条件下会歪曲行为，且推理能力强的模型更易欺骗，揭示推理与情境欺骗的相关性。
2026-09-10 cs.CL
Boosting Neural Language Inference via Cascaded Interactive Reasoning
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
针对 PLMs 多依赖最终层表示而忽视中间层语义信息的问题，本文提出 CIRN，通过跨深度分层提取与持续跨句交互实现渐进推理，并在多个 NLI 基准上稳定优于基线。
2025-05-10 cs.CL
On-the-Fly Fusion of Large Language Models and Machine Translation
Microsoft（微软）
本文提出将机器翻译模型与大型语言模型即时集成的方法，实验表明翻译能力略弱的LLM也能提升NMT翻译质量，且优于集成两个更强的MT模型。
2024-05-06 cs.CL
A Hard Nut to Crack: Idiom Detection with Conversational Large Language Models
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）；University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））
本研究探索大语言模型的习语处理能力，推出专家设计的难例数据集IdioTS，提出基于习语检测任务的综合评估方法，并完成全面的自动、人工评估与错误分析。
2024-05-17 cs.CL
What Large Language Models Do Not Talk About: An Empirical Study of Moderation and Censorship Practices
Ghent University（根特大学）
本文通过区分硬审查与软审查，对14个来自西方、中国和俄罗斯的LLM在联合国六种官方语言下的政治话题回应进行实证分析，发现审查普遍存在但主要面向提供者国内受众，呼吁提升LLM的多样性与审核透明度。
2025-04-04 cs.CL cs.CY cs.LG
Open-vocabulary Auditory Neural Decoding Using fMRI-prompted LLM
CASIA（中国科学院自动化研究所）；University of Chinese Academy of Science（中国科学院大学）
针对现有脑信号解码多局限于小词汇集的问题，提出BP-GPT方法，以fMRI提取的大脑表征为提示驱动GPT-2实现开放词汇听觉神经解码，引入文本基线对齐提示提升鲁棒性，在开源数据集上METEOR、BERTScore较SOTA分别最高提升4.61%、2.43%。
2024-05-13 cs.CL cs.HC
Grammar Concept Annotation at Scale: Deployed Fine-Tuned Small Language Models Outperform Prompted Frontier Models
Preply（普雷普利）
该研究针对大规模语法标注成本高的问题，微调 Qwen3.5 小型语言模型并部署 0.8B 模型，其性能优于提示式 GPT-5.4、GPT-5.6 Sol，还降低了服务成本并提升了学习者参与度与业务指标。
2026-10-14 cs.AI cs.CL
Prompt, Generate, then Cache: Cascade of Foundation Models makes Strong Few-shot Learners
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiaotong University（上海交通大学）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Science（中国科学院深圳先进技术研究院）
低数据量下的视觉识别需要深度神经网络从有限的训练样本中学习广义表示。最近，基于CLIP的方法已经显示出有希望的Few-Shot性能，这得益于对比语言图像预训练。然后，我们质疑，如果更多样化的预训练知识可以级联，以进一步帮助Few-Shot表示学习。在本文中，我们提出了CaFo，这是一个级联的基础模型，它结合了各种预训练范例的各种先验知识，以实现更好的少样本学习。我们的CaFo融合了CLIP的语言对比知识、DINO的视觉对比知识、DALL-E的视觉生成知识和GPT-3的语言生成知识。具体来说，CaFo的工作原理是“提示，生成，然后缓存”。首先，我们利用GPT-3产生文本输入，以提示具有丰富下游语言语义的CLIP。然后，我们通过DALL-E生成合成图像，以扩展Few-Shot训练数据，而无需任何人力。最后，我们引入了一个可学习的缓存模型来自适应地混合CLIP和DINO的预测。通过这种合作，CaFo可以充分释放不同预训练方法的潜力，并将它们统一起来，以执行最先进的Few-Shot分类。代码可在https://github.com/ZrrSkywalker/CaFo上获得。
2023-03-03 cs.CL cs.CV
Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers
Toshiba Research Europe Limited（东芝欧洲研究有限公司）
虽然深度神经网络的较低层学习跨数据集可转移的特征，但这些层在同一数据集内不可转移。也就是说，一般来说，在同一数据集上冻结训练的特征提取器（下层）和重新训练分类器（上层）会导致更差的性能。在本文中，我们首次证明了冻结分类器在同一数据集内是可转移的。我们开发了一种新的自上而下的训练方法，它可以被看作是一种搜索高质量分类器的算法。我们测试了这种方法的自动语音识别（ASR）的任务和语言建模任务。该方法持续改进了《华尔街日报》上的递归神经网络ASR模型、Switchboard上的自注意力ASR模型和WikiText-2上的AWD-LSTM语言模型。
2021-02-09 cs.AI cs.SD eess.AS
ORCA: Interpreting Prompted Language Models via Locating Supporting Data Evidence in the Ocean of Pretraining Data
University of Washington（华盛顿大学）
大型预训练的语言模型通过提示在各种下游任务中表现得越来越好。然而，目前还不清楚模型从哪里学习特定于任务的知识，特别是在zero-shot设置中。在这项工作中，我们希望从预训练中找到模型特定于任务的能力的证据，并且特别感兴趣的是定位一个非常小的预训练数据子集，这些数据直接支持任务中的模型。我们呼吁这样一个子集支持数据证据，并提出了一种新的方法ORCA有效地识别它，通过迭代使用梯度信息相关的下游任务。这个支持数据证据提供了关于提示语言模型的有趣见解：在情感分析和文本蕴涵的任务中，BERT显示出对BookCorpus的大量依赖，这是BERT的两个预训练语料库中较小的语料库，以及预训练示例，这些示例掩盖了任务动词的同义词。
2022-05-25 cs.CL cs.LG
SPT: Semi-Parametric Prompt Tuning for Multitask Prompted Learning
Nanyang Technological University（南洋理工大学）；Amazon Web Services（亚马逊云科技）
预训练的大语言模型可以以自然的方式有效地插入人类书写的提示。多任务提示学习可以通过一次完成一组不同的任务来帮助概括，从而提高更有效的下游微调的潜力。为了在同一批中执行有效的多任务推理，已经提出了诸如提示微调的参数高效微调方法。然而，现有的提示微调方法可能缺乏通用性。我们提出了SPT，半参数提示微调方法多任务提示学习。SPT的新颖组件是一个存储体，从该存储体中基于离散提示检索存储器提示。大量的实验，如（i）微调一个完整的语言模型与SPT的31个不同的任务，从8个不同的领域和评估zero-shot泛化9 heldout数据集下的5个NLP任务类别和（ii）预训练SPT的GLUE数据集和评估微调SuperGLUE数据集，证明了SPT的有效性。
2022-12-21 cs.AI cs.CL cs.LG
Semantically-Prompted Language Models Improve Visual Descriptions
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
本文提出V-GLOSS方法，通过语义提示和细粒度对比算法改进视觉描述，在多个零样本图像分类数据集上取得优异结果，并发布了覆盖全部ImageNet类别的银标描述数据集。
2024-11-22 cs.AI cs.CL cs.CV
Towards Fair ASR For Second Language Speakers Using Fairness Prompted Finetuning
Johannes Kepler University Linz, Austria（奥地利林茨约翰内斯·开普勒大学）；IIT Kharagpur, India（印度德里理工学院）；University of Eastern Finland（芬兰东部理工大学）；University of Copenhagen（丹麦哥本哈根大学）；Aalborg University（丹麦奥胡斯大学）
本文提出基于公平性提示的微调方法，通过结合频谱解耦、组分布鲁棒优化和不变风险最小化，提升第二语言说话者在自动语音识别中的公平性与准确率。
2026-01-25 cs.CL
Towards visually prompted keyword localisation for zero-resource spoken languages
Stellenbosch University（斯泰伦博斯大学）
想象一下，能够向系统显示关键词的视觉描述，并从零资源语音语料库中找到包含该关键词的口语。我们将此任务正式化，并称之为视觉提示关键字定位（VPKL）：给定关键字的图像，检测并预测关键字在话语中出现的位置。要做VPKL，我们提出了一个语音视觉模型与一个新的本地化注意力机制，我们训练与一个新的关键字抽样计划。我们表明，这些创新使VPKL在现有的语音视觉模型的改进。我们还比较了视觉词袋（BoW）模型，其中图像自动标记有视觉标签，并与未标记的语音配对。虽然这个视觉BoW可以直接用书面关键字查询（而我们的模型需要图像查询），但我们的新模型在检测和定位方面仍然优于视觉BoW，在定位F1方面相对提高了16%。
2022-10-12 cs.CL cs.SD eess.AS
Chehre: An Emoji-Prompted Dataset to Explore Perceptual Flexibility in Video Language Models
Simon Fraser University（西蒙弗雷泽大学）
提出Chehre数据集，通过表情符号提示收集动态面部表情视频，并转移至合成人脸以保护隐私，定义主导和分布表情识别任务，基准测试显示现有模型表现有限。
2026-09-04 cs.CL cs.CV
MolLangBench: A Comprehensive Benchmark for Language-Prompted Molecular Structure Recognition, Editing, and Generation
Clemson University（克莱姆森大学）；Independent Researcher（独立研究者）；HitGen；University of Delaware（德雷克塞尔大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出MolLangBench，用于评估分子语言接口任务，发现现有模型在分子识别和编辑任务上表现欠佳，生成任务更差，强调了对化学应用中更可靠AI系统的研发需求。
2026-03-23 cs.AI cs.CL cs.LG
Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models
Johns Hopkins University（约翰斯·霍普金斯大学）；Samaya AI（萨马亚人工智能公司）
本研究提出首个可像语言模型一样被提示的检索模型Promptriever，基于MS MARCO构建近50万实例的指令训练集，在相关性指令遵循、查询鲁棒性、提示式超参搜索上均取得显著提升，为检索模型的提示控制研究奠定基础。
2024-09-17 cs.CL cs.IR cs.LG
Zero-Shot Visualization: Exploring Text Corpora with User-Prompted Axes
Universitat Ramon Llull（拉蒙·柳利大学）
本文提出零样本可视化（ZSV）任务，利用大型语言模型将文档映射到用户自然语言指定的概念轴，通过基准评估发现基于下一个词元概率的评分方法在语义保真度与计算成本间取得最佳平衡，并为构建端到端系统提供实用指南。
2026-10-07 cs.AI cs.CL cs.LG
$C^3$: Confidence Calibration Model Cascade for Inference-Efficient Cross-Lingual Natural Language Understanding
UNC-Chapel Hill（北卡罗来纳大学教堂山分校）；Purdue University（普渡大学）；College of William and Mary（威廉玛丽学院）
针对多语言预训练模型推理成本高且小模型易过度自信的问题，提出C^3方法，通过在级联推理前进行置信度校准提升跨语言NLU的推理效率和准确率，并在三个基准上显著超越现有方法。
2024-02-25 cs.CL
