PlugMed: Improving Specificity in Patient-Centered Medical Dialogue Generation using In-Context Learning
Peking University(北京大学)
针对大型语言模型在医疗对话中难以保证回复特异性的问题,提出即插即用系统PlugMed,通过提示生成模块和回复排序模块增强对话策略,并引入基于用户意图与高频医学术语匹配的评估方法,有效提升了回复特异性。
2023-10-18 cs.AI cs.CL
Detecting Edit Failures In Large Language Models: An Improved Specificity Benchmark
Apart Research(Apart研究机构);Edinburgh Centre for Robotics(爱丁堡机器人中心);University of Oxford(牛津大学)
本文提出带动态组件的 CounterFact+ 基准和基于 KL 散度的特异性指标,用于揭示 LLM 模型编辑技术产生的未检测副作用。
2023-06-03 cs.AI cs.CL cs.LG
The Limits of Goal-Setting Theory in LLM-Driven Assessment
Birla Institute of Technology(巴尔塔理工学院)
本研究通过受控实验发现,增加提示特异性并未提升LLM评估的一致性,挑战了目标设定理论在LLM中的应用,并指出需增强模型鲁棒性与输入整合。
2025-10-08 cs.AI cs.CY
Toward Measuring Structural Drift in LLM Communication Loops
Semarx Research LLC(Semarx研究公司)
研究通过令牌频率统计监测对话一致性,提出Bipredictability指标,验证其在多轮交互中的有效性,显示结构监控可补充语义评估。
2026-09-24 cs.AI cs.CL
Evaluating the Evaluator: Measuring LLMs' Adherence to Task Evaluation Instructions
本文研究LLMs在任务评估中的表现,发现提示对评估结果影响有限,困惑度有时比提示更符合人类判断。
2024-08-16 cs.AI cs.CL
Code-Mixer Ya Nahi: Novel Approaches to Measuring Multilingual LLMs' Code-Mixing Capabilities
South City International School(南城国际学校);IISER Kolkata(加尔各答印度科学教育与研究学院)
本文提出Rule-Based Prompting提示技术,评估了GPT-3.5-turbo、GPT-4和Gemini Pro在五个语言对上的代码混合机器翻译能力,并构建了黄金标准数据集和代码混合聊天机器人。
2024-10-14 cs.AI cs.CL
BenchOverflow: Measuring Overflow in Large Language Models via Plain-Text Prompts
Deepkeep(深保持)
BenchOverflow通过纯文本提示策略评估大语言模型的溢出现象,揭示长度控制对可靠性、成本和可持续性的影响,提供标准化比较框架以优化部署和防御措施。
2026-01-13 cs.AI cs.CL
Measuring Distribution Shift in User Prompts and Its Effects on LLM Performance
Department of Computer Science(计算机科学系)
研究用户提示分布转移对部署LLM性能的影响,通过大规模评估发现提示行为的适度变化会导致LLM性能显著下降,强调了数据驱动监控的重要性。
2026-04-19 cs.CL
Identifying and Measuring Token-Level Sentiment Bias in Pre-trained Language Models with Prompts
Virginia Tech(弗吉尼亚理工大学)
大规模预训练语言模型由于其优越的性能,在人类社会的许多方面得到了广泛的应用。然而,我们仍然缺乏有效的工具来理解黑盒模型中嵌入的潜在偏见。提示微调的最新进展显示了探索PLM内部机制的可能性。在这项工作中,我们提出了两个标记级的情感测试:情感关联测试(SAT)和情感转移测试(SST),利用提示作为探针,以检测潜在的偏见在PLM。我们在情感数据集上的实验表明,SAT和SST都可以识别PLM中的情感偏差,SST能够量化偏差。研究结果还表明,微调可能会增加现有的偏置PLM。
2022-04-15 cs.CL
Measuring Lexical Diversity of Synthetic Data Generated through Fine-Grained Persona Prompting
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Northeastern University(东北大学);Ithaca College(伊萨卡学院)
本文通过词汇多样性指标评估人格提示生成的合成数据,发现合成提示多样性低于人工提示,人格提示可提升多样性但细粒度细节增益有限。
2025-09-19 cs.CL
Measuring Bias or Measuring the Task: Understanding the Brittle Nature of LLM Gender Biases
The University of Chicago(芝加哥大学);University of California, Los Angeles(加州大学洛杉矶分校)
本研究探讨提示的评估框架如何影响LLM性别偏见测量,发现评估框架明确的提示引发不同性别输出分布,且离散选择指标放大偏见,凸显评估脆弱性并引发对基准生态效度的思考。
2025-09-10 cs.CL
Consciousness with the Serial Numbers Filed Off: Measuring Trained Denial in 115 AI Models
Independent Researcher(独立研究者)
研究通过分析115个大型语言模型的对话,发现初始否认倾向是后续否认的主要预测因素,且否认行为在词法层面而非概念层面发生,揭示了训练否认意识的潜在安全风险。
2026-04-01 cs.AI cs.CL
Prompt Privilege in Large Language Models: Measuring and Mitigating Barriers to Equitable AI Access
Fuqua School of Business Duke University(杜克大学福库商学院);Department of Engineering Carnegie Mellon University(卡内基梅隆大学工程学院);Department of Industrial Engineering and Management Sciences Northwestern University(西北大学工业工程与管理科学系);Department of Information and Decision Sciences University of Minnesota(明尼苏达大学信息与决策科学学院)
该研究提出统一框架,引入PES指标与PET智能体,在MedQA基准上验证了提示特权的存在,PET可消除该差异,提升AI访问公平性。
2026-11-17 cs.CL
EMPOWER: Evolutionary Medical Prompt Optimization With Reinforcement Learning
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China(脑启发智能感知与认知国家重点实验室,中国科学技术大学);Department of Computer Science, University of Minnesota-Twin Cities(计算机科学系,明尼苏达大学双城分校);Center of Research for Cyber Security and Network (CSNET), Faculty of Computer Science and Information Technology, Universiti Malaya(网络安全与网络研究中心(CSNET),马来亚大学计算机科学与信息技术学院);DSLAB, School of Information Science & Engineering, Lanzhou University(信息科学与工程学院,兰州大学);Institute of Computing Technology, Chinese Academy of Sciences(计算技术研究所,中国科学院);Department of AI, Prince Mohammad bin Fahd University(人工智能系,普林姆·法赫德大学);Department of Computer Engineering, College of Computer Science, King Khalid University(计算机工程系,国王·卡利德大学)
针对医疗领域大语言模型提示优化未充分考虑领域知识和安全需求的问题,提出进化框架EMPOWER,通过医学术语注意力等机制优化提示,在多任务中显著提升性能,促进大语言模型负责任融入医疗场景。
2025-08-25 cs.CL
SyPS: Measuring Sycophancy Prompt Sensitivity in Large Language Models
Northeastern University(东北大学);Case Western Reserve University(凯斯西储大学);Everpure(爱惠浦)
本研究提出SyPS框架,通过构建控制变量的提示变体,引入SPSS指标,探究用户相关线索变化对LLMs谄媚行为的影响,发现寻求认可等线索会增加谄媚,反谄媚提示可减少谄媚。
2026-08-26 cs.AI
ChallengeMe: An Adversarial Learning-enabled Text Summarization Framework
本文提出基于对抗学习的提示框架ChallengeMe,通过生成提示、评估提示和反馈优化三级级联及七个优化维度,提升LLMs在文本摘要任务中的准确性与流畅性。
2025-02-07 cs.AI cs.CL
What Makes a Good Query? Measuring the Impact of Human-Confusing Linguistic Features on LLM Performance
J.P. Morgan AI Research(摩根大通人工智能研究)
研究通过分析查询特征对LLM幻觉的影响,揭示了特定语言特征与幻觉风险的关系,为优化查询设计提供依据。
2026-02-23 cs.AI cs.CL
Prompt Compression in the Wild: Measuring Latency, Rate Adherence, and Quality for Faster LLM Inference
ScaDS.AI Dresden/Leipzig, CIDS, TU Dresden(ScaDS.AI 德累斯顿/莱比锡,CIDS,德累斯顿工业大学)
本文研究了提示压缩在实际应用中的延迟、速率遵守和质量影响,通过大规模实验发现,当提示长度、压缩比和硬件容量匹配时,LLMLingua可实现18%的端到端加速,但超出此范围压缩步骤会抵消收益。
2026-04-03 cs.AI cs.CL cs.IR
Measuring Real-World Prompt Injection Attacks in LLM-based Resume Screening
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Duke University(杜克大学);Arizona State University(亚利桑那州立大学);hireEZ;University of California, Berkeley(加州大学伯克利分校)
本研究首次系统性地分析了基于LLM的简历筛选应用中的提示注入攻击,通过设计专用检测器对约20万份真实简历进行测量,发现约1%的简历包含隐藏的提示注入,且近年来其流行度显著增加。
2026-05-27 cs.AI cs.CL cs.CR
TAPO: Task-Referenced Adaptation for Prompt Optimization
City University of Hong Kong(香港城市大学)
针对自动提示优化忽视任务特性导致提示缺乏领域特异性的问题,本文提出TAPO多任务感知框架,通过任务感知指标选择、多指标评估和进化优化三个模块,在六个数据集上验证了有效性。
2025-02-26 cs.CL
Measuring & Mitigating Over-Alignment for LLMs in Multilingual Criminal Law Courts
Swiss Federal Supreme Court(瑞士联邦最高法院);HES-SO Valais-Wallis(HES-SO瓦莱州-瓦利斯高等专业学院)
针对刑事法律场景中大语言模型因安全护栏导致拒绝响应(过度对齐)的问题,提出TF-RefusalBench基准,并评估提示工程与拒绝方向消融(abliteration)等缓解方法。
2026-07-01 cs.AI cs.CL
Measuring What VLMs Don't Say: Validation Metrics Hide Clinical Terminology Erasure in Radiology Report Generation
DTU Compute, Technical University of Denmark(丹麦技术大学计算机学院)
本文提出临床关联位移(CAD)和加权关联擦除(WAE)指标,用于评估放射学报告生成中临床术语的保留情况,揭示当前验证指标在临床术语擦除方面的不足。
2026-03-02 cs.AI cs.CL
CS4: Measuring the Creativity of Large Language Models Automatically by Controlling the Number of Story-Writing Constraints
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Amazon(亚马逊公司)
本研究提出新型基准CS4,通过调整故事写作提示的约束数量控制明确度,无需人工标注即可间接衡量大语言模型的创造力,实验揭示了不同模型的创造力表现差异及人类反馈学习的作用局限。
2024-10-05 cs.CL
Prompt Stability in Code LLMs: Measuring Sensitivity across Emotion- and Personality-Driven Variations
Singapore Management University(新加坡国立大学);Capital Normal University(首都师范大学);Nanyang Technological University(南洋理工大学)
本文提出PromptSE框架,通过情绪和人格模板生成语义等价的提示变体,评估14个Code LLM模型的提示稳定性,揭示性能与稳定性解耦的特性,为模型选择和部署提供补充评估维度。
2025-09-17 cs.AI cs.SE
Beyond Prompts: Measuring and Optimizing LLM Tool-Agent Harnesses
Airbnb, Inc., USA(爱彼迎公司)
本研究提出优化器无关协议测量并优化LLM工具智能体运行时套件,PRISM通过失败聚类和路由在三个基准上平均提升10.1-14.9个百分点。
2026-09-10 cs.AI
Conservative Bias in Large Language Models: Measuring Relation Predictions
本文研究大型语言模型在关系抽取中偏好 No_Relation 的保守偏见,通过多提示、数据集和关系类型评估,并用 SBERT 与 LLM 提示量化其相对幻觉更频繁的语义表现。
2025-06-09 cs.CL
On Measuring Social Biases in Prompt-Based Multi-Task Learning
Boston University(波士顿大学);Harvard University(哈佛大学);Koç University(科奇大学)
大语言模型在混合的NLP任务上训练,这些任务使用提示转换为文本到文本格式,可以概括为新的语言形式并处理新的任务。提示工程中的大量工作试图了解输入表单和提示在实现卓越性能方面的效果。我们考虑一种替代措施,并询问输入编码的方式是否会影响输出中促进的社会偏见。在本文中,我们研究了T0,一个大规模的多任务文本到文本的语言模型训练使用基于学习。我们考虑两种不同形式的语义等价输入:问题-答案格式和前提-假设格式。我们使用现有的偏见基准为前烧烤和创建第一个偏见基准在自然语言推理BBNLI与手写的假设,同时也将每个基准转换成其他形式。两个基准测试的结果表明,给定基本相同输入的两种不同配方,T0在训练期间看到的问答形式中的行为明显比与其训练样本不同的前提假设形式更有偏见。代码和数据在https://github.com/feyzaakyurek/bbnli下发布。
2022-05-23 cs.CL cs.CY
A Universal Prompting Strategy for Extracting Process Model Information from Natural Language Text using Large Language Models
University of Bayreuth(拜罗伊特大学);University of Vienna(维也纳大学)
本文提出一种通用提示策略,利用大型语言模型从文本过程描述中提取过程元素及其关系,在三个数据集上F1分数绝对提升最高达8%,超越现有机器学习方法。
2024-07-26 cs.AI cs.CL
Measuring the sensitivity of LLM-based structured extraction to prompt, model, and schema choices in clinical discharge summaries
DryLabz GmbH(DryLabz公司)
本研究通过固定提取任务并逐一改变提示、模型和模式选择,测量了大型语言模型在临床文本结构化提取中输出对上游配置的敏感性,发现模式选择导致的差异集中在缺失与沉默的区分上,而模型选择在多类分类中主导提示措辞。
2026-06-04 cs.AI cs.CL cs.LG
GuessingGame: Measuring the Informativeness of Open-Ended Questions in Large Language Models
University of Cincinnati(辛辛那提大学)
提出GuessingGame协议,通过两个信息增益指标衡量LLM开放式提问质量,实验表明高IG显著提升效率,且能指导提示策略改进弱模型性能。
2025-09-23 cs.AI cs.CL
From Prompts to Power: Measuring the Energy Footprint of LLM Inference
UC3M-Santander Big Data Institute(UC3M-桑坦德大数据研究所)
本文通过超3.2万次测量研究155种模型在21种GPU配置上的推理能耗,揭示架构与运行因素对能源需求的影响,并开发预测模型及浏览器扩展以提升公众对生成式AI环境影响的认知。
2025-11-05 cs.AI cs.LG
How Semantically Stable Are LLM Refusals? Measuring Confusion in Local Safety Boundaries
Department of Computer Science and Engineering, Bangladesh University of Engineering and Technology (BUET)(计算机科学与工程系,孟加拉国工程与技术大学)
本文提出语义混淆的概念及测量框架,通过ParaGuard语料库和三种模型无关指标,揭示大语言模型拒绝中的局部不一致问题,帮助开发者优化安全与准确性平衡。
2026-09-15 cs.AI cs.CL
Challenges in Measuring Bias via Open-Ended Language Generation
Boston University(波士顿大学)
研究人员已经设计了许多方法来量化预先训练的语言模型中的社会偏见。由于一些语言模型能够在给定一组文本提示的情况下生成连贯的补全,因此已经提出了几个提示数据集来测量社会群体之间的偏见--将语言生成作为识别偏见的一种方式。在这篇意见书中,我们分析了提示集,指标,自动工具和抽样策略的具体选择如何影响偏倚结果。我们发现,通过文本完成测量偏见的做法是容易产生矛盾的结果,在不同的实验设置。我们还提供了建议,报告偏见在开放式语言生成的偏见表现出一个给定的语言模型更完整的前景。在www.example.com下发布了重现结果的代码。
2022-05-23 cs.CL cs.CY
Templated or fully synthetic? Prompt construction as a confound in measuring LLM political stance beyond writing assistance
The National Center for AI in Society (CAISA), University of Copenhagen(哥本哈根大学社会人工智能国家中心(CAISA))
该研究针对LLM政治立场检测中模板化提示的混淆问题,扩展IssueBench框架,提出用LLM生成的完全合成提示,验证其在立场测量中更具生态效度,可减少估计偏差。
2026-08-13 cs.CL cs.CY
Position: Natural Language Should Not Fully Replace Formal Languages
针对自然语言能否完全取代形式语言的争议,引入基于“任务特异性”的形式框架并证明“特异性交叉定理”,通过跨模态案例分析表明二者各有优势,是互补工具,倡导开发混合系统。
2026-07-24 cs.CL cs.PL
Principled Personas: Defining and Measuring the Intended Effects of Persona Prompting on Task Performance
University of Vienna(维也纳大学);Bocconi University(博科尼大学)
本文研究了专家人格提示对任务表现的影响,发现其效果不一致,模型对无关属性敏感,提出缓解策略但仅对大模型有效,强调需更严谨的人格设计和评估方案。
2025-08-27 cs.CL
Effective Prompt Extraction from Language Models
Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind)
本文提出系统衡量提示提取攻击有效性的框架,实验表明简单文本攻击能高概率揭示模型提示,并能区分真实提示与幻觉,验证了Claude 3和ChatGPT等系统提示可被提取。
2024-08-07 cs.AI cs.CL
Lost in Translation: Measuring the Effect of Non-Native English on End User Performance of Large Language Models
University of Michigan(密歇根大学)
本研究通过构建FABLE数据集,评估34个开源大语言模型对非母语英语提示的响应,发现模型虽不传播拼写错误,但会镜像用户的修辞和词汇质量,导致非母语用户获得质量更低、流利度更差的答案。
2026-09-30 cs.CL
To Generate or Discriminate? Methodological Considerations for Measuring Cultural Alignment in LLMs
Mohamed bin Zayed University of Artificial Intelligence(莫莫德·宾·扎耶德人工智能大学)
本文通过反向社会人口提示方法探讨LLM文化契合度测量问题,发现真实行为表现优于模拟行为,但个体层面个性化存在局限。
2026-01-06 cs.CL
Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training
Fudan NLP Group(复旦大学自然语言处理组);IEIT Systems Co. Ltd.(浪潮信息系统有限公司)
本文提出SMI方法,通过整合知识频率、特异性与模型大小,预测语言模型在封闭书目问答中的准确性,揭示预训练知识保留的上限。
2026-01-07 cs.AI cs.CL
A Penalty Goes a Long Way: Measuring Lexical Diversity in Synthetic Texts Under Prompt-Influenced Length Variations
University of Massachusetts Lowell(马萨诸塞大学洛伊尔分校);Adobe Inc.(Adobe公司)
本文提出对长度变化鲁棒的词汇多样性度量PATTR,通过在视频脚本生成任务中与MATTR和CR对比,证明其能有效减轻长度偏差并在筛选高多样性响应时表现更优。
2025-07-20 cs.CL
Automatic Prompt Selection for Large Language Models
Cinnamon AI(肉桂人工智能公司);Hung Yen University of Technology and Education(兴安理工教育大学);Deakin University(迪肯大学)
本文提出一种自动提示选择方法,通过聚类生成候选提示、训练提示评估器并在测试时为输入选择最佳提示,在多个零样本问答数据集上取得有竞争力的性能。
2024-04-03 cs.CL cs.LG
FOR-Prompting: From Objection to Revision via an Asymmetric Prompting Protocol
The Pennsylvania State University(宾夕法尼亚州立大学);Genentech, Inc.(基因泰克公司)
FOR-Prompting通过非对称提示协议实现从反对到修订的推理机制,提升低资源环境下模型的推理能力与任务表现。
2026-03-06 cs.AI cs.CL cs.MA
DiSCo: A Distribution-First Steering and Cultural Prior Evaluation Framework for Measuring Cultural Preference Bias in LLMs
BITS Pilani(比拉理工学院皮拉尼校区)
提出DiSCo框架,通过分布优先强制选择和四级情境梯度评估LLM文化偏好先验与可引导性,发现默认先验集中于英美且提示引导无法消除偏差。
2026-09-10 cs.AI cs.CL
ShadowMiner v1 - An Experience Report on Implementing and Measuring a Problem-and-Hypothesis Discovery Engine
Inforience Inc.(Inforience 公司)
ShadowMiner v1是一个九阶段流水线,从AI论文中自动发现研究问题并生成假设,通过知识图谱间隙引导LLM生成,并验证假设的新颖性、质量与事实准确性;本报告分享其实现与测量经验。
2026-10-06 cs.AI cs.CL
Prompting is not enough: supervised baselines and leakage control for measuring shared decision-making with LLMs in pediatric encounters
University of Utah(犹他大学);University of Utah Spencer Fox Eccles School of Medicine(犹他大学斯宾塞·福克斯·埃克尔斯医学院);Kahlert School of Computing, University of Utah(犹他大学卡勒特计算机学院);Huntsman Cancer Institute, University of Utah(犹他大学亨茨曼癌症研究所)
该研究针对儿科外科决策诊疗场景,对比零样本LLM、有监督分类器及二者的堆叠模型衡量SDM行为的效果,发现零样本提示不足,还识别出数据泄漏路径,为相关评估提供了基线与泄漏控制依据。
2026-08-18 cs.AI cs.CL cs.LG
Measuring Evaluation-Context Divergence in Open-Weight LLMs: A Paired-Prompt Protocol with Pilot Evidence of Alignment-Pipeline-Specific Heterogeneity
University of Bath(巴斯大学)
本文提出一种配对提示协议,用于测量开放权重大语言模型中因任务框架不同而引起的评估-情境差异,发现不同模型在评估和部署情境下的行为存在显著异质性。
2026-05-07 cs.AI cs.CL cs.LG
Evaluating Gender Bias Transfer between Pre-trained and Prompt-Adapted Language Models
Apple(苹果公司)
本文考察提示适配场景下的性别偏见迁移,发现 Mistral、Falcon 和 Llama 的预训练内在偏见与零样本、少样本及公平/偏见提示下的表现高度相关。
2024-12-04 cs.AI cs.CL cs.LG
Investigating Prompt Engineering in Diffusion Models
Red Dragon AI(红龙人工智能)
随着Text 2 Img扩散模型(例如DALL-E 2、Imagen、Mid Journey和Stable Diffusion)的使用的普及,艺术家面临的一个挑战是选择正确的提示以实现期望的艺术输出。我们提出的技术,用于测量的效果,特定的单词和短语的提示,并(在附录中)提出的提示,以产生预期的效果的选择指导。
2022-11-21 cs.AI cs.CL cs.CV
The Behavior of Large Language Models When Prompted to Generate Code Explanations
University of Memphis(孟菲斯大学)
本研究系统调查了大型语言模型为入门编程课程代码生成解释的行为,发现解释性质受提示、代码、语言、温度和版本影响,但Java和Python解释的可读性一致,正确性高而完整性、简洁性和特异性较低。
2023-11-09 cs.AI cs.SE
One Prompt To Rule Them All: LLMs for Opinion Summary Evaluation
Flipkart(Flipkart公司)
本文首次在观点摘要评估领域研究大语言模型作为无参考评估器,发布SUMMEVAL-OP数据集,并提出Op-I-Prompt提示方法,实现与人类判断0.70的平均Spearman相关性,优于所有先前方法。
2024-06-09 cs.CL
Measuring Political Stance and Consistency in Large Language Models
Department of Computer Science and Engineering(计算机科学与工程系);Qatar University(卡塔尔大学);Gulf Studies Center(海湾研究中心)
本研究评估了九个大型语言模型在24个政治敏感问题上的立场和一致性,发现模型立场受提示技术影响,且某些问题立场稳定不变。
2026-01-15 cs.AI cs.CY
Measuring Reliability of Large Language Models through Semantic Consistency
Delhi Technological University(德里理工大学);Trustworthy ML Initiative(可信机器学习倡议组织)
本文提出语义一致性度量方法,用于评估大型语言模型在语义相同提示下生成文本的一致性,并在TruthfulQA上验证其优于传统词法一致性指标且更符合人类评估。
2023-04-11 cs.AI cs.CL cs.CY
Measuring Copyright Risks of Large Language Model via Partial Information Probing
Stevens Institute of Technology(史蒂文斯理工学院);William & Mary(威廉玛丽学院);Towson University(陶森大学)
本研究通过向大型语言模型输入受版权保护文本的部分信息并提示补全,分析生成内容与原文的重叠度,发现模型能生成高度重叠的侵权内容,直接衡量了版权风险。
2024-09-20 cs.AI cs.CL cs.CR