The Larger They Are, the Harder They Fail: Language Models do not Recognize Identifier Swaps in Python
University of Edinburgh(爱丁堡大学);Heriot-Watt University(赫瑞-瓦特大学)
本文通过标识符交换实验发现 LLMs 在 Python 代码生成中无法识别变量重命名的不变性,且部分模型随规模增大反而对错误预测更自信,呈现 Inverse Scaling 现象,表明单纯扩大模型规模无法获得深层抽象编程理解。
2023-05-24 cs.AI cs.CL
SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step Reasoning
University of Oxford(牛津大学)
针对大语言模型处理复杂非线性问题时推理易出错的问题,提出通用零样本验证框架SelfCheck,可让模型自查推理错误,结合多解答加权投票提升了三个数学数据集上的问答准确率。
2023-10-05 cs.AI cs.CL cs.LG
Anosognosia in LLMs: Probing Self-Awareness of Quantized Computational Substrate
The University of Tokyo(东京大学)
本研究受病感失认启发,探究LLM能否识别自身量化引起的计算底层退化,发现内部表示含方法特定指纹,共享LoRA可读取但泛化有限,提示内部表示是实现自我意识的关键途径。
2026-10-06 cs.AI cs.CL cs.CY
Revise, Reason, and Recognize: LLM-Based Emotion Recognition via Emotion-Specific Prompts and ASR Error Correction
MIT(麻省理工学院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);NVIDIA Research(英伟达研究)
本文系统研究了基于LLM的语音情感识别,提出融合多学科知识的情感特定提示与Revise-Reason-Recognize提示流水线以应对ASR错误,并验证了多种LLM训练方案的有效性,旨在完善LLM在情感识别及相关领域的应用。
2025-04-30 cs.AI cs.CL cs.MM
SenseMath: Do LLMs Have Number Sense? Evaluating Shortcut Use, Judgment, and Generation
University of Notre Dame(圣母大学)
研究通过SenseMath基准测试评估大语言模型在数值推理中的结构敏感性,发现模型在提示下能有效使用快捷方式,但在标准提示下仅在少数情况下应用,且无法生成有效问题。
2026-04-02 cs.AI
From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health
本综述提出LLMs在心理健康中经历从被动模式识别器到共情对话者再到个性化伴侣的三阶段演进框架,系统梳理核心技术、代理架构与基准,为未来人本AI心理健康研究提供路线图。
2026-09-23 cs.AI cs.CL cs.CY
NC2C: Automated Convexification of Generic Non-Convex Optimization Problems
Southeast University(东南大学);Zhejiang University(浙江大学);Massachusetts Institute of Technology(麻省理工学院)
NC2C通过大语言模型实现通用非凸优化问题的自动凸化,提升求解效率并减少专家依赖。
2026-01-08 cs.AI cs.CL
Learn to Refuse: Making Large Language Models More Controllable and Reliable through Knowledge Scope Limitation and Refusal Mechanism
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出Learn to Refuse(L2R)方法,通过引入拒绝机制和独立的结构化知识库限制知识范围,使LLM能识别并拒绝难以回答的问题,从而缓解幻觉问题,提升模型的可控性与可靠性。
2024-09-20 cs.AI cs.CL
Mechanistic Interpretability of Socio-Political Frames in Language Models
Technische Universität Berlin, Berlin, Germany Humboldt Institute for Internet \& Society, Berlin, Germany
该研究聚焦大语言模型的社会政治认知框架生成与识别能力,通过机制可解释性方法定位“严父”“慈亲”框架对应的模型隐藏表征维度,为理解大语言模型的人类概念捕捉机制提供了新依据。
2025-10-04 cs.AI cs.CL cs.CY
Uncertainty Quantification in Large Language Models Through Convex Hull Analysis
University of Stavanger(斯塔万格大学);Old Dominion University(奥尔德尼自治领大学)
本文提出一种基于凸包分析的几何方法,通过BERT嵌入、PCA降维和DBSCAN聚类量化大语言模型输出不确定性,并发现不确定性受提示复杂度、模型及温度设置影响。
2024-06-28 cs.AI cs.CL
Stylometry recognizes human and LLM-generated texts in short samples
Sano -- Centre for Computational Medicine(Sano计算医学中心);Faculty of Physics, Astronomy and Applied Computer Science(物理学、天文学与应用计算机科学学院);Applied Computer Science, Jagiellonian University(应用计算机科学,雅盖隆大学);Mark Kac Centre for Complex Systems Research(Mark Kac复杂系统研究中心)
本文构建含多类LLM、摘要与改写文本的Wikipedia短文本基准,利用StyloMetrix和n-gram文体特征训练树模型,实现对人类与机器文本的高效识别与可解释分析。
2025-07-15 cs.AI cs.CL cs.LG
Recognized but Not Produced: A Generation Benchmark for Culturally Specific Kinship Terms
Blockchain Data Intelligence Lab(区块链数据智能实验室);The Pennsylvania State University(宾夕法尼亚州立大学)
本研究通过对比生成与选择任务,揭示LLM在文化特定亲属称谓上识别强但生成弱,提出需采用生成式评估基准以更全面衡量其能力。
2026-09-24 cs.AI cs.CL
On the Prospects of Incorporating Large Language Models (LLMs) in Automated Planning and Scheduling (APS)
University of South Carolina(南卡罗来纳大学);New Mexico State University(新墨西哥州立大学);University of Brescia(布雷西亚大学);IBM Research(IBM研究院)
本文综述126篇论文,将LLM在自动规划与调度中的应用归纳为八类,指出其与传统符号规划器结合的神经符号方向最具潜力。
2024-01-20 cs.AI
The Model Knows Your Project, Not You: Measuring Recognition in LLMs with NameRank
Pine AI(松树人工智能公司);University of Washington(华盛顿大学)
研究用NameRank衡量大语言模型对实体的识别度,通过对多实体多模型探测及独立评判获取分数,发现识别关注可索引工件,奥运资质与知名奖项情况不同,独立创作者中工具与创造者排名有别等,并指出文献计量法难测识别度等结论。
2026-07-15 cs.AI
Toward a Dialogue System Using a Large Language Model to Recognize User Emotions with a Camera
Tokushima University(德岛大学)
本文提出由摄像头捕捉面部表情并将情绪信息加入LLM提示,使AI智能体可依据用户情绪开展多模态对话,实验表明其对Happy、Angry等高得分情绪反应有效。
2025-02-18 cs.AI cs.HC cs.RO
LLMSense: Harnessing LLMs for High-level Reasoning Over Spatiotemporal Sensor Traces
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Amazon(亚马逊公司)
本文提出LLMSense框架,利用大语言模型的推理能力对长期时空传感器轨迹进行高层推理,通过摘要生成和历史轨迹选择性纳入策略,在痴呆症诊断与占用追踪任务上实现超过80%的准确率。
2024-03-28 cs.AI
TruthRL: Incentivizing Truthful LLMs via Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
提出TruthRL框架,使用GRPO和三值奖励直接优化LLM的诚实性,减少幻觉并允许不确定时弃权,在知识密集型基准上显著提升诚实性。
2026-06-08 cs.AI cs.CL cs.LG
Safety Paradox: How Enhanced Safety Awareness Leaves LLMs Vulnerable to Posterior Attack
Singapore University of Technology and Design(新加坡科技设计大学);Nanyang Technological University(南洋理工大学)
本文揭示安全对齐增强的LLM因内部安全评估能力而面临后验攻击漏洞,通过实验和理论分析证明安全判断能力越强越易被利用,并提出因果干预验证。
2026-09-29 cs.AI
Baba is LLM: Reasoning in a Game with Dynamic Rules
LIACS, Leiden University, The Netherlands(LIACS,莱顿大学,荷兰)
本文探索LLMs在动态规则游戏《Baba is You》中的推理能力,通过多种提示和微调评估,发现大模型表现更优,但所有模型对动态规则推理仍困难,揭示了LLMs在复杂问题解决中的局限。
2025-06-23 cs.AI
MIR-Bench: Can Your LLM Recognize Complicated Patterns via Many-Shot In-Context Reasoning?
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
MIR-Bench是首个多示例上下文推理基准,通过多样数据格式的输入输出示例评估LLM模式识别能力,并揭示缩放效应、鲁棒性、归纳与转导推理等关键发现。
2025-10-23 cs.AI cs.CL cs.LG
Soft Begging: Modular and Efficient Shielding of LLMs against Prompt Injection and Jailbreaking based on Prompt Tuning
Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)(德国人工智能研究中心);Centre for European Research in Trusted AI (CERTAIN)(欧洲可信人工智能研究中心);sequire technology GmbH(sequire技术有限公司)
本文提出“软乞求”方法,通过训练软提示抵消被破坏提示的影响,以模块化且高效的方式保护大语言模型免受提示注入和越狱攻击。
2024-07-03 cs.AI cs.CL cs.CR
Can LLMs predict the convergence of Stochastic Gradient Descent?
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);ENS Paris-Saclay(巴黎萨克雷高等师范学校);EURECOM(欧洲通信学院)
本文研究大语言模型能否利用SGD与马尔可夫链的理论联系,零样本预测随机梯度下降在凸与非凸优化中从未见过的起始点收敛到的局部极小值,并探讨将其用于更大规模深度学习模型零样本随机试验的可能性。
2024-08-03 cs.AI cs.LG stat.ML
Probing Causality Manipulation of Large Language Models
Tongji University(同济大学)
本文提出一种分层探究大语言模型因果性操纵的新方法,利用RAG和ICL在因果分类任务上实验,发现LLMs能识别直接因果关系但缺乏专门认知。
2024-08-26 cs.AI cs.CL
EmotionQueen: A Benchmark for Evaluating Empathy of Large Language Models
Fudan University(复旦大学);School of Computer Science, Fudan University(复旦大学计算机科学学院);Beijing Yuandian Technology(北京原点科技);School of Engineering and Applied Science, University of Pennsylvania(宾夕法尼亚大学工程与应用科学学院)
本文提出EmotionQueen框架,通过四项任务和两项指标评估大型语言模型的情感智能,揭示其共情能力与局限。
2024-09-20 cs.AI cs.CL
The Impact of Negated Text on Hallucination with Large Language Models
Korea University(高丽大学)
本文研究否定文本对大型语言模型幻觉检测的影响,提出三个研究问题,构建NegHalu数据集,实验发现LLMs难以有效检测否定文本中的幻觉,并揭示内部状态处理挑战。
2025-10-23 cs.AI cs.CL
Geometry-Enhanced Portion Estimation for Multimodal LLMs
研究针对多模态大语言模型部分估计弱的问题,提出用精确部分头部增强冻结商业MLLM的方法,该头部基于DINOv2主干构建,无需深度传感器和微调,在三个基准测试中降低部分误差,优于旗舰MLLM及原图像模型。
2026-07-21 cs.AI cs.CV
Risk Assessment Framework for Code LLMs via Leveraging Internal States
The University of Tokyo(东京大学);University of Alberta(阿尔伯塔大学);Fujitsu Limited(富士通株式会社)
本文提出PtTrust,一种基于内部状态预训练的两阶段风险评估框架,用于检测代码大语言模型生成的不安全代码,实现行级评估并跨任务和语言泛化。
2025-04-20 cs.AI cs.CL cs.SE
CyberCertBench: Evaluating LLMs in Cybersecurity Certification Knowledge
本文提出CyberCertBench,通过行业认证试题评估大语言模型的网络安全知识,验证了前沿模型在通用知识上的表现,但其在特定厂商标准问题上的准确性下降。
2026-04-22 cs.AI cs.CR
Unveiling the Limits of Large Language Models in Inferring Pragmatic Meaning from Non-Verbal Responses
Department of Software, Yonsei University Mirae Campus(燕山大学软件系);Department of Computer Science and Engineering, Korea University(韩国大学计算机科学与工程系)
本研究首次系统评估大型语言模型(LLMs)从纯非语言回应对话中推断语用意义的能力,发现其准确率相比语言回应下降高达60%,并表明上下文学习有助于语用推理。
2026-06-01 cs.AI cs.CL
From Blind Solvers to Logical Thinkers: Benchmarking LLMs' Logical Integrity on Faulty Mathematical Problems
New Jersey Institute of Technology(新泽西理工学院);Millburn High School(米尔本高中);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出 FaultyMath 基准数据集,系统评估大语言模型识别有缺陷数学问题并展现逻辑推理完整性的能力,发现现有模型大多仍表现为盲目求解器而非逻辑思考者。
2025-04-04 cs.AI cs.CL cs.LO
Quantifying and Mitigating Premature Closure in Frontier LLMs
Department of Medicine, Stanford University(斯坦福大学医学系);Department of Biomedical Data Science, Stanford University(斯坦福大学生物医学数据科学系)
本文研究了大语言模型在医疗任务中过早闭合的问题,通过评估五个前沿模型发现其在不确定情况下仍频繁给出答案,安全提示虽能减少错误,但仍有残留问题,需进一步验证医疗LLM是否能判断何时不应回答。
2026-05-14 cs.AI cs.CL
Causal-Guided Active Learning for Debiasing Large Language Models
Beijing Academy of Artificial Intelligence(北京人工智能研究院);Harbin Institute of Technology(哈尔滨工业大学)
针对大语言模型易受数据集偏差影响的问题,本文提出因果引导的主动学习框架CAL,利用模型自身自动识别偏差样本并归纳偏差模式,结合上下文学习实现高效去偏。
2024-08-30 cs.AI cs.CL
LLMs Can See the Smoke but not the Fire: Evaluating Abductive Reasoning with Elenchos
Max-Planck-Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所);University Hospital Tübingen(图宾根大学医院)
研究大语言模型的溯因推理能力,引入Elenchos评估框架,通过给定形式系统及变异对应物,让智能体判断变异并推断规则修改,发现模型存在检测-归因分离问题,相互作用变异下性能降,推理时间收益递减。
2026-07-15 cs.AI cs.LG
I Need Help! Evaluating LLM's Ability to Ask for Users' Support: A Case Study on Text-to-SQL Generation
Appier AI Research(沛星人工智能研究院);National Taiwan University(台湾大学)
本文以文本到SQL生成为例,提出评估指标研究大语言模型主动请求用户支持的能力,发现缺乏外部反馈时模型难以识别求助需求,强调外部信号的重要性。
2024-09-30 cs.AI cs.CL
UserToolBench: A User-Profile-Hidden Benchmark for Personalized Decision Making in Tool-Use LLMs
Sun Yat-Sen University(中山大学);Nanyang Technological University(南洋理工大学)
UserToolBench是针对工具使用类大语言模型的基准测试集,可评估模型从交互历史推断用户偏好等个性化决策能力,实验发现当前模型在多工具协调等方面仍存瓶颈。
2026-08-12 cs.AI cs.LG
ArtPrompt: ASCII Art-based Jailbreak Attacks against Aligned LLMs
University of Washington(华盛顿大学);Western Washington University(西华盛顿大学);University of Chicago(芝加哥大学)
本文提出ArtPrompt越狱攻击,利用LLM难以识别ASCII艺术提示的弱点绕过安全对齐,并在五个主流LLM上验证其有效性。
2024-06-07 cs.AI cs.CL
From Text to Transformation: A Comprehensive Review of Large Language Models' Versatility
Jamia Hamdard(贾米亚·哈姆达德大学);IIIT Delhi(德里信息技术学院);IIT Bombay(孟买理工学院);MSIT(马哈拉施特拉邦信息技术学院)
本文系统综述了GPT、BERT等大语言模型在技术、金融、医疗、教育等领域的应用,并重点识别其在健身健康、城市规划、气候建模和灾害管理等尚未充分开发领域的潜力与研究方向。
2024-02-25 cs.AI cs.CL
Metacognition in LLMs: Foundations, Progress, and Opportunities
Yale University(耶鲁大学);University of California, Irvine(加利福尼亚大学欧文分校)
本文全面概述大语言模型元认知知识现状,分析分类该领域,总结技术进展,涵盖测量评估方法、引发改进应用技术等,还讨论相关应用、问题挑战及未来方向,为该主题研究提供综述与指引。
2026-07-14 cs.AI cs.CL
LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations
Technion(技术学院);Google Research(谷歌研究);Apple(苹果公司)
本研究发现大语言模型内部表征编码的真实性信息远超此前认知,指出其真实性编码具多面性且可预测错误类型,还揭示了内部编码与外部行为的差异,为错误分析与缓解提供新视角。
2025-05-18 cs.AI cs.CL
Can Stories Help LLMs Reason? Curating Information Space Through Narrative
University of Bonn(波恩大学);RMIT University(皇家墨尔本理工大学);Stony Brook University(石溪大学)
本文提出 Story of Thought(SoT)提示方法,通过围绕问题构建叙事并组织相关信息,提升 LLM 在 GPQA 与 JEEBench 多学科推理题上的表现。
2024-10-25 cs.AI cs.CL cs.LG
Unveiling the Competitive Dynamics: A Comparative Evaluation of American and Chinese LLMs
本研究构建涵盖语言能力、专业知识、安全责任的评估框架,对比16款中美主流大语言模型在中英语境下的表现,发现两者各有语言场景优势,凸显文化适配研发与中美合作的价值,为相关决策提供参考。
2024-05-21 cs.AI cs.CL
AdaPPA: Adaptive Position Pre-Fill Jailbreak Attack Approach Targeting LLMs
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
针对传统LLM越狱攻击易被检测、未利用模型不同输出阶段对齐防护差异的问题,提出自适应位置预填充越狱攻击方法AdaPPA,通过先输出安全内容再转有害内容的方式,在Llama2上攻击成功率较现有方法提升47%。
2024-09-11 cs.AI cs.CL cs.CR
TempCloze: Can Video-LLMs Identify the Missing Middle?
The University of Hong Kong(香港大学);National University of Singapore(新加坡国立大学);Peking University(北京大学)
本研究提出TempCloze视频时序推理基准,针对Video-LLMs的时序对齐瓶颈展开评估,通过多维度干扰项设计减少语言捷径,分析了模型错误的影响因素。
2026-09-02 cs.AI cs.CV
RouteLLM: Learning to Route LLMs with Preference Data
UC Berkeley(加州大学伯克利分校);Anyscale;Canva
本文提出RouteLLM,利用人类偏好数据训练高效路由模型,在推理时动态选择强弱LLM,以在成本与质量间取得平衡,显著降低成本且不损响应质量,并展现出强迁移学习能力。
2025-02-23 cs.AI cs.CL cs.LG
Large Language Models are Pattern Matchers: Editing Semi-Structured and Structured Documents with ChatGPT
Kempten University of Applied Sciences(肯普滕应用科学大学)
本文通过两项ChatGPT案例研究,发现大语言模型可借助简单提示有效编辑结构化/半结构化文档,具备强结构处理与模式匹配能力,提示词结构化可提升任务表现,相关发现或助力理解LLM幻觉机制。
2024-09-12 cs.AI cs.CL cs.LG
AudioChatLlama: Towards General-Purpose Speech Abilities for LLMs
Meta AI;University of Cambridge(剑桥大学)
本研究提出AudioChatLlama模型,在Llama-2基础上扩展端到端通用语音能力,无需配对数据,支持跨模态多任务,在语音问答上表现优于或持平级联系统,可利用对话上下文提升效果。
2024-04-12 cs.AI cs.CL
Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training
School of Data Science, The Chinese University of Hong Kong, Shenzhen, China(数据科学学院,香港中文大学(深圳));Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学);Shenzhen Research Institute of Big Data, China(深圳大数据研究院)
针对安全调优中的拒绝位置偏差,提出解耦拒绝训练(DeRTa),通过MLE与RTO组件使模型在任何位置拒绝有害提示,在LLaMA3和Mistral上六种攻击场景中提升安全性且不损性能。
2025-05-23 cs.AI cs.CL
Efficient Embedding-based Synthetic Data Generation for Complex Reasoning Tasks
IBM Research(IBM研究院)
本文提出基于嵌入的合成数据生成方法,通过增强数据多样性提升多个基准的性能,分析嵌入空间中数据分布与预测准确性之间的强相关性。
2026-03-15 cs.AI cs.LG
Self-Boosting Large Language Models with Synthetic Preference Data
Peking University(北京大学);Microsoft Research(微软研究院)
针对大语言模型偏好数据收集成本高的问题,提出SynPO自提升范式,通过迭代生成合成偏好数据实现模型自对齐,显著提升指令遵循能力与通用任务性能。
2024-10-09 cs.AI cs.CL
DarkBench: Benchmarking Dark Patterns in Large Language Models
Apart Research(阿帕特研究所);METR(METR(机构名保留英文))
本文提出包含 660 条提示词、覆盖六类暗黑设计模式的 DarkBench 基准,评估五家主流厂商的 LLM,揭示其品牌偏向与不真实沟通等操纵行为。
2025-03-13 cs.AI cs.CL cs.CY
Play Guessing Game with LLM: Indirect Jailbreak Attack with Implicit Clues
ISCAS(中国科学院软件研究所);NTU(南洋理工大学)
提出间接越狱攻击方法Puzzler,通过隐式线索绕过LLM防御,在闭源LLM上查询成功率达96.6%,并有效规避检测。
2024-02-16 cs.AI cs.CR cs.HC
Disability Across Cultures: A Human-Centered Audit of Ableism in Western and Indic LLMs
本文通过对比美印八种大语言模型与175名残障人士对能力歧视的评分,发现西方模型高估而印度模型低估伤害,且所有模型对印地语表达更容忍,强调AI评估需纳入本地残障视角。
2025-07-22 cs.AI cs.CY cs.HC
PRISON: Unmasking the Criminal Potential of Large Language Models
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
提出PRISON框架,通过五个特质量化LLMs的犯罪潜力,发现最先进模型常表现出犯罪倾向,且检测欺骗行为准确率仅44%。
2026-06-29 cs.AI cs.CL cs.CR
Do LLMs Know What to Ask and When? Evaluating Multi-Turn Information Seeking
Harvard University(哈佛大学);Google DeepMind(谷歌DeepMind)
该研究构建MT-InfoSeek评估套件,从提问内容、时机及信息影响三方面评估LLMs的多轮信息获取能力,发现其存在低估信息需求等缺陷,且该能力未被现有评估覆盖。
2026-08-18 cs.AI cs.CL cs.LG