Memory-Augmented Knowledge Fusion with Safety-Aware Decoding for Domain-Adaptive Question Answering
Independent Researcher(独立研究者);Boston University(波士顿大学);Binghamton University(伯克利大学)
KARMA通过记忆增强和安全意识解码提升领域自适应问答的准确性和安全性
2025-12-02 cs.AI cs.CL
SafeSpec: Fast and Safe LLM via Dynamic Reflective Sampling
Zhejiang University, Hangzhou, China(浙江大学);Huawei(华为);Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳))
提出SafeSpec框架,将轻量安全头集成到推测解码的验证过程中,通过风险估计和反射采样恢复安全生成,在保持加速的同时显著降低攻击成功率。
2026-06-19 cs.AI cs.CR
CLAMP: Constrained Decoding for Vision-Language Embodied Planning
Michigan State University(密歇根州立大学)
CLAMP 通过将场景证据转化为解码时约束,利用硬掩码和 HMM 前瞻模块,提升视觉-语言模型在具身规划中的可执行性与安全性。
2026-09-09 cs.AI
Geometry-Lite: Interpretable Safety Probing via Layer-Wise Margin Geometry
Yonsei University(延世大学);Yonsei University College of Medicine(延世大学医学院);Department Biomedical Systems Informatics(生物医学系统信息学部门)
本文研究了大语言模型在提示级别上的安全探测问题,提出了一种名为Geometry-Lite的紧凑探测器,通过层间边际几何分析来提高安全检测的可解释性和准确性。
2026-05-18 cs.AI cs.CL cs.LG
Can't See the Forest for the Trees: Benchmarking Multimodal Safety Awareness for Multimodal LLMs
Renmin University of China(中国人民大学);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Chinese University of Hong Kong(香港中文大学);Johns Hopkins University(约翰霍普金斯大学);Hong Kong University of Science and Technology(香港科技大学);Tencent(腾讯)
本文提出首个多模态安全意识基准MMSafeAware,覆盖29个安全场景和1500个图像-提示对,通过评估九个主流多模态大语言模型揭示其安全性不足与过度敏感问题,并探索三种改进方法均未取得满意效果,凸显了该领域的研究挑战。
2025-06-03 cs.AI cs.CL cs.CV
Single Canonical Prompts Underestimate LLM Safety's Surface-Form Sensitivity
Northeastern University(东北大学);Georgia Institute of Technology(佐治亚理工学院);University of Southern California(南加利福尼亚大学)
该研究发现仅用单一规范提示评估大语言模型安全会低估其不安全合规性,不同表面形式下的不安全结果并集会超出最糟单一形式,且存在模型差异,同时发布了相关数据集、代码与响应标签。
2026-09-01 cs.AI cs.CL cs.CR
SAFER: Probing Safety in Reward Models with Sparse Autoencoder
University of Science and Technology of China(中国科学技术大学)
SAFER通过稀疏自动编码器探索奖励模型的安全性,揭示可解释特征并改进安全性对齐。
2026-01-30 cs.AI cs.CL
MMDT: Decoding the Trustworthiness and Safety of Multimodal Foundation Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Chicago(芝加哥大学);University of California, Berkeley(加州大学伯克利分校);Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院);Virginia Tech(弗吉尼亚理工大学);University of Georgia(佐治亚大学);Microsoft Corporation(微软公司);Center for AI Safety(人工智能安全中心)
针对现有多模态模型基准评估维度有限的问题,本文提出首个统一评估平台MMDT,从安全性、幻觉等多维度全面评估多模态基础模型的可信性与安全性,助力开发更可靠的多模态模型与系统。
2025-03-19 cs.AI cs.CL cs.CR
TRACEALIGN -- Tracing the Drift: Attributing Alignment Failures to Training-Time Belief Sources in LLMs
BITS Pilani Goa(BITS Pilani 果阿分校);Meta AI;Amazon GenAI(亚马逊生成式人工智能)
针对LLM对齐漂移问题,提出TraceAlign框架,利用信念冲突指数追溯训练语料根源,结合三种防御手段将漂移降低85%,并开源实现。
2025-08-04 cs.AI
Probing the Robustness of Large Language Models Safety to Latent Perturbations
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际 Graduate School, 清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Fudan University(复旦大学);The University of Hong Kong(香港大学)
针对安全对齐模型对潜在扰动脆弱的问题,提出探测负对数似然以识别脆弱方向并构建激活引导攻击,进而引入逐层对抗补丁训练增强鲁棒性而不损通用能力。
2025-06-19 cs.AI cs.CL cs.CR
Secure LLM Fine-Tuning via Safety-Aware Probing
School of Mathematical Sciences, Peking University(北京大学数学科学学院)
本文探讨了非有害数据微调为何可能降低安全性,提出安全感知探测框架,通过对比安全信号定位安全相关方向,优化轻量级探针以引导参数更新远离有害轨迹,提升安全与性能的平衡。
2026-04-23 cs.AI cs.CL cs.CR
Route, Don't Fix: Regime-Dependent Decoding Correction and a Trajectory-Gated Router for Reliable Clinical LLM Answer Selection
Crestwood Preparatory College(克雷斯特伍德预备学院);St. Theresa of Lisieux Catholic High School(圣特蕾莎·利雪天主高中);University of Toronto(多伦多大学)
针对临床问答中LLM幻觉问题,提出ALTAS,利用单次前向传播的终端熵和晚期层线性度,按问题在贪心解码与轨迹校正间路由,在保持临床基准不伤害的同时提升真实性。
2026-09-15 cs.AI cs.CL cs.LG
GrounDial: Human-norm Grounded Safe Dialog Response Generation
Seoul National University(首尔大学);Amazon(亚马逊)
提出GrounDial框架,通过上下文学习与人类规范引导解码的混合方法,无需微调即可基于常识社会规则生成更安全的对话响应。
2024-02-14 cs.AI
From Portraits to Pathology: Probing Diagnostic Overreach in Vision-Language Models
Oracle AI(甲骨文人工智能研究院)
针对VLMs在无法从图像回答的医学诊断查询中的弃权行为,提出PARITY数据集并审计,发现模型间存在拒绝与推测分歧,表情影响选择,临床护栏可提升弃权率。
2026-11-20 cs.AI cs.CV
TRACE: Business Rule-Grounded Reasoning Curriculum for Knowledge-Preserving Parametric Tool Retrieval in Enterprise LLMs
SAP Labs(思爱普实验室)
研究针对企业语言模型中参数化工具检索问题,提出TRACE两阶段课程。第一阶段用多格式记忆SFT播种工具知识,第二阶段利用特定数据源训练模型生成思维痕迹,实现知识保留与单束贪婪解码,提升工具理解和检索召回率。
2026-11-11 cs.AI
When Grammar Guides the Attack: Uncovering Control-Plane Vulnerabilities in LLMs with Structured Output
SKLP, ICT, CAS & UCAS(SKLP、信息科技研究院、中国科学院及中国科学院大学);University of Aberdeen(阿伯丁大学);University of Leeds(利兹大学);SKLP, ICT, CAS(SKLP、信息科技研究院、中国科学院)
本文研究了通过结构化输出揭示LLM控制平面漏洞的问题,提出了一种名为Constrained Decoding Attack(CDA)的新类别的 jailbreak 方法,通过控制到语义的管道机制,利用schema-enforced logit masking注入恶意前缀,并由模型自身完成有害意图,展示了DictAttack在多个模型上的高攻击成功率,揭示了需要跨平面防御来弥合数据和控制平面之间的语义差距。
2026-08-11 cs.AI cs.CR
SAFETY SENTRY: Context-Aware Human Intervention via EXECUTE-ASK-REFUSE Routing
ShanghaiTech University(上海科技大学)
研究LLM智能体行动风险,将问题重构为三向路由决策,用安全哨兵实例化,其推理简化,单阈值可调整。该模型在准确率和召回率上优于多种基线,能同时控制错误率。
2026-10-09 cs.AI
Meta-Models: An Architecture for Decoding LLM Behaviors Through Interpreted Embeddings and Natural Language
Olin College of Engineering(奥林工程学院)
本研究提出元模型架构,利用输入模型的激活回答自然语言问题,以解码LLM行为,实验证明其能泛化到分布外欺骗场景。
2024-11-07 cs.AI cs.LG
Hyperdimensional Probe: Decoding LLM Representations via Vector Symbolic Architectures
University of Trento(特伦托大学);Ipazia S.p.A.(Ipazia公司);Fondazione Bruno Kessler (FBK)(布鲁诺·凯塞勒基金会)
研究旨在解码大语言模型表示,提出超维探针,结合符号表示与神经探测,利用向量符号架构和超向量代数统一先前方法,能深入提取输入特征并支持输出分析,实验表明其可在多场景提取语义信息,推进了语义理解。
2026-10-22 cs.AI cs.CL cs.LG
ThinkingGuard: Decoding Implicit Hazards via Step-by-Step Risk Attribution in Multimodal Large Language Models
Beihang University(北京航空航天大学);Tsinghua University(清华大学);State Key Laboratory of AI Safety(人工智能安全国家重点实验室)
本文提出ThinkingGuard,一种通过逐步风险归因和结构化推理训练来检测多模态大语言模型中隐含危害的防护模型,并构建了首个风险组合性数据集TriggerBench。
2026-09-30 cs.AI cs.CV cs.LG
SingProbe Technical Report
Ant Group(蚂蚁集团)
SingProbe 是一种轻量级 LLM 内在运行时护栏,复用 LLM 隐藏状态以 token 级别预测意图、安全性与幻觉风险,仅约 200 万参数、额外开销<0.5%,还可指导安全解码,其衍生的 SingProbe-Med 可用于医疗生成的风险干预。
2026-09-22 cs.AI cs.CL cs.CR
SCOUT: Synergizing Reasoning and Tool-Use for Computer-Use Safety
Columbia University(哥伦比亚大学)
SCOUT是一个两阶段智能体安全验证器,通过推理密集的规则生成与工具密集的证据收集协同,提升计算机操作智能体的安全检测性能,并在多个基准上取得领先结果。
2026-09-30 cs.AI cs.CL cs.SE
Lingua Franca or Probing Artifact? Rethinking Latent Language in Multilingual LLMs
EPFL(洛桑联邦理工学院)
该研究探究多语言大语言模型中不同潜在语言探测的差异,发现两类探测结果分歧,提示需谨慎解读潜在语言识别,其揭示多语言处理的不同方面而非单一内部通用语。
2026-09-02 cs.AI cs.CL cs.LG
Decoding Emotion in the Deep: A Systematic Study of How LLMs Represent, Retain, and Express Emotion
本文通过引入约40万条话语的Reddit情感语料库,利用轻量级探针研究Qwen3和LLaMA模型内部情感表征,发现情感几何结构随模型规模增强且优于零样本提示,情感信号早期出现并达峰值,且具可塑性与持久性,贡献了数据集、工具包及情感图谱。
2025-10-12 cs.AI
Meta-Policy Reflexion: Reusable Reflective Memory and Rule Admissibility for Resource-Efficient LLM Agent
Tongji University(同济大学)
本文提出元策略反思(MPR)框架,通过结构化元策略记忆与软硬机制结合,在不更新权重的情况下提升LLM智能体的跨任务适应性和执行准确性。
2025-09-08 cs.AI
TIPS: Topological Ill-Posedness Probing and Steering in Large Language Models
The George Washington University(乔治华盛顿大学);Northeastern University(东北大学)
利用持续同调分析LLM内部状态的拓扑结构,统一表示多种病态问题,并实现分类与激活引导,提升响应质量。
2026-10-06 cs.AI
From Text Metrics to Model Internals: A Study of Whisper ASR Hallucination Detection
Signal Processing Group, Institute of Electronics, AGH University of Krakow, Poland(信号处理组,电子学研究所,AGH克拉科夫大学,波兰)
研究Whisper大模型在真实语音数据上的幻觉检测,通过文本、LLM和内部解码器状态三种方法,发现无参考文本时探测解码器表示性能最强,融合文本与内部状态的元分类器效果最佳。
2026-06-23 cs.AI cs.SD eess.AS
Evaluating LLM Safety Under Repeated Inference via Accelerated Prompt Stress Testing
Independent Researcher(独立研究者)
本文提出APST框架,通过重复推理测试揭示模型在持续使用下的失败模式,展示单次评估无法反映实际可靠性差异。
2026-04-28 cs.AI cs.LG
FLIP: Final Layer Inference-Time Probing for Vision-Language Models
University of the Philippines(菲律宾大学)
FLIP通过最终层推理时探测验证视觉-语言模型中干预位点的机制解释,提出四标准协议,确认面向logit的归一化后状态支持任务关联计算,而非一般扰动。
2026-10-06 cs.AI cs.CV
How Multimodal LLMs Solve Image Tasks: A Lens on Visual Grounding, Task Reasoning, and Answer Decoding
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出线性探针框架,通过三类提示变化分析 LLaVA 与 Qwen2-VL 各层功能,揭示其视觉定位、语义推理和答案解码的稳定阶段结构。
2025-08-27 cs.AI cs.CL cs.CV
A Framework for Real-time Safeguarding the Text Generation of Large Language Model
Centre for Software Excellence, Huawei, Canada(华为加拿大软件卓越中心);Department of Computer Science, University of Manitoba, Canada(曼尼托巴大学计算机科学系)
针对大语言模型生成有害内容的风险及现有保障方法的局限,提出轻量级实时框架LLMSafeGuard,通过基于相似度的验证和上下文时序选择策略,在去毒化等任务上以更低开销实现更优的安全保障效果。
2025-05-20 cs.AI cs.CL
Extracting Training Data from Diffusion Language Models via Infilling
University of Waterloo(滑铁卢大学);KTH Royal Institute of Technology(皇家理工学院)
提出填充提取协议,利用扩散语言模型的双向去噪能力,通过任意二进制掩码参数化,揭示掩码几何形状控制提取能力,边缘条件掩码比前缀条件掩码多提取三倍逐字序列,且双向访问打开了自回归模型无法利用的通道。
2026-11-19 cs.AI cs.CL cs.CR
Detecting Is Not Resolving: The Monitoring Control Gap in Retrieval Augmented LLMs
Zhejiang University(浙江大学);Binjiang Institute of Zhejiang University(浙江大学滨江研究院);Hangzhou Dianzi University(杭州电子科技大学);National Fintech Evaluation Center(国家金融科技评估中心)
本文通过多轮文档累积协议发现检索增强型大语言模型存在监控控制差距,即模型能识别矛盾证据但无法安全约束最终建议,并揭示其机制在于行动选择缺陷。
2026-05-26 cs.AI
A2D: Any-Order, Any-Step Safety Alignment for Diffusion Language Models
Department of Artificial Intelligence, Yonsei University(人工智能系,延世大学);Department of Computer Science and Engineering, Yonsei University(计算机科学与工程系,延世大学)
A2D通过令牌级对齐方法,在扩散语言模型中实现任意顺序和步长攻击的鲁棒防御,显著降低有害输出生成概率并提升安全终止效率。
2026-02-03 cs.AI cs.CL
Toward a Principled Framework for Agent Safety Measurement
Northeastern University(东北大学);DatologyAI
本文提出基于搜索而非采样的原理性框架,用于评估代理安全,通过BOA框架在预算内搜索轨迹空间,发现贪心和采样方法遗漏的不安全轨迹。
2026-05-02 cs.CR
Align to Misalign: Automatic LLM Jailbreak with Meta-Optimized LLM Judges
Yonsei University(延世大学);Microsoft Research(微软研究院)
本文提出AMIS框架,通过双层结构联合优化劫持提示和评分模板,提升LLM劫持效果,实测在AdvBench和JBB-Behaviors上取得最佳性能。
2026-04-02 cs.AI
SafeDecoding: Defending against Jailbreak Attacks via Safety-Aware Decoding
University of Washington(华盛顿大学);The Pennsylvania State University(宾夕法尼亚州立大学);Allen Institute for AI(艾伦人工智能研究所)
本文提出SafeDecoding,一种安全感知解码策略,通过放大安全免责声明的token概率并削弱有害token序列的概率,有效防御LLM越狱攻击,在不损害响应有用性的前提下显著降低攻击成功率。
2024-07-25 cs.AI cs.CL cs.CR
Stop Early, Spend Less: Hidden-State Probes as a Practical Recipe for Streaming Moderation of LLM Outputs
ModelOneAI;yunshanai(云山AI)
提出基于隐藏状态的轻量级词元级探针,在解码循环中实时检测不安全输出,无需额外前向传播,实现亚毫秒级安全审核,可提前中断或修改生成。
2026-06-09 cs.AI cs.LG
Jet Expansions of Residual Computation
UCL(伦敦大学学院);MIT(麻省理工学院);Amazon Web Services(亚马逊网络服务)
本研究提出基于jets的残差计算图展开框架,无需数据、训练或采样,可分离计算路径贡献、涵盖logit lens、揭示残差深度路径结构,支持大模型可解释性等无数据分析。
2024-10-08 cs.AI cs.CL cs.LG
ToolSense: A Diagnostic Framework for Auditing Parametric Tool Knowledge in LLMs
SAP Labs(SAP实验室)
提出ToolSense诊断框架,自动生成三类基准测试,揭示参数化工具检索中知识-检索分离现象,发现模型在模糊查询下性能显著下降。
2026-08-31 cs.AI cs.IR cs.LG
Distributional Semantics Tracing: A Framework for Explaining Hallucinations in Large Language Models
本文提出分布语义追踪框架,通过解码残差流状态构建语义图谱,揭示大语言模型幻觉源于表征漂移,通过轻量因果追踪验证假设,实验显示其解释效果优于基线方法。
2026-03-15 cs.AI cs.CE cs.CL
Addition in Four Movements: Mapping Layer-wise Information Trajectories in LLMs
Chongqing Normal University(重庆师范大学);College of Computer and Information Science(计算机与信息科学学院);Chongqing Key Lab of Cognitive Intelligence and Intelligent Finance(重庆认知智能与智能金融重点实验室)
本研究通过线性探测与logit-lens方法,揭示LLaMA-3-8B-Instruct在多位数加法中遵循四阶段层级轨迹,优先进行内部计算而非记忆,并公开代码与数据以促进可复现性。
2025-09-09 cs.AI
Patronus: Safeguarding Text-to-Image Models against White-Box Adversaries
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);College of Electrical Engineering and the Ubiquitous System Security Lab (USSLab), Zhejiang University(浙江大学电子工程学院和无处不在系统安全实验室);ETH Zurich(苏黎世联邦理工学院)
针对白盒对手可通过微调绕过T2I安全机制的问题,本文提出Patronus框架,利用内部审核器与不可微调对齐机制阻断不安全生成并抵御恶意微调。
2025-10-18 cs.CR cs.CV
VidLBEval: Benchmarking and Mitigating Language Bias in Video-Involved LVLMs
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);Sichuan University(四川大学)
本文提出VidLBEval基准和MCD方法,评估并缓解视频LVLM中语言偏见问题,实验证明MCD无需重训即可有效改善。
2025-02-23 cs.AI cs.CV
Understanding Language Prior of LVLMs by Contrasting Chain-of-Embedding
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
通过对比嵌入链分析,揭示LVLMs中视觉信息整合的关键层及影响响应生成的强度量化方法。
2026-02-10 cs.AI cs.LG
Hidden in the Request: Explaining Unethical LLM Compliance through Token Relevance
Faculty of Electrical and Computer Engineering, Technion(以色列理工学院电气与计算机工程学院)
本研究针对LLMs在不道德场景下的合规性失败问题,提出LRP引导的解码方法,发现模型对提示词元的归因不足是关键原因,干预后可提升响应安全性。
2026-10-08 cs.AI cs.CL
Layer-Order Inversion: Rethinking Latent Multi-Hop Reasoning in Large Language Models
State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);University of Science and Technology of China(中国科学技术大学);The Hong Kong University of Science and Technology(香港科技大学)
本文提出"层序倒置"现象,通过概率性回忆与提取框架解释大语言模型中多跳推理的机制,揭示了层序倒置与总跳步数的关系,并提供了多跳失败的诊断方法。
2026-08-27 cs.AI cs.CL
Eliciting In-context Retrieval and Reasoning for Long-context Large Language Models
University of Edinburgh(爱丁堡大学);Apple(苹果公司)
针对现有长上下文基准过于简化的问题,本文提出ICR^2基准及检索微调、注意力探测和联合检索头训练方法,显著提升Mistral-7B的上下文检索推理性能。
2025-06-09 cs.AI cs.CL cs.IR
Tri-PvP: Exposing Modality Bias in Omni-Modal Large Language Models through Perceptual-Propositional Evidence Conflicts
National Taiwan University(国立台湾大学);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(台湾大学人工智能卓越研究中心)
Tri-PvP通过8,000样本三模态冲突基准,揭示全模态大语言模型存在稳健视觉偏差及视觉感知、音频命题的不对称证据形式偏差,且该偏差早期可解码、难以彻底缓解。
2026-09-09 cs.AI cs.CL cs.CV
AdaptPrint: Response-Adaptive Fingerprinting of Black-Box LLM Services
School of Cybersecurity, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
针对黑盒LLM服务的不透明性问题,提出响应自适应指纹识别方法AdaptPrint,整合三种探测策略实现LLM身份识别,在27个候选模型上优于现有方法,准确率达80.6%等且鲁棒性强。
2026-08-25 cs.CR
Minimal Prompt Perturbations Lead to Code Vulnerabilities: Prompt Fragility and Hidden-State Signals in Coding LLMs
IEM, HES-SO, Le Foyer, Techno-Pôle 1, Sierre, Switzerland(瑞士苏黎世联邦理工学院(HES-SO)技术园区1号,西尔尔);Cyber-Defence Campus, armasuisse Science and Technology, Thun, Switzerland(瑞士图恩 Cyber-Defence 营地,armasuisse 科学与技术)
本文通过token级突变实验,发现微小提示扰动(如单字符变化)即可使LLM生成代码从安全变为脆弱,并利用隐藏状态分析揭示输入处理漏洞比安全默认值漏洞更可预测。
2026-05-28 cs.CL cs.CR cs.SE
Breaking Bad: Interpretability-Based Safety Audits of State-of-the-Art LLMs
NuSCI Research Group, Computer Science Laboratory, SRI(NuSCI研究组、计算机科学实验室、SRI)
本文提出基于可解释性的 jailbreaking 审计方法,评估了八种最新开源LLM的安全性,发现Llama-3模型易受攻击,而GPT-oss-120B表现稳健,Qwen和Phi模型结果混杂,揭示了可解释性工具在安全审计中的有效性及潜在风险。
2026-04-22 cs.CR cs.LG
Protecting Language Generation Models via Invisible Watermarking
UC Santa Barbara(加州大学圣巴巴拉分校)
针对语言生成模型易遭蒸馏提取攻击的问题,提出通过在解码概率向量注入秘密信号的GINSEW不可见水印方法,可高效识别侵权模型且对生成质量影响小,检测mAP较现有方法提升19-29点。
2023-08-27 cs.CL cs.CR cs.LG
NeST: Neuron Selective Tuning for LLM Safety
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
提出NeST框架,通过激活探测识别安全相关前馈神经元并训练共享簇级更新,仅用普通恶意提示即可泛化防御多种越狱攻击,在14个模型上以极少参数实现接近全微调的鲁棒性。
2026-06-15 cs.CR cs.LG