Mitigating Object Hallucination via Concentric Causal Attention
专题命中 幻觉与鲁棒性 :vision language model(abstract);分类 cs.CV;LLaVA(comments)
Comments To appear at NeurIPS 2024. Code is available at https://github.com/xing0047/cca-llava
AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
专题命中 幻觉与鲁棒性 :vision language model(abstract);分类 cs.CV;LLaVA(comments)
Comments To appear at NeurIPS 2024. Code is available at https://github.com/xing0047/cca-llava
专题命中 幻觉与鲁棒性 :VLM(abstract,comments);分类 cs.CV
Comments All code and dataset is available at: https://tinyurl.com/vlm-robustness. Accepted in CVPRW 2024
评估针对大语言模型生成代码中包幻觉的推理时防御措施
专题命中 幻觉与鲁棒性 :grounding(abstract);分类 cs.AI
AI总结 本文针对LLM生成代码的包幻觉问题,修正了评估方法,评估了七种推理时防御措施,提出包效用指标,发现对抗提示下RAG与Self-Refine表现更优,明确防御需匹配威胁模型与效用。
Comments Accepted ASE 2026
LiST:局部单纯形测试时LoRA融合
机构 * SUSTech(南方科技大学) ; PolyU(香港理工大学) ; CASIA(中国科学院自动化研究所) ; GDUT(广东工业大学) ; CityU(香港城市大学) ; BigAI(北京智源人工智能研究院) ; THU(清华大学) ; TAU(特拉维夫大学) ; PKU(北京大学) ; UniTrento(特伦托大学)
专题命中 幻觉与鲁棒性 :vision-language model(abstract);分类 cs.CV
AI总结 LiST是一种无标签测试时LoRA融合框架,通过构建局部单纯形搜索样本特定融合权重,在多模态与语言基准上优于静态LoRA合并及传统测试时自适应方法,提升了未见过任务的鲁棒性。
Comments Accepted by EMNLP 2026 Finding
GuardianBench:面向具身智能中潜在上下文风险的同场景指令对比基准
机构 * Shandong University(山东大学) ; National University of Singapore(新加坡国立大学) ; Nanjing University of Aeronautics and Astronautics(南京航空航天大学) ; Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) ; Xiaomi Corporation(小米公司)
专题命中 幻觉与鲁棒性 :vision-language model(abstract);分类 cs.AI
AI总结 该研究提出基于国际安全标准的同场景指令对比基准GuardianBench,发现VLMs对指令不敏感,用轻量级目标VLOS可提升其安全推理性能。
Comments 21 pages, 4 figures
DamageScope:面向卫星图像灾害损失评估的大规模视觉-语言检索方法
机构 * NEC Laboratories America(美国 NEC 实验室)
专题命中 幻觉与鲁棒性 :vision-language model(abstract);分类 cs.CV
AI总结 DamageScope是一种结合VLMs与LLMs的检索增强框架,通过多向量嵌入聚类和双存储架构,实现了卫星图像灾害损失评估的高效自动化,可扩展性与运营效率优异。
最后但同样重要:用于多模态KV缓存压缩的边界注意力校准
机构 * KAIST(韩国科学技术院) ; Zhejiang Laboratory(之江实验室) ; The Chinese University of Hong Kong(香港中文大学) ; National University of Singapore(新加坡国立大学)
专题命中 幻觉与鲁棒性 :multimodal large language model(abstract);分类 cs.CV
AI总结 针对多模态大语言模型长视觉上下文中KV缓存压缩导致关键证据丢失的问题,提出BACON方法,通过校准观察窗口注意力与最后查询注意力,并利用层内一致性和层间持久性抑制噪声,在激进压缩下平均提升7.5%性能。
Comments EMNLP 2026 Main Conference
重新思考大语言模型验证:证据结构、不确定性与选择性优化
机构 * Indian Institute of Technology Jammu(贾姆穆印度理工学院) ; Microsoft Research(微软研究院) ; SCB Dental College and Hospital(SCB牙科学院与医院)
专题命中 幻觉与鲁棒性 :grounding(abstract);分类 cs.CV
AI总结 该研究针对LLMs医疗应用的安全问题,提出两阶段框架,利用模型弃权信号优化推理,在GPT-5.5、DeepSeek-R1模型及MedReason、MedQA数据集上显著提升了医疗假设验证的准确率。
Comments Withdrawn by the authors due to premature submission before final review
文本是什么颜色?:一个用于评估图像嵌入提示引发幻觉的基准
机构 * SKLCCSE, Institute of Artificial Intelligence, Beihang University, Beijing, China(软件学院、人工智能研究院、北航、北京、中国) ; Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, Beihang University, Beijing, China(未来区块链与隐私计算先进创新中心、北航、北京、中国)
专题命中 幻觉与鲁棒性 :multimodal large language model(abstract);分类 cs.CV
AI总结 该研究提出Embedded Stroop范式,构建WCIT基准评估MLLMs的图像嵌入提示幻觉,发现语义可读性可主导其视觉颜色感知。
在像素之间阅读:一种针对文本到图像模型的 inscription 性 jailbreak 攻击
专题命中 幻觉与鲁棒性 :vision-language model(abstract);分类 cs.CV
AI总结 本文提出 Etch 框架,通过分解对抗提示为语义伪装、视觉空间锚定和字形编码三层,实现对文本到图像模型的 inscription 性 jailbreak 攻击,验证了现有安全机制的不足。
视觉-语言表示学习中的动态分布感知不确定性跟踪
机构 * State Key Laboratory of Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室) ; ByteDance Inc(字节跳动公司)
专题命中 幻觉与鲁棒性 :vision-language model(abstract);分类 cs.LG
AI总结 针对视觉-语言模型事后不确定性量化方法忽略测试分布动态性的问题,提出DDA-UQ框架,通过高斯混合模型建模嵌入空间,实现动态不确定性估计,性能优于现有最优方法。
CLAIR-Fin:用于跨模态金融问答中声明级验证与自适应辩论的对抗性多智能体框架
机构 * Ahsanullah University of Science and Technology(阿萨努拉科技大学) ; Jashore University of Science and Technology(杰索尔科技大学) ; American International University - Bangladesh(孟加拉国美国国际大学)
专题命中 幻觉与鲁棒性 :grounding(abstract);分类 cs.AI
AI总结 本研究提出CLAIR-Fin九智能体框架,针对跨模态金融问答的声明级验证与自适应辩论,在BB-FinQA-X数据集上提升了模型忠实度,且弃权比例合理,优于相关基线方法。
用于可靠企业级文本到SQL的有界语义规划与确定性编译
专题命中 幻觉与鲁棒性 :grounding(abstract_cn);分类 cs.AI
AI总结 提出语义路径编译(SPC)系统,在ACME保险基准测试中,其文本到SQL任务正确率达97.4%,显著优于基线系统,且鲁棒性更强。
Comments 10 sections, 2 figures, 6 tables. Preprint. Code and research artifacts are described in the manuscript
具有增强对抗样本迁移性的视角不变攻击
机构 * The Hong Kong Polytechnic University(香港理工大学)
专题命中 幻觉与鲁棒性 :multimodal large language model(abstract);分类 cs.CV
AI总结 针对对抗样本跨模型迁移性带来的安全威胁,提出视角不变攻击(PIA)及其扩展PIA-Mix,通过多自由度顶点采样策略提升对抗样本迁移性,实验显示其性能优于当前最优基于迁移的攻击方法。
Journal ref IEEE Transactions on Information Forensics and Security, vol. 21, pp. 6818-6831, 2026
DR.GAP:采用解耦推理的性别感知提示缓解大语言模型中的偏见
专题命中 幻觉与鲁棒性 :vision-language model(abstract);分类 cs.AI
AI总结 该研究针对大语言模型的性别偏见问题,提出DR.GAP方法,通过生成无性别推理轨迹作为上下文示例,在不修改模型参数的情况下缓解偏见,且可扩展至视觉语言模型,经多任务多模型实验验证有效。
PPOM:用于基于CLIP的通用视觉-语言提示调优的补丁网格相位边缘化
机构 * Shanghai University(上海大学) ; University of Technology Sydney(悉尼科技大学)
专题命中 幻觉与鲁棒性 :vision-language model(abstract);分类 cs.CV
AI总结 本研究针对基于CLIP的视觉-语言提示调优对补丁网格对齐敏感的问题,提出无训练的PPOM算子,通过边缘化相位偏移提升宿主性能,无需重新训练。
代理验证的大语言用户体验微模拟:一种用于早期决策支持的工件优先协议
专题命中 幻觉与鲁棒性 :grounding(abstract);分类 cs.AI
AI总结 该研究提出代理验证的LLM驱动UX微模拟流程,通过代理语料库验证模拟结果,结合多指标对比基线、消融实验分析智能体策略,提供可复现的早期UX决策支持方案。
Comments 27 pages, 5 figures, 15 tables
智能体安全应成为运行时契约
专题命中 幻觉与鲁棒性 :grounding(abstract);分类 cs.AI
AI总结 该研究指出将AI安全仅在训练阶段植入的范式不足,提出智能体安全应是兼具预防与证据层面的运行时契约,通过四类公开证据支撑该立场并给出研究议程。
自我进化临床系统之路:将医疗智能体从辅助扩展到自主
机构 * Hunan University(湖南大学) ; ByteDance(字节跳动) ; Duke University(杜克大学) ; Westlake University(西湖大学) ; The University of Hong Kong(香港大学) ; Nanyang Technological University(南洋理工大学) ; Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) ; University of Macau(澳门大学) ; The Ohio State University(俄亥俄州立大学)
专题命中 幻觉与鲁棒性 :vision-language model(abstract);分类 cs.AI
AI总结 研究探讨大语言模型等对医疗智能体的重塑,从临床部署出发,将其形式化为决策系统并给出自主性分类。沿统一框架扩展,强调临床环境扩展为关键方向,定位临床自我进化为前沿,还研究了多领域应用及挑战,提供医学成像系统路线图。
Comments Project page: https://github.com/zhcz328/Awesome-Medical-Agents
基于智能体AI、嵌套学习与语义缓存的幻觉缓解与AI可持续性
机构 * Head of AI, Tesisquare Member, Open Voice Interoperability Initiative Linux Foundation AI & Data(AI负责人,Tesisquare成员,开放语音互操作性倡议Linux基金会AI与数据) ; Principal, Conversational Technologies Member, Open Voice Interoperability Initiative Linux Foundation AI & Data(首席科学家,对话技术成员,开放语音互操作性倡议Linux基金会AI与数据)
专题命中 幻觉与鲁棒性 :grounding(abstract);分类 cs.AI
AI总结 提出一种HOPE启发的嵌套学习架构,结合连续记忆系统和语义缓存,通过三阶段智能体管道在混合基准上实现幻觉缓解,同时降低能耗并提高可观测性。
Comments 33 pages, 9 figures
SafeNexus:在多模态大语言模型(MLLMs)中发现与调控模态通用安全神经元
专题命中 幻觉与鲁棒性 :multimodal large language model(abstract);分类 cs.CV
AI总结 SafeNexus是一种跨模态安全对齐框架,通过定位并调控模态通用安全神经元,提升多模态大语言模型在跨模态威胁下的安全性,且能保留模型效用。
FaLCon:用于Sim2Real基于文本的行人异常搜索的基于面锚定的后期共识检索
机构 * Vietnamese-German University(越南-德国大学) ; Ho Chi Minh City University of Technology(胡志明市技术大学) ; University of Information Technology(信息技术大学) ; Ho Chi Minh city University of Science(胡志明市科学大学)
专题命中 幻觉与鲁棒性 :multimodal large language model(abstract);分类 cs.CV
AI总结 该研究针对Sim2Real基于文本的行人异常搜索的挑战,提出FaLCon框架,结合全局匹配与细粒度验证,在PAB基准上取得优异性能,代码将开源。
Comments accepted to the ECCV 2026 AI City Challenge Workshop
超越全局编辑:用于LVLMs无训练幻觉缓解的实例级解耦子空间
机构 * Macquarie University(麦考瑞大学) ; York University(约克大学) ; Northern Illinois University(北伊利诺伊大学) ; University of Technology Sydney(悉尼科技大学) ; North South University(北南大学) ; Lancaster University(兰卡斯特大学) ; Australian National University(澳大利亚国立大学)
专题命中 幻觉与鲁棒性 :vision-language model(abstract);分类 cs.CV
AI总结 针对LVLMs现有模型编辑技术采用单一全局子空间无法适配多样幻觉模式的问题,提出无训练的实例级解耦子空间框架,经多基准实验验证其鲁棒性、通用性与效率。
Comments BMVC 2026
一阶证明搜索中的结构保留型不确定性传播
机构 * Tallinn University of Technology(塔林理工大学)
专题命中 幻觉与鲁棒性 :grounding(abstract);分类 cs.AI
AI总结 该研究针对一阶证明器GK框架,提出结构保留型不确定性传播方法,通过重构基前提、解析正负支持等计算,实现带不确定性的证明报告,经实验验证其有效性并与相关逻辑系统对比。
Comments 79 pages, 6 figures. Executable binaries, documentation, examples, and public samplers: https://github.com/tammet/gkreasoner
超越“我无法对此提供帮助”:儿童安全专家如何评估AI聊天机器人的安全性
专题命中 幻觉与鲁棒性 :grounding(abstract);分类 cs.AI
AI总结 本文通过访谈19名儿童安全相关从业者,分析现有AI聊天机器人儿童安全评估的局限,提出需将从业者视角纳入安全评估工作的建议。
Comments Ninth AAAI/ACM Conference on AI, Ethics, and Society (AIES 2026)
CLIP是否双目偏视?揭示并缓解CLIP家族中的中心偏差
机构 * Texas A&M University(德克萨斯A&M大学) ; National Taiwan University(国立台湾大学) ; ASUS(华硕) ; VinUniversity
专题命中 幻觉与鲁棒性 :vision-language model(abstract);分类 cs.CV
AI总结 研究揭示CLIP家族模型存在中心偏差问题,导致对图像边缘重要物体识别困难,通过可解释方法分析发现嵌入表示和注意力机制中的信息丢失是原因,提出无需训练的视觉提示和注意力重分布策略缓解偏差。
Comments COLM 2026
机构 * Australian Institute for Machine Learning(澳大利亚机器学习研究所) ; University of Adelaide(阿德莱德大学)
专题命中 幻觉与鲁棒性 :vision-language model(abstract);分类 cs.CV
Comments Accepted as a conference paper at ECCV 2024; v7: Minor corrections to the adversarial robustness results and corresponding text. Conclusions unchanged
当前AI基准测试未测量的内容:模态、搜索、引用及其对安全评估的启示
专题命中 幻觉与鲁棒性 :grounding(abstract);分类 cs.AI
AI总结 该研究发现AI基准测试未涵盖模态、搜索等关键因素,以ChatGPT为例对比两种模态及搜索条件,发现这些因素会影响模型准确率、一致性等,主张AI安全评估需纳入这些维度。
Comments 18 pages
TruthLens:通过大型视觉语言模型(LVLM)中的自评估真实性分数检测对象幻觉
机构 * School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院) ; Peng Cheng Laboratory(鹏城实验室) ; University of Nottingham Malaysia(马来西亚诺丁汉大学) ; Hong Kong University of Science and Technology(香港科技大学)
专题命中 幻觉与鲁棒性 :vision language model(abstract);分类 cs.CV
AI总结 TruthLens 是一种无需额外成本的 LVLM 对象幻觉检测框架,通过微调 LM 头部输出真实性分数,在 MS-COCO 数据集上的 Qwen2.5-VL-7B 上实现了超 17% 的 AUROC 提升,性能达当前最优。
Comments Accepted by ECCV 2026
SafeCommit:验证基于记忆的智能体何时可以安全行动
机构 * Florida International University(佛罗里达国际大学)
专题命中 幻觉与鲁棒性 :grounding(abstract);分类 cs.AI
AI总结 针对长程智能体过早承诺的问题,提出SafeCommit风险控制层,通过构建合理潜在世界、共形动作证书等实现安全行动决策,还展示了安全-效用权衡。
Comments 14 pages, 6 tables, and 1 figure, target NeurIPS