University of Pennsylvania（宾夕法尼亚大学）

Mitigating Hallucinations via Inter-Layer Consistency Aggregation in Large Vision-Language Models

通过层间一致性聚合缓解大型视觉-语言模型中的幻觉

Kai Tang, Jinhao You, Yichen Guo, Yiding Sun, Dongxu Zhang, Wenya Wang, Hanze Li, Tao Luo, Renyuan Li, Xiande Huang, Shanghang Zhang

机构 * Peking University（北京大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； Virginia Tech（弗吉尼亚理工大学） ； University of Electronic Science and Technology of China（电子科技大学） ； De Artificial Intelligence Lab（人工智能实验室） 纠错

AI总结 提出训练无关的解码方法DCLA，通过聚合前层表示构建动态语义参考并纠正语义偏差层，增强层间一致性，在多个LVLM和基准上显著降低幻觉。