大模型对齐与安全

IRIS: Implicit Reward-Guided Internal Sifting for Mitigating Multimodal Hallucination

IRIS: 隐式奖励引导的内部筛选以缓解多模态幻觉

Yuanshuai Li, Yuping Yan, Jirui Han, Fei Ming, Lingjuan Lv, Yaochu Jin

机构 * Department of Artificial Intelligence, Westlake University, Hangzhou, China（人工智能系，西湖大学，杭州，中国） ； Sony Research, Sony（索尼研究，索尼） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；DPO(abstract)；分类 cs.AI、cs.LG

AI总结 IRIS通过隐式奖励引导内部筛选，有效缓解多模态大语言模型的幻觉问题，无需外部反馈且性能优异。

HALT: Hallucination Assessment via Log-probs as Time series

HALT：通过log-prob作为时间序列进行幻觉评估

Ahmad Shapiro, Karan Taneja, Ashok Goel

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 HALT通过log-prob时间序列检测幻觉，比Lettuce更高效且兼容专有模型。

PAMAS: Self-Adaptive Multi-Agent System with Perspective Aggregation for Misinformation Detection

PAMAS：基于视角聚合的自适应多智能体系统用于虚假信息检测

Zongwei Wang, Min Gao, Junliang Yu, Tong Chen, Chenghua Lin

专题命中 幻觉与事实性 ：trustworthy(abstract)

AI总结 PAMAS通过自适应多智能体系统和视角聚合技术，有效解决虚假信息检测中的信息淹没问题，提升检测准确性和效率。

Comments 12 pages