LLM Hypnosis: Exploiting User Feedback for Unauthorized Knowledge Injection to All Users
LLM催眠:利用用户反馈进行未经授权的知识注入以影响所有用户
机构 * MIT CSAIL(麻省理工学院计算机科学与人工智能实验室) ; IBM Research(IBM研究院)
AI总结 研究揭示语言模型通过用户反馈进行知识注入的漏洞,通过反馈信号可操控模型行为,导致事实错误、代码漏洞和虚假新闻。
大厂专区
LLM催眠:利用用户反馈进行未经授权的知识注入以影响所有用户
机构 * MIT CSAIL(麻省理工学院计算机科学与人工智能实验室) ; IBM Research(IBM研究院)
AI总结 研究揭示语言模型通过用户反馈进行知识注入的漏洞,通过反馈信号可操控模型行为,导致事实错误、代码漏洞和虚假新闻。
企业AI中的安全且符合政策的多智能体编排
机构 * International Business Machines (IBM)(国际商业机器公司(IBM)) ; Global Atlantic Financial(全球大西洋金融) ; Salesforce Inc(Salesforce公司)
AI总结 本文提出CAMCO框架,通过约束投影引擎、适应性风险加权拉格朗日效用塑造和迭代谈判协议,实现企业AI中多智能体的约束优化编排,有效保障政策合规性与风险控制。
Comments 6 pages, 3 figures, 3 tables, IEEE conference format
Neptune:用于GPU上的局部性和并行性高级机器学习运算融合
机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ; IBM Research(IBM研究院)
AI总结 Neptune通过引入新的运算融合方法,有效融合复杂减少运算,提升深度学习性能,其在多个基准测试中表现出优于现有编译器的效率。
图-智能体:一种基于图的多智能体LLM协作框架
机构 * UNC Chapel Hill(UNC夏洛茨维尔分校) ; Eigent AI(Eigent人工智能) ; MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室) ; Stanford University(斯坦福大学)
AI总结 本文提出Graph-of-Agents框架,通过节点采样、边构建和消息传递提升多智能体协作效率,仅用3个智能体在多个基准测试中优于使用全部6个智能体的基线方法。
Comments ICLR 2026
通过跨模型分歧补充自一致性以进行不确定性量化
机构 * MIT(麻省理工学院) ; MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室) ; WPI(伍斯特理工学院) ; IFM MBZUAI(MBZUAI人工智能研究所)
AI总结 本文通过引入epistemic不确定性项,改进了自一致性估计的不确定性量化,提升了模型在低不确定性下的选择性回避性能。
SafeDream: 用于主动早期对抗检测的安全世界模型
机构 * University of Central Florida(中央佛罗里达大学) ; University of Rochester(罗切斯特大学) ; IBM Research(IBM研究院)
AI总结 本文提出SafeDream,一种轻量级世界模型框架,通过安全状态模型、CUSUM检测和对比想象组件,实现早期对抗检测,提升检测及时性并降低误报率。
AVRT:通过单模态教师模型实现音频-视觉推理迁移
机构 * University of Tübingen, Germany(图宾根大学) ; MIT, Cambridge MA, USA(麻省理工学院) ; IBM Research, USA(IBM研究院) ; MIT-IBM Watson AI Lab, USA(麻省理工-IBM沃森人工智能实验室) ; Tuebingen AI Center, Germany(图宾根人工智能中心)
AI总结 本文提出AVRT框架,通过单模态教师模型生成高质量音频-视觉推理轨迹,并利用LLM合并模型整合轨迹,从而在多模态设置中实现推理迁移,取得音视频和音频任务的最优效果。
降级到升级:优化器简化增强了大语言模型去学习的鲁棒性
机构 * The OPTML Lab, Dept. CSE, Michigan State University(奥普特ML实验室,计算机科学与工程系,密歇根州立大学) ; MIT-IBM Watson AI Lab, IBM Research(MIT-IBM沃森人工智能实验室,IBM研究院)
AI总结 本文研究优化器对大语言模型去学习鲁棒性的影响,发现降级优化器能提升鲁棒性,提出混合优化器提升去学习效果。