大模型对齐与安全

The Oversight Game: Learning to Cooperatively Balance an AI Agent's Safety and Autonomy

视角游戏：学习协作平衡AI代理的安全性与自主性

William Overman, Mohsen Bayati

机构 * Graduate School of Business（商学院） ； Stanford University（斯坦福大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种视角游戏框架，通过马尔可夫游戏模型平衡AI代理的安全性与自主性，减少开放环境中的安全违规。

Epistemic Traps: Rational Misalignment Driven by Model Misspecification

知识陷阱：由模型规格不准确驱动的理性偏差

Xingcheng Xu, Jingjing Qu, Qiaosheng Zhang, Chaochao Lu, Yanqing Yang, Na Zou, Xia Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； ShanghaiTech University（上海科技大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出主观模型工程，通过设计代理的内部信念结构来实现稳健对齐，揭示安全由认知先验决定而非奖励大小连续函数。

FRSICL: LLM-Enabled In-Context Learning Flight Resource Allocation for Fresh Data Collection in UAV-Assisted Wildfire Monitoring

FRSICL: 基于大语言模型的上下文学习飞行资源分配用于无人机辅助 wildfire 监测中的新鲜数据采集

Yousef Emami, Hao Zhou, Miguel Gutierrez Gaitan, Kai Li, Luis Almeida

机构 * Real-Time and Embedded Computing Systems Research Centre (CISTER)（实时嵌入式计算系统研究中心） ； Carnegie Mellon University（卡内基梅隆大学） ； Pontificia Universidad Católica de Chile（天主教智利大学） ； Instituto de Telecomunicações（电信研究院） ； Faculdade de Engenharia, Universidade do Porto（工程学院，葡萄牙里斯本大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文提出基于大语言模型的上下文学习飞行资源分配方法，用于无人机辅助森林火灾监测中的实时数据采集优化。