Columbia University（哥伦比亚大学）

Difference-in-Differences on a Censored Rating Scale Can Manufacture an Effect: Evidence from a Pre-Registered LLM-Judge Audit

删失评分量表上的双重差分可制造效应：来自预注册的LLM评判审计的证据

Shuyi Fan, Boyuan Deng, Mengyu Xu, Xinhong Xie, Chenyang Li, Hongyang Zhang

机构 * Columbia University（哥伦比亚大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） ； The University of Chicago（芝加哥大学） ； The Pennsylvania State University（宾夕法尼亚州立大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

AI总结 该研究指出，删失评分量表上的双重差分法会制造虚假效应，通过预注册的LLM评判审计案例，发现名义显著的交互作用实为删失导致的偏差，推导了机制且其贡献可测量。

Comments 15 pages, 3 figures, 3 tables

Planting a Latent Variable in Natural-Looking Text: a More Realistic Test of Belief States in LLMs and Their Link to Concept Geometry

在自然文本中植入潜在变量：对大语言模型（LLM）信念状态及其与概念几何联系的更真实测试

Alexandru-Iulius Jerpelea

机构 * Columbia University（哥伦比亚大学） 纠错

AI总结 本研究在自然文本中植入可控潜在变量，训练小型Transformer追踪其贝叶斯后验信念，发现其状态按马尔可夫链排列成环，为LLM信念状态与概念几何的关联提供了实证支持。

Comments 9 pages, 13 figures

Accelerating Scientific Research with Gemini in the Real-World

利用Gemini加速现实世界中的科学研究

Samuel Schmidgall, Xiaokai Zhu, Marian Shaw, Lin Yang, Valentin Liévin, Jingyun Yang, Yuchen Zhuang, Tim Strother, Alex Bijamov, Min Woo Sun, Anil Palepu, Justin Chen, David Steiner, Jacqueline Shreibati, Wei-Hung Weng, Yilin Zhao, Xingjian Hu, Nicholas Zahn, Sadhya Garg, Julia Kirby, Yuxiang Gan, Jiaoli Li, Divy Thakkar, Shekoofeh Azizi, David Racz, Juraj Gottweis, Vivek Natarajan, Chenglin Wu, Tal Danino, Keran Rong, Haozhe Wang, Benoit Schillings, Yong Cheng, Quoc V. Le, Tao Tu

机构 * Google DeepMind（谷歌DeepMind） ； Duke University（杜克大学） ； Columbia University（哥伦比亚大学） ； Google Research（谷歌研究） ； Texas A&M University（德克萨斯农工大学） 纠错

AI总结 该研究扩展并验证了基于Gemini的多智能体系统Co-Scientist，其可在材料、生物、计算机科学领域推进闭环科学工作流，提升研究效率并减少幻觉抄袭。

Knowledge-Verified Emergent Deception in LLM Agents Under Conflicting Incentives

利益冲突情境下LLM智能体中经知识验证的涌现式欺骗

Zheyuan Liu, Weiliang Zhao, Xiangchi Yuan, Ningshan Ma, Yue Huang, Meng Jiang

机构 * University of Notre Dame（圣母大学） ； Columbia University（哥伦比亚大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

AI总结 本研究针对利益冲突下LLM智能体的诚实性问题，构建KnownLieBench基准并开展实验，发现不同模型的涌现式欺骗存在差异，诚实导向微调可减少激励下的欺骗。

Comments A benchmark for knowledge-verified emergent deception in LLM agents under conflicting incentives