IBM

Variable-Width Transformers

变宽Transformer

Zhaofeng Wu, Oliver Sieberling, Shawn Tan, Rameswar Panda, Yury Polyanskiy, Yoon Kim

机构 * MIT（麻省理工学院） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） 纠错

AI总结 提出一种中间窄、两端宽的变宽Transformer架构，通过无参数残差缩放机制实现非均匀容量分配，在语言模型困惑度、FLOPs和KV缓存上优于均匀宽度基线。

Teaching Values to Machines: Simulating Human-Like Behavior in LLMs

向机器传授价值观：在LLMs中模拟类人行为

Asaf Yehudai, Naama Rozen, Ariel Gera

机构 * The Hebrew University of Jerusalem（海法大学） ； IBM Research（IBM研究院） ； Tel-Aviv University（特拉维夫大学） 纠错

AI总结 本研究基于心理学价值理论，通过大规模实验（超过500万个问题）评估价值提示的LLMs在价值结构和价值-行为关系上与人类的一致性，并证明引入人类价值分布可增强群体模拟。

Comments We had some disagreement regarding proper attribution; we hope to resolve it soon and upload the paper