Carnegie Mellon University（卡内基梅隆大学）

The Approximation Rank of Softmax Attention: Sharp Geometric Laws and Robust Interaction Dimension

Softmax注意力的近似秩：尖锐几何定律与鲁棒交互维度

Yuhe Sui, Jianing Zhang

机构 * Nanyang Technological University（南洋理工大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

AI总结 该研究明确了控制Softmax注意力秩复杂度的几何规律，推导了球形、全球等支撑下的近似秩公式，经BERT-base校准集验证，将支撑几何与交互几何的作用区分开。

Comments 16 pages, 1 figure

OpenStamp: A Watermark for Open-Source Language Models

OpenStamp：面向开源语言模型的水印技术

Miroojin Bakshi, Saksham Rastogi, Danish Pruthi

机构 * Indian Institute of Science（印度科学学院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

AI总结 本研究提出OpenStamp水印技术，通过修改开源语言模型的最终投影层嵌入水印，检测性能优、模型能力下降小，对改写攻击鲁棒且难去除，还发布了相关代码与水印模型。

Comments Published at COLM 2026