Technion - Israel Institute of Technology（以色列理工学院）

Decomposing Query-Key Feature Interactions Using Contrastive Covariances

通过对比协方差分解查询-键特征交互

Andrew Lee, Yonatan Belinkov, Fernanda Viégas, Martin Wattenberg

机构 * Harvard University（哈佛大学） ； Technion - Israel Institute of Technology（技术ion-以色列理工学院） ； Kempner Institute, Harvard University（凯普纳研究所，哈佛大学） ； Google DeepMind（谷歌DeepMind） 纠错

AI总结 本文提出通过对比协方差分解查询-键特征交互，以揭示Transformer中注意力机制的可解释性。

Textual Planning with Explicit Latent Transitions

基于显式潜在转移的文本规划

Eliezer Shlomi, Ido Levy, Eilam Shapira, Michael Katz, Guy Uziel, Segev Shlomov, Nir Mashkif, Roi Reichart, Sarah Keren

机构 * technion（技术学院） ； ibm（国际商业机器公司） 纠错

AI总结 本文提出EmbedPlan，通过冻结语言嵌入空间实现高效文本规划，展示在多个领域中插值性能良好，但跨领域泛化仍存在挑战。