Microsoft（微软）

Hierarchical Latent Prediction for Language Models

语言模型的分层隐式预测

Chang Shi, Tim Pearce, Manan Tomar, Siddhartha Sen, John Langford

机构 * University of Texas at Austin（得克萨斯大学奥斯汀分校） ； Microsoft Research（微软研究院） 纠错

AI总结 该研究针对语言模型下一个token预测的误差累积问题，提出分层隐式预测方法，在编码、多步推理基准及推测解码上验证了其有效性。

C$^3$PO: Evaluating Cross-Modal Composition and Counterfactual Performance in Omnimodal Models

C³PO：评估全模态模型中的跨模态组合与反事实性能

Swapnanil Mukherjee, Agyeya Negi, Tanuja Ganu, Ponnurangam Kumaraguru

机构 * Microsoft Research India（微软研究院印度分院） ； IIIT Hyderabad（印度国际信息技术研究院（海得拉巴）） 纠错

AI总结 本研究推出C³PO基准数据集，评估全模态模型的跨模态组合与反事实性能，发现模型存在模态主导问题，需改进架构以支持持续跨模态注意力。