A quantitative analysis of semantic information in deep representations of text and images
深度文本和图像表示中语义信息的定量分析
机构 * Scuola Internazionale Superiore di Studi Avanzati (SISSA)(国际先进研究科学研究所(SISSA)) ; Universitat Pompeu Fabra (UPF)(庞培法拉大学(UPF)) ; Catalan Institute of Research and Advanced Studies (ICREA)(加泰罗尼亚研究与高级科学研究所(ICREA))
AI总结 本文通过信息不平衡度分析,发现语义信息在深度模型中分布广泛,且在特定网络层具有最强的预测能力,同时揭示了语言和模型规模对表示预测性的影响。
Comments Published as a journal article at Transactions of Machine Learning Research (TMLR)
Journal ref TMLR 2026: https://openreview.net/forum?id=sBnaFSIuGR