Entanglement as Memory: Mechanistic Interpretability of Quantum Language Models
纠缠作为记忆:量子语言模型的机制可解释性
机构 * Stanford University(斯坦福大学)
AI总结 研究通过因果门消融、纠缠追踪和密度矩阵交换干预,揭示量子语言模型在长程依赖任务中单量子比特与双量子比特模型的机制差异及噪声-表达性权衡。
Comments 9 pages, 5 figures, 7 tables
高校专区
纠缠作为记忆:量子语言模型的机制可解释性
机构 * Stanford University(斯坦福大学)
AI总结 研究通过因果门消融、纠缠追踪和密度矩阵交换干预,揭示量子语言模型在长程依赖任务中单量子比特与双量子比特模型的机制差异及噪声-表达性权衡。
Comments 9 pages, 5 figures, 7 tables
高效检测劣质基准项目:基于新颖可扩展系数的方法
机构 * Stanford University, CA, United States(斯坦福大学,美国加利福尼亚州) ; Harvard University, MA, United States(哈佛大学,美国马萨诸塞州)
AI总结 本文提出基于交叉项目等比回归的非参数可扩展系数,用于高效检测全球劣质项目,通过Kendall's τ保持关联方向,实现无假设线性或参数模型的项目评分。
PISCO:具有稀疏控制的精确视频实例插入
机构 * Stanford University(斯坦福大学)
AI总结 本文提出PISCO模型,通过稀疏关键帧控制实现精确视频实例插入,解决传统视频编辑中对空间时间定位、物理一致性及动态保持的挑战,采用变量信息引导和分布保持时间遮罩技术提升生成稳定性。
选择、反思与自我完善:通过因果视角重新审视推理任务
机构 * Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学) ; Carnegie Mellon University(卡内基梅隆大学) ; Stanford University(斯坦福大学)
AI总结 本文从因果视角重新审视推理任务,将其视为选择机制,通过引入潜变量反馈提升对潜在依赖关系的学习,显著提升了Sudoku和Maze任务的推理准确率。
Humanline: 在线对齐作为感知损失
机构 * Princeton University(普林斯顿大学) ; Stanford University(斯坦福大学) ; University of Chicago(芝加哥大学) ; Princeton Language & Intelligence(普林斯顿语言与智能实验室)
AI总结 本文提出Humanline框架,通过引入感知偏差解释在线对齐方法在性能上的优势,并展示其在提升训练效率的同时保持性能的潜力。
具有扩散空间旋转位置嵌入的扩散磁共振成像变换器(D-RoPE)
机构 * Stanford University(斯坦福大学)
AI总结 本文提出D-RoPE以解决扩散磁共振成像中空间、扩散加权和方向依赖性的建模问题,通过自监督预训练提升模型在多种任务中的表现,实现更稳健的跨设置表示。
将上下文信息纳入KGWAS以实现可解释的GWAS发现
机构 * University of Michigan(密歇根大学) ; gRED, Genentech(基因泰克研究与早期开发部) ; Stanford University(斯坦福大学)
AI总结 本文提出通过整合基因-基因关系提升KGWAS的解释性,利用稀疏上下文特定KG提高疾病关键网络的一致性和生物学鲁棒性。