Scaling Muon for Diffusion Transformers
针对扩散Transformer的Muon优化器的缩放研究
机构 * University of Southern California(南加州大学) ; Meta
AI总结 该研究针对大型扩散Transformer的Muon优化器,提出周期性行级Muon,在保留其生成质量优势的同时,大幅降低训练的计算、通信开销与时间。
高校专区
针对扩散Transformer的Muon优化器的缩放研究
机构 * University of Southern California(南加州大学) ; Meta
AI总结 该研究针对大型扩散Transformer的Muon优化器,提出周期性行级Muon,在保留其生成质量优势的同时,大幅降低训练的计算、通信开销与时间。
开放权重掩码内省:测量语言模型可报告自身计算的能力
机构 * University of Southern California(南加州大学)
AI总结 本研究构建OWMI框架检验8个开放权重模型的内省能力,发现其无法区分真实干预与虚假运行,仅内部存在相关信息,失败源于内部状态到文本报告的路径,需对照内部参考验证模型证词。
Comments We release OWMI as a library so that this emerging ability can be measured as it develops. Hugging Face OWMI library: this https URL (https://huggingface.co/emilioferrara/owmi)
Logic-VLA:一种时序逻辑条件下的视觉-语言-动作模型
机构 * University of Southern California(南加州大学)
AI总结 Logic-VLA是感知形式化需求的VLA模型,以STL规约为条件,经两阶段适配后,在四旋翼导航仿真中大幅提升STL满足率,仅小幅降低常规NL任务成功率,可适配不同形式化需求。