Revealing the Learning Dynamics of Long-Context Continual Pre-training
揭示长上下文持续预训练的学习动态
机构 * Tencent Hunyuan(腾讯混元)
AI总结 本文通过Hunyuan-A13B模型系统研究长上下文持续预训练的学习动态,揭示大规模数据训练的必要性、欺骗性饱和与内在饱和的区别,以及通过检索头监测训练稳定性。
大厂专区
揭示长上下文持续预训练的学习动态
机构 * Tencent Hunyuan(腾讯混元)
AI总结 本文通过Hunyuan-A13B模型系统研究长上下文持续预训练的学习动态,揭示大规模数据训练的必要性、欺骗性饱和与内在饱和的区别,以及通过检索头监测训练稳定性。
UI-Oceanus:通过合成环境动态扩展GUI代理
机构 * Key Lab of HCST (PKU), MOE(高可信软件技术教育部重点实验室(北京大学);北京大学计算机学院) ; School of Computer Science, Peking University(北京通明湖信息技术应用创新中心) ; Beijing Tongming Lake Information Technology Application Innovation Center(腾讯微信) ; WeChat, Tencent Inc.(西蒙菲莎大学) ; Simon Fraser University(德克萨斯大学达拉斯分校) ; University of Texas at Dallas(复旦大学系统与先进计算研究所) ; Fudan University Institute of Systems for Advanced Computing(上海开放计算系统研究所) ; Shanghai Institute of Systems for Open Computing
AI总结 本文提出UI-Oceanus框架,通过地面真实环境反馈掌握交互物理,解决GUI代理扩展中的数据瓶颈问题,实验表明其在离线和在线导航中均优于基线方法。