Mechanism-Driven Monitors for Preemptive Detection of LLM Training Instability
机制驱动的LLM训练不稳定性抢先检测监控器
机构 * HKUST(香港科技大学) ; Huawei(华为) ; Independent Researcher(独立研究者)
AI总结 针对大语言模型训练中的数值或超参数故障,提出基于模块功能角色的内部监控器,通过QK双线性分解谱熵和MoE路由器指标,在损失发散前数千步检测到不稳定性。
大厂专区
机制驱动的LLM训练不稳定性抢先检测监控器
机构 * HKUST(香港科技大学) ; Huawei(华为) ; Independent Researcher(独立研究者)
AI总结 针对大语言模型训练中的数值或超参数故障,提出基于模块功能角色的内部监控器,通过QK双线性分解谱熵和MoE路由器指标,在损失发散前数千步检测到不稳定性。
AgenticNav:零样本视觉与语言导航作为工具调用框架
机构 * Shanghai Jiao Tong University(上海交通大学) ; Huawei Technologies Ltd(华为技术有限公司)
AI总结 提出AgenticNav,通过将动作、深度和记忆作为可调用工具暴露给VLM,实现零样本连续环境导航,在R2R-CE基准上达到SOTA性能。
DreamCAD: 通过可微参数曲面实现多模态CAD生成的扩展
机构 * DFKI ; RPTU ; Imperial College London(帝国理工学院伦敦分校) ; Huawei London Research Center(华为伦敦研究中心)
AI总结 DreamCAD通过可微参数曲面直接生成可编辑的BRep,无需CAD特定注释,实现多模态CAD生成的扩展,并在多个基准测试中取得最佳性能。
Comments For Caption Dataset: https://huggingface.co/datasets/SadilKhan/CADCap-1M
使用群等变非扩张算子从稀疏测量中重建 SINR 地图
机构 * Institut national de recherche en sciences et technologies du numérique (Inria), Université Côte d’Azur, France(国家数字科学与技术研究院(Inria)、法国坎特伯雷大学) ; Huawei Technologies Canada, Ottawa, ON, Canada(华为技术加拿大分公司,加拿大渥太华) ; Department of Computer Science, University of Pisa, Pisa, Italy(计算机科学系、比萨大学)
AI总结 6G 网络中高分辨率 SINR 地图获取成本高,数据稀缺。本文引入基于群等变非扩张算子(GENEOs)的框架,嵌入几何先验,从极少样本有效重建。在城市场景验证,相比基线,GENEO 显著提升统计和拓扑精度,性能优势在极端条件下也能保持。