DeMo: Decoupled Momentum Optimization
DeMo:解耦动量优化
专题命中 其他LLM :language model(abstract);分类 cs.AI、cs.LG
AI总结 DeMo通过解耦动量更新、快速变换和稀疏化,显著减少通信带宽,实现高效多数据中心训练。
AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
DeMo:解耦动量优化
专题命中 其他LLM :language model(abstract);分类 cs.AI、cs.LG
AI总结 DeMo通过解耦动量更新、快速变换和稀疏化,显著减少通信带宽,实现高效多数据中心训练。
DirMoE:基于Dirichlet的混合专家模型
机构 * Wellcome Sanger Institute(wellcome桑格研究所) ; University of Melbourne(墨尔本大学) ; The Hong Kong Polytechnic University(香港理工大学)
专题命中 其他LLM :language model(abstract);分类 cs.LG
AI总结 DirMoE通过基于Dirichlet变分自动编码器的端到端可微路由机制,解耦专家选择与贡献分配,提升混合专家模型的性能和可扩展性。
ADCanvas: 为视障和低视力创作者提供可访问且对话式的音频描述创作工具
专题命中 其他LLM :LLM(abstract)
AI总结 ADCanvas为视障和低视力创作者提供可访问且对话式的音频描述创作工具,通过多模态交互支持端到端的AD创作和视觉问答。
Comments 21 pages, 4 figures, published in CHI '26
Journal ref Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (CHI '26), April 13-17, 2026, Barcelona, Spain
SVD-ViT:SVD是否使视觉变换器更关注前景?
机构 * Meijo University(静冈大学)
专题命中 其他LLM :foundation model(abstract)
AI总结 SVD-ViT通过引入奇异值分解来增强视觉变换器对前景特征的学习,从而提升分类性能并减少背景噪声的影响。
Comments I corrected the incorrect email address. I'm sorry for any inconvenience this may have caused