Fudan University（复旦大学）

DeepGen 1.0: A Lightweight Unified Multimodal Model for Advancing Image Generation and Editing

DeepGen 1.0: 一种轻量级统一多模态模型，用于推进图像生成与编辑

Dianyi Wang, Ruihang Li, Feng Han, Chaofan Ma, Wei Song, Siyuan Wang, Yibin Wang, Yi Xin, Hongjian Liu, Zhixiong Zhang, Shengyuan Ding, Tianhang Wang, Zhenglin Cheng, Tao Lin, Cheng Jin, Kaicheng Yu, Jingjing Chen, Wenjie Wang, Zhongyu Wei, Jiaqi Wang

机构 * Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Nanjing University（南京大学） ； University of Southern California（南加州大学） 纠错

AI总结 DeepGen 1.0通过轻量级统一多模态模型在图像生成与编辑领域实现高性能，采用SCB框架和数据驱动训练策略，超越大参数模型表现。

TASO: Task-Aligned Sparse Optimization for Parameter-Efficient Model Adaptation

TASO：任务对齐的稀疏优化用于参数高效模型适应

Daiye Miao, Yufang Liu, Jie Wang, Changzhi Sun, Yunke Zhang, Demei Yan, Shaokang Dong, Qi Zhang, Yuanbin Wu

机构 * East China Normal University（东华师范大学） ； Honor Device Co., Ltd.（荣誉设备有限公司） ； Fudan University（复旦大学） 纠错

AI总结 TASO通过任务对齐的稀疏优化方法，有效减少LoRA中的参数冗余，提升微调性能。

Comments Accepted to EMNLP 2025 (Main Conference),13 pages,10 figures

Think Fast and Slow: Step-Level Cognitive Depth Adaptation for LLM Agents

快速思考与缓慢思考：面向LLM代理的步骤级认知深度适应

Ruihan Yang, Fanghua Ye, Xiang We, Ruoqing Zhao, Kang Luo, Xinbo Xu, Bo Zhao, Ruotian Ma, Shanyi Wang, Zhaopeng Tu, Xiaolong Li, Deqing Yang, Linus

机构 * Fudan University（复旦大学） ； Tencent Hunyuan（腾讯文恩） 纠错

AI总结 CogRouter通过动态调整认知深度提升LLM代理在多轮决策任务中的性能与效率。

RQ-GMM: Residual Quantized Gaussian Mixture Model for Multimodal Semantic Discretization in CTR Prediction

RQ-GMM：用于CTR预测的多模态语义离散化残差量化高斯混合模型

Ziye Tong, Jiahao Liu, Weimin Zhang, Hongji Ruan, Derick Tang, Zhanpeng Zeng, Qinsong Zeng, Peng Zhang, Tun Lu, Ning Gu

机构 * Tencent（腾讯） ； Fudan University（复旦大学） ； Beijing Jiaotong University（北京交通大学） 纠错

AI总结 RQ-GMM通过残差量化高斯混合模型提升CTR预测中多模态语义离散化效果，实现代码本利用和重建准确性的显著提升。

Comments Under review

Multi-Head Attention as a Source of Catastrophic Forgetting in MoE Transformers

多头注意力作为MoE变换器中灾难性遗忘的来源

Anrui Chen, Ruijun Huang, Xin Zhang, Fang Dong, Hengjie Cao, Zhendong Huang, Yifeng Yang, Mengyi Chen, Jixian Zhou, Mingzhi Dong, Yujiang Wang, Jinlong Hou, Qin Lv, Robert P. Dick, Yuan Cheng, Tun Lu, Fan Yang, Li Shang

机构 * Fudan University, Shanghai, China（复旦大学） ； University of Bath, Bath, United Kingdom（巴斯大学） ； Oxford Suzhou Centre for Advanced Research, Suzhou, China（牛津苏滁研究中心） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院） ； Department of Computer Science, University of Colorado Boulder, Colorado, USA（计算机科学系，科罗拉多大学博尔德分校） ； Department of Electrical Engineering and Computer Science, University of Michigan（电气工程与计算机科学系，密歇根大学） 纠错

AI总结 本文提出MH-MoE方法，通过头级路由减少MoE变换器中的灾难性遗忘，有效降低连续学习中的遗忘率。

SD-MoE: Spectral Decomposition for Effective Expert Specialization

SD-MoE：通过谱分解实现有效的专家专业化

Ruijun Huang, Fang Dong, Xin Zhang, Hengjie Cao, Zhendong Huang, Anrui Chen, Jixian Zhou, Mengyi Chen, Yifeng Yang, Mingzhi Dong, Yujiang Wang, Jinlong Hou, Qin Lv, Robert P. Dick, Yuan Cheng, Fan Yang, Tun Lu, Chun Zhang, Li Shang

机构 * College of Computer Science and Artificial Intelligence, Fudan University, Shanghai, China（复旦大学计算机科学与人工智能学院） ； University of Bath, Bath, United Kingdom（巴斯大学） ； Oxford Suzhou Centre for Advanced Research, Suzhou, China（牛津苏泽研究中心） ； Department of Electrical Engineering and Computer Science, University of Michigan（密歇根大学电气工程与计算机科学系） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院） ； Department of Computer Science, University of Colorado Boulder, Colorado, USA（科罗拉多大学博尔德分校计算机科学系） ； Research Institute of Tsinghua University in Shenzhen, Shenzhen, China（清华大学深圳研究院） ； Greater Bay Area National Center of Technology Innovation, Research Institute of Tsinghua University in Shenzhen, Shenzhen, China（粤港澳大湾区国家技术创新中心，清华大学深圳研究院） ； School of Microelectronics, Fudan University, Shanghai, China（复旦大学微电子学院） 纠错

AI总结 SD-MoE通过谱分解解决MoE中专家专业化不足的问题，提升模型性能并兼容多种现有架构。

Dispelling the Curse of Singularities in Neural Network Optimizations

消解神经网络优化中的奇异性诅咒

Hengjie Cao, Mengyi Chen, Yifeng Yang, Fang Dong, Ruijun Huang, Anrui Chen, Jixian Zhou, Mingzhi Dong, Yujiang Wang, Dongsheng Li, Wenyi Fang, Yuanyi Lin, Fan Wu, Li Shang

机构 * Fudan University（复旦大学） ； University of Bath（巴斯大学） ； Oxford Suzhou Centre for Advanced Research（牛津苏滁研究中心） ； Huawei（华为） 纠错

AI总结 本文提出PSS方法，通过平滑权重矩阵的奇异谱来缓解神经网络优化中的奇异性诅咒，提升训练稳定性和泛化能力。