Tsinghua University（清华大学）

Opening the Black Box: Preliminary Insights into Affective Modeling in Multimodal Foundation Models

揭开黑箱：多模态基础模型中情感建模的初步洞察

Zhen Zhang, Runhao Zeng, Sicheng Zhao, Xiping Hu

机构 * Shenzhen MSU-BIT University, Shenzhen, China（深圳MSU-BIT大学） ； Tsinghua University, Beijing, China（清华大学） 纠错

AI总结 本研究揭示多模态基础模型中情感建模的关键机制，发现前馈门控投影模块对情感理解和生成至关重要，通过参数高效调整实现高性能。

UCCL-EP: Portable Expert-Parallel Communication

UCCL-EP：便携式专家并行通信

Ziming Mao, Yihan Zhang, Chihan Cui, Zhen Huang, Kaichao You, Zhongjie Chen, Zhiying Xu, Zhenyu Gu, Scott Shenker, Costin Raiciu, Yang Zhou, Ion Stoica

机构 * UC Berkeley（加州大学伯克利分校） ； UC Davis（加州大学戴维斯分校） ； UW–Madison（威斯康星大学麦迪逊分校） ； AMD（超威半导体） ； Tsinghua University（清华大学） ； Amazon Web Services（亚马逊网络服务） ； ICSI（信息与计算机科学研究所） ； Broadcom & University Politehnica of Bucharest（博通与布加勒斯特理工大学） 纠错

AI总结 UCCL-EP通过高吞吐量GPU-CPU控制通道和RDMA立即数据模拟，实现了在异构GPU和NIC平台上的高性能专家并行通信，提升了多个模型的训练和推理效率。

UniAttn: Reducing Inference Costs via Softmax Unification for Post-Training LLMs

UniAttn: 通过Softmax统一降低推理成本以适应训练后的LLM

Yizhe Xiong, Wei Huang, Xin Ye, Hui Chen, Zijia Lin, Haoran Lian, Zhenpeng Su, Jungong Han, Guiguang Ding

机构 * School of Software, Tsinghua University（清华大学软件学院） ； School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院） ； Beihang University（北航） ； Department of Automation, Tsinghua University（清华大学自动化系） 纠错

AI总结 UniAttn通过统一Softmax操作降低训练后LLM的推理成本，同时保持性能。

Comments 8 pages, 6 figures. Preprint, under review