ByteDance（字节跳动）

Alpha as an Efficiency Signal: Visibility-Routed RGBA Image-to-Video Generation

Alpha作为效率信号：可见性路由的RGBA图像到视频生成

Zhe Li, Honghao Qiao, Zhixin Xu, Qijie Wang, Bo Peng, Dawei Li

机构 * ByteDance（字节跳动） 纠错

AI总结 针对游戏RGBA视频生成的数据集与效率问题，提出可见性路由的RGBA视频生成模型，实现了更低FVD与1.2倍推理加速，质量下降可忽略。

UniMoMo: Expert Merging-Based MoE Acceleration for Large Recommendation Models

UniMoMo：基于专家合并的大推荐模型混合专家（MoE）加速方法

Lei Xin, Bin Gu, Peize Li, Zitong Wang, Jianbo Zhao, Changjiang Jiang, Yanyue Xie, Chao Huang, Xuyang Zhao, Zunhai Su, Fanhu Zeng, Zhenglun Kong

机构 * Kuaishou Technology（快手科技） ； Hohai University（河海大学） ； Wuhan University（武汉大学） ； ByteDance, Seed（字节跳动 Seed） ； Alibaba, Ant Group（阿里巴巴蚂蚁集团） ； ByteDance, Douyin（字节跳动抖音） ； The University of Hong Kong（香港大学） ； Harvard University（哈佛大学） 纠错

AI总结 UniMoMo是一种后训练压缩框架，通过功能相似性合并MoE专家并引入层自适应保护，在Amazon Beauty等三个数据集上实现推荐MoE的高效压缩与加速，且性能损失极小。

Comments Preprint

LLMVisor: A Real-Time Latency Attribution Model for Multi-Tenant LLM Serving

LLMVisor：面向多租户大语言模型（LLM）服务的实时延迟归因模型

Shuowei Jin, Xueshen Liu, Jiaxin Shan, Le Xu, Tieying Zhang, Liguang Xie, Z. Morley Mao

机构 * University of Michigan（密歇根大学） ； ByteDance（字节跳动） 纠错

AI总结 针对多租户LLM服务中联合批处理导致的延迟归因难题，提出基于屋顶线模型的LLMVisor实时延迟归因模型，在微秒级高效运行，相比基线方法大幅降低预填充和解码阶段的相对误差

On-Policy Self-Distillation without Any Supervision

无任何监督的在线策略自蒸馏

Yijiang Li, Bingyang Wang, Yijun Liang, Yunjie Tian, Di Fu, Nuno Vasconcelos

机构 * UC San Diego（加州大学圣迭戈分校） ； Georgia Institute of Technology（佐治亚理工学院） ； University of Maryland, College Park（马里兰大学帕克分校） ； ByteDance（字节跳动） 纠错

AI总结 本研究提出无监督在线策略自蒸馏（U-OPSD），仅用模型自身生成结果实现在线策略自蒸馏，在多数学基准上优于基础模型，部分场景超越OPSD、GRPO等监督方法。

Comments Project page at https://williamium3000.github.io/u-opsd/ and code at https://github.com/williamium3000/u-opsd

dots.tts Technical Report

dots.tts 技术报告

Shi Lian, Changtao Li, Bohan Li, Hankun Wang, Da Zheng, Junfeng Tian, Yufeng Ma, Colin Zhang, Kai Yu

机构 * ByteDance（字节跳动） 纠错

AI总结 提出一个20亿参数的连续自回归TTS基础模型，通过多目标AudioVAE、全历史条件流匹配和无奖励自校正后训练，在Seed-TTS-Eval上取得最优性能，并支持低延迟推理。

Comments 22 pages, 2 figures. Revised technical report with updated technical content, experiments, efficiency results, references, figures, project links, and abstract metadata formatting

Mesh-Attention: A New Communication-Efficient Distributed Attention with Improved Data Locality

Mesh-Attention: 一种新的通信高效分布式注意力机制，具有改进的数据本地性

Sirui Chen, Jingji Chen, Siqi Zhu, Ziheng Jiang, Yanghua Peng, Xuehai Qian

机构 * Tsinghua University（清华大学） ； Purdue University（普渡大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； ByteDance Seed（字节跳动种子） 纠错

AI总结 Mesh-Attention通过改进的数据本地性，提高了分布式注意力的通信效率和可扩展性，实验显示在大规模GPU上实现了显著的加速和通信量减少。