Meta

SlimPer: Make Personalization Model Slim and Smart

SlimPer：使个性化模型变得精简且智能

Siqi Wang, Xianjie Chen, Shaofeng Deng, Albert Chen, Romil Shah, Jiawei Huang, Zhaoqin Wang, Zhang Zhang, Yiqun Liu, Meilei Jiang, Anish Dubey, Moyan Mei, Tongxin Wang, Nathan Berrebbi, Misael Manjarres, Armand Sauzay, Shardul Kothapalli, Aryaman Vinchhi, Kevin Johnstone, Juheon Lee, Gufan Yin, Ziheng Huang, Justin Lin, Mert Terzihan, Yilin Qi, Cynthia Yang, Colin Peppler, Qi Ding, Ruohan Sun, Ge Song, Litao Deng, Parichay Kapoor, Matt Ma, Huihui Cheng, Jiyuan Zhang, Yanli Zhao, Yiping Han, Fangqiu Han, Ning Yao, Arun Singh, Jordan Edwards, Zhengyu Su, Abhishek Kumar, Guangdeng Liao, Ankit Asthana

机构 * Meta Platforms, Inc.（Meta平台公司） 纠错

AI总结 研究针对工业推荐系统中Transformer架构的不足，提出SlimPer方法，将个性化排名重构成对紧凑知识库的迭代细化，可解耦模型深度与用户历史长度，统一多种特征并具可解释性，在Instagram相关业务上提升了用户参与度。

A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs

用于稀疏专家混合模型LLM插拔式负载平衡的复制和量化策略

Zijie Liu, Jie Peng, Jinhao Duan, Zirui Liu, Kaixiong Zhou, Mingfu Liang, Luke Simon, Xi Liu, Zhaozhuo Xu, Tianlong Chen

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Minnesota Twin Cities（明尼苏达大学双城分校） ； North Carolina State University（北卡罗来纳州立大学） ； Meta AI ； Stevens Institute of Technology（史蒂文斯理工学院） 纠错

AI总结 提出Replicate-and-Quantize策略，通过动态工作量重新平衡提升稀疏混合专家模型LLM的推理效率和稳定性。

Xray-Visual Models: Scaling Vision models on Industry Scale Data

Xray-Visual模型：在产业级数据上扩展视觉模型

Shlok Mishra, Tsung-Yu Lin, Linda Wang, Hongli Xu, Yimin Liu, Michael Hsu, Chaitanya Ahuja, Hao Yuan, Jianpeng Cheng, Hong-You Chen, Haoyuan Xu, Chao Li, Sreya Dutta Roy, Abhijeet Awasthi, Jihye Moon, Don Husa, Michael Ge, Sumedha Singla, Arkabandhu Chowdhury, Phong Dingh, Satya Narayan Shukla, Yonghuan Yang, David Jacobs, Qi Guo, Jun Xiao, Xiangjun Fan, Aashu Singh

机构 * Meta-AI ； MIT（麻省理工学院） ； University of Maryland（马里兰大学） 纠错

AI总结 Xray-Visual通过三阶段训练流程和LLM2CLIP技术，在产业级数据上实现高效多模态视觉模型，取得最佳性能并提升鲁棒性与泛化能力。

RAFP: Identifying LLM Lineages via Rare-Region Fingerprints

RAFP：通过稀有区域指纹识别大语言模型谱系

Yun-Yun Tsai, Jia Hao Liang, Chuan Guo, Junfeng Yang, Laurens van der Maaten

机构 * Department of Computer Science, Columbia University, USA（哥伦比亚大学计算机科学系） ； Meta, USA（Meta公司） 纠错

AI总结 针对大语言模型所有权验证需求，提出RAFP框架，利用稀有区域指纹识别模型谱系。该方法非侵入性，通过离散梯度优化构建指纹，理论分析表明其在微调下似然变化有界，实验显示在黑盒设置中性能优于基线。

Comments 16 pages