Meta

End-to-End Dynamic Sparsity for Resource-Adaptive LLM Inference

端到端动态稀疏性用于资源自适应的大语言模型推理

Yuhang Chen, Jinhao Duan, Ruichen Zhang, Mingfu Liang, Xiaohan Wei, Yunchen Pu, Fei Tian, Chonglin Sun, Parish Aggarwal, Frank Shyu, Luke Simon, Sandeep Pandey, Tianlong Chen, Xi Liu

机构 * Meta AI ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

AI总结 提出L2A框架，通过预算条件和输入感知的门控网络，实现层跳过、头剪枝和推理令牌减少的资源自适应推理，在Llama-3-8B和Qwen-3-4B上达到34%层稀疏性且性能损失小于0.6%。

Bifocal Diffusion Language Models: Asymmetric Bidirectional Context for Parallel Generation

双焦扩散语言模型：用于并行生成的非对称双向上下文

Yuhang Chen, Xianfeng Wu, Jinhao Duan, Mingfu Liang, Xiaohan Wei, Yunchen Pu, Fei Tian, Chonglin Sun, Parish Aggarwal, Frank Shyu, Luke Simon, Sandeep Pandey, Xi Liu, Tianlong Chen

机构 * Meta AI ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

AI总结 提出双焦扩散语言模型R2LM，通过非对称双向上下文（因果注意力+反向Mamba）解决双向注意力与KV缓存不兼容问题，实现并行生成中2.4-12.9倍吞吐提升。

Spectral Subsurface Scattering from RGB via Biophysical Skin Inversion

基于生物皮肤反演的RGB光谱次表面散射

Carlos Aliaga, Adrian Jarabo

机构 * Meta Reality Labs Research（Meta现实实验室） 纠错

AI总结 提出一种从RGB漫反射反演全光谱皮肤散射参数的方法，采用混合介质表示和链式神经网络解码器，实现路径追踪中的精确次表面散射渲染。

Comments 14 pages, 9 figures