Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models
注意力折扣自适应采样器用于掩码扩散语言模型
机构 * University of Bern(伯尔尼大学) ; EPFL(瑞士联邦理工学院洛桑分校)
AI总结 针对掩码扩散语言模型并行解码中候选词交互导致的不安全问题,提出训练无关的重排序规则ADAS,通过注意力折扣软惩罚改进子集构建,在多个基准上提升低NFE性能。
高校专区
注意力折扣自适应采样器用于掩码扩散语言模型
机构 * University of Bern(伯尔尼大学) ; EPFL(瑞士联邦理工学院洛桑分校)
AI总结 针对掩码扩散语言模型并行解码中候选词交互导致的不安全问题,提出训练无关的重排序规则ADAS,通过注意力折扣软惩罚改进子集构建,在多个基准上提升低NFE性能。
PERK:长上下文推理作为参数高效测试时学习
机构 * EPFL(瑞士联邦理工学院)
AI总结 PERK通过参数高效测试时学习方法,实现对长上下文的高效推理,显著提升模型性能。
Comments ICLR 2026, 10 pages, 7 figures, test-time learning, long context, meta-learning
Journal ref The Fourteenth International Conference on Learning Representations, 2026
REC中对比学习的合适嵌入空间是什么?
机构 * Stony Brook University(斯通布鲁克大学) ; EPFL(苏黎世联邦理工学院)
AI总结 该研究针对REC任务现有对比学习策略的局限,提出视觉嵌入空间的C-REX框架,作为即插即用模块提升REC及类别无关计数任务性能,在REC上MAE最高提升28%、RMSE提升24.5%。
Comments ECCV 2026 (15 pages, 4 figures)