arXivDaily arXiv每日学术速递 周一至周五更新

期刊&会议

Annual Meeting of the Association for Computational Linguistics · 会议 · Natural Language Processing

2026-04-24 至 2026-04-24 共收录 34
2509.20712 2026-04-24 cs.LG cs.CL

CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning

CE-GPPO:通过梯度保持剪裁策略优化协调熵在强化学习中

Zhenpeng Su, Leiyu Pan, Minxuan Lv, Yuntao Li, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

机构 * Kuaishou Technology(快手科技) Independent(独立)

AI总结 本文提出CE-GPPO算法,通过恢复剪裁令牌的梯度信号,协调探索与利用,缓解熵不稳定问题,并在数学推理任务中优于现有方法。

Comments This paper has been accepted by ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.04023 2026-04-24 cs.CL

Do LLMs Overthink Basic Math Reasoning? Benchmarking the Accuracy-Efficiency Tradeoff in Language Models

大语言模型是否会过度思考基础数学推理?评估语言模型中准确性与效率的权衡

Gaurav Srivastava, Aafiya Hussain, Sriram Srinivasan, Xuan Wang

机构 * Department of Computer Science, Virginia Tech, Blacksburg, VA, USA(弗吉尼亚理工大学计算机科学系,布莱克斯堡,VA,美国)

AI总结 本文提出LLMThinkBench基准测试,评估语言模型在准确性与过度思考之间的权衡,发现模型在复杂基准上的表现不直接转化为基础数学推理能力,且过度思考导致效率下降。

Comments Accepted to ACL 2026 Findings

详情

展开后加载摘要…

URL PDF HTML 收藏
2502.04416 2026-04-24 cs.LG cs.AI

Analytical FFN-to-MoE Restructuring via Activation Pattern Analysis

通过激活模式分析实现分析性FFN到MoE的重构

Zehua Pei, Hui-Ling Zhen, Lancheng Zou, Xianzhi Yu, Wulong Liu, Sinno Jialin Pan, Mingxuan Yuan, Bei Yu

机构 * The Chinese University of Hong Kong(香港中文大学) Huawei Technologies Co., Ltd(华为技术有限公司)

AI总结 本文提出一种分析性后训练框架,通过小数据集将FFN重构为稀疏MoE,利用激活模式分析划分共享专家和路由专家,实现快速部署或轻量微调,实验显示在计算受限场景下速度提升达1.17倍。

Comments Accepted by ACL 2026 Main

详情

展开后加载摘要…

URL PDF HTML 收藏
2410.16006 2026-04-24 cs.CL

Exploring Continual Fine-Tuning for Enhancing Language Ability in Large Language Model

探索连续微调以增强大语言模型的语言能力

Divyanshu Aggarwal, Sankarshan Damle, Navin Goyal, Satya Lokam, Sunayana Sitaram

机构 * Microsoft(微软) Microsoft Research India(微软印度研究院)

AI总结 本文研究了连续微调对大语言模型语言适应性的影响,发现相同比例数据集可保持任务能力,而数据不相似时会导致性能下降,通过层冻结和生成重放方法提升语言能力。

Comments 19 pages, 6 tables, 4 figures, Accepted to ACL 2026 Findings

详情

展开后加载摘要…

URL PDF HTML 收藏