语言大模型 / LLM

Compositional Generalization in Autoregressive Models via Logit Composition

自回归模型中通过Logit组合实现组合泛化

Aakash Kumar, Maria Sofia Bucarelli, Emanuele Natale

机构 * COATI, CNRS, Inria, I3S, Université Coté d’Azur, France（COATI研究所、国家科学研究中心、Inria、I3S、法国埃克塞特大学） 纠错

专题命中 其他LLM ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文受扩散模型组合方法的启发，提出一种新的自回归系统组合策略，在因子化条件假设下实现投影组合，并证明该组合在输出空间平滑重参数化下保持长度泛化行为。

Beyond Chunk-Local Extraction: Cross-Chunk Graph Augmentation for GraphRAG

超越块级抽取：面向GraphRAG的跨块图增强

Jiaming Zhang, Yibo Zhao, Jing Yu, Jianxiang Yu, Xiang Li

机构 * School of Data Science and Engineering, East China Normal University（数据科学与工程学院，东华大学） 纠错

专题命中 其他LLM ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出CrossAug方法，利用GNN引导的跨块图增强，在查询前离线补充GraphRAG索引中缺失的跨块关系，提升多跳和长文档问答性能。

Comments 15 pages, 5 figures, 8 tables

Checking Fact with Better Retrieval: Dynamic Contrastive Learning for Evidence Retrieval

用更好的检索核查事实：用于证据检索的动态对比学习

Zhongtian Hua, Yi Luo, Meijia Yu, Yingjie Han

机构 * Zhengzhou University（郑州大学） ； Henan University of Science and Technology（河南科技大学） 纠错

专题命中 其他LLM ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出动态自适应对比学习方法DACLR，通过事件级特征提取、两阶段检索和动态对比损失优化，提升多模态证据检索的准确性。

From Pixels to Words -- Towards Native One-Vision Models at Scale

从像素到文字——迈向原生单视觉大规模模型

Haiwen Diao, Jiahao Wang, Penghao Wu, Yuhao Dong, Yuwei Niu, Yue Zhu, Zhongang Cai, Weichen Fan, Linjun Dai, Silei Wu, Xuanyu Zheng, Mingxuan Li, Yuanhan Zhang, Bo Li, Hanming Deng, Huchuan Lu, Quan Wang, Lei Yang, Lewei Lu, Dahua Lin, Ziwei Liu

机构 * S-Lab, NTU（S实验室，国立科技大学） ； SenseTime Research（商汤科技研究院） ； DLUT（大连理工大学） 纠错

专题命中 其他LLM ：language model(abstract)；foundation model(abstract)

AI总结 本文提出NEO-ov原生基础模型，通过端到端学习跨帧和像素-文字对应，无需外部编码器或适配器，在细粒度视觉感知上缩小了与模块化模型的差距，验证了原生单视觉架构的可行性和竞争力。

Comments 13 pages, 6 figures

Learning to Label: A Reinforced Self-Evolving Framework for Semi-supervised Referring Expression Segmentation

学习标注：一种用于半监督指代表达分割的强化自进化框架

Runlong Cao, Ying Zang, Chuanwei Zhou, Tianrun Chen, Tong Zhang, Zhen Cui, Chunyan Xu

机构 * School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院） ； School of Information Engineering, Huzhou Normal University（湖州师范学院信息工程学院） ； School of Artificial Intelligence, Nanjing University of Posts and Telecommunications（南京邮电大学人工智能学院） ； National Key Laboratory of Tibetan Language Intelligence（藏语智能国家重点实验室） ； Zhejiang University（浙江大学） ； Beijing Normal University（北京师范大学） 纠错

专题命中 其他LLM ：large language model(abstract)；language model(abstract)

AI总结 提出L2L框架，通过强化学习将伪标签构建转化为可学习的决策过程，结合多模态大模型提取先验，实现半监督指代表达分割的联合优化。

Comments 24 pages, 13 figures

Structuring Human-AI Productive Interdependence by Strategic Level of Automation Selection for Qualitative Inquiry

通过定性研究中的自动化水平战略选择构建人机生产性相互依赖

Feng Zhou, Jacqueline Meijer-Irons, Ambar Murillo

专题命中 其他LLM ：large language model(abstract)；language model(abstract)

AI总结 本文基于相互依赖理论，提出一个形式化框架，通过评估任务风险和验证成本来选择适当的自动化水平，以构建人机生产性相互依赖，从而解决定性分析中大规模语言模型自动化与解释性本质之间的冲突。

GraphSteal: Structural Knowledge Stealing from Graph RAG via Traversal Reconstruction

GraphSteal：通过遍历重建从图RAG中窃取结构知识

Jinze Gu, Qinghua Mao, Xi Lin, Jun Wu

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） 纠错

专题命中 其他LLM ：LLM(abstract_cn)；分类 cs.CL

AI总结 提出一种结构导向的重建框架，通过深度优先启发式搜索和广度优先扩散搜索，从黑盒图RAG系统中高保真恢复隐藏知识图，揭示敏感实体、关系和结构依赖。

Learning to Assign Prediction Tasks to Agents with Capacity Constraints

学习将预测任务分配给具有容量限制的智能体

Shang Wu, Saatvik Kher, Padhraic Smyth

机构 * Department of Computer Science（计算机科学系） ； University of California, Irvine（加州大学欧文分校） 纠错

专题命中 其他LLM ：LLM(abstract_cn)；分类 cs.AI

AI总结 针对容量受限的多个智能体（人类或AI），提出一种序贯探索-利用策略学习框架，以最大化整体预测性能。

A Structural Theory of Position Bias in Transformers

Transformer中位置偏差的结构理论

Hanna Herasimchyk, Robin Labryga, Tomislav Prusina, Sören Laue

机构 * University of Hamburg（汉堡大学） 纠错

专题命中 其他LLM ：language model(abstract)；分类 cs.LG

AI总结 本文通过残差感知累积注意力展开，提出一种结构理论解释因果Transformer中位置偏差的起源，并揭示残差连接如何改变无限深度下的注意力动力学，从而解释Lost-in-the-Middle现象。

Comments Revised version with improved presentation

Continuous Diffusion Models Can Obey Formal Syntax

连续扩散模型可以遵守形式语法

Jinwoo Kim, Taylor Berg-Kirkpatrick, Loris D'Antoni

机构 * Department of Computer Science and Engineering, University of California-San Diego, San Diego, USA（计算机科学与工程系，加州大学圣地亚哥分校，圣地亚哥，美国） 纠错

专题命中 其他LLM ：language model(abstract)；分类 cs.LG

AI总结 提出一种无需训练的引导方法，利用正则表达式约束连续扩散语言模型的生成过程，使其满足形式语法，并在JSON和自然语言基准上实现68-96%的约束满足率。

Decoupling Variance and Scale-Invariant Updates in Adaptive Gradient Descent for Unified Vector and Matrix Optimization

解耦自适应梯度下降中的方差与尺度不变更新以实现统一向量和矩阵优化

Zitao Song, Cedar Site Bai, Zhe Zhang, Brian Bullins, David F. Gleich

机构 * Department of Computer Science, Purdue University, West Lafayette, USA（计算机科学系，普渡大学，西拉法叶，美国） ； Edwardson School of Industrial Engineering, Purdue University, West Lafayette, USA（工业工程学院，普渡大学，西拉法叶，美国） 纠错

专题命中 其他LLM ：language model(abstract)；分类 cs.LG

AI总结 提出DeVA框架，通过解耦AdaGrad更新中的方差适应项和尺度不变项，统一向量自适应方法与矩阵谱优化，在语言建模和图像分类中优于Muon和SOAP，减少约6.6%的token使用。

Segment to Focus: Guiding Latent Action Models in the Presence of Distractors

聚焦分割：在干扰物存在下引导潜在动作模型

Marcus Fechner, Hamza Adnan, Constantin C. Lüth, Matthew T. Jackson, Alexey Zakharov, J. Marius Zöllner

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； University of Oxford（牛津大学） 纠错

专题命中 其他LLM ：foundation model(abstract)；分类 cs.LG

AI总结 针对动作相关视觉干扰导致潜在动作模型失效的问题，提出MaskLAM方法，利用分割基础模型（如SAM）零样本获取智能体掩码，限制重建目标于智能体像素，迫使潜在动作编码内源动态，显著提升下游策略性能。