语言大模型 / LLM

Forensic Implications of Localized AI: Artifact Analysis of Ollama, LM Studio, and llama.cpp

本地AI的法医意义：Ollama、LM Studio和llama.cpp的艺术分析

Shariq Murtuza

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文通过系统分析本地LLM工具，揭示了其在数字取证中的证据留存差异及新证据类型，为法医调查提供可复现的方法和实用命令。

PixelVLA: Advancing Pixel-level Understanding in Vision-Language-Action Model

PixelVLA：推进视觉-语言-动作模型中的像素级理解

Wenqi Liang, Gan Sun, Yao He, Jiahua Dong, Suyan Dai, Ivan Laptev, Salman Khan, Yang Cong

机构 * University of Trento（特伦托大学） ； School of Automation Science and Engineering, South China University of Technology（华南理工大学自动化科学与工程学院） ； Mohamed bin Zayed University of Artificial Intelligence（马尔代夫人工智能大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 预训练与数据 ：instruction tuning(abstract)；pretraining(abstract)；prompting(abstract)

AI总结 PixelVLA通过引入多尺度像素感知编码器和视觉提示感知编码器，提升视觉-语言-动作模型的像素级理解和多模态提示能力，在三个基准和两个模型变体中提升了10.1%-28.7%的操控成功率。

Comments 17pages,7 figures, 5 tabels

Induction Signatures Are Not Enough: A Matched-Compute Study of Load-Bearing Structure in In-Context Learning

归纳签名不足：匹配计算下的上下文学习负载结构研究

Mohammed Sabry, Anya Belz

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过Bi-Induct研究上下文学习中归纳结构的负载能力，发现归纳头部活动增加但泛化能力未提升，揭示了归纳与反归纳的不对称性。

Comments Published as a paper at 3rd DATA-FM workshop @ ICLR 2026, Brazil

Can LLMs Help Localize Fake Words in Partially Fake Speech?

大语言模型能否帮助在部分伪造语音中定位伪造词？

Lin Zhang, Thomas Thebaud, Zexin Cai, Sanjeev Khudanpur, Daniel Povey, Leibny Paola García-Perera, Matthew Wiesner, Nicholas Andrews

机构 * Xiaomi Corp., Beijing, China（小米公司，北京，中国） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文研究了大语言模型在部分伪造语音中定位伪造词的能力，通过下一个token预测构建语音LLM，并探讨了模型对编辑风格模式的依赖问题。

Comments Submitted to Interspeech 2026; put on arxiv based on requirement from Interspeech: "Interspeech no longer enforces an anonymity period for submissions." and "For authors that prefer to upload their paper online, a note indicating that the paper was submitted for review to Interspeech should be included in the posting."

ConLID: Supervised Contrastive Learning for Low-Resource Language Identification

ConLID：面向低资源语言识别的监督对比学习

Negar Foroutan, Jakhongir Saydaliev, Ye Eun Kim, Antoine Bosselut

专题命中 预训练与数据 ：LLM(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ConLID通过监督对比学习方法，提升低资源语言在领域外数据上的识别性能，同时保持高资源语言的识别效果。

Comments EACL 2026 - Main Conference

Measuring Privacy vs. Fidelity in Synthetic Social Media Datasets

测量合成社交媒体数据集中的隐私与保真度

Henry Tari, Adriana Iamnitchi

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文研究了合成Instagram帖子的隐私与保真度之间的平衡，通过作者归属攻击评估隐私风险，并发现保真度越高隐私泄露越严重。

Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation

学习解决与验证：一种用于代码和测试生成的自博弈框架

Zi Lin, Sheng Shen, Ilia Kulikov, Jingbo Shang, Jason Weston, Yixin Nie

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本研究提出Sol-Ver框架，通过自博弈方式提升代码和测试生成能力，无需人工标注或大模型，实现代码生成和测试生成的性能提升。

Comments 14 pages, 5 figures

Thoth: Mid-Training Bridges LLMs to Time Series Understanding

Thoth：中期训练使LLM具备时间序列理解能力

Jiafeng Lin, Yuxuan Wang, Jialong Wu, Huakun Luo, Zhongyi Pei, Jianmin Wang

机构 * School of Software, BNRist, Tsinghua University（软件学院、BNRist、清华大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Thoth通过中期训练和Book-of-Thoth语料库，使LLM具备时间序列理解能力，并在多个基准测试中表现优异。

What Scales in Cross-Entropy Scaling Law?

交叉熵缩放定律中什么因素具有可扩展性？

Junxi Yan, Zixi Wei, Qingyao Ai, Yiqun Liu, Jingtao Zhan

机构 * Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过分解交叉熵为误差熵、自我对齐和置信度三个部分，揭示了误差熵是唯一遵循幂律缩放的因素，从而解释了交叉熵缩放定律在小规模有效但在大尺度失效的原因。

Programming by Backprop: An Instruction is Worth 100 Examples When Finetuning LLMs

通过反向传播编程：在微调LLMs时，一条指令的价值相当于100个示例

Jonathan Cook, Silvia Sapora, Arash Ahmadian, Akbir Khan, Tim Rocktaschel, Jakob Foerster, Laura Ruis

机构 * FLAIR, University of Oxford（FLAIR，牛津大学） ； Cohere & Cohere Labs（Cohere及Cohere实验室） ； Anthropic ； UCL AI Centre（UCL人工智能中心） ； MIT（麻省理工学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过反向传播编程（PBB）使LLMs能从声明性指令中学习程序性知识，提升训练效率并减少对大量示例的依赖。

LAPIS: Lightweight API Specification for Intelligent Systems

LAPIS：轻量级智能系统API规范

Daniel Garcia

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 LAPIS是一种为LLM优化的轻量级API规范格式，通过减少token使用并保留语义信息，提升智能系统对API的处理效率。

Cautious Optimizers: Improving Training with One Line of Code

谨慎优化器：通过一行代码提升训练

Kaizhao Liang, Lizhang Chen, Bo Liu, Qiang Liu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过一行代码改进优化器，提升Transformer预训练和图像分类性能

Is In-Context Learning Learning?

上下文学习是否是学习？

Adrian de Wynter

专题命中 预训练与数据 ：pretraining(abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文探讨了上下文学习是否真正构成学习，通过实证分析发现其在泛化能力上存在局限性，且依赖于提示中的规律性而非真正的学习过程。

Comments Accepted to ICLR 2026 -- CR version

HypoBench: Towards Systematic and Principled Benchmarking for Hypothesis Generation

HypoBench: 向系统性和原则性假设生成基准测试迈进

Haokun Liu, Sicong Huang, Jingyu Hu, Yangqiaoyu Zhou, Chenhao Tan

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 HypoBench通过系统性评估不同假设生成方法的性能，揭示了现有方法在复杂任务中的不足，为提升AI在科学发现中的应用提供了新资源。

Comments 32 pages, 6 figures, website link: https://chicagohai.github.io/HypoBench/

Semantic Consensus Decoding: Backdoor Defense for Verilog Code Generation

语义一致性解码：用于Verilog代码生成的后门防御

Guang Yang, Xing Hu, Xiang Chen, Xin Xia

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出语义一致性解码方法，通过提取功能需求和融合输出分布，有效防御Verilog代码生成中的后门攻击。

Comments Under Review

ATLAS: Automated Toolkit for Large-Scale Verified Code Synthesis

ATLAS：大规模验证代码合成的自动化工具包

Mantas Baksys, Stefan Zetzsche, Olivier Bouissou, Remi Delmas, Soonho Kong, Sean B. Holden

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 ATLAS通过生成验证代码提升LLM在形式验证领域的性能，其在DafnyBench和DafnySynthesis上的表现显著提升。

Shaping capabilities with token-level data filtering

通过令牌级数据过滤塑造能力

Neil Rathi, Alec Radford

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过令牌级数据过滤在预训练过程中有效减少语言模型的不期望能力，提升模型在特定领域的性能与对齐性。

Comments update figure 2

Thoughtbubbles: an Unsupervised Method for Parallel Thinking in Latent Space

Thoughtbubbles: 一种用于潜在空间中并行思维的无监督方法

Houjun Liu, Shikhar Murty, Christopher D. Manning, Róbert Csordás

机构 * Department of Computer Science, Stanford University, Stanford, CA, United States（计算机科学系，斯坦福大学，斯坦福，CA，美国） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Thoughtbubbles是一种通过预训练学习并行自适应计算的转换器变体，能够在潜在空间中实现更高效的计算，提升模型的推理性能和零样本评估表现。

SIPDO: Closed-Loop Prompt Optimization via Synthetic Data Feedback

SIPDO：通过合成数据反馈实现闭环提示优化

Yaoning Yu, Ye Yu, Peiyan Zhang, Kai Wei, Haojing Luo, Haohan Wang

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； University of South Florida（佛罗里达州立大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SIPDO通过合成数据反馈闭环优化提示，提升提示性能并优于传统提示微调方法。

What Challenges Do Developers Face in AI Agent Systems? An Empirical Study on Stack Overflow & GitHub Issues

人工智能代理系统中开发者面临哪些挑战？对Stack Overflow和GitHub问题的实证研究

Ali Asgari, Annibale Panichella, Pouria Derakhshanfar, Mitchell Olsthoorn

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究通过分析Stack Overflow和GitHub问题，识别出人工智能代理系统开发中的五大主要挑战，包括环境管理、检索与记忆、协调控制、交互契约及运行时可靠性。

Comments v2: Adds GitHub Issues analysis; expands dataset and taxonomy; updates results and discussion. (15 pages, 5 figures)

PrivCode: When Code Generation Meets Differential Privacy

PrivCode: 当代码生成遇见差分隐私

Zheng Liu, Chen Gong, Terry Yue Zhuo, Kecen Li, Weichen Yu, Matt Fredrikson, Tianhao Wang

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 PrivCode是一种专门设计用于代码数据集的差分隐私合成器，通过两阶段框架提升隐私和效用，生成高效用代码并保护敏感数据。

Comments Accepted at NDSS 2026; code available at https://github.com/Liuzzyg/PrivCode

Mathematical Derivation Graphs: A Relation Extraction Task in STEM Manuscripts

数学推导图：STEM论文中的关系提取任务

Vishesh Prasad, Brian Kim, Nickvash Kani

机构 * Electrical and Computer Engineering University of Illinois at Urbana-Champaign（电气与计算机工程学院，伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出数学推导图数据集，旨在通过关系提取任务分析STEM论文中数学表达式间的依赖关系，并评估不同模型的识别能力。

Comments 29 pages, 11 figures

Attention Needs to Focus: A Unified Perspective on Attention Allocation

注意力需要聚焦：注意力分配的统一视角

Zichuan Fu, Wentao Song, Guojing Li, Yejing Wang, Xian Wu, Yimin Deng, Hanyu Yan, Yefeng Zheng, Xiangyu Zhao

机构 * City University of Hong Kong（香港城市大学） ； Xi’an Jiaotong University（西安交通大学） ； Tencent（腾讯） ； Westlake University（西湖大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Lazy Attention机制，通过位置歧视和Elastic-Softmax解决注意力过载和不足问题，提升注意力分配效率。

Comments preprint

AR-MOT: Autoregressive Multi-object Tracking

AR-MOT：自回归多目标跟踪

Lianjie Jia, Yuhan Wu, Binghao Ran, Yifan Wang, Lijun Wang, Huchuan Lu

机构 * Dalian University of Technology（大连理工大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 AR-MOT通过自回归范式将多目标跟踪建模为序列生成任务，利用灵活的序列构建实现结构化输出，引入物体分词器和区域感知对齐模块，提升多模态和长期跟踪能力。

Comments 12 pages, 5 figures

Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities

在大语言模型、多模态大语言模型及更广泛的领域中进行模型融合：方法、理论、应用与机遇

Enneng Yang, Li Shen, Guibing Guo, Xingwei Wang, Xiaochun Cao, Jie Zhang, Dacheng Tao

机构 * Shenzhen Campus of Sun Yat-sen University, China（中山大学深圳校区） ； Northeastern University China（东北大学） ； Shenzhen Campus of Sun Yat-sen University China（中山大学深圳校区） ； Nanyang Technological University Singapore（南洋理工大学） ； Northeastern University（东北大学） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Nanyang Technological University（南洋理工大学） ； Institute for Clarity in Documentation Dublin Ohio USA（文档清晰研究所） ； Inria Paris-Rocquencourt Rocquencourt France（巴黎-罗quentourt研究所） ； Rajiv Gandhi University Doimukh Arunachal Pradesh India（拉贾·甘地大学） ； Tsinghua University Haidian Qu Beijing Shi China（清华大学） ； Palmer Research Laboratories San Antonio Texas USA（帕勒研究中心） ； Institute for Clarity in Documentation（文档清晰研究所） ； Inria Paris-Rocquencourt（巴黎-罗quentourt研究所） ； Rajiv Gandhi University（拉贾·甘地大学） ； Tsinghua University（清华大学） ； Palmer Research Laboratories（帕勒研究中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文综述了模型融合的方法、理论、应用及未来方向，提出新的分类方法并探讨其在多个机器学习领域的应用及挑战。

Recursive Training Loops in LLMs: How training data properties modulate distribution shift in generated data?

LLMs中的递归训练循环：训练数据属性如何调节生成数据中的分布偏移

Grgur Kovač, Jérémy Perez, Rémy Portelas, Peter Ford Dominey, Pierre-Yves Oudeyer

机构 * Flowers TEAM, INRIA（INRIA Flowers TEAM） ； Ubisoft La Forge ； INSERM UMR 1093-CAPS ； Robot Cognition Laboratory, Institute Marey（Institute Marey Robot Cognition Laboratory） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了LLMs中递归训练循环中训练数据属性对生成数据分布偏移的影响，发现词汇多样性放大偏移，而语义多样性和数据质量减轻偏移，并揭示了不同领域数据之间的模块化影响。

Comments Accepted to EMNLP 2025 (Oral), Source Code: https://github.com/flowersteam/ce_llms

On Listwise Reranking for Corpus Feedback

基于语料反馈的列表级重排序

Soyoung Yoon, Jongho Kim, Daeyong Kwon, Avishek Anand, Seung-won Hwang

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 L2G通过隐式诱导文档图实现高效基于图的检索，无需显式图计算开销，且在效果上与基于oracle的图方法相当。

Comments Accepted for WSDM 2026 (short)

Super Encoding Network: Recursive Association of Multi-Modal Encoders for Video Understanding

超级编码网络：多模态编码器的递归关联用于视频理解

Boyu Chen, Siran Chen, Kunchang Li, Qinglin Xu, Yu Qiao, Yali Wang

机构 * Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； the School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；prompting(abstract)

AI总结 本文提出超级编码网络，通过递归关联多模态编码器提升视频理解性能，显著提升跟踪、识别、聊天和编辑等任务效果。

Impacts of Racial Bias in Historical Training Data for News AI

历史训练数据中的种族偏见对新闻AI的影响

Rahul Bhargava, Malene Hornstrup Jespersen, Emily Boardman Ndulue, Vivica Dsouza

机构 * Northeastern University（东北大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了基于历史训练数据的新闻AI中种族偏见的影响，发现'blacks'标签在某些群体中作为种族歧视检测器，但对现代案例表现不佳，揭示了新闻室在采用AI工具时需平衡效率与偏见风险的挑战。

SynthSeg-Agents: Multi-Agent Synthetic Data Generation for Zero-Shot Weakly Supervised Semantic Segmentation

SynthSeg-Agents: 多智能体合成数据生成用于零样本弱监督语义分割

Wangyu Wu, Zhenhong Chen, Xiaowei Huang, Fei Ma, Jimin Xiao

机构 * Xi'an Jiaotong-Liverpool University（西安交通大学利物浦大学） ； University of Liverpool（利物浦大学） ； Microsoft（微软公司） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 SynthSeg-Agents利用大型语言模型生成合成数据，无需现实图像即可实现零样本弱监督语义分割。