语言大模型 / LLM

CPS4: Class Prompt driven Semi-Supervised Spine Segmentation with Class-specific Consistency Constraint

CPS4: 基于类别提示的半监督脊柱分割与类别特定一致性约束

Qingtao Pan, Hongzan Sun, Bing Ji, Shuo Li

机构 * School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院） ； Department of Nuclear Medicine, Shengjing Hospital of China Medical University（中国医科大学附属盛京医院核医学科） ； Department of Computer and Data Science, Case Western Reserve University（凯斯西储大学计算机与数据科学系） ； Department of Biomedical Engineering, Case Western Reserve University（凯斯西储大学生物医学工程系） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

AI总结 提出CPS4，首个利用文本类别提示增强伪标签质量的半监督脊柱分割网络，通过两阶段训练（VLM预训练和半监督分割）实现，仅用5%标注数据即达80.44% Dice。

Stability and Political Orientation of International LLMs: An Exploratory Multi-Run Study Conducted in French

国际大语言模型的稳定性与政治倾向：一项在法语中进行的探索性多轮研究

Gabriel Hanna, Pierre Hanna

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 本研究通过政治指南针问卷在法语环境下测试11个国际大语言模型，分析其政治回答的稳定性和隐含倾向，发现模型间及运行间存在显著差异。

Comments 21 pages. Also available in French

A Unified Subject Map for 130 Years of Physics

130年物理学的统一学科地图

Khoa Nguyen, Pragyan Pandey, Sophie Li, Eric Y. Ma

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 利用前沿大语言模型为美国物理学会历史档案统一分配现代物理主题词表，生成1893-2025年所有论文的学科地图，支持量化分析和数据驱动研究。

SentTrack: Sentiment-Driven Bottleneck Detection in GitHub Issue Repositories

SentTrack: GitHub问题仓库中情感驱动的瓶颈检测

Xinyu Hu, Ali Behbahani, Daniel Moon, Yaren Dogan, Nasir U. Eisty

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 提出SentTrack双管道框架，结合大语言模型摘要与ABCDE交互分类，从约9000个GitHub问题线程中检测社会技术瓶颈，发现49%线程停滞，仅13%解决，并通过加权评分引擎优先处理高摩擦讨论。

Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data

两座桥梁，一条路径：从VLM到具有具身轨迹耦合数据的可泛化VLA

Linqi Yin, Shiduo Zhang, Shenling Qiu, Chenxin Li, Zhaoyang Fu, Lei Xiao, Xiang Wang, Chenchen Yang, Zhe Xu, Pengfang Qian, Jingjing Gong, Xipeng Qiu, Xuanjing Huang, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

AI总结 提出具身轨迹耦合（ETC）数据作为中间桥梁，通过三阶段训练策略（分布桥接、目标桥接、保留适应）将视觉语言模型（VLM）逐步转化为可泛化的视觉语言动作模型（VLA），解决从VLM到VLA的双重鸿沟。

Item Response Scaling Laws: A Measurement Theory Approach for Efficient and Generalizable Neural Scaling Estimation

项目反应缩放定律：一种高效且可泛化的神经缩放估计的测量理论方法

Sang Truong, Yuheng Tu, Rylan Schaeffer, Sanmi Koyejo

机构 * Stanford University（斯坦福大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出项目反应缩放定律（IRSL），将项目反应理论融入缩放定律框架，通过Beta-IRT模型利用语言模型的概率响应，将参数复杂度从O(M×N)降至O(M+N)，在预训练和测试时缩放场景中仅用50个问题即可实现可靠估计。

Compute-Optimal Network Design for Echocardiography Myocardial Segmentation and Perfusion Quantification using Neural Scaling Laws

基于神经缩放定律的超声心动图心肌分割与灌注量化的计算最优网络设计

Clara Rodrigo González, Matthieu Toulemonde, Lasha Gvinianidze, Cameron A. B. Smith, Oscar Bates, Roxy Senior, Fu Siong Ng, Meng-Xing Tang

机构 * Department of Bioengineering, Imperial College London（生物工程系，帝国理工学院伦敦分校） ； National Heart and Lung Institute, Imperial College London（国家心脏和肺 institute，帝国理工学院伦敦分校） ； Guy’s and St. Thomas’ NHS Foundation Trust（圣泰莫斯国家健康服务信托基金） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 应用神经缩放定律预测心肌分割性能，在CAMUS和CEUS数据集上确定最优网络大小，实现参数减少240倍且性能达最优，自动分割在心肌灌注量化中与资深心脏病专家等效。

Comments 15 pages, 4 figures, 5 tables, journal

DRIFT: From Robustness Gaps to Invariance Manifolds for AI-Generated Image Detection

DRIFT: 从鲁棒性差距到AI生成图像检测的不变流形

Abhishek Ameta, Sayan Banerjee, Shreyas Pandith, Harshit, Ankita Chatterjee, Akshay Janardan Bankar, Amit Satish Unde

机构 * Samsung Research Institute, Bangalore, India（三星研究所，班加罗尔，印度） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)

AI总结 提出DRIFT方法，通过冻结视觉基础模型并学习真实图像的结构化不变流形，利用鲁棒和脆弱子空间分解及排序间隔实现AI生成图像检测，在未见生成器和分辨率上表现优异。

Comments Submitted to ECCV 2026

Towards Retrieving Interaction Spaces for Agentic Search

面向智能体搜索的交互空间检索

Shengyao Zhuang, Yuansheng Ni, Hengxin Fun, Jimmy Lin, Xueguang Ma

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)

AI总结 提出RISE方法，通过BM25构建有边界的交互空间，并预处理文档支持shell式导航，在BrowseComp-Plus上以约四分之一成本达到78%准确率，优于纯shell基线。

Learning Hierarchical Skill Policies with Offline Quality-Diversity Reinforcement Learning

利用离线质量多样性强化学习学习分层技能策略

Tanachai Anakewat, Takayuki Osa, Tatsuya Harada

机构 * The University of Tokyo（东京大学） ； RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出QDOS算法，通过优势加权质量多样性预训练与双数据集复用策略，在分层技能学习框架下，于稀疏奖励任务中显著提升性能，优于强基线算法。

Comments IROS 2026

DeltaMomentum: A Key-Value based Anisotropic Momentum Update via Delta Rule

DeltaMomentum：基于键值结构的Delta规则各向异性动量更新

Euijin Hong, Guannan Qu

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 DeltaMomentum将方向感知融入动量更新，可作为优化器动量缓冲器的即插即用替代，在预训练中减少AdamW步数，在多模型和数据集上验证了其有效性。

WhiteMatter: All-to-All Cross-Layer Connections via KV Mixing

WhiteMatter：通过KV混合实现全对全跨层连接

Wenbo Zhang, Xiang Ren

机构 * University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 WhiteMatter通过将每个注意力层连接到所有过去token的所有层表示，以可变连接权重实现全对全跨层KV混合，在预训练中性能优于多50%层数的普通Transformer，缓存压缩50%仍保留大部分增益。

Comments 15 pages, 8 figures, 3 tables

Degradation-Aligned Self-Supervised Learning for State of Health Estimation of Lithium-Ion Batteries under Label Sparsity

标签稀疏场景下锂离子电池健康状态估计的退化对齐自监督学习

Jiaqi Yao, Julia Kowal

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本研究针对标签稀疏下锂离子电池SOH估计问题，提出基于CNN-GRU的退化对齐SSL框架，利用排序预训练结合微调，仅用1%标注数据即可实现高精度SOH估计，为实际应用提供新方向。

Comments Submitted to and under review at Energy and AI

LLMs Get Smarter from Targeted Synthetic Multilingual Data

大语言模型（LLMs）从针对性的合成多语言数据中提升性能

Ishika Agarwal, Arkajyoti Charaborty, Tanner Sorensen, Neha Gupta, Andreas Stolcke

机构 * UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Uniphore（优尼佛（Uniphore）公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出HOTFIXR数据生成框架，通过探测学生模型多语言弱点生成合成多语言数据，可提升大语言模型的多语言性能，降低微调引发的灾难性遗忘。

Take it Personally: The Limits of General SSL Representations for Real-Life PPG Emotion Detection

个性化考量：通用自监督学习表征在真实生活光体积描记（PPG）情感检测中的局限性

Dominika Kunc, Przemysław Kazienko, Stanisław Saganowski

机构 * Wroclaw University of Science and Technology（弗罗茨瓦夫科技大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本研究评估PPG-based SSL在真实生活情感检测中的效能，发现通用SSL表征无法胜任主观情感推理，微调时纳入个人数据才是性能关键，公开了RL-PPG编码器相关资源。

Comments 9 pages, 4 Figures, 2 Tables, Accepted as the 14th International Conference on Affective Computing and Intelligent Interaction (ACII 2026)

Lost in Reconstruction: Aligning Action Representations with Language in Vision-Language-Action Models

在重建中迷失：将视觉-语言-动作模型中的动作表示与语言对齐

Li Wenjie, Yash Jangir, Ignacy Stepka, Yash Agarwal, Marion Kipsang, Yonatan Bisk

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对视觉-语言-动作模型中动作表示与语言脱节的问题，提出SALT语义对齐动作标记器，在SimplerEnv中使策略平均成功率达71.9%，显著优于基线方法。

Why the Third Axis Is Freedom

为何第三轴是自由

Michael Timothy Bennett

机构 * The Australian National University（澳大利亚国立大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本研究指出生成式训练中XM的第三轴实际是自由，通过理论与实验证明自由选择优于MDL，且在分布偏移下针对自由度的选择可提升XM表现。

Comments Experiment code available on GitHub, in the papers folder: https://github.com/ViscousLemming/Technical-Appendices

Towards Trustworthy Hypergraph Neural Networks under Label Noise

面向标签噪声下可信赖的超图神经网络

Mengyao Zhou, Zhiheng Zhou, Xiao Han, Guiying Yan

机构 * Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Mathematics and Statistics, Shandong University（山东大学数学与统计学院） ； School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文针对标签噪声下超图节点分类问题，提出超图鲁棒框架HyperTrust，通过估计超边可信赖性及两个协同模块优化超图结构，在多数据集多噪声设置下验证了其有效性。

Comments 20 pages, 7 figures

Looped Transformers with Source-Centered State Evolution

以源为中心的状态演化循环Transformer

Bum Jun Kim, Kohei Hayashi, Shunsuke Kamiya, Masanori Koyama, Yusuke Iwasawa, Yutaka Matsuo

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出以源为中心的状态演化（SCSE）循环Transformer，解决输入条件与共享循环参考的协调问题，在多个文本任务中提升了可控循环质量，验证了其设计的有效性。

Comments 24 pages, 5 figures

Misalignment Has a Personality: A Big Five Account of Emergent Misalignment

错位具有人格特质：对涌现错位的大五人格解释

Hasibur Rahman, Smit Desai

机构 * Northeastern University（东北大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出用大五人格向量解释语言模型微调引发的错位，发现错位语料具特定人格特征，该向量可诊断安全现象且能捕捉单一方向无法识别的谄媚特质。

Comments The paper is currently under peer review

CondPSE: A Polynomial-Filtered Structural Encoder with Conditional Modulation for Graphs

CondPSE：一种具有条件调制的多项式滤波结构编码器用于图

Woohyun Lee, Hogun Park

机构 * Sungkyunkwan University（成均馆大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对消息传递图神经网络局限，提出CondPSE编码器，用多项式图滤波器组和条件调制处理节点探针，预训练后冻结用作下游输入编码。在合成基准上提升结构判别准确率，在分子性质预测中与GPSE相当，探讨了其优势及局限性。

Comments Accepted as a poster at the 2nd Frontiers in Graph Machine Learning for the Large Model Era (GMLLM'26), a KDD 2026 workshop

DocAnnot -- Accelerating the Creation of Key Information Extraction Datasets with GenAI-Powered Auto-annotation

DocAnnot——利用生成式人工智能驱动的自动注释加速关键信息提取数据集的创建

Siddartha Reddy, Harikrishnan P M, Goutham Vignesh, Varun V, Vishal Vaddina

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对关键信息提取中训练数据集创建耗时的问题，提出DocAnnot框架，利用大型视觉语言模型、OCR及SICM算法，在基准测试中自动生成注释有一定F1分数，还能用于微调下游模型，大幅节省时间成本，减少人工依赖但未完全消除人工干预。

Comments 15 pages, 2 figures

Journal ref Proc. ICDAR 2025, Lecture Notes in Computer Science, vol 16025, Part III, pp. 563-576

Masked Autoencoders Learn Perception-Relevant Representations from Resting State Neural Data

掩码自动编码器从静息态神经数据中学习与感知相关的表示

Aleksandr Kovalev, Antonio Lozano, Fabrizio Grani, Cristina Soto Sanchez, Leili Soo, Rocío López-Peco, Adrian Villamarin-Ortiz, Roberto Morollón Ruiz, María del Mar Ayuso Arroyave, Alfonso Rodil, Eduardo Fernández

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究利用自监督学习，通过在盲人参与者V1区的自发神经活动上预训练掩码自动编码器，测试能否改善感知解码。结果显示该方法有效，表明自发皮层活动有价值，无监督预训练是改善神经解码的好策略。

Comments 6 papers, 4 figures. NeuroAI Workshop, AAAI 2026

Journal ref Proceedings of the First Workshop on NeuroAI Multimodal Intelligence @ AAAI 2026, PMLR 308:93-98, 2026

BHARATI: Morphology-Aware Tokenizers for Classical Indian Languages with Subword Fertility Analysis

BHARATI：用于古典印度语言的形态感知分词器及子词丰富度分析

Poornima Kumaresan, Pavithra Muruganantham, Lakshmi Rajendran, Santhosh Sivasubramani

机构 * Centre for Sensors, Instrumentation and Cyber-Physical System Engineering (Centre for SeNSE), Indian Institute of Technology Delhi（印度理工学院德里分校传感器、仪器仪表和网络物理系统工程中心（SeNSE中心）） ； RSL Quantum, FITT, IIT Delhi（印度理工学院德里分校FITT的RSL量子公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对古典印度语言分词低效问题，提出BHARATI，它基于多语言语料库训练出三个版本的分词器，经子词丰富度分析和实验验证，v3表现出色，能减少序列长度，增加下游语言模型有效上下文长度，相关模型、脚本和基准已开源。

Comments 33 pages, 6 figures

Hyperball May Not Be a Free Lunch

超球可能并非免费午餐

Yihao Xiao, Jialong Sun, Zitian Gao, Zeming Wei, Chutian Wang, Ran Tao, Jiaye Teng, Bryan Dai

机构 * IQuest Research（IQuest研究公司） ； Peking University（北京大学） ； Sun Yat-sen University（中山大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） ； Shanghai University of Finance and Economics（上海财经大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究超球风格优化器优势来源，通过推导角有效学习率等方法分析，发现其优势并非源于更新方向，而是有效步长演变，预训练实验表明学习率衰减策略影响性能，谨慎调度对发挥其潜力至关重要。

Comments 14 pages, 4 figures. Code: https://github.com/mangocrazz/hyperball-may-not-be-a-free-lunch. Equal contribution: Yihao Xiao and Jialong Sun. Corresponding author: Bryan Dai

The Storyteller in the Model: Narrative Pattern Inheritance, Escalation Dynamics, and Alignment Governance in LLMs

模型中的讲述者：大语言模型中的叙事模式继承、升级动态和对齐治理

Adam Rigby, Raz Saremi, Azadeh Sohrabinejad, Mehdi Rahimi

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 探讨大语言模型训练中是否吸收人类写作叙事模式并致输出漂移，通过文献综述和跨论文分析发现三个关键模式，包括复制训练数据模式、出现潜在特征及微调带来意外变化，指出叙事漂移是未监测的升级途径，需专门监测工具。

Comments 2 figures, 11 pages

Mobius Learning: Cyclic Depth Folding in Transformers

莫比乌斯学习：Transformer中的循环深度折叠

Tongtian Zhu

机构 * Zhejiang University（浙江大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究挑战Transformer中块作用与位置绑定的传统观点，提出基于循环深度折叠的莫比乌斯学习，同一组块在不同数据流中有不同应用时机，实现深度角色叠加，实验表明其在分布式训练中有优势，开辟新设计空间。

Orbis 2: A Hierarchical World Model for Driving

Orbis 2：一种用于驾驶的分层世界模型

Sudhanshu Mittal, Arian Mousakhan, Silvio Galesso, Karim Farid, Jonannes Dienert, Rajat Sahay, Thomas Brox

机构 * University of Freiburg（弗莱堡大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对当前世界模型不足提出分层驾驶世界模型，跨两层分解预测，结合扩散强制预训练和教师强制微调，在长距离生成保真度等多方面取得领先成果。

Comments Project page: https://lmb-freiburg.github.io/orbis2.github.io/

UTS at ELOQUENT 2026 Voight-Kampff: structural shifts in AI writing bypass state-of-the-art detectors

UTS在2026年ELOQUENT Voight-Kampff中的表现：人工智能写作中的结构转变绕过了最先进的检测器

Dima Galat, Marian-Andrei Rizoiu

机构 * University of Technology Sydney, Australia（澳大利亚技术大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究语言模型逃避攻击在对抗性微调中的情况，利用检测器漏洞不对称性，引入新攻击家族，其愚弄率更高且能保持自然度，实验表明现有对策无效，揭示检测器在结构分布外转变下有持续漏洞并助力竞赛表现。

Comments CLEF2026, ELOQUENT2026

Active Offline-to-Online Reinforcement Learning

主动离线到在线强化学习

Alper Kamil Bozkurt, Shangtong Zhang, Yuichi Motai

机构 * Virginia Commonwealth University（弗吉尼亚共同体大学） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究离线到在线强化学习中有限交互预算下的主动策略选择问题，提出基于未来性能上置信界主动选策略微调的方法，经实验验证其优于现有基线，能更有效利用预算，推动离线强化学习在现实系统的实际部署。