语言大模型 / LLM

Data Provenance Auditing of Fine-Tuned Large Language Models with a Text-Preserving Technique

针对微调大型语言模型的数据来源审计技术与文本保留技术

Yanming Li, Cédric Eichler, Nicolas Anciaux, Alexandra Bensamoun, Lorena Gonzalez Manzano, Seifeddine Ghozzi

机构 * Inria（法国国家信息与自动化技术研究院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出了一种基于文本保留技术的审计系统，用于检测微调大型语言模型时敏感文本的使用情况，通过不可见Unicode字符构建标记并利用统计保证实现高检测精度。

SLM-S2ST: A multimodal language model for direct speech-to-speech translation

SLM-S2ST: 一种用于直接语音到语音翻译的多模态语言模型

Yuxuan Hu, Haibin Wu, Ruchao Fan, Xiaofei Wang, Heng Lu, Yao Qian, Jinyu Li

专题命中 预训练与数据 ：language model(title,abstract)；SLM(title,abstract)

AI总结 SLM-S2ST是一种多模态语言模型，通过音频转换器头和流式 vocoder 实现高效的语音到语音翻译，实验表明其性能优于现有模型。

Comments Accepted by ASRU 2025

Identifying Evidence-Based Nudges in Biomedical Literature with Large Language Models

利用大语言模型在生物医学文献中识别基于证据的助推

Jaydeep Chauhan, Mark Seidman, Pezhman Raeisian Parvari, Zhi Zheng, Zina Ben-Miled, Cristina Barboi, Andrew Gonzalez, Malaz Boustani

专题命中 预训练与数据 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.LG

AI总结 利用大语言模型在生物医学文献中识别基于证据的助推，通过多阶段流程实现高效提取和验证。

AntigenLM: Structure-Aware DNA Language Modeling for Influenza

AntigenLM: 用于流感的结构感知DNA语言模型

Yue Pei, Xuebin Chi, Yu Kang

机构 * Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； Beijing Institute of Genomics, Chinese Academy of Sciences（中国科学院北京基因组研究所） ； China National Center for Bioinformation（中国生物信息学国家中心） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；foundation model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 AntigenLM通过结构感知的DNA语言模型预测流感抗原变异，优于传统方法，同时在亚型分类中表现优异。

Comments Accepted by ICLR 2026

Context-level Language Modeling by Learning Predictive Context Embeddings

通过学习预测上下文嵌入进行上下文级语言建模

Beiya Dai, Yuliang Liu, Daozheng Xue, Yunchong Song, Qipeng Guo, Kai Chen, Xinbing Wang, Bowen Zhou, Zhouhan Lin

机构 * LUMIA Lab（LUMIA实验室） ； School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 ContextLM通过学习预测上下文嵌入，提升多令牌预测能力，实现更高效的参数和训练效率，同时在下游任务中表现更优。

Comments 19pages,6 figures, 13 Tables

TabICLv2: A better, faster, scalable, and open tabular foundation model

TabICLv2：一种更优、更快、可扩展且开源的表格基础模型

Jingang Qu, David Holzmüller, Gaël Varoquaux, Marine Le Morvan

机构 * inria（法国国家信息与自动化研究所） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 TabICLv2通过合成数据生成、架构创新和优化预训练协议，在无需调优的情况下超越现有最佳模型，实现更快、更高效的表格数据处理。

Configuration-to-Performance Scaling Law with Neural Ansatz

基于神经元的配置到性能缩放定律

Huaqing Zhang, Kaiyue Wen, Tengyu Ma

机构 * IIIS, Tsinghua University（清华大学信息科学技术学院） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出基于神经元的配置到性能缩放定律，通过大规模预训练日志训练模型，实现对训练配置与性能之间关系的准确预测，并支持多超参数联合优化。

Contrastive Learning for Multi Label ECG Classification with Jaccard Score Based Sigmoid Loss

基于Jaccard分数的Sigmoid损失的多标签ECG分类对比学习

Junichiro Takahashi, Masataka Sato, Satoshi Kodeta, Norihiko Takeda

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出基于Jaccard分数的Sigmoid损失的对比学习方法，用于提升多标签ECG分类的性能，通过改进损失函数和数据增强技术提高诊断准确性。

Autoregressive Ranking: Bridging the Gap Between Dual and Cross Encoders

自回归排序：在双编码器和交叉编码器之间架起桥梁

Benjamin Rozonoyer, Chong You, Michael Boratko, Himanshu Jain, Nilesh Gupta, Srinadh Bhojanapalli, Andrew McCallum, Felix Yu

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Google Research（谷歌研究院） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SToICaL损失，通过项级再加权和前缀树边际化，提升LLM在排序任务中的表现，证明ARR在表达能力上优于双编码器。

Comments 22 pages, 5 figures

Synthetic data: How could it be used for infectious disease research?

合成数据：它如何用于传染病研究？

Styliani-Christina Fragkouli, Dhwani Solanki, Leyla J Castro, Fotis E Psomopoulos, Núria Queralt-Rosinach, Davide Cirillo, Lisa C Crossman

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文探讨合成数据在传染病研究中的应用，强调其在数据隐私、减少偏见和平衡数据集方面的优势，并展望其未来潜力。

Is In-Context Learning Learning?

上下文学习是否是学习？

Adrian de Wynter

专题命中 预训练与数据 ：pretraining(abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文探讨了上下文学习是否真正构成学习，通过实证分析发现其在泛化能力上存在局限性，且依赖于提示中的规律性而非真正的学习过程。

Comments Accepted to ICLR 2026 -- CR version

HypoBench: Towards Systematic and Principled Benchmarking for Hypothesis Generation

HypoBench: 向系统性和原则性假设生成基准测试迈进

Haokun Liu, Sicong Huang, Jingyu Hu, Yangqiaoyu Zhou, Chenhao Tan

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 HypoBench通过系统性评估不同假设生成方法的性能，揭示了现有方法在复杂任务中的不足，为提升AI在科学发现中的应用提供了新资源。

Comments 32 pages, 6 figures, website link: https://chicagohai.github.io/HypoBench/

Non-Contrastive Vision-Language Learning with Predictive Embedding Alignment

非对比视觉语言学习与预测嵌入对齐

Lukas Kuhn, Giuseppe Serra, Florian Buettner

机构 * Goethe University Frankfurt（法兰克福歌德大学） ； German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ）） ； German Cancer Consortium (DKTK)（德国癌症联合会（DKTK）） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 NOVA通过联合嵌入预测与分布正则化，实现非对比视觉语言学习，简化训练目标并提升稳定性与效果。

Motion Capture is Not the Target Domain: Scaling Synthetic Data for Learning Motion Representations

动作捕捉并非目标领域：通过合成数据扩大学习动作表示

Firas Darwish, George Nicholson, Aiden Doherty, Hang Yuan

机构 * Department of Statistics University of Oxford（统计系牛津大学） ； Big Data Institute University of Oxford（大数据研究所牛津大学） ； Nuffield Department of Population Health Big Data Institute University of Oxford（人口健康系大数据研究所牛津大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文研究了通过合成数据预训练动作表示在真实场景中的迁移效果，发现混合真实数据或足够规模时能提升泛化能力，但大规模动作捕捉预训练因领域不匹配效果有限。

NMRTrans: Structure Elucidation from Experimental NMR Spectra via Set Transformers

NMRTrans: 通过集合变换从实验NMR谱图中确定结构

Liujia Yang, Zhuo Yang, Jiaqing Xie, Yubin Wang, Ben Gao, Tianfan Fu, Xingjian Wei, Jiaxing Sun, Jiang Wu, Conghui He, Yuqiang Li, Qinying Gu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 NMRTrans通过集合变换模型，利用大规模实验光谱数据提升NMR结构解析的准确性与可靠性。

Colorimeter-Supervised Skin Tone Estimation from Dermatoscopic Images for Fairness Auditing

基于色度仪的皮肤病图像中肤色估计用于公平性审计

Marin Benčević, Krešimir Romić, Ivana Hartmann Tolić, Irena Galić

机构 * Faculty of Electrical Engineering, Computer Science and Information Technology Osijek, Josip Juraj Strossmayer University of Osijek（奥西杰克大学电子工程、计算机科学与信息科技学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出基于神经网络的皮肤病图像肤色估计方法，通过色度仪验证，首次实现了对不同肤色群体性能差异的公平性审计。

Comments Preprint submitted to Computer Methods and Programs in Biomedicine

Enhancing Vehicle Detection under Adverse Weather Conditions with Contrastive Learning

通过对比学习增强恶劣天气条件下车辆检测

Boying Li, Chang Liu, Petter Kyösti, Mattias Öhman, Devashish Singha Roy, Sofia Plazzi, Hamam Mokayed, Olle Hagner

机构 * Electrical and Space Engineering（电气与航天工程） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出 sideload-CL-adaptation 框架，通过对比学习提升恶劣天气下车辆检测性能，实验表明在 NVD 数据集上 mAP50 提高 3.8%-9.5%

StatLLaMA: Multi-Stage training for domain-optimized statistical large language models

StatLLaMA：面向统计领域优化的多阶段训练方法

Jing-Yi Zeng, Guan-Hua Huang

机构 * Institute of Statistics, National Yang Ming Chiao Tung University（统计研究所，国立阳明交通大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；foundation model(abstract)

AI总结 StatLLaMA通过多阶段训练方法优化统计领域，实现高效且平衡的模型性能。

Comments 31 pages, 3 figures

Llama-Polya: Instruction Tuning for Large Language Model based on Polya's Problem-solving

Llama-Polya：基于波利亚问题解决框架的大型语言模型指令调优

Unggi Lee, Yeil Jeong, Chohui Lee, Gyuri Byun, Yunseo Lee, Minji Kang, Minji Jeon

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(title,abstract)；LLM(abstract)

AI总结 Llama-Polya通过整合波利亚问题解决框架，提升大型语言模型在数学推理和教学对齐方面的能力。

Why Does RL Generalize Better Than SFT? A Data-Centric Perspective on VLM Post-Training

为什么强化学习比监督微调在泛化能力上更优？一种以数据为中心的视觉语言模型后训练视角

Aojun Lu, Tao Feng, Hangjie Yuan, Wei Li, Yanan Sun

机构 * College of Computer Science, Sichuan University（四川大学计算机科学学院） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 指令微调 ：post-training(title,abstract)；SFT(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 本文通过数据视角揭示了RL在VLM后训练中泛化能力优于SFT的原因，提出DC-SFT方法提升OOD性能并提高稳定性。

Aligning Dialogue Agents with Global Feedback via Large Language Model Multimodal Reward Decomposition

通过大语言模型多模态奖励分解对齐对话代理

Dong Won Lee, Hae Won Park, Cynthia Breazeal, Louis-Philippe Morency

机构 * MIT（麻省理工学院） ； CMU（卡内基梅隆大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文提出了一种基于大语言模型的多模态奖励分解方法，通过分解会话级反馈来提升对话生成质量，无需人工反馈。

Comments 9 pages, 3 figures, 3 tables

Surgery: Mitigating Harmful Fine-Tuning for Large Language Models via Attention Sink

手术：通过注意力sink缓解大型语言模型的有害微调

Guozhi Liu, Weiwei Lin, Tiansheng Huang, Ruichao Mo, Qi Mu, Xiumin Wang, Li Shen

机构 * South China University of Technology（南方科技大学） ； Pengcheng Laboratory（鹏城实验室） ； Sun Yat-sen University（中山大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 Surgery通过注意力sink机制在微调阶段抑制有害模式学习，提升模型安全性。

Fine-Tuning GPT-5 for GPU Kernel Generation

为GPU内核生成微调GPT-5

Ali Tehrani, Yahya Emara, Essam Wissam, Wojciech Paluch, Waleed Atallah, Łukasz Dudziak, Mohamed S. Abdelfattah

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 通过强化学习微调GPT-5提升GPU内核生成性能，实现正确率和效率的显著提升。

RePO: Bridging On-Policy Learning and Off-Policy Knowledge through Rephrasing Policy Optimization

RePO：通过重新表述策略优化弥合基于策略学习和基于策略知识的差距

Linxuan Xia, Xiaolong Yang, Yongyuan Chen, Enyue Zhao, Deng Cai, Yasheng Wang, Boxi Wu

机构 * State Key Laboratory of CAD\&CG, the College of Computer Science ； Technology, Zhejiang University. ； FiT, Tencent, Shenzhen, China. ； School of Software Technology, Zhejiang University 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.LG

AI总结 RePO通过重新表述策略优化，有效结合基于策略学习和基于策略知识，提升困难样本利用和模型性能。

ChainRec: An Agentic Recommender Learning to Route Tool Chains for Diverse and Evolving Interests

ChainRec: 一个用于路由工具链的代理推荐学习系统，以应对多样化和演变的兴趣

Fuchun Li, Qian Li, Xingyu Gao, Bocheng Pan, Yang Wu, Jun Zhang, Huan Yu, Jie Jiang, Jinsheng Xiao, Hailong Shi

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 ChainRec通过动态选择推理工具的代理推荐系统，提升冷启动和兴趣演变场景下的推荐性能。

Modular Multi-Task Learning for Chemical Reaction Prediction

模块化多任务学习用于化学反应预测

Jiayun Pang, Ahmed M. Zaitoun, Xacobe Couso Cambeiro, Ivan Vulić

机构 * University of Greenwich（格林威治大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出使用LoRA进行模块化多任务学习，以提高有机反应预测的准确性和泛化能力。

Comments 19 pages, 7 figures

ProAPO: Progressively Automatic Prompt Optimization for Visual Classification

ProAPO：逐步自动提示优化用于视觉分类

Xiangyan Qu, Gaopeng Gou, Jiamin Zhuang, Jing Yu, Kun Song, Qihao Wang, Yili Li, Gang Xiong

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； School of Information Engineering, Minzu University of China（民族大学信息工程学院） ； University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 ProAPO通过逐步自动优化提示，提升视觉分类性能，优于现有方法并在多个数据集上取得显著改进。

Comments Accepted to the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2025

Scaling Towards the Information Boundary of Instruction Sets: The Infinity Instruct Subject Technical Report

向指令集的信息边界扩展：Infinity Instruct主体技术报告

Li Du, Hanyu Zhao, Yiming Ju, Tengfei Pan

机构 * BAAI（北京人工智能研究院） 纠错

专题命中 指令微调 ：foundation model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出系统化的指令数据构建框架，构建高质量的Infinity Instruct Subject数据集，提升模型在复杂指令任务上的性能。

Parameter-Efficient Subspace Optimization for LLM Fine-Tuning

参数高效子空间优化用于大语言模型微调

Yuchen Lou, Zeqi Ye, Minshuo Chen

专题命中 指令微调 ：LLM(title)

AI总结 本文提出PESO框架，通过参数高效子空间优化方法提升大语言模型微调的收敛性能与内存效率。

Enhancing Weakly Supervised Multimodal Video Anomaly Detection through Text Guidance

通过文本引导增强弱监督多模态视频异常检测

Shengyang Sun, Jiashen Hua, Junyi Feng, Xiaojin Gong

机构 * School of Computer Science and Technology, Hangzhou Dianzi University（杭州电子科技大学计算机科学与技术学院） ； Alibaba Cloud（阿里云） ； College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 本文提出文本引导框架，通过多阶段文本增强和多尺度瓶颈Transformer融合模块，提升弱监督多模态视频异常检测的性能。

Comments Accepted by IEEE Transactions on Multimedia