语言大模型 / LLM

Data Provenance Auditing of Fine-Tuned Large Language Models with a Text-Preserving Technique

针对微调大型语言模型的数据来源审计技术与文本保留技术

Yanming Li, Cédric Eichler, Nicolas Anciaux, Alexandra Bensamoun, Lorena Gonzalez Manzano, Seifeddine Ghozzi

机构 * Inria（法国国家信息与自动化技术研究院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出了一种基于文本保留技术的审计系统，用于检测微调大型语言模型时敏感文本的使用情况，通过不可见Unicode字符构建标记并利用统计保证实现高检测精度。

SLM-S2ST: A multimodal language model for direct speech-to-speech translation

SLM-S2ST: 一种用于直接语音到语音翻译的多模态语言模型

Yuxuan Hu, Haibin Wu, Ruchao Fan, Xiaofei Wang, Heng Lu, Yao Qian, Jinyu Li

专题命中 预训练与数据 ：language model(title,abstract)；SLM(title,abstract)

AI总结 SLM-S2ST是一种多模态语言模型，通过音频转换器头和流式 vocoder 实现高效的语音到语音翻译，实验表明其性能优于现有模型。

Comments Accepted by ASRU 2025

Identifying Evidence-Based Nudges in Biomedical Literature with Large Language Models

利用大语言模型在生物医学文献中识别基于证据的助推

Jaydeep Chauhan, Mark Seidman, Pezhman Raeisian Parvari, Zhi Zheng, Zina Ben-Miled, Cristina Barboi, Andrew Gonzalez, Malaz Boustani

专题命中 预训练与数据 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.LG

AI总结 利用大语言模型在生物医学文献中识别基于证据的助推，通过多阶段流程实现高效提取和验证。

AntigenLM: Structure-Aware DNA Language Modeling for Influenza

AntigenLM: 用于流感的结构感知DNA语言模型

Yue Pei, Xuebin Chi, Yu Kang

机构 * Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； Beijing Institute of Genomics, Chinese Academy of Sciences（中国科学院北京基因组研究所） ； China National Center for Bioinformation（中国生物信息学国家中心） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；foundation model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 AntigenLM通过结构感知的DNA语言模型预测流感抗原变异，优于传统方法，同时在亚型分类中表现优异。

Comments Accepted by ICLR 2026

Context-level Language Modeling by Learning Predictive Context Embeddings

通过学习预测上下文嵌入进行上下文级语言建模

Beiya Dai, Yuliang Liu, Daozheng Xue, Yunchong Song, Qipeng Guo, Kai Chen, Xinbing Wang, Bowen Zhou, Zhouhan Lin

机构 * LUMIA Lab（LUMIA实验室） ； School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 ContextLM通过学习预测上下文嵌入，提升多令牌预测能力，实现更高效的参数和训练效率，同时在下游任务中表现更优。

Comments 19pages,6 figures, 13 Tables

TabICLv2: A better, faster, scalable, and open tabular foundation model

TabICLv2：一种更优、更快、可扩展且开源的表格基础模型

Jingang Qu, David Holzmüller, Gaël Varoquaux, Marine Le Morvan

机构 * inria（法国国家信息与自动化研究所） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 TabICLv2通过合成数据生成、架构创新和优化预训练协议，在无需调优的情况下超越现有最佳模型，实现更快、更高效的表格数据处理。

Configuration-to-Performance Scaling Law with Neural Ansatz

基于神经元的配置到性能缩放定律

Huaqing Zhang, Kaiyue Wen, Tengyu Ma

机构 * IIIS, Tsinghua University（清华大学信息科学技术学院） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出基于神经元的配置到性能缩放定律，通过大规模预训练日志训练模型，实现对训练配置与性能之间关系的准确预测，并支持多超参数联合优化。

Contrastive Learning for Multi Label ECG Classification with Jaccard Score Based Sigmoid Loss

基于Jaccard分数的Sigmoid损失的多标签ECG分类对比学习

Junichiro Takahashi, Masataka Sato, Satoshi Kodeta, Norihiko Takeda

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出基于Jaccard分数的Sigmoid损失的对比学习方法，用于提升多标签ECG分类的性能，通过改进损失函数和数据增强技术提高诊断准确性。

Autoregressive Ranking: Bridging the Gap Between Dual and Cross Encoders

自回归排序：在双编码器和交叉编码器之间架起桥梁

Benjamin Rozonoyer, Chong You, Michael Boratko, Himanshu Jain, Nilesh Gupta, Srinadh Bhojanapalli, Andrew McCallum, Felix Yu

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Google Research（谷歌研究院） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SToICaL损失，通过项级再加权和前缀树边际化，提升LLM在排序任务中的表现，证明ARR在表达能力上优于双编码器。

Comments 22 pages, 5 figures

Synthetic data: How could it be used for infectious disease research?

合成数据：它如何用于传染病研究？

Styliani-Christina Fragkouli, Dhwani Solanki, Leyla J Castro, Fotis E Psomopoulos, Núria Queralt-Rosinach, Davide Cirillo, Lisa C Crossman

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文探讨合成数据在传染病研究中的应用，强调其在数据隐私、减少偏见和平衡数据集方面的优势，并展望其未来潜力。

Is In-Context Learning Learning?

上下文学习是否是学习？

Adrian de Wynter

专题命中 预训练与数据 ：pretraining(abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文探讨了上下文学习是否真正构成学习，通过实证分析发现其在泛化能力上存在局限性，且依赖于提示中的规律性而非真正的学习过程。

Comments Accepted to ICLR 2026 -- CR version

HypoBench: Towards Systematic and Principled Benchmarking for Hypothesis Generation

HypoBench: 向系统性和原则性假设生成基准测试迈进

Haokun Liu, Sicong Huang, Jingyu Hu, Yangqiaoyu Zhou, Chenhao Tan

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 HypoBench通过系统性评估不同假设生成方法的性能，揭示了现有方法在复杂任务中的不足，为提升AI在科学发现中的应用提供了新资源。

Comments 32 pages, 6 figures, website link: https://chicagohai.github.io/HypoBench/

Non-Contrastive Vision-Language Learning with Predictive Embedding Alignment

非对比视觉语言学习与预测嵌入对齐

Lukas Kuhn, Giuseppe Serra, Florian Buettner

机构 * Goethe University Frankfurt（法兰克福歌德大学） ； German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ）） ； German Cancer Consortium (DKTK)（德国癌症联合会（DKTK）） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 NOVA通过联合嵌入预测与分布正则化，实现非对比视觉语言学习，简化训练目标并提升稳定性与效果。

Motion Capture is Not the Target Domain: Scaling Synthetic Data for Learning Motion Representations

动作捕捉并非目标领域：通过合成数据扩大学习动作表示

Firas Darwish, George Nicholson, Aiden Doherty, Hang Yuan

机构 * Department of Statistics University of Oxford（统计系牛津大学） ； Big Data Institute University of Oxford（大数据研究所牛津大学） ； Nuffield Department of Population Health Big Data Institute University of Oxford（人口健康系大数据研究所牛津大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文研究了通过合成数据预训练动作表示在真实场景中的迁移效果，发现混合真实数据或足够规模时能提升泛化能力，但大规模动作捕捉预训练因领域不匹配效果有限。

NMRTrans: Structure Elucidation from Experimental NMR Spectra via Set Transformers

NMRTrans: 通过集合变换从实验NMR谱图中确定结构

Liujia Yang, Zhuo Yang, Jiaqing Xie, Yubin Wang, Ben Gao, Tianfan Fu, Xingjian Wei, Jiaxing Sun, Jiang Wu, Conghui He, Yuqiang Li, Qinying Gu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 NMRTrans通过集合变换模型，利用大规模实验光谱数据提升NMR结构解析的准确性与可靠性。

Colorimeter-Supervised Skin Tone Estimation from Dermatoscopic Images for Fairness Auditing

基于色度仪的皮肤病图像中肤色估计用于公平性审计

Marin Benčević, Krešimir Romić, Ivana Hartmann Tolić, Irena Galić

机构 * Faculty of Electrical Engineering, Computer Science and Information Technology Osijek, Josip Juraj Strossmayer University of Osijek（奥西杰克大学电子工程、计算机科学与信息科技学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出基于神经网络的皮肤病图像肤色估计方法，通过色度仪验证，首次实现了对不同肤色群体性能差异的公平性审计。

Comments Preprint submitted to Computer Methods and Programs in Biomedicine

Enhancing Vehicle Detection under Adverse Weather Conditions with Contrastive Learning

通过对比学习增强恶劣天气条件下车辆检测

Boying Li, Chang Liu, Petter Kyösti, Mattias Öhman, Devashish Singha Roy, Sofia Plazzi, Hamam Mokayed, Olle Hagner

机构 * Electrical and Space Engineering（电气与航天工程） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出 sideload-CL-adaptation 框架，通过对比学习提升恶劣天气下车辆检测性能，实验表明在 NVD 数据集上 mAP50 提高 3.8%-9.5%