语言大模型 / LLM

Automated Extraction of Multicomponent Alloy Data Using Large Language Models for Sustainable Design

利用大语言模型自动化提取多组分合金数据用于可持续设计

Aravindan Kamatchi Sundaram, Mohit Chakraborty, Sai Mani Kumar Devathi, B. Pabitramohan Prusty, Rohit Batra

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 利用大语言模型自动化提取多组分合金数据，构建大规模数据库并用于可持续材料选择。

Comments 18 pages, 6 figures

Less Finetuning, Better Retrieval: Rethinking LLM Adaptation for Biomedical Retrievers via Synthetic Data and Model Merging

更少微调，更好检索：通过合成数据和模型合并重新思考LLM适应于生物医学检索器

Sameh Khattab, Jean-Philippe Corbeil, Osman Alperen Koraş, Amin Dada, Julian Friedrich, François Beaulieu, Paul Vozila, Jens Kleesiek

机构 * IKIM, University Hospital Essen（IKIM，埃森大学医院） ； Microsoft Healthcare & Life Sciences（微软医疗与生命科学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出STM框架，通过合成数据和模型合并提升生物医学检索性能，实验显示在任务特定专家上提升23.5%并优于基线模型。

Comments Preprint

Team, Then Trim: An Assembly-Line LLM Framework for High-Quality Tabular Data Generation

团队后再修剪：一种用于高质量表格数据生成的流水线LLM框架

Congjing Zhang, Ryan Feng Lin, Ruoxuan Bao, Shuai Huang

机构 * Department of Industrial & Systems Engineering, University of Washington（华盛顿大学工业与系统工程系） ； Department of Management, Shanghai University（上海大学管理学院） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Team-then-Trim框架通过协作LLMs生成高质量表格数据，并结合三阶段质量控制流程，有效解决表格数据稀缺和质量低的问题。

Language models can learn implicit multi-hop reasoning, but only if they have lots of training data

语言模型可以学习隐式多跳推理，但只有在有大量训练数据的情况下

Yuekun Yao, Yupei Du, Dawei Zhu, Michael Hahn, Alexander Koller

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 本文研究了语言模型通过大量训练数据学习隐式多跳推理的能力，并发现训练数据量随推理跳数呈指数增长，但通过课程学习可部分缓解这一需求。

Comments Accepted at EMNLP 2025

PaTH Attention: Position Encoding via Accumulating Householder Transformations

PaTH Attention: 通过累积Householder变换实现位置编码

Songlin Yang, Yikang Shen, Kaiyue Wen, Shawn Tan, Mayank Mishra, Liliang Ren, Rameswar Panda, Yoon Kim

机构 * Massachusetts Institute of Technology（麻省理工学院） ； MIT-IBM Watson AI Lab（MIT-IBM Watson人工智能实验室） ； Stanford University（斯坦福大学） ； Microsoft（微软公司） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 PaTH Attention通过累积Householder变换实现数据依赖的位置编码，提升Transformer模型的表达能力。

Comments NeurIPS 2025 camera ready

PhysBrain: Human Egocentric Data as a Bridge from Vision Language Models to Physical Intelligence

PhysBrain: 人眼视角数据作为视觉语言模型到物理智能的桥梁

Xiaopeng Lin, Shijie Lian, Bin Yu, Ruoqi Yang, Zhaolong Shen, Changti Wu, Yuzhuo Miao, Yurun Jin, Yukun Shi, Jiyan He, Cong Huang, Bojun Cheng, Kai Chen

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Zhongguancun Academy（中关村学院） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院） ； Harbin Institute of Technology（哈尔滨工业大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 PhysBrain通过将人类眼动视频转化为多级具身监督，提升机器人在眼动感知和长期规划中的能力，实现从人类视角到机器人控制的有效迁移。

Comments 21 pages, 8 figures

Benchmarking Foundation Models for Mitotic Figure Classification

对有监督模型进行基准测试以进行分裂图分类

Jonas Ammeling, Jonathan Ganz, Emely Rosbach, Ludwig Lausser, Christof A. Bertram, Katharina Breininger, Marc Aubreville

专题命中 预训练与数据 ：foundation model(title,abstract)

AI总结 本研究通过LoRA调整基础模型，在仅用10%训练数据的情况下达到接近100%性能，并在未见领域中表现优异。

Comments Accepted for publication at the Journal of Machine Learning for Biomedical Imaging (MELBA) https://melba-journal.org/2026:003

Journal ref Machine.Learning.for.Biomedical.Imaging. 2026 (2026)

Semantic Consensus Decoding: Backdoor Defense for Verilog Code Generation

语义一致性解码：用于Verilog代码生成的后门防御

Guang Yang, Xing Hu, Xiang Chen, Xin Xia

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出语义一致性解码方法，通过提取功能需求和融合输出分布，有效防御Verilog代码生成中的后门攻击。

Comments Under Review

Beyond Static Cropping: Layer-Adaptive Visual Localization and Decoding Enhancement

超越静态裁剪：层适应的视觉定位与解码增强

Zipeng Zhu, Zhanghao Hu, Qinglin Zhu, Yuxi Hong, Yijun Liu, Jingyong Su, Yulan He, Lin Gui

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； King’s College London（伦敦大学国王学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LASER方法，通过动态层适应提升视觉定位和解码精度，解决静态裁剪在复杂推理任务中的局限性。

Comments 9 pages, 5 figures

daVinci-Agency: Unlocking Long-Horizon Agency Data-Efficiently

daVinci-Agency: 解锁长周期代理数据高效性

Mohan Jiang, Dayuan Fu, Junhao Shi, Ji Zeng, Weiye Si, Keyu Li, Xuefeng Li, Yang Xiao, Wenjie Li, Dequan Wang, Pengfei Liu

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 daVinci-Agency通过PR序列生成长周期代理数据，实现高效且高质量的监督学习，提升模型在复杂任务中的表现。

Automatic Classification of Pedagogical Materials against CS Curriculum Guidelines

根据CS课程指南自动分类教学材料

Erik Saule, Kalpathi Subramanian, Razvan Bunescu

机构 * Department of Computer Science（计算机科学系） ； The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出利用自然语言处理技术自动分类教学材料，以加速根据CS课程指南评估课程内容覆盖情况的过程。

Data Verification is the Future of Quantum Computing Copilots

数据验证是量子计算copilot的未来

Junhao Song, Ziqian Bi, Xinliang Chia, William Knottenbelt, Yudong Cao

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 本研究提出数据验证在量子计算copilot和AI自动化中的重要性，强调验证作为架构基础的必要性，通过实验表明未验证的LLMs在电路优化中准确率仅为79%。

Comments 13 Pages, 20 Figures. Accepted to AAAI 2026 Workshop on AI4Research. Comments welcome

OpenOneRec Technical Report

OpenOneRec 技术报告

Guorui Zhou, Honghui Bao, Jiaming Huang, Jiaxin Deng, Jinghao Zhang, Junda She, Kuo Cai, Lejian Ren, Lu Ren, Qiang Luo, Qianqian Wang, Qigen Hu, Rongzhou Zhang, Ruiming Tang, Shiyao Wang, Wuchao Li, Xiangyu Wu, Xinchen Luo, Xingmei Wang, Yifei Hu, Yunfan Wu, Zhanyu Liu, Zhiyang Zhang, Zixing Zhang, Bo Chen, Bin Wen, Chaoyi Ma, Chengru Song, Chenglong Chu, Defu Lian, Fan Yang, Feng Jiang, Hongtao Cheng, Huanjie Wang, Kun Gai, Pengfei Zheng, Qiang Wang, Rui Huang, Siyang Mao, Tingting Gao, Wei Yuan, Yan Wang, Yang Zhou, Yi Su, Zexuan Cheng, Zhixin Ling, Ziming Li

专题命中 预训练与数据 ：pretraining(abstract)；post-training(abstract)

AI总结 OpenOneRec 通过 RecIF-Bench 和大规模数据集提升推荐系统智能，展示模型在复杂任务中的卓越表现。

RexBERT: Context Specialized Bidirectional Encoders for E-commerce

RexBERT: 电商专用双向编码器

Rahul Bajaj, Anuj Garg

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 RexBERT通过专为电商设计的编码器，在参数更少的情况下超越通用模型，提升电商领域任务表现。

Comments Blog: https://huggingface.co/blog/thebajajra/rexbert-encoders Models: https://huggingface.co/collections/thebajajra/rexbert Ecom-niverse Dataset: https://huggingface.co/datasets/thebajajra/Ecom-niverse

LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers

LiteToken: 从BPE分词器中移除中间合并残余

Yike Sun, Haotong Yang, Zhouchen Lin, Muhan Zhang

机构 * Peking University, Beijing, China（北京大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 LiteToken通过移除BPE分词器中的低频残余标记，减少标记碎片化和参数，提升对噪声输入的鲁棒性，同时保持模型性能。

Towards Scaling Laws for Symbolic Regression

迈向符号回归的标度法则

David Otte, Jörg K. H. Franke, Arbër Zela, Fábio Ferreira, Frank Hutter

机构 * University of Freiburg（弗赖堡大学） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Open-Sci Collective（开放科学集体） ； LAION ； Prior Labs（Prior实验室） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 本文研究符号回归中计算量与性能之间的标度关系，发现验证损失和解决率随计算量呈幂律趋势，并确定了计算最优的超参数标度。

Comments Accepted at the NeurIPS 2025 Math-AI Workshop and the EurIPS 2025 AITD Workshop

HFMCA: Orthonormal Feature Learning for EEG-based Brain Decoding

HFMCA：基于EEG的脑解码的正交特征学习

Yinghao Wang, Lintao Xu, Shujian Yu, Enzo Tartaglione, Van-Tam Nguyen

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 HFMCA通过正交特征学习提升EEG脑解码的准确率和泛化能力

GRAM: Spatial general-purpose audio representations for real-world environments

GRAM：用于现实环境的空间通用音频表示

Goksenin Yuksel, Marcel van Gerven, Kiki van der Heijden

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 GRAM通过多通道掩码自编码器学习空间音频表示，在真实环境中的声音定位和识别任务中表现出色。

Comments I have accidentally uploaded a revised version of my old paper. I meant to revise arXiv:2506.00934 rather than upload a new version

Bi-directional Bias Attribution: Debiasing Large Language Models without Modifying Prompts

双向偏见归因：无需修改提示的大型语言模型去偏方法

Yujie Lin, Kunquan Li, Yixuan Liao, Xiaoxin Chen, Jinsong Su

机构 * School of Informatics, Xiamen University, China（厦门大学信息学院） ； vivo AI Lab, China（vivo AI实验室） ； Key Laboratory of Digital Protection and Intelligent Processing of Intangible Cultural Heritage of Fujian and Taiwan (Xiamen University), Ministry of Culture and Tourism, China（福建省和台湾非物质文化遗产数字化保护与智能处理重点实验室（厦门大学），文化部，中国） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种无需微调或修改提示的双向偏见归因方法，通过检测刻板印象词汇并归因神经元偏见，有效减少LLM中的偏见同时保持性能。

Sparse Subnetwork Enhancement for Underrepresented Languages in Large Language Models

稀疏子网络增强用于大型语言模型中资源匮乏语言

Daniil Gurgurov, Tanja Baeumel, Josef van Genabith, Simon Ostermann

机构 * Saarland University（萨尔兰大学） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； Centre for European Research in Trusted AI (CERTAIN)（欧洲可信人工智能研究中心） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出通过稀疏子网络增强方法，提升大型语言模型在资源匮乏语言上的性能，同时保持通用能力，并展示了其在多个语言模型上的有效性。

Comments preprint

MapCoder-Lite: Distilling Multi-Agent Coding into a Single Small LLM

MapCoder-Lite：将多智能体编码 distilling 进单一小型 LLM

Woongkyu Lee, Junhee Cho, Jungwook Choi

机构 * Hanyang University（翰阳大学） ； Samsung SDS（三星SDS） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 MapCoder-Lite通过三支柱方法将多智能体编码distilling进单一7B模型，显著提升代码生成性能并降低资源消耗。

On the Difficulty of Selecting Few-Shot Examples for Effective LLM-based Vulnerability Detection

在有效基于LLM的漏洞检测中选择少样本示例的难度

Md Abdul Hannan, Ronghao Ni, Chi Zhang, Limin Jia, Ravi Mangal, Corina S. Pasareanu

机构 * Colorado State University（科罗拉多州立大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究了在基于LLM的漏洞检测中选择少样本示例的两种标准，并发现不同编程语言对示例选择的响应不同。

Comments Workshop on LLM Assisted Security and Trust Exploration (LAST-X) 2026

Fine-tuning Pre-trained Vision-Language Models in a Human-Annotation-Free Manner

无需人工标注的预训练视觉-语言模型微调

Qian-Wei Wang, Guanghao Meng, Ren Cai, Yaguang Song, Shu-Tao Xia

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Institute of Perceptual Intelligence, Peng Cheng Laboratory（感知智能研究院，鹏城实验室） ； Peking University Shenzhen Graduate School, Peking University（北京大学深圳研究生院，北京大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 CoFT通过双模型跨模态协作机制和双提示学习策略，在无需人工标注的情况下提升预训练视觉-语言模型的下游任务适应能力。

LASS-ODE: Scaling ODE Computations to Connect Foundation Models with Dynamical Physical Systems

LASS-ODE：将ODE计算扩展以连接基础模型与动态物理系统

Haoran Li, Chenhan Xiao, Lihao Mai, Yang Weng, Erik Blasch

机构 * Department of Electrical, Computer, and Energy Engineering, Arizona State University, AZ, United States（电气、计算机与能源工程系，亚利桑那州立大学） ； Air Force Research Laboratory, VA, United States（空军研究实验室） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 LASS-ODE通过局部线性ODE表示和跨系统注意力机制，提升物理系统动态预测的可扩展性和知识共享效率。

EMO-TTA: Improving Test-Time Adaptation of Audio-Language Models for Speech Emotion Recognition

EMO-TTA: 提高音频-语言模型在语音情绪识别中的测试时适应性

Jiacheng Shi, Hongfei Du, Y. Alicia Hong, Ye Gao

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 EMO-TTA通过统计适应方法提升音频-语言模型在语音情绪识别中的测试时适应性，无需训练即可改进模型在非领域场景下的性能。

Comments Accepted to ICASSP 2026

Understanding Degradation with Vision Language Model

理解视觉退化

Guanzhou Lan, Chenyi Liao, Yuqi Yang, Qianli Ma, Zhigang Wang, Dong Wang, Bin Zhao, Xuelong Li

机构 * School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（人工智能学院、光学与电子学（iOPEN）、西北工业大学） ； Honors College, Northwestern Polytechnical University（荣誉学院、西北工业大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； School of Artificial Intelligence, Shanghai Jiaotong University（人工智能学院、上海交通大学） 纠错

专题命中 指令微调 ：language model(title,abstract)

AI总结 本文提出DU-VLM模型，通过结构化奖励强化学习解决视觉退化理解问题，引入大规模数据集并实现高保真图像恢复。

Comments 17 pages

MOSA: Mixtures of Simple Adapters Outperform Monolithic Approaches in LLM-based Multilingual ASR

MOSA：混合简单适配器在基于LLM的多语言语音识别中优于单体方法

Junjie Li, Jing Peng, Yangui Fang, Shuai Wang, Kai Yu

专题命中 指令微调 ：LLM(title,abstract)

AI总结 MOSA通过混合简单适配器在基于LLM的多语言语音识别中实现更高性能和更高效的参数使用。

Comments 5 pages, 3 figures, accepted to ICASSP 2026

SpeechMapper: Speech-to-text Embedding Projector for LLMs

SpeechMapper: 语音到大语言模型的嵌入投影器

Biswesh Mohapatra, Marcely Zanon Boito, Ioan Calapodescu

机构 * Inria Paris（法国巴黎国家信息与自动化研究所） ； NAVER LABS Europe（NAVER欧洲实验室） 纠错

专题命中 指令微调 ：LLM(abstract)；foundation model(abstract)；instruction tuning(abstract)；分类 cs.CL

AI总结 SpeechMapper通过低成本预训练和高效指令微调，实现语音与大语言模型的高效集成，提升模型的稳健性和可推广性。

Comments Accepted to ICASSP 2026

ToxiTwitch: Toward Emote-Aware Hybrid Moderation for Live Streaming Platforms

ToxiTwitch：迈向面向表情的混合审核方法

Baktash Ansari, Elias Martin, Afra Mashhadi

机构 * University of Washington（华盛顿大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ToxiTwitch通过结合LLM生成的文本和表情嵌入与传统机器学习分类器，提高Twitch直播平台对有毒行为的检测准确率。

Comments Exploratory study; prior versions submitted to peer review

From Data to Behavior: Predicting Unintended Model Behaviors Before Training

从数据到行为：在训练前预测未预料的模型行为

Mengru Wang, Zhenqian Xu, Junfeng Fang, Yunzhi Yao, Shumin Deng, Huajun Chen, Ningyu Zhang

机构 * Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MDF方法，通过数据均值表示预测模型预训练阶段的潜在偏见和安全风险，实现高效检测。

Comments Work in progress