arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-03-03 至 2026-03-03 共收录 599 信号源:cs.CL, cs.AI, cs.LG

1. 预训练与数据 41 篇

2510.06203 2026-03-03 cs.LG cs.AI 62%

Reference Grounded Skill Discovery

基于参考的技能发现

Seungeun Rho, Aaron Trinh, Danfei Xu, Sehoon Ha

机构 * School of Interactive Computing(交互计算学院) Georgia Institute of Technology(佐治亚理工学院)

专题命中 预训练与数据 :pretraining(abstract);分类 cs.AI、cs.LG

AI总结 RGSD通过语义有意义的潜在空间实现技能发现,有效模仿和发现多样行为,在运动任务中优于模仿学习基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.01804 2026-03-03 cs.CV cs.AI 57%

Non-verbal Real-time Human-AI Interaction in Constrained Robotic Environments

非语言实时人机交互在受限机器人环境中

Dragos Costea, Alina Marcu, Cristina Lazar, Marius Leordeanu

机构 * National University of Science Princeton University, Princeton NJ 08544, USA, , WWW home page: http://users/ iekeland/web/welcome.html Universit\' e de Paris-Sud, Laboratoire d'Analyse Num\' e rique, B\ a timent 425, F-91405 Orsay Cedex, France

专题命中 预训练与数据 :pretraining(abstract);分类 cs.AI

AI总结 本文提出首个实时生成非语言人机交互的框架,通过对比合成与真实数据发现时间一致性对实际性能的影响,揭示了人类与AI运动间的统计差异。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.01416 2026-03-03 cs.AI 57%

Securing the Floor and Raising the Ceiling: A Merging-based Paradigm for Multi-modal Search Agents

保障地板,提升天花板:一种基于合并的多模态搜索代理范式

Zhixiang Wang, Jingxuan Xu, Dajun Chen, Yunfang Wu, Wei Jiang, Yong Li

机构 * Peking University, Beijing, China(北京大学)

专题命中 预训练与数据 :language model(abstract);分类 cs.AI

AI总结 本文提出一种无需训练的多模态搜索代理范式,通过跨模态模型合并提升VLMs的自主搜索能力,OBM算法在搜索任务中表现出更高的效率和性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2411.02109 2026-03-03 cs.LG q-bio.BM 57%

One protein is all you need

一个蛋白质就够了

Anton Bushuiev, Roman Bushuiev, Olga Pimenova, Nikola Zadorozhny, Raman Samusevich, Elisabet Manaskova, Rachel Seongeun Kim, Hannes Stärk, Jiri Sedlar, Martin Steinegger, Tomáš Pluskal, Josef Sivic

机构 * Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University(捷克信息学、机器人学与自动化研究所,捷克技术大学) Institute of Organic Chemistry and Biochemistry of the Czech Academy of Sciences(捷克科学院有机化学与生物化学研究所) School of Biological Sciences, Seoul National University(首尔国立大学生物科学学院) Interdisciplinary Program in Bioinformatics, Seoul National University(首尔国立大学生物信息学跨学科项目) Institute of Molecular Biology and Genetics, Seoul National University(首尔国立大学分子生物学与遗传学研究所) Artificial Intelligence Institute, Seoul National University(首尔国立大学人工智能研究所) CSAIL, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室) Qminers

专题命中 预训练与数据 :language model(abstract);分类 cs.LG

AI总结 本文提出了一种蛋白质自监督定制方法,通过实时训练提升单个蛋白质预测精度,改进结构和功能预测,实现新突破。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.00267 2026-03-03 cs.AI cs.IR cs.SI 57%

Multi-Sourced, Multi-Agent Evidence Retrieval for Fact-Checking

多源多智能体证据检索用于事实核查

Shuzhi Gong, Richard O. Sinnott, Jianzhong Qi, Cecile Paris, Preslav Nakov, Zhuohan Xie

机构 * The University of Melbourne(墨尔本大学)

专题命中 预训练与数据 :LLM(abstract);分类 cs.AI

AI总结 WKGFC通过多智能体证据检索和知识图谱增强,提升事实核查的准确性和鲁棒性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.21138 2026-03-03 cs.CL 57%

EnsembleLink: Accurate Record Linkage Without Training Data

EnsembleLink:无需训练数据的准确记录链接

Noah Dasanaike

机构 * Harvard University(哈佛大学)

专题命中 预训练与数据 :language model(abstract);分类 cs.CL

AI总结 EnsembleLink通过预训练语言模型实现无需标注数据的高准确度记录链接,适用于多种数据集和领域。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.08333 2026-03-03 cs.RO cs.AI 57%

Robust Finetuning of Vision-Language-Action Robot Policies via Parameter Merging

通过参数合并实现视觉-语言-动作机器人策略的鲁棒微调

Yajat Yadav, Zhiyuan Zhou, Andrew Wagenmaker, Karl Pertsch, Sergey Levine

机构 * UC Berkeley(伯克利大学)

专题命中 预训练与数据 :pretraining(abstract);分类 cs.AI

AI总结 通过参数合并实现视觉-语言-动作机器人策略的鲁棒微调,使策略在保持泛化能力的同时有效学习新技能。

Journal ref The Fourteenth International Conference on Learning Representations 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2502.03566 2026-03-03 cs.CV cs.LG 57%

CLIP Behaves like a Bag-of-Words Model Cross-modally but not Uni-modally

CLIP 表现得像一个词袋模型但不是单模态的

Darina Koishigarina, Arnas Uselis, Seong Joon Oh

机构 * Tübingen AI Center, University of Tübingen(图宾根人工智能中心,图宾根大学)

专题命中 预训练与数据 :pretraining(abstract);分类 cs.LG

AI总结 CLIP表现出词袋模型特性,但其属性-对象绑定信息已单模态编码,通过简单线性变换可提升性能。

Comments ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.02138 2026-03-03 cs.CV 50%

OmniLottie: Generating Vector Animations via Parameterized Lottie Tokens

OmniLottie:通过参数化Lottie令牌生成向量动画

Yiying Yang, Wei Cheng, Sijin Chen, Honghao Fu, Xianfang Zeng, Yujun Cai, Gang Yu, Xingjun Ma

专题命中 预训练与数据 :language model(abstract)

AI总结 OmniLottie通过参数化Lottie令牌生成高质量向量动画,结合多模态指令与大规模数据集提升动画生成能力。

Comments Accepted by CVPR 2026. Project Page: https://openvglab.github.io/OmniLottie/

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.16409 2026-03-03 cs.DB 50%

Gen-DBA: Generative Database Agents

Gen-DBA:生成数据库代理

Yeasir Rayhan, Walid G. Aref

专题命中 预训练与数据 :foundation model(abstract)

AI总结 Gen-DBA是一种具有代理能力的通用基础模型,旨在通过统一的机器学习方法解决数据库优化中的多样化需求和挑战。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.00443 2026-03-03 cs.CV 50%

SesaHand: Enhancing 3D Hand Reconstruction via Controllable Generation with Semantic and Structural Alignment

SesaHand: 通过语义和结构对齐可控生成增强3D手重建

Zhuoran Zhao, Xianghao Kong, Linlin Yang, Zheng Wei, Pan Hui, Anyi Rao

机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州)) The Hong Kong University of Science and Technology(香港科学与技术大学) Communication University of China(中国通信大学)

专题命中 预训练与数据 :language model(abstract)

AI总结 SesaHand通过语义和结构对齐提升可控手部生成,优化3D手重建性能。

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 指令微调 49 篇

2603.01385 2026-03-03 cs.CL cs.AI 93%

Toward Graph-Tokenizing Large Language Models with Reconstructive Graph Instruction Tuning

迈向通过重构图指令微调的大型语言模型的图-词化

Zhongjian Zhang, Xiao Wang, Mengmei Zhang, Jiarui Tan, Chuan Shi

机构 * Beijing University of Posts and Telecommunications(北京邮电大学) Beihang University(北航)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);instruction tuning(title,abstract);LLM(abstract)

AI总结 本文提出RGLM方法,通过重构图信息和显式图监督改进图-词化LLMs的对齐效果,提升对图结构的理解与利用。

Comments accepted by WWW 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.01135 2026-03-03 cs.AI 91%

FCN-LLM: Empower LLM for Brain Functional Connectivity Network Understanding via Graph-level Multi-task Instruction Tuning

FCN-LLM: 通过图级多任务指令微调赋能LLM理解脑功能连接网络

Xingcan Hu, Wei Wang, Li Xiao

机构 * University of Science and Technology of China(中国科学技术大学)

专题命中 指令微调 :LLM(title,abstract);instruction tuning(title,abstract);large language model(abstract);language model(abstract)

AI总结 FCN-LLM通过图级多任务指令微调使LLM理解脑功能连接网络,提升其在临床任务中的泛化能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.24245 2026-03-03 cs.CL cs.AI 90%

Prompt and Parameter Co-Optimization for Large Language Models

用于大型语言模型的提示与参数联合优化

Xiaohe Bo, Rui Li, Zexu Sun, Quanyu Dai, Zeyu Zhang, Zihang Tian, Xu Chen, Zhenhua Dong

机构 * Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);LLM(abstract);分类 cs.CL、cs.AI

AI总结 本文提出MetaTuner框架,通过联合优化提示和参数提升大型语言模型性能,通过共享编码层和监督正则化损失实现协同优化。

Comments ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2503.02623 2026-03-03 cs.CL cs.AI 90%

Rewarding Doubt: A Reinforcement Learning Approach to Calibrated Confidence Expression of Large Language Models

奖励怀疑:一种强化学习方法用于大语言模型的校准置信表达

David Bani-Harouni, Chantal Pellegrini, Paul Stangel, Ege Özsoy, Kamilia Zaripova, Nassir Navab, Matthias Keicher

机构 * Technical University of Munich(慕尼黑技术大学) Munich Center for Machine Learning(慕尼黑机器学习中心)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);LLM(abstract);分类 cs.CL、cs.AI

AI总结 本文提出了一种强化学习方法,通过直接微调大语言模型以实现校准的置信度表达,提升了模型的置信度校准能力和泛化能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.01691 2026-03-03 cs.CL cs.LG 89%

Building a Strong Instruction Language Model for a Less-Resourced Language

为资源较少的语言构建一个强大的指令语言模型

Domen Vreš, Tjaša Arčon, Timotej Petrič, Dario Vajda, Marko Robnik-Šikonja, Iztok Lebar Bajec

机构 * University of Ljubljana, Faculty of Computer and Information Science(卢布尔雅那大学计算机与信息科学学院)

专题命中 指令微调 :language model(title,abstract);LLM(abstract);large language model(abstract);pretraining(abstract)

AI总结 本文提出了一种针对斯洛文尼亚语的高性能开源语言模型GaMS3-12B,通过预训练和微调方法在多个评估任务中优于现有模型。

Comments Currently under review at Natural Language Processing Special Issue on Language Models for Low-Resource Languages

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.15307 2026-03-03 cs.LG 89%

SecP-Tuning: Efficient Privacy-Preserving Prompt Tuning for Large Language Models via MPC

SecP-Tuning: 通过MPC实现大语言模型高效隐私保护提示微调

Jinglong Luo, Zhuo Zhang, Yehong Zhang, Shiyu Liu, Ye Dong, Hui Wang, Yue Yu, Xun Zhou, Zenglin Xu

机构 * Pengcheng Laboratory(鹏城实验室) Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)) Fudan University(复旦大学) Shanghai Academy of AI for Science(上海人工智能科学研究院) Institute of Statistical Interdisciplinary Research, Southwestern University of Finance and Economics(统计交叉学科研究所,西南财经大学) National University of Singapore(新加坡国立大学)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);SFT(abstract);分类 cs.LG

AI总结 SecP-Tuning通过MPC实现大语言模型高效隐私保护提示微调,显著提升微调效率并减少通信开销。

Comments ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2503.16553 2026-03-03 cs.CL 89%

A Foundational Individual Mobility Prediction Model based on Open-Source Large Language Models

基于开源大型语言模型的个体移动性预测基础模型

Zhenlin Qin, Leizhen Wang, Yancheng Ling, Francisco Camara Pereira, Zhenliang Ma

机构 * Department of Civil and Architectural Engineering, KTH Royal Institute of Technology(土木与建筑系,皇家理工学院) Department of Data Science and Artificial Intelligence, Monash University(数据科学与人工智能系,莫纳什大学) Department of Technology, Management and Economics Intelligent Transportation Systems, Technical University of Denmark(技术、管理与经济智能交通系统系,丹麦技术大学)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);LLM(abstract);分类 cs.CL

AI总结 本文提出MoBLLM,基于开源大语言模型,通过参数高效微调技术实现个体移动性预测,具有高准确性和成本效益,适用于多种交通场景。

Journal ref Transportation Research Part C: Emerging Technologies, Vol. 185, 105562 (2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.00498 2026-03-03 cs.LG 88%

Antibody: Strengthening Defense Against Harmful Fine-Tuning for Large Language Models via Attenuating Harmful Gradient Influence

Antibody: 通过削弱有害梯度影响来加强对抗有害微调的防御

Quoc Minh Nguyen, Trung Le, Jing Wu, Anh Tuan Bui, Mehrtash Harandi

机构 * Department of Electrical and Computer Systems Engineering, Monash University, Australia(莫纳什大学电气与计算机系统工程系) Department of Data Science and AI, Monash University, Australia(莫纳什大学数据科学与人工智能系)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.LG

AI总结 Antibody通过削弱有害梯度影响,提升大型语言模型对有害微调攻击的防御能力,并增强微调性能。

Comments Published at ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.05132 2026-03-03 cs.CL cs.AI cs.LG 88%

Training Large Language Models To Reason In Parallel With Global Forking Tokens

训练大型语言模型以并行推理与全局分叉标记

Sheng Jia, Xiao Wang, Shiva Prasad Kasiviswanathan

机构 * University of Toronto(多伦多大学) Amazon(亚马逊) Vector Institute(向量研究所)

专题命中 指令微调 :large language model(title);language model(title);SFT(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出SSFT和GFPO方法,通过集合基于的损失和双射匹配,提升大型语言模型在并行推理中的多样性和准确性,从而在数学推理和代码生成任务中取得优于传统SFT的性能。

Comments Accepted at ICLR 2026

Journal ref The Fourteenth International Conference on Learning Representations (ICLR 2026), https://openreview.net/forum?id=xBQvvkg4Wc

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.01185 2026-03-03 cs.CL cs.AI cs.CR 86%

Token-level Data Selection for Safe LLM Fine-tuning

令牌级数据选择用于安全大语言模型微调

Yanping Li, Zhening Liu, Zijian Li, Zehong Lin, Jun Zhang

机构 * The Hong Kong University of Science(香港科学与技术大学) School of Data Science, Lingnan University(岭南大学数据科学学院)

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 本文提出TOSS框架,通过令牌级数据选择提升LLM微调的安全性,同时在下游任务性能上优于现有样本级防御方法。

Comments Accepted by ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.06377 2026-03-03 cs.LG cs.AI cs.DB 86%

Relational Transformer: Toward Zero-Shot Foundation Models for Relational Data

关系变换器:面向关系数据的零样本基础模型

Rishabh Ranjan, Valter Hudovernik, Mark Znidar, Charilaos Kanatsoulis, Roshan Upendra, Mahmoud Mohammadi, Joe Meyer, Tom Palczewski, Carlos Guestrin, Jure Leskovec

专题命中 指令微调 :foundation model(title,abstract);LLM(abstract);prompting(abstract);分类 cs.AI、cs.LG

AI总结 关系变换器通过零样本迁移能力,为关系数据提供高效的基础模型解决方案。

Comments Accepted to ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.12186 2026-03-03 cs.LG cs.AI cs.CR 86%

Self-Destructive Language Model

自我毁灭型语言模型

Yuhui Wang, Rongyi Zhu, Ting Wang

机构 * Department of Computer Science(计算机科学系)

专题命中 指令微调 :language model(title,abstract);LLM(abstract);large language model(abstract);分类 cs.AI、cs.LG

AI总结 SEAM是一种通过自我毁灭机制增强大语言模型安全性的新型防御方法,通过使模型在面对有害数据微调时性能急剧下降,从而有效抵御攻击。

Comments Accepted to ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.01289 2026-03-03 cs.CL 85%

Individual Turing Test: A Case Study of LLM-based Simulation Using Longitudinal Personal Data

个体图灵测试:基于长期个人数据的LLM模拟案例研究

Minghao Guo, Ziyi Ye, Wujiang Xu, Xi Zhu, Wenyue Hua, Dimitris N. Metaxas

机构 * Rutgers University(罗格斯大学) Fudan University(复旦大学) Microsoft(微软公司)

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出个体图灵测试,通过长期个人数据评估LLM模拟个体的能力,发现不同方法在日常聊天与个人意见上的表现存在显著差异。

Comments 5 pages, 2 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.01301 2026-03-03 cs.CV 85%

When Does RL Help Medical VLMs? Disentangling Vision, SFT, and RL Gains

当RL帮助医疗VLMs时?解构视觉、SFT和RL增益

Ahmadreza Jeddi, Kimia Shaban, Negin Baghbanzadeh, Natasha Sharan, Abhishek Moturu, Elham Dolatabadi, Babak Taati

机构 * University of Toronto, Canada(多伦多大学) Vector Institute, Canada(向量研究所) KITE Research Institute, University Health Network, Canada(KITE研究机构) York University, Canada(约克大学)

专题命中 指令微调 :SFT(title,abstract);language model(abstract);post-training(abstract)

AI总结 研究通过解构视觉、SFT和RL增益,发现RL在模型已有支持时最有效,SFT扩展支持使RL有效,提出边界意识的配方并实现强性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.00516 2026-03-03 cs.CR 85%

ProtegoFed: Backdoor-Free Federated Instruction Tuning with Interspersed Poisoned Data

ProtegoFed: 无后门联邦指令微调与交错毒数据

Haodong Zhao, Jinming Hu, Zhaomin Wu, Zongru Wu, Wei Du, Junyi Hou, Caibei Zhao, Zhuosheng Zhang, Bingsheng He, Gongshen Liu

专题命中 指令微调 :instruction tuning(title,abstract);large language model(abstract);language model(abstract)

AI总结 ProtegoFed通过频域梯度和全局二次聚类机制,实现无后门的联邦指令微调,有效检测并净化跨客户端的毒数据。

Comments Work in progress

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.00515 2026-03-03 cs.CV 83%

MLLM-4D: Towards Visual-based Spatial-Temporal Intelligence

MLLM-4D: 向基于视觉的空间-时间智能迈进

Xingyilang Yin, Chengzhengxu Li, Jiahao Chang, Chi-Man Pun, Xiaodong Cun

机构 * University of Macau(澳门大学) Xi'an Jiaotong University(西安交通大学) The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) GVC Lab, Great Bay University(大湾大学GVC实验室)

专题命中 指令微调 :large language model(abstract);language model(abstract);post-training(abstract);SFT(abstract)

AI总结 MLLM-4D通过改进的数据筛选和训练策略,实现了从2D输入中强大的空间-时间理解和推理能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2503.12988 2026-03-03 cs.AR cs.AI 83%

ROMA: a Read-Only-Memory-based Accelerator for QLoRA-based On-Device LLM

ROMA: 一种基于只读存储器的QLoRA加速器

Wenqiang Wang, Yijia Zhang, Zikai Zhang, Guanting Huo, Hao Liang, Shijie Cao, Ningyi Xu

机构 * Shanghai Jiao Tong University(上海交通大学) Huixi Intelligence(汇溪智能) Peking University(北京大学) Microsoft Research Asia(微软亚洲研究院)

专题命中 指令微调 :LLM(title);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 ROMA是一种基于只读存储器的QLoRA加速器,通过混合存储架构和B-ROM设计,实现高效存储和加速LLM在边缘设备上的部署。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.02044 2026-03-03 cs.LG cs.AI cs.CL 82%

Regularization Through Reasoning: Systematic Improvements in Language Model Classification via Explanation-Enhanced Fine-Tuning

通过推理进行正则化:通过解释增强微调提升语言模型分类性能

Vivswan Shah, Randy Cogill, Hanwei Yue, Gopinath Chennupati, Rinat Khaziev

机构 * Amazon Central Analytics and Research Science(亚马逊中央分析与研究科学)

专题命中 指令微调 :language model(title);LLM(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 通过在微调中加入解释增强,提升语言模型分类的准确性和可靠性,揭示令牌级结构对推理过程的影响。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.00412 2026-03-03 cs.CV 82%

PointAlign: Feature-Level Alignment Regularization for 3D Vision-Language Models

PointAlign:用于3D视觉-语言模型的特征级对齐正则化

Yuanhao Su, Shaofeng Zhang, Xiaosong Jia, Qi Fan

机构 * University of Science and Technology of China(中国科学技术大学) Fuzhou University(福州大学) Fudan University(复旦大学) Nanjing University(南京大学)

专题命中 指令微调 :language model(title,abstract);LLM(abstract)

AI总结 PointAlign通过特征级对齐正则化提升3D视觉-语言模型的几何信息保留与任务性能

Comments CVPR 2026 Accepted

详情

展开后加载摘要…

URL PDF HTML 收藏