arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-01-23 至 2026-01-23 共收录 170 信号源:cs.CL, cs.AI, cs.LG

1. 预训练与数据 15 篇

2601.15486 2026-01-23 cs.RO 89%

A Universal Large Language Model -- Drone Command and Control Interface

通用大型语言模型——无人机指挥与控制接口

Javier N. Ramos-Silva, Peter J. Burke

专题命中 预训练与数据 :large language model(title,abstract);language model(title,abstract);LLM(abstract)

AI总结 本文提出了一种通用的无人机控制接口,通过MCP协议实现LLM与无人机的无缝集成,提供实时导航和飞行控制能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.15596 2026-01-23 cs.SD cs.AI eess.AS 85%

DeepASMR: LLM-Based Zero-Shot ASMR Speech Generation for Anyone of Any Voice

DeepASMR: 基于LLM的零样本ASMR语音生成方法用于任何人任何声音

Leying Zhang, Tingxiao Zhou, Haiyang Sun, Mengxiao Bi, Yanmin Qian

机构 * Auditory Cognition and Computational Acoustics Lab, School of Computer Science& MoE Key Laboratory of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(计算机学院听力认知与计算声学实验室、教育部人工智能关键实验室、人工智能研究院,上海交通大学)

专题命中 预训练与数据 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 DeepASMR通过LLM和流匹配解码器实现零样本ASMR语音生成,无需目标说话人无声数据,提升自然度和风格保真度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.16023 2026-01-23 eess.AS cs.HC 85%

Timbre-Aware LLM-based Direct Speech-to-Speech Translation Extendable to Multiple Language Pairs

具有音色感知的基于大语言模型的直接语音到语音翻译系统,可扩展到多种语言对

Lalaram Arya, Mrinmoy Bhattacharjee, Adarsh C. R., S. R. Mahadeva Prasanna

专题命中 预训练与数据 :LLM(title,abstract);large language model(abstract);language model(abstract)

AI总结 本文提出DS2ST-LM,一种基于多语言大语言模型的直接语音到语音翻译系统,通过整合Whisper编码器、可学习投影模块和音色感知合成器,实现多语言翻译并提升说话人相似性与语音自然度。

Comments 13 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.15793 2026-01-23 cs.CL 84%

HumanLLM: Towards Personalized Understanding and Simulation of Human Nature

HumanLLM: 向个性化理解与模拟人类本质迈进

Yuxuan Lei, Tianfu Wang, Jianxun Lian, Zhengyu Hu, Defu Lian, Xing Xie

机构 * University of Science and Technology of China(科学技术大学) The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) Microsoft Research Asia(微软亚洲研究院)

专题命中 预训练与数据 :LLM(abstract);large language model(abstract);language model(abstract);foundation model(abstract)

AI总结 HumanLLM通过构建大规模用户数据集和多阶段训练流程,实现了对个体认知与行为的个性化模拟,提升了社会智能和个性化应用的效果。

Comments 12 pages, 5 figures, 7 tables, to be published in KDD 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2401.18034 2026-01-23 cs.CL cs.AI 84%

Paramanu: Compact and Competitive Monolingual Language Models for Low-Resource Morphologically Rich Indian Languages

Paramanu:紧凑且具有竞争力的单语语言模型,用于低资源的形态丰富的印度语言

Mitodru Niyogi, Eric Gaussier, Arnab Bhattacharya

专题命中 预训练与数据 :language model(title,abstract);large language model(abstract);分类 cs.CL、cs.AI

AI总结 Paramanu通过低成本训练方法,在五种印度语言上实现了高性能,优于多数多语言模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2412.01212 2026-01-23 stat.ML cond-mat.stat-mech cs.CL cs.LG 84%

Berezinskii--Kosterlitz--Thouless transition in a context-sensitive random language model

伯尔津斯基-科斯特利茨-托夫勒相变在一种上下文敏感的随机语言模型中

Yuma Toji, Jun Takahashi, Vwani Roychowdhury, Hideyuki Miyahara

机构 * Graduate School of Information Science and Technology(信息科学与技术研究生学校) Hokkaido University(北海道大学) Institute for Solid State Physics(固态物理研究所) The University of Tokyo(东京大学) Henry Samueli School of Engineering and Applied Science(亨利·萨默塞特·艾利斯工程与应用科学学院) University of California, Los Angeles(加州大学洛杉矶分校)

专题命中 预训练与数据 :language model(title,abstract);large language model(abstract);分类 cs.CL、cs.LG

AI总结 本研究提出一种上下文敏感的随机语言模型,通过数值实验展示了自然语言中存在BKT相变,揭示了语言结构与BKT相之间的关联。

Comments accepted for publication in PRE

Journal ref Phys. Rev. E 113, 015305 (Published 21 January, 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.15888 2026-01-23 cs.CV cs.AI 83%

Understanding the Transfer Limits of Vision Foundation Models

理解视觉基础模型的迁移限制

Shiqi Huang, Yipei Wang, Natasha Thorley, Alexander Ng, Shaheer Saeed, Mark Emberton, Shonit Punwani, Veeru Kasivisvanathan, Dean Barratt, Daniel Alexander, Yipeng Hu

机构 * University College London(伦敦大学学院)

专题命中 预训练与数据 :foundation model(title,abstract);pretraining(abstract);分类 cs.AI

AI总结 本文研究了视觉基础模型在迁移时的限制,发现预训练目标与下游任务需求的匹配程度影响迁移性能,提出通过改进预训练目标以提升模型效果。

Comments accepted in ISBI 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.21184 2026-01-23 cs.LG cs.AI cs.CL 82%

Can Language Models Discover Scaling Laws?

语言模型能否发现扩展定律?

Haowei Lin, Haotian Ye, Wenzheng Feng, Quzhe Huang, Yujun Li, Hubert Lim, Zhengrui Li, Xiangyu Wang, Jianzhu Ma, Yitao Liang, James Zou

专题命中 预训练与数据 :language model(title);pretraining(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出SLDAgent,一种基于进化的代理,能够自动发现比人类衍生定律更准确的扩展定律,展示了AI在科学发现中的潜力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.15595 2026-01-23 cs.CR cs.AI cs.LG 79%

Data-Free Privacy-Preserving for LLMs via Model Inversion and Selective Unlearning

无需数据的隐私保护:通过模型反向和选择性遗忘

Xinjie Zhou, Zhihui Yang, Lechao Cheng, Sai Wu, Gang Chen

机构 * School of Software Technology, Zhejiang University(浙江大学软件技术学院) Zhejiang University(浙江大学) Hefei University of Technology(合肥工业大学) Institute of Fundamental and Transdisciplinary Research, Zhejiang University(浙江大学基础与交叉学科研究院) Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术区(滨江区)区块链与数据安全研究院) The State Key Laboratory of Blockchain and Data Security(区块链与数据安全国家重点实验室) Zhejiang Key Laboratory of Big Data Intelligent Computing(浙江省大数据智能计算重点实验室)

专题命中 预训练与数据 :LLM(abstract);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出Data-Free Selective Unlearning方法,通过模型反向和选择性遗忘技术,在不访问训练数据的情况下有效移除LLM中的敏感PII,同时保持模型性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.15330 2026-01-23 cs.CL cs.AI 79%

ICPO: Illocution-Calibrated Policy Optimization for Multi-Turn Conversation

ICPO:用于多轮对话的意涵校准策略优化

Zhebo Wang, Xiaohu Mu, Zijie Zhou, Mohan Li, Wenpeng Xing, Dezhang Kong, Meng Han

机构 * Zhejiang University(浙江大学) Binjiang Institute of Zhejiang University(浙江大学滨江学院) University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) China University of Petroleum (Beijing)(中国石油大学(北京)) Guangzhou University(广州大学)

专题命中 预训练与数据 :large language model(abstract);language model(abstract);post-training(abstract);分类 cs.CL、cs.AI

AI总结 ICPO通过校准模型对指令模糊性的感知,提升多轮对话的鲁棒性和协作性,实现75%的性能提升。

Comments Accepted by ICASSP 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.15849 2026-01-23 cs.IR 78%

CGPT: Cluster-Guided Partial Tables with LLM-Generated Supervision for Table Retrieval

CGPT: 基于LLM生成监督的聚类引导部分表格用于表格检索

Tsung-Hsiang Chou, Chen-Jui Yu, Shui-Hsiang Hsu, Yao-Chung Fan

专题命中 预训练与数据 :LLM(title,abstract)

AI总结 CGPT通过聚类引导和LLM生成监督提升表格检索性能,实现跨领域泛化和模型优化。

Comments Accepted at The Web Conference 2026 (WWW 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.15118 2026-01-23 cs.SD cs.CL cs.LG 73%

WavLink: Compact Audio-Text Embeddings with a Global Whisper Token

WavLink: 基于全局Whisper标记的紧凑音频-文本嵌入

Gokul Karthik Kumar, Ludovick Lepauloux, Hakim Hacid

机构 * Technology Innovation Institute(技术创新研究所)

专题命中 预训练与数据 :LLM(abstract);language model(abstract);分类 cs.CL、cs.LG

AI总结 WavLink通过在Whisper编码器中引入可学习的全局标记,实现紧凑的音频-文本嵌入,提升了模型的可扩展性和检索性能。

Comments Accepted at ICASSP 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.16147 2026-01-23 cs.LG 70%

Beat-ssl: Capturing Local ECG Morphology through Heartbeat-level Contrastive Learning with Soft Targets

通过心跳级对比学习与软目标捕捉局部ECG形态

Muhammad Ilham Rizqyawan, Peter Macfarlane, Stathis Hadjidemetriou, Fani Deligianni

机构 * School of Computing Science, University of Glasgow, UK(Glasgow大学计算机科学学院) Research Center for Smart Mechatronics, National Research and Innovation Agency, Indonesia(智能机电研究中心,国家研究与创新局) School of Health & Wellbeing, University of Glasgow, UK(Glasgow大学健康与福祉学院) Department of Information Technologies, University of Limassol, Cyprus(拉马索尔大学信息科技系)

专题命中 预训练与数据 :foundation model(abstract);pretraining(abstract);分类 cs.LG

AI总结 Beat-SSL通过心跳级对比学习与软目标,有效捕捉ECG局部形态,提升多标签分类和分割任务性能。

Comments Accepted at ISBI 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.15780 2026-01-23 cs.CV 67%

Assessing Situational and Spatial Awareness of VLMs with Synthetically Generated Video

通过合成视频评估VLMs的情境与空间意识

Pascal Benschop, Justin Dauwels, Jan van Gemert

机构 * Delft University of Technology(代尔夫特理工大学)

专题命中 预训练与数据 :language model(abstract);pretraining(abstract)

AI总结 本文提出一个合成基准,评估VLMs在区分暴力与无害活动、跨视角角色绑定及细粒度轨迹对齐方面的性能,发现其表现仅略高于随机水平,且稳定颜色线索仅部分缓解了问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.15120 2026-01-23 cs.AI 57%

Emerging from Ground: Addressing Intent Deviation in Tool-Using Agents via Deriving Real Calls into Virtual Trajectories

从地面崛起:通过推导真实调用为虚拟轨迹来解决工具使用代理中的意图偏差

Qian Xiong, Yuekai Huang, Bo Yang, Yujia Zheng, Tianhao Li, Ziyou Jiang, Zhiyuan Chang, Zhaoyang Li, Huanxiang Feng, Mingyang Li

机构 * Beijing Forestry University(北京林业大学) State Key Laboratory of Complex System Modeling and Simulation Technology(复杂系统建模与仿真技术国家重点实验室) Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所) University of Chinese Academy of Sciences(中国科学院大学) Duke University(杜克大学)

专题命中 预训练与数据 :post-training(abstract);分类 cs.AI

AI总结 RISE通过推导真实调用为虚拟轨迹,解决工具使用代理中的意图偏差问题,提升任务完成和意图对齐性能。

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 指令微调 11 篇

2601.07903 2026-01-23 cs.LG cs.AI 91%

Enhancing Large Language Models for Time-Series Forecasting via Vector-Injected In-Context Learning

通过向量注入上下文学习增强大型语言模型用于时间序列预测

Jianqi Zhang, Jingyao Wang, Wenwen Qiang, Fanjiang Xu, Changwen Zheng

机构 * Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所) University of the Chinese Academy of Sciences(中国科学院大学)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);LLM(abstract);pretraining(abstract)

AI总结 本文提出LVICL方法,通过向量注入上下文学习提升LLM在时间序列预测中的性能,无需微调参数以减少计算开销。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.15879 2026-01-23 cs.SE cs.CL 87%

Evaluating and Achieving Controllable Code Completion in Code LLM

评估和实现可控的代码补全在代码LLM中

Jiajun Zhang, Zeyu Cui, Lei Zhang, Jian Yang, Jiaxi Yang, Qiang Liu, Zilei Wang, Binyuan Hui, Liang Wang, Junyang Lin

机构 * University of Science and Technology of China(中国科学技术大学) Alibaba Group(阿里巴巴集团) Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) University of Chinese Academy of Sciences(中国科学院大学)

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract);SFT(abstract)

AI总结 本文提出可控代码补全基准C3-Bench,评估了40种LLM在代码补全中的指令遵循能力,开发数据合成管道并推出Qwen2.5-Coder-C3模型,实现代码补全性能的突破。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.05867 2026-01-23 cs.CR cs.CL 87%

Can LLM Infer Risk Information From MCP Server System Logs?

LLM能否从MCP服务器系统日志中推断风险信息?

Jiayi Fu, Yuansen Zhang, Yinggui Wang

机构 * Southern University of Science and Technology(南方科技大学)

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract);SFT(abstract)

AI总结 本文提出首个评估LLM从MCP服务器系统日志中识别安全风险的合成基准,通过训练不同模型展示强化学习在提升LLM安全性能中的有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2502.11298 2026-01-23 cs.NI cs.AI cs.CL 81%

Integrating Language Models for Enhanced Network State Monitoring in DRL-Based SFC Provisioning

在基于深度强化学习的SFC配置中整合语言模型以增强网络状态监控

Parisa Fard Moshiri, Murat Arda Onsu, Poonam Lohan, Burak Kantarci, Emil Janulewicz

机构 * University of Ottawa(渥太华大学) Ciena(Ciena公司)

专题命中 指令微调 :language model(title,abstract);分类 cs.CL、cs.AI

AI总结 本文提出将深度强化学习与BERT结合,以提升基于DRL的SFC配置中网络状态监控的效率和准确性。

Comments 6 pages, 5 figures, submitted to 30th IEEE International Symposium on Computers and Communications (ISCC) 2025

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.11137 2026-01-23 cs.CR 75%

CoSPED: Consistent Soft Prompt Targeted Data Extraction and Defense

CoSPED:一致的软提示定向数据提取与防御

Zhuochen Yang, Kar Wai Fok, Vrizlynn L. L. Thing

专题命中 指令微调 :LLM(abstract);large language model(abstract);language model(abstract)

AI总结 CoSPED通过动态损失、加性损失等创新组件提升软提示调优一致性,实现高提取率并有效防御软提示攻击。

详情

展开后加载摘要…

URL PDF HTML 收藏
2503.07519 2026-01-23 cs.IR cs.CL 70%

GRITHopper: Decomposition-Free Multi-Hop Dense Retrieval

GRITHopper:无分解多跳密集检索

Justus-Jonas Erker, Nils Reimers, Iryna Gurevych

专题命中 指令微调 :language model(abstract);instruction tuning(abstract);分类 cs.CL

AI总结 GRITHopper-7B通过结合生成和表示指令微调,提出了一种无分解多跳密集检索模型,实现了在分布内和分布外基准上的最佳性能。

Comments Accepted at EACL 2026 Main Conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.14490 2026-01-23 cs.CV cs.AI cs.CL cs.LG 67%

GutenOCR: A Grounded Vision-Language Front-End for Documents

GutenOCR:文档的 grounded 视觉-语言前端

Hunter Heidenreich, Ben Elliott, Olivia Dinica, Yosheb Getachew

专题命中 指令微调 :language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 GutenOCR 通过微调 Qwen2.5-VL 模型,实现了文档中的 grounded OCR 和检测,提升了 OCR 得分和文本检测召回率,但存在页面线性化和公式布局方面的权衡。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.15390 2026-01-23 cs.LG 57%

FedUMM: A General Framework for Federated Learning with Unified Multimodal Models

FedUMM: 一种统一多模态模型的联邦学习通用框架

Zhaolong Su, Leheng Zhao, Xiaoying Wu, Ziyue Xu, Jindong Wang

机构 * NVIDIA

专题命中 指令微调 :foundation model(abstract);分类 cs.LG

AI总结 FedUMM提出了一种低通信成本的联邦学习框架,用于训练统一多模态模型,通过参数高效微调实现客户端和服务器的高效协作,提升了隐私保护下的多模态模型训练效果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.04369 2026-01-23 physics.soc-ph cs.CL 57%

Generalization to Political Beliefs from Fine-Tuning on Sports Team Preferences

从体育队偏好微调到政治信念的泛化

Owen Terry

专题命中 指令微调 :LLM(abstract);分类 cs.CL

AI总结 研究通过微调体育队偏好模型,发现其政治信念泛化与预期不符,需进一步探索微调机制对模型行为的影响。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.03892 2026-01-23 cs.SD cs.LG 57%

Lightweight and perceptually-guided voice conversion for electro-laryngeal speech

轻量级且感知引导的语音转换用于电声式语音

Benedikt Mayrhofer, Franz Pernkopf, Philipp Aichinger, Martin Hagmüller

专题命中 指令微调 :pretraining(abstract);分类 cs.LG

AI总结 本文提出一种轻量级语音转换方法,通过结合自监督预训练与监督微调,提升电声式语音的自然度和可懂度,验证了轻量级架构在语音康复中的可行性。

Comments 5 pages, 5 figures. Paper accepted for ICASSP 2026. Audio samples available at https://spsc-tugraz.github.io/lw-elvc-icassp26/

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.15594 2026-01-23 cs.IR 50%

Blockchain-Based Spectrum Resource Securitization via Semi-Fungible Token-Lock

基于区块链的频谱资源证券化 via 半法币代币锁定

Zhixian Zhou, Bin Chen, Zhe Peng, Zhiming Liang, Ruijun Wu, Chen Sun, Shuo Wang

专题命中 指令微调 :SFT(abstract)

AI总结 本文提出半法币代币锁定机制,通过确定性状态转换减少链上开销,实现频谱资产的灵活证券化与流动性增强。

详情

展开后加载摘要…

URL PDF HTML 收藏

3. 后训练与偏好优化 2 篇

2406.12205 2026-01-23 cs.LG cs.AI cs.IT math.IT math.ST stat.ML stat.TH 81%

On the Exponential Convergence for Offline RLHF with Pairwise Comparisons

关于通过成对比较进行离线RLHF的指数收敛性

Zhirui Chen, Vincent Y. F. Tan

专题命中 后训练与偏好优化 :RLHF(title,abstract);分类 cs.AI、cs.LG

AI总结 本文提出了一种在离线RLHF中通过成对比较实现指数收敛的算法RL-LOW,并推导了实例依赖的下界。

Comments Accepted as an oral presentation at AAAI 2026 (AI Alignment Track)

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.08521 2026-01-23 cs.LG 77%

Your Group-Relative Advantage Is Biased

你的组相对优势存在偏差

Fengkai Yang, Zherui Chen, Xiaohan Wang, Xiaodong Lu, Jiajun Chai, Guojun Yin, Wei Lin, Shuai Ma, Fuzhen Zhuang, Deqing Wang, Yaodong Yang, Jianxin Li, Yikun Ban

机构 * Beihang University(北航大学) University of California, Berkeley(加州大学伯克利分校) Peking University(北京大学) Meituan(美团)

专题命中 后训练与偏好优化 :large language model(abstract);language model(abstract);post-training(abstract);分类 cs.LG

AI总结 本文提出HA-DW方法,通过修正组相对优势估计的偏差,提升基于组的强化学习在数学推理任务中的性能。

详情

展开后加载摘要…

URL PDF HTML 收藏

4. 长上下文与记忆 8 篇

2601.01747 2026-01-23 cs.CR cs.AI cs.CV cs.LG 81%

Crafting Adversarial Inputs for Large Vision-Language Models Using Black-Box Optimization

为大型视觉-语言模型设计对抗输入使用黑盒优化

Jiwei Guan, Haibo Jin, Haohan Wang

机构 * School of Computing, Macquarie University(麦考瑞大学计算机学院) School of Information Sciences, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校信息科学学院)

专题命中 长上下文与记忆 :language model(title,abstract);分类 cs.AI、cs.LG

AI总结 本文提出了一种基于零阶优化的黑盒劫持攻击方法,针对大型视觉-语言模型实现高成功率的对抗性攻击,揭示了当前模型安全机制的不足。

Comments EACL

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.15305 2026-01-23 cs.AI 79%

Gated Sparse Attention: Combining Computational Efficiency with Training Stability for Long-Context Language Models

门控稀疏注意力:结合计算效率与训练稳定性以长上下文语言模型

Alfred Shen, Aaron Shen

机构 * Amazon(亚马逊)

专题命中 长上下文与记忆 :language model(title,abstract);分类 cs.AI

AI总结 GSA通过结合门控和稀疏注意力机制,在提升长上下文语言模型计算效率的同时,显著增强了训练稳定性与模型质量。

Comments 15 pages, 1 figure, attention mechanism, sparse attention, gating, long-context

详情

展开后加载摘要…

URL PDF HTML 收藏