语言大模型 / LLM

ks-lit-3m: A 3.1 million word kashmiri text dataset for large language model pretraining

ks-lit-3m：一个310万词的克什米尔语文本数据集用于大语言模型预训练

Haq Nawaz Malik

机构 * Independent Researcher（独立研究者） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出KS-LIT-3M数据集，通过开发InPage到Unicode转换器和严格预处理，解决克什米尔语预训练数据稀缺问题，为自然语言处理研究提供高质量资源。

Cultural Encoding in Large Language Models: The Existence Gap in AI-Mediated Brand Discovery

大语言模型中的文化编码：AI介导的品牌发现中的存在缺口

Huang Junyao, Situ Ruimin, Ye Renqin

机构 * OmniEdge (Zhizibianjie) AI Consulting Co., Ltd.（OmniEdge（智比特）人工智能咨询有限公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(title)；LLM(abstract)；分类 cs.AI

AI总结 本研究揭示大语言模型中文化编码导致的品牌存在缺口，提出数据护城河框架，帮助品牌通过本地化提升AI可见性。

Comments 19 pages, 5 tables. Dataset and code available at https://github.com/zhizibianjie-omniedge/geo-cultural-encoding

SongSage: A Large Musical Language Model with Lyric Generative Pre-training

SongSage：一种具有歌词生成预训练的大型音乐语言模型

Jiani Guo, Jiajia Li, Jie Wu, Zuchao Li, Yujiu Yang, Ping Wang

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Information Management, Wuhan University（武汉大学信息管理学院） ； Tsinghua University（清华大学） ； School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；SFT(abstract)

AI总结 SongSage是一种通过歌词生成预训练的大型音乐语言模型，专为提升歌词理解和播放列表推荐能力而设计，同时具备一般知识理解能力。

Heterogeneous Low-Bandwidth Pre-Training of LLMs

异构低带宽预训练大语言模型

Yazan Obeidi, Amir Sarfi, Joel Lidin, Paul Janson, Eugene Belilovsky

机构 * Covenant AI ； Mila, Concordia University（Mila，康科德ia大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本研究提出一种异构分布式训练框架，结合低带宽流水线并行与SparseLoCo方法，通过激活压缩优化LLM预训练的通信效率与性能。

AR-MOT: Autoregressive Multi-object Tracking

AR-MOT：自回归多目标跟踪

Lianjie Jia, Yuhan Wu, Binghao Ran, Yifan Wang, Lijun Wang, Huchuan Lu

机构 * Dalian University of Technology（大连理工大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 AR-MOT通过自回归范式将多目标跟踪建模为序列生成任务，利用灵活的序列构建实现结构化输出，引入物体分词器和区域感知对齐模块，提升多模态和长期跟踪能力。

Comments 12 pages, 5 figures

Multimodal Adversarial Defense for Vision-Language Models by Leveraging One-To-Many Relationships

通过利用一对一关系进行多模态对抗防御以提升视觉语言模型

Futa Waseda, Antonio Tejero-de-Pablos, Isao Echizen

机构 * The University of Tokyo（东京大学） ； CyberAgent ； National Institute of Informatics（信息处理研究所） 纠错

专题命中 预训练与数据 ：language model(title)；分类 cs.AI

AI总结 本文提出多模态对抗训练方法，通过利用图像与文本之间的一对多关系提升视觉语言模型的对抗鲁棒性。

Comments WACV 2026 Accepted. Code available at https://github.com/CyberAgentAILab/multimodal-adversarial-training

iFlip: Iterative Feedback-driven Counterfactual Example Refinement

iFlip: 迭代反馈驱动的反事实示例精炼

Yilong Wang, Qianli Wang, Nils Feldhus

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 iFlip通过迭代反馈驱动的方法生成有效反事实示例，提升模型性能和鲁棒性。

Comments In submission

AprielGuard

AprielGuard：一个统一安全与对抗防御的8B参数模型

Jaykumar Kasundra, Anjaneya Praharaj, Sourabh Surana, Lakshmi Sirisha Chodisetty, Sourav Sharma, Abhigya Verma, Abhishek Bhardwaj, Debasish Kanhar, Aakash Bhagat, Khalil Slimi, Seganrasan Subramanian, Sathwik Tejaswi Madhusudhan, Ranga Prasad Chenna, Srinivas Sunkara

机构 * AprielGuard 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 AprielGuard是一个统一安全与对抗防御的8B参数模型，通过多任务训练在多步骤和推理场景中有效检测有害内容和对抗操纵。

ChatTS: Aligning Time Series with LLMs via Synthetic Data for Enhanced Understanding and Reasoning

通过合成数据对齐时间序列，利用大语言模型进行增强的理解与推理

Zhe Xie, Zeyan Li, Xiao He, Longlong Xu, Xidao Wen, Tieying Zhang, Jianjun Chen, Rui Shi, Dan Pei

机构 * Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 ChatTS通过合成数据生成方法，首次实现了多变量时间序列的多模态大语言模型，显著提升了时间序列的理解与推理性能。

Comments accepted by VLDB' 25

Enhancing Retrieval-Augmented Generation with Topic-Enriched Embeddings: A Hybrid Approach Integrating Traditional NLP Techniques

通过主题增强嵌入提升检索增强生成：一种整合传统NLP技术的混合方法

Rodrigo Kataishi

机构 * National University of Tierra del Fuego（泰德菲国立大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种整合传统NLP技术的混合方法，通过主题增强嵌入提升检索增强生成系统的检索精度和语义聚类效果。

DéjàQ: Open-Ended Evolution of Diverse, Learnable and Verifiable Problems

DéjàQ：开放性进化多样化、可学习且可验证的问题

Willem Röpke, Samuel Coward, Andrei Lupu, Thomas Foster, Tim Rocktäschel, Jakob Foerster

机构 * Willem Röpke AI Lab, Vrije Universiteit Brussel Belgium（维尔姆·罗普克人工智能实验室，布鲁塞尔自由大学） ； FLAIR, University of Oxford United Kingdom（FLAIR，牛津大学） ； University College London United Kingdom（伦敦大学学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 DéjàQ通过大语言模型驱动的突变策略动态进化多样化数学问题，提升模型的可学习性和推理能力，开源代码支持其应用潜力。

Chimera: Harnessing Multi-Agent LLMs for Automatic Insider Threat Simulation

Chimera: 利用多智能体大语言模型实现自动内部威胁模拟

Jiongchi Yu, Xiaofei Xie, Qiang Hu, Yuhan Ma, Ziming Zhao

机构 * Singapore Management University（新加坡管理大学） ； Tianjin University（天津大学） ； Zhejiang University（浙江大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI

AI总结 Chimera通过多智能体大语言模型生成真实企业环境中的内部威胁数据集，提升内部威胁检测的挑战性和实用性。

Comments Accepted by NDSS 2026

Improving Flexible Image Tokenizers for Autoregressive Image Generation

改进灵活的图像标记器以用于自回归图像生成

Zixuan Fu, Lanqing Guo, Chong Wang, Binbin Song, Ding Liu, Bihan Wen

机构 * Nanyang Technological University（南洋理工大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Harbin Institute of Technology（哈尔滨工业大学） ； Meta AI 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 ReToK通过冗余标记填充和层次语义正则化改进灵活图像标记器，提升自回归图像生成效果。

DisCo-Speech: Controllable Zero-Shot Speech Generation with A Disentangled Speech Codec

DisCo-Speech: 基于解耦语音编解码器的可控零样本语音生成

Tao Li, Wenshuo Ge, Zhichao Wang, Zihao Cui, Yong Ma, Yingying Gao, Chao Deng, Shilei Zhang, Junlan Feng

机构 * China Mobile Nineverse Artificial Intelligence Technology (Beijing) Co., Ltd.（中国移动Nineverse人工智能技术（北京）有限公司） ； Nineverse Institute of Artificial Intelligence（Nineverse人工智能研究院） ； The State Key Laboratory of Multimedia Information Processing, Peking University, Beijing, China（多媒体信息处理国家重点实验室，北京大学，北京，中国） 纠错

专题命中 预训练与数据 ：language model(abstract)

AI总结 DisCo-Speech通过解耦语音编解码器实现可控零样本语音生成，提升语音克隆与语调控制性能。

Comments Updated with 6,000 hours of additional training data and improved performance. Expanded appendix with ablation studies, training objectives, and hyperparameter settings for better reproducibility. Audio and code links included

Index-ASR Technical Report

索引ASR技术报告

Zheshu Song, Lu Wang, Wei Deng, Zhuo Yang, Yong Wu, Bin Xia

机构 * Artificial Intelligence Platform Department（人工智能平台部门） ； bilibili（哔哩哔哩） 纠错

专题命中 预训练与数据 ：LLM(abstract)

AI总结 Index-ASR通过整合大语言模型与包含背景噪声和上下文信息的数据，提升语音识别的鲁棒性和定制化能力。

Comments Index-ASR technical report

LABOR-LLM: Language-Based Occupational Representations with Large Language Models

LABOR-LLM：基于语言的职业表示与大语言模型

Susan Athey, Herman Brunborg, Tianyu Du, Ayush Kanodia, Keyon Vafa

机构 * Institute for Computational and Mathematical Engineering（计算与数学工程研究所） ； Stanford University（斯坦福大学） ； Graduate School of Business（商学院） ； Harvard Data Science Initiative（哈佛大学数据科学倡议） ； Harvard University（哈佛大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)

AI总结 LABOR-LLM通过大语言模型微调，利用职业历史预测下一个职业，展现优于传统模型的预测性能。

COLT: Enhancing Video Large Language Models with Continual Tool Usage

COLT: 通过持续工具使用增强视频大语言模型

Yuyang Liu, Meng Cao, Xinyuan Shi, Xiaondan Liang

机构 * University of Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed大学人工智能学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；instruction tuning(abstract)

AI总结 COLT通过持续工具使用增强视频大语言模型，解决工具数据持续变化的问题，提升视频理解性能。

Comments 16 pages

Hybrid and Unitary PEFT for Resource-Efficient Large Language Models

混合与单位元PEFT用于资源高效的大型语言模型

Haomin Qi, Zihan Dai, Chengbo Huang

机构 * Department of Information Engineering, The Chinese University of Hong Kong, Hong Kong（信息工程系，香港中文大学） ； Department of Electrical and Computer Engineering, University of California San Diego, USA（电气与计算机工程系，加州大学圣地亚哥分校） ； Department of Computer Science, University of Copenhagen, Denmark（计算机科学系，哥本哈根大学） ； Department of Electrical Engineering, Columbia University, USA（电气工程系，哥伦比亚大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文提出混合与单位元PEFT方法，通过结合BOFT和LoRA-GA的优势，提升LLM微调效率，减少训练时间和内存使用，适用于资源受限场景。

Comments 11 pages, 2 figures and 7 table

Journal ref American Journal of Computer Science and Technology (Volume 8, Issue 4, 2025)

UCO: A Multi-Turn Interactive Reinforcement Learning Method for Adaptive Teaching with Large Language Models

UCO：一种用于基于大语言模型的自适应教学的多轮交互强化学习方法

Shouang Wei, Min Zhang, Xin Lin, Bo Jiang, Kun Kuang, Zhongxiang Dai

机构 * East China Normal University（东华大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 UCO通过多轮交互强化学习方法，利用进展奖励和支架奖励函数，提升大语言模型在教育场景中的自适应教学能力。

Investigating the Multilingual Calibration Effects of Language Model Instruction-Tuning

探究语言模型指令微调的多语言校准效应

Jerry Huang, Peng Lu, Qiuhao Zeng, Yusuke Iwasawa, Yutaka Matsuo, Sarath Chandar, Edison Marrese-Taylor, Irene Li

机构 * Mila - Quebec AI Institute（魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） ； The University of Tokyo（东京大学） ； Western University（西方大学） ； Vector Institute（向量研究所） ； Polytechnique Montréal（蒙特利尔理工学院） ； CIFAR AI Chair（CIFAR人工智能主席） ； AIST（日本产业技术综合研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；foundation model(abstract)；SFT(abstract)

AI总结 本研究探讨了多语言环境下语言模型指令微调对校准的影响，发现高资源语言SFT数据能显著提升模型置信度，但准确性提升有限，揭示了标准SFT在多语言中的局限性。

Comments Accepted to The 19th Conference of the European Chapter of the Association for Computational Linguistics (EACL)

Reliability Under Randomness: An Empirical Analysis of Sparse and Dense Language Models Across Decoding Temperatures

可靠性与随机性：在解码温度下对稀疏和密集语言模型的实证分析

Kabir Grover

机构 * Kabir Grover（独立研究者） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了稀疏和密集语言模型在不同解码温度下的可靠性，发现指令微调比架构稀疏性对稳定性影响更大。

Dream-VL & Dream-VLA: Open Vision-Language and Vision-Language-Action Models with Diffusion Language Model Backbone

Dream-VL & Dream-VLA: 基于扩散语言模型的开放视觉语言和视觉语言-动作模型

Jiacheng Ye, Shansan Gong, Jiahui Gao, Junming Fan, Shuang Wu, Wei Bi, Haoli Bai, Lifeng Shang, Lingpeng Kong

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 基于扩散语言模型构建的Dream-VL和Dream-VLA在视觉语言和视觉语言-动作任务中表现出色，实现了领先的性能。

Comments Add real-world experiments

Interpretable Safety Alignment via SAE-Constructed Low-Rank Subspace Adaptation

通过SAE构造的低秩子空间适应实现可解释的安全对齐

Dianyun Wang, Qingsen Ma, Yuhu Shang, Zhifeng Lu, Zhenbo Xu, Lechen Ning, Huijia Wu, Zhaofeng He

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SAILS通过SAE构造低秩子空间实现安全对齐，提升安全性能并保持参数效率。

Promptable Foundation Models for SAR Remote Sensing: Adapting the Segment Anything Model for Snow Avalanche Segmentation

可用于SAR遥感的可提示基础模型：为雪崩分割适应Segment Anything模型

Riccardo Gelato, Carlo Sgaravatti, Jakob Grahn, Giacomo Boracchi, Filippo Maria Bianchi

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出基于Segment Anything Model的可提示基础模型，用于SAR遥感中雪崩分割任务，通过适配器、多编码器和提示工程策略提升标注效率。

FARM: Fine-Tuning Geospatial Foundation Models for Intra-Field Crop Yield Regression

FARM：针对田间作物产量回归的地理空间基础模型微调

Shayan Nejadshamsi, Yuanyuan Zhang, Shadi Zaki, Brock Porth, Lysa Porth, Vahab Khoshdel

机构 * University of Manitoba（曼尼托巴大学） ； AIRM Consulting Ltd.（AIRM咨询有限公司） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 FARM通过微调地理空间基础模型，实现了高分辨率田间作物产量预测，优于传统方法，为精准农业提供更有效的工具。

Aspect Extraction from E-Commerce Product and Service Reviews

从电子商务产品和服务评论中提取方面

Valiant Lance D. Dionela, Fatima Kriselle S. Dy, Robin James M. Hombrebueno, Aaron Rae M. Nicolas, Charibeth K. Cheng, Raphael W. Gonda

机构 * De La Salle University（德拉萨大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种针对Taglish的综合方面提取流程，结合规则、LLM和微调技术，通过生成式LLM在隐式方面处理上取得高性能，展示了在混合语言环境中的ABSA增强能力。

Towards Multi-Level Transcript Segmentation: LoRA Fine-Tuning for Table-of-Contents Generation

迈向多级转录分割：LoRA微调用于目录生成

Steffen Freisinger, Philipp Seeberger, Thomas Ranzenberger, Tobias Bocklet, Korbinian Riedhammer

机构 * Technische Hochschule Nürnberg（纽伦堡技术大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 本文提出基于LoRA微调的多级转录分割方法，通过整合语音停顿特征，提升主题和子主题边界识别的准确性。

Comments Published in Proceedings of Interspeech 2025. Please cite the proceedings version (DOI: 10.21437/Interspeech.2025-2792)

Journal ref Proceedings of Interspeech 2025, pp. 276-280

TalkPhoto: A Versatile Training-Free Conversational Assistant for Intelligent Image Editing

TalkPhoto: 一种多功能的无需训练的对话式智能图像编辑助手

Yujie Hu, Zecheng Tang, Xu Jiang, Weiqi Li, Jian Zhang

机构 * School of Electronic and Computer Engineering, Peking University（电子与计算机工程学院，北京大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 TalkPhoto通过对话交互实现无需训练的多功能图像编辑，利用提示模板分层调用现有高级编辑方法，提升编辑精度与质量。

Comments a Conversational Assistant for Intelligent Image Editing

SecureCodeRL: Security-Aware Reinforcement Learning for Code Generation with Partial-Credit Rewards

SecureCodeRL: 为代码生成的具有安全意识的强化学习

Suryansh Singh Sijwali, Suman Saha

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 SecureCodeRL通过部分信用奖励提升代码生成的语法正确性和安全性，实现更高的测试通过率和更清洁的代码输出。

Learning Evolving Latent Strategies for Multi-Agent Language Systems without Model Fine-Tuning

为多智能体语言系统学习演化的潜在策略而无需模型微调

Wenlong Tang

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：language model(abstract)；language agent(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出一种无需微调的多智能体语言系统框架，通过双环架构实现持续策略进化，利用外部潜在空间提供可解释的抽象战略表示。

Comments 17 pages, 5 figures. Code available at https://github.com/wltang-dev/Latent-Strategy-RL-Agent