语言大模型 / LLM

Monotonicity as an Architectural Bias for Robust Language Models

单调性作为提升语言模型鲁棒性的架构偏倚

Patrick Cooper, Alireza Nadali, Ashutosh Trivedi, Alvaro Velasquez

机构 * Department of Computer Science, University of Colorado Boulder, Boulder, CO, USA（计算机科学系，科罗拉多大学波尔德分校，波尔德，科罗拉多州，美国） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过在Transformer模型中引入单调性约束，提升语言模型对对抗攻击的鲁棒性，同时保持预训练性能。

Comments 12 pages, 1 figure

PointT2I: LLM-based text-to-image generation via keypoints

PointT2I: 通过关键点生成基于大语言模型的文本到图像生成

Taekyung Lee, Donggyu Lee, Myungjoo Kang

机构 * Interdisciplinary Program in Artificial Intelligence, Seoul National University（人工智能跨学科项目，首尔国立大学） ； Department of Mathematical Sciences, Seoul National University（数学科学系，首尔国立大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 PointT2I通过大语言模型生成关键点并指导图像生成，无需微调即可实现基于文本提示的准确姿态对齐图像生成。

Enhancing Smart Contract Vulnerability Detection in DApps Leveraging Fine-Tuned LLM

利用微调大语言模型增强DApp智能合约漏洞检测

Jiuyang Bu, Wenkai Li, Zongwei Li, Zeng Zhang, Xiaoqi Li

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文利用微调大语言模型和数据增强技术，提升DApp智能合约漏洞检测的准确性和效率，尤其在检测非机器可审计的漏洞方面表现突出。

Discovering 100+ Compiler Defects in 72 Hours via LLM-Driven Semantic Logic Recomposition

通过LLM驱动的语义逻辑重组发现100余项编译器缺陷

Xingbang He, Yuanwei Chen, Hao Wu, Jikang Zhang, Zicheng Wang, Ligeng Chen, Junjie Peng, Haiyang Wei, Yi Qian, Tiantai Zhang, Linzhang Wang, Bing Mao

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 FeatureFuzz通过语义逻辑重组发现编译器缺陷，有效提升模糊测试的多样性与发现能力。

Does LLM Focus on the Right Words? Mitigating Context Bias in LLM-based Recommenders

LLM是否聚焦在正确的词语？基于组分布鲁棒优化的推荐系统去偏方法

Bohao Wang, Jiawei Chen, Feng Liu, Changwang Zhang, Jun Wang, Canghong Jin, Chun Chen, Can Wang

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出GDRT方法，通过组分布鲁棒优化减轻LLM推荐系统中的上下文偏见，提升推荐准确性和公平性。

Comments Accepted by WWW2026

GRASP: Guided Region-Aware Sparse Prompting for Adapting MLLMs to Remote Sensing

GRASP: 基于区域感知的稀疏提示引导方法用于适应遥感图像的多模态大语言模型

Qigan Sun, Chaoning Zhang, Jianwei Zhang, Xudong Wang, Jiehui Xie, Pengcheng Zheng, Haoyu Wang, Sungyoung Lee, Chi-lok Andy Tai, Yang Yang, Heng Tao Shen

机构 * School of Computing, Kyung Hee University（京畿大学计算机学院） ； School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院） ； School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） ； College of Computer Science and Information Engineering, Harbin Normal University（哈尔滨师范大学计算机科学与信息工程学院） ； College of Professional and Continuing Education, The Hong Kong Polytechnic University（香港理工大学专业及继续教育学院） ； School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） 纠错

专题命中 指令微调 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 GRASP通过引导区域感知的稀疏提示方法，提升多模态大语言模型在遥感图像任务中的适应性与性能。

Call2Instruct: Automated Pipeline for Generating Q&A Datasets from Call Center Recordings for LLM Fine-Tuning

Call2Instruct：从呼叫中心录音自动生成问答数据集的自动化流程用于LLM微调

Alex Echeverria, Sávio Salvarino Teles de Oliveira, Fernando Marques Federson

机构 * Instituto de Informática – Universidade Federal de Goiás（信息技术学院 – 巴西戈亚州联邦大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Call2Instruct自动化流程，通过音频处理、文本处理和语义提取技术，从呼叫中心录音生成问答数据集，用于LLM微调。

Comments 15 pages, 1 figures, conference

Do We Really Need SFT? Prompt-as-Policy over Knowledge Graphs for Cold-start Next POI Recommendation

我们真的需要SFT吗？基于知识图谱的提示作为策略用于冷启动下POI推荐

Jinze Wang, Lu Zhang, Yiyang Cui, Tiehua Zhang, Zhishu Shen, Yuze Liu, Xingjun Ma, Jiong Jin

专题命中 指令微调 ：SFT(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文提出基于知识图谱的提示作为策略方法，通过构建可学习的决策过程提升冷启动下POI推荐性能，实现对非活跃用户11.87%的Acc@1提升。

Climbing the Ladder of Reasoning: What LLMs Can-and Still Can't-Solve after SFT?

攀登推理的阶梯：在SFT之后，大语言模型能解决什么问题？

Yiyou Sun, Georgia Zhou, Haoyue Bai, Hao Wang, Dacheng Li, Nouha Dziri, Dawn Song

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Wisconsin, Madison（威斯康星大学麦迪逊分校） ； Allen Institute for AI（人工智能研究院） 纠错

专题命中 指令微调 ：SFT(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过分析AIME24数据集，揭示了大语言模型在数学推理任务中不同难度层级的进阶要求，发现SFT对提升推理能力有限，而扩大数据规模更有效。

Chronicals: A High-Performance Framework for LLM Fine-Tuning with 3.51x Speedup over Unsloth

Chronicals: 一种高性能的LLM微调框架，相比Unsloth提速3.51倍

Arjun S. Nair

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Chronicals通过四种协同优化，实现了比Unsloth快3.51倍的LLM微调速度，并提供了完整的数学基础和实现。

Comments 61 pages, 25 figures, open-source framework available at https://github.com/Ajwebdevs/Chronicals and pip install chronicals

Chasing Shadows: Pitfalls in LLM Security Research

追影：大语言模型安全研究中的陷阱

Jonathan Evertz, Niklas Risse, Nicolai Neuer, Andreas Müller, Philipp Normann, Gaetano Sapia, Srishti Gupta, David Pape, Soumya Shaw, Devansh Srivastav, Christian Wressnegger, Erwin Quiring, Thorsten Eisenhofer, Daniel Arp, Lea Schönherr

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文识别了大语言模型安全研究中的九种常见陷阱，并通过实证案例研究分析了这些陷阱对评估、性能和可重复性的影响，提出可操作的指导方针。

Comments About to appear at NDSS'26

Decoding Human-LLM Collaboration in Coding: An Empirical Study of Multi-Turn Conversations in the Wild

解码人类与大语言模型在编程中的协作：多轮对话的真实世界经验研究

Binquan Zhang, Li Zhang, Haoyuan Zhang, Fang Liu, Song Wang, Bo Shen, An Fu, Lin Shi

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本研究通过实证分析探讨人类与LLM在编程中的协作机制，发现任务类型影响交互模式，LLM在调试和重构任务中表现欠佳，用户满意度受任务类型影响。

LDP: Parameter-Efficient Fine-Tuning of Multimodal LLM for Medical Report Generation

LDP：多模态大语言模型在医疗报告生成中的参数高效微调

Tianyu Zhou, Junyi Tang, Zehui Li, Dahong Qian, Suncheng Xiang

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 LDP通过多模态大语言模型和参数高效微调技术，提升结肠镜息肉诊断报告的准确性和效率，显著降低训练成本并获得专家评分。

Comments Work in progress

YOLOA: Real-Time Affordance Detection via LLM Adapter

YOLOA：通过LLM适配器实现实时的可及性检测

Yuqi Ji, Junjie Ke, Lihuo He, Jun Liu, Kaifan Zhang, Yu-Kun Lai, Guiguang Ding, Xinbo Gao

机构 * School of Electronic Engineering, Xidian University（电子工程学院，西安电子科技大学） ； School of Software, Tsinghua University（软件学院，清华大学） ； School of Computer Science and Informatics, Cardiff University（计算机科学与信息学院，卡迪夫大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 YOLOA通过LLM适配器实现实时可及性检测，结合对象检测与可及性学习，取得高精度与高效率的平衡。

Comments 13 pages, 9 figures, conference

Self-Refined Generative Foundation Models for Wireless Traffic Prediction

用于无线交通预测的自精炼生成基础模型

Chengming Hu, Hao Zhou, Di Wu, Xi Chen, Jun Yan, Xue Liu

专题命中 指令微调 ：foundation model(title)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出TrafficLLM，通过上下文学习实现无线交通预测，通过三步迭代精炼提升预测性能。

UFO: Unfair-to-Fair Evolving Mitigates Unfairness in LLM-based Recommender Systems via Self-Play Fine-tuning

UFO: 通过自我对战微调缓解基于大语言模型的推荐系统中的不公平性

Jiaming Zhang, Yuyuan Li, Xiaohua Feng, Zhifei Ren, Li Zhang, Chaochao Chen

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 UFO框架通过自我对战机制，缓解基于大语言模型的推荐系统中的不公平性，同时提升推荐性能。

EvoLM: In Search of Lost Language Model Training Dynamics

Zhenting Qi, Fan Nie, Alexandre Alahi, James Zou, Himabindu Lakkaraju, Yilun Du, Eric Xing, Sham Kakade, Hanlin Zhang

机构 * Harvard（哈佛大学） ； Stanford（斯坦福大学） ； EPFL（苏黎世联邦理工学院） ； CMU（卡内基梅隆大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments NeurIPS 2025 (Oral)

Prompt Engineering vs. Fine-Tuning for LLM-Based Vulnerability Detection in Solana and Algorand Smart Contracts

Biagio Boi, Christian Esposito

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

Transformer Copilot: Learning from The Mistake Log in LLM Fine-tuning

Jiaru Zou, Yikun Ban, Zihao Li, Yunzhe Qi, Ruizhong Qiu, Ling Yang, Jingrui He

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Princeton University（普林斯顿大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments NeurIPS 2025 Spotlight

Fine-Tuning Vision-Language Models for Multimodal Polymer Property Prediction

An Vuong, Minh-Hao Van, Prateek Verma, Chen Zhao, Xintao Wu

机构 * Department of EECS University of Arkansas（电子工程与科学系 亚拉荷加大学） ； Department of CS Baylor University（计算机科学系 基尔默大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

From Grounding to Manipulation: Case Studies of Foundation Model Integration in Embodied Robotic Systems

Xiuchao Sui, Daiying Tian, Qi Sun, Ruirui Chen, Dongkyu Choi, Kenneth Kwok, Soujanya Poria

机构 * IHPC, Agency for Science, Technology and Research, Singapore（科技研究局智能技术中心，新加坡） ； Nanyang Technological University, Singapore（南洋理工大学，新加坡） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)

Comments EMNLP 2025 camera ready

AutoPrompt: Automated Red-Teaming of Text-to-Image Models via LLM-Driven Adversarial Prompts

Yufan Liu, Wanqian Zhang, Huashan Chen, Lin Wang, Xiaojun Jia, Zheng Lin, Weiping Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； School of Cyberspace, Hangzhou Dianzi University（杭州电子科技大学网络空间学院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

Comments Accepted by ICCV 2025

$δ$-STEAL: LLM Stealing Attack with Local Differential Privacy

Kieu Dang, Phung Lai, NhatHai Phan, Yelong Shen, Ruoming Jin, Abdallah Khreishah

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

Comments Accepted at ACML 2025 (PMLR W&CP). Code: https://github.com/kirudang/LDP_Stealing_Attack

CoIDO: Efficient Data Selection for Visual Instruction Tuning via Coupled Importance-Diversity Optimization

Yichen Yan, Ming Zhong, Qi Zhu, Xiaoling Gu, Jinpeng Chen, Huan Li

机构 * The State Key Laboratory of Blockchain and Data Security（区块链与数据安全国家重点实验室） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院） ； Hangzhou Dianzi University（杭州电子科技大学） ； School of Computer Science (National Pilot Software Engineering School), BUPT（计算机学院（国家级试点软件工程学院），北京邮电大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)

Comments 22 pages, 8 figures, 39th Conference on Neural Information Processing Systems (NeurIPS 2025)

In the Eye of MLLM: Benchmarking Egocentric Video Intent Understanding with Gaze-Guided Prompting

Taiying Peng, Jiacheng Hua, Miao Liu, Feng Lu

机构 * State Key Laboratory of VR Technology and Systems, School of CSE, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学计算机科学与工程学院） ； College of AI, Tsinghua University（清华大学人工智能学院） 纠错

专题命中 指令微调 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)

Comments Accepted to NeurIPS 2025

An Embarrassingly Simple Defense Against LLM Abliteration Attacks

Harethah Abu Shairah, Hasan Abed Al Kader Hammoud, Bernard Ghanem, George Turkiyyah

机构 * King Abdullah University of Science and Technology（卡布斯大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments preprint - under review

AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning

Zhiheng Xi, Jixuan Huang, Chenyang Liao, Baodai Huang, Honglin Guo, Jiaqi Liu, Rui Zheng, Junjie Ye, Jiazheng Zhang, Wenxiang Chen, Wei He, Yiwen Ding, Guanyu Li, Zehui Chen, Zhengyin Du, Xuesong Yao, Yufei Xu, Jiecao Chen, Tao Gui, Zuxuan Wu, Qi Zhang, Xuanjing Huang, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 指令微调 ：LLM(title,abstract)；SFT(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments preprint, 39 pages, 16 figures. Project: https://AgentGym-RL.github.io/. Framework and Code: https://github.com/woooodyy/AgentGym, https://github.com/woooodyy/AgentGym-RL

Are Your LLM-based Text-to-SQL Models Secure? Exploring SQL Injection via Backdoor Attacks

Meiyu Lin, Haichuan Zhang, Jiale Lao, Renyuan Li, Yuanchun Zhou, Carl Yang, Yang Cao, Mingjie Tang

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

Comments Accepted to SIGMOD 2026

Larger Is Not Always Better: Exploring Small Open-source Language Models in Logging Statement Generation

Renyi Zhong, Yichen Li, Guangba Yu, Wenwei Gu, Jinxi Kuang, Yintong Huo, Michael R. Lyu

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)

VeriCoder: Enhancing LLM-Based RTL Code Generation through Functional Correctness Validation

Anjiang Wei, Huanmi Tan, Tarun Suresh, Daniel Mendoza, Thiago S. F. X. Teixeira, Ke Wang, Caroline Trippel, Alex Aiken

机构 * Stanford University（斯坦福大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Intel Corporation（英特尔公司） ； Nanjing University（南京大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG