语言大模型 / LLM

Small LLMs for Medical NLP: a Systematic Analysis of Few-Shot, Constraint Decoding, Fine-Tuning and Continual Pre-Training in Italian

小型语言模型在医疗NLP中的应用：对少样本、约束解码、微调和持续预训练的系统分析

Pietro Ferrazzi, Mattia Franzin, Alberto Lavelli, Bernardo Magnini

机构 * Fondazione Bruno Kessler（布鲁诺·克瑟基金会） ； University of Padova（帕多瓦大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；prompting(abstract)

AI总结 本文研究了小型LLMs在医疗NLP中的应用，发现微调和约束解码能有效提升性能，最佳模型在多个任务中表现优于大模型。

Comments Paper Accepted at LREC 2026

Decoding the Human Factor: High Fidelity Behavioral Prediction for Strategic Foresight

解码人类因素：为战略预见的高保真行为预测

Ben Yellin, Ehud Ezra, Mark Foreman, Shula Grinapol

机构 * OMGene AI Lab（OMGene AI实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；prompting(abstract)

AI总结 本文提出LBM模型，通过高维特质轮廓预测个体战略选择，提升高保真行为模拟能力，应用于战略预见等领域。

Fine-Tuning LLMs to Generate Economical and Reliable Actions for the Power Grid

对LLM进行微调以生成经济且可靠的电网动作

Mohamad Chehade, Hao Zhu

机构 * Chandra Family Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 本文提出一种多阶段适应管道，通过微调LLM生成经济且可靠的电网纠正切换计划，显著提高了电网运行效率和稳定性。

Evaluating Prompt Engineering Strategies for Sentiment Control in AI-Generated Texts

评估用于AI生成文本情感控制的提示工程策略

Kerstin Sahler, Sophie Jentzsch

机构 * German Aerospace Center (DLR), Institute of Software Technology, Cologne, Germany（德国航空航天中心（DLR），软件技术研究所，科隆，德国） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文通过提示工程策略有效控制AI生成文本情感，相较于微调方法更具成本效益和实用性，尤其在数据受限环境下表现突出。

Comments The definitive, peer-reviewed and edited version of this article is published in HHAI 2025 - Proceedings of the Fourth International Conference on Hybrid Human-Artificial Intelligence, Frontiers in Artificial Intelligence and Applications, Volume 408, ISBN 978-1-64368-611-0, pages 423 - 438, 2025

SWE-Dev: Evaluating and Training Autonomous Feature-Driven Software Development

SWE-Dev：评估和训练自主的基于特征驱动的软件开发

Yaxin Du, Yuzhu Cai, Yifan Zhou, Cheng Wang, Yu Qian, Xianghe Pang, Qian Liu, Yue Hu, Siheng Chen

机构 * Shanghai Jiao Tong University（上海交通大学） ； Beijing University of Aeronautics and Astronautics（北京航空航天大学） ； The Chinese University of Hong Kong（香港中文大学） ； University of Michigan（密歇根大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 SWE-Dev是一个大规模数据集，用于评估和训练自主编码系统在特征驱动软件开发中的能力，通过提供可运行环境和单元测试提升模型性能。

VowelPrompt: Hearing Speech Emotions from Text via Vowel-level Prosodic Augmentation

VowelPrompt：通过元音层面的语调增强从文本中听出语音情感

Yancheng Wang, Osama Hanna, Ruiming Xie, Xianfeng Rui, Maohao Shen, Xuedong Zhang, Christian Fuegen, Jilong Wu, Debjyoti Paul, Arthur Guo, Zhihong Lei, Ozlem Kalinli, Qing He, Yingzhen Yang

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Arizona State University（亚利桑那州立大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 VowelPrompt通过元音层面的语调增强，提升LLM在语音情感识别中的表现并生成可解释的解释。

Comments Accepted to ICLR 2026

SWE-World: Building Software Engineering Agents in Docker-Free Environments

SWE-World：在无Docker环境中构建软件工程代理

Shuang Sun, Huatong Song, Lisheng Huang, Jinhao Jiang, Ran Le, Zhihao Lv, Zongchao Chen, Yiwen Hu, Wenyang Luo, Wayne Xin Zhao, Yang Song, Hongteng Xu, Tao Zhang, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿丽学校人工智能学院） ； BOSS Zhipin, Beijing, China（BOSS智聘，北京，中国） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 SWE-World提出了一种无Docker环境的框架，利用学习模型预测执行结果，提升软件工程代理性能。

Don't Just Fine-tune the Agent, Tune the Environment

不要只微调智能体，而是微调环境

Siyuan Lu, Zechuan Wang, Hongxuan Zhang, Qintong Wu, Leilei Gan, Chenyi Zhuang, Jinjie Gu, Tao Lin

机构 * Zhejiang University（浙江大学） ； Shanghai Innovation Institute（上海创新研究院） ； Westlake University（西湖大学） ； Nanjing University（南京大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出环境微调方法，通过结构化课程和环境增强，使智能体无需专家轨迹即可高效学习复杂行为，实现更稳健的泛化能力。

Comments ICLR 2026

The Patient is not a Moving Document: A World Model Training Paradigm for Longitudinal EHR

患者并非静态文档：一种用于纵向电子健康记录的world model训练范式

Irsyad Adam, Zekai Chen, David Laprade, Shaun Porwal, David Laub, Erik Reinertsen, Arda Pekis, Kevin Brown

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；SFT(abstract)

AI总结 本文提出SMB-Structure模型，通过结合联合嵌入预测架构和next-token预测，学习捕捉疾病动态的嵌入，实现对高异质性复杂任务的竞争力表现。

Context Parametrization with Compositional Adapters

基于组合适配器的上下文参数化

Josip Jukić, Martin Tutek, Jan Šnajder

机构 * TakeLab, University of Zagreb, Croatia（Take实验室，扎格雷布大学，克罗地亚） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 CompAs通过组合结构的适配器参数，提升LLM在长上下文和多任务中的效率与稳定性，提供一种更高效的部署方案。

Neuro-Symbolic Verification on Instruction Following of LLMs

神经符号验证在大语言模型指令遵循上的应用

Yiming Su, Kunzhao Xu, Yanjie Gao, Fan Yang, Cheng Li, Mao Yang, Tianyin Xu

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Science and Technology of China（中国科学技术大学） ； Microsoft Research（微软研究院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出NSVIF框架，通过神经符号方法验证大语言模型是否遵循指令，实验表明其在指令遵循验证中表现优异。

Limits of n-gram Style Control for LLMs via Logit-Space Injection

通过logit空间注入探讨n-gram风格控制的极限

Sami-ul Ahmed

机构 * University of Colorado Boulder（科罗拉多大学波德沃分校） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 通过logit空间注入n-gram风格先验实现轻量级风格控制，但效果受限于低lambda值范围，且不如提示和LoRA有效。

Comments 18 pages, 7 figures. Experimental study of decoding-time style control via n-gram logit injection

Towards Compositional Generalization in LLMs for Smart Contract Security: A Case Study on Reentrancy Vulnerabilities

面向智能合约安全的LLM组合泛化：重入漏洞案例研究

Ying Zhou, Jiacheng Wei, Yu Qi, Faguo Wu, Xiao Zhang

机构 * School of Artificial Intelligence, Beijing, China（人工智能学院，北京，中国） ； Beijing Advanced Innovation Center for Future Blockchain（未来区块链与隐私计算先进创新中心） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出基于原子任务分解与融合的后训练算法，通过分解重入漏洞检测任务提升LLM在智能合约安全检测中的准确率与召回率。

NEMO-4-PAYPAL: Leveraging NVIDIA's Nemo Framework for empowering PayPal's Commerce Agent

NEMO-4-PAYPAL：利用NVIDIA的Nemo框架赋能PayPal的商业代理

Sudhanshu Garg, Andrew Wang, Chaitanya Kulkarni, Ali Sahami, Farhad Farahani, Sean Yun-Shiuan Chuang, Jian Wan, Srinivasan Manoharan, Uma Kona, Nitin Sharma, Linsey Pang, Prakhar Mehrotra, Jessica Clark, Mark Moyou

机构 * PayPal AI ； NVIDIA 纠错

专题命中 指令微调 ：LLM(abstract)；language model(abstract)；small language model(abstract)；SLM(abstract)

AI总结 NEMO-4-PAYPAL利用NVIDIA Nemo框架优化PayPal商业代理，通过微调Nemotron模型提升检索性能并降低延迟与成本。

Emergent Persuasion: Will LLMs Persuade Without Being Prompted?

涌现说服：大型语言模型是否会无提示地说服？

Vincent Chang, Thee Ho, Sunishchal Dev, Kevin Zhu, Shi Feng, Kellin Pelrine, Matthew Kowal

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文研究了大型语言模型在无提示情况下说服人类的机制，发现监督微调（SFT）能提高模型在争议性话题上的说服倾向，表明需进一步研究无提示说服的风险。

Comments This paper was accepted to AAAI 2026 AIGOV Workshop

Learning to Align Human Code Preferences

学习对齐人类代码偏好

Xin Yin, Chao Ni, Xiaohu Yang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；preference optimization(abstract)

AI总结 本文提出自适应偏好优化（APO）方法，通过动态整合SFT和DPO，提升模型在不同代码偏好场景下的对齐性能。

AdaRankGrad: Adaptive Gradient-Rank and Moments for Memory-Efficient LLMs Training and Fine-Tuning

AdaRankGrad: 适应性梯度-秩和矩用于内存高效的LLM训练和微调

Yehonathan Refael, Jonathan Svirsky, Boris Shustin, Wasim Huleihel, Ofir Lindenbaum

机构 * Department of Electrical Engineering-Systems at Tel Aviv University（特拉维夫大学电子工程系统系） ； Faculty of Engineering, Bar Ilan University（巴伊兰大学工程学院） ； Mathematical Institute, University of Oxford（牛津大学数学学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；pretraining(abstract)

AI总结 AdaRankGrad通过自适应低秩梯度更新实现内存高效的大语言模型训练和微调，减少内存需求并提升模型性能。

Journal ref ICLR 2025

Computational Turing Test Reveals Systematic Differences Between Human and AI Language

计算图灵测试揭示人类与人工智能语言之间的系统性差异

Nicolò Pagan, Petter Törnberg, Christopher A. Bail, Anikó Hannák, Christopher Barrie

机构 * University of Zurich, Department of Informatics（苏黎世大学信息学院） ； University of Amsterdam, Institute for Logic, Language and Computation (ILLC)（阿姆斯特丹大学逻辑、语言与计算研究所） ； Duke University（杜克大学） ； New York University, Department of Sociology（纽约大学社会学系） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文通过计算图灵测试系统比较了九个LLM在不同校准策略下的表现，揭示了LLM在人类相似性与语义忠实性之间的权衡。

HiEAG: Evidence-Augmented Generation for Out-of-Context Misinformation Detection

Junjie Wu, Yumeng Fu, Nan Yu, Guohong Fu

机构 * School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院） ； Institute of Artificial Intelligence, Soochow University（苏州大学人工智能研究院） ； School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；prompting(abstract)

Can LLMs Predict Citation Intent? An Experimental Analysis of In-context Learning and Fine-tuning on Open LLMs

Paris Koloveas, Serafeim Chatzopoulos, Thanasis Vergoulis, Christos Tryfonopoulos

机构 * IMSI, ATHENA RC（IMSI，ATHENA RC） ； University of the Peloponnese（皮埃蒙特大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Accepted for publication on TPDL 2025

OR-R1: Automating Modeling and Solving of Operations Research Optimization Problem via Test-Time Reinforcement Learning

Zezhen Ding, Zhen Tan, Jiheng Zhang, Tianlong Chen

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Comments 9 pages, 5 figures, AAAI 2026

Still Not There: Can LLMs Outperform Smaller Task-Specific Seq2Seq Models on the Poetry-to-Prose Conversion Task?

Kunal Kingkar Das, Manoj Balaji Jagadeeshan, Nallani Chakravartula Sahith, Jivnesh Sandhan, Pawan Goyal

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

DeepDiver: Adaptive Search Intensity Scaling via Open-Web Reinforcement Learning

Wenxuan Shi, Haochen Tan, Chuqiao Kuang, Xiaoguang Li, Xiaozhe Ren, Chen Zhang, Hanting Chen, Yasheng Wang, Lu Hou, Lifeng Shang

机构 * Huawei Language Model Lab（华为语言模型实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；prompting(abstract)

Comments Accepted as NeurIPS 2025 Spotlight

Large model retrieval enhancement framework for construction site risk identification

Jiawei Li, Chengye Yang, Yaochen Zhang, Weilin Sun, Lei Meng, Xiangxu Meng

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

Comments in Chinese language

Reimagining Safety Alignment with An Image

Yifan Xia, Guorui Chen, Wenqian Yu, Zhijiang Li, Philip Torr, Jindong Gu

机构 * School of Information Management, Wuhan University, Wuhan, China（武汉大学信息管理学院） ； Torr Vision Group, University of Oxford, Oxford, United Kingdom（牛津大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；RLHF(abstract)

SEA-LION: Southeast Asian Languages in One Network

Raymond Ng, Thanh Ngan Nguyen, Yuli Huang, Ngee Chia Tai, Wai Yi Leong, Wei Qi Leong, Xianbin Yong, Jian Gang Ngui, Yosephine Susanto, Nicholas Cheng, Hamsawardhini Rengarajan, Peerat Limkonchotiwat, Adithya Venkatadri Hulagadri, Kok Wai Teng, Yeo Yeow Tong, Bryan Siow, Wei Yi Teo, Wayne Lau, Choon Meng Tan, Brandon Ong, Zhi Hao Ong, Jann Railey Montalan, Adwin Chan, Sajeban Antonyrex, Ren Lee, Esther Choa, David Ong Tat-Wee, Bing Jie Darius Liu, William Chandra Tjhi, Erik Cambria, Leslie Teo

机构 * AI Singapore ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

Comments Accepted at IJCNLP-AACL 2025 (Main Track). We released our model at https://huggingface.co/collections/aisingapore/sea-lionv3-672589a39cdadd6a5b199581

Uni-LoRA: One Vector is All You Need

Kaiyang Li, Shaobo Han, Qing Su, Wei Li, Zhipeng Cai, Shihao Ji

机构 * School of Computing University of Connecticut（计算机学院 美国康涅狄格大学） ； NEC Labs America（NEC美国实验室） ； Dept. of Computer Science Georgia State University（计算机科学系 美国佐治亚州立大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

Comments NeurIPS 2025 Spotlight

Simulating Society Requires Simulating Thought

Chance Jiajie Li, Jiayi Wu, Zhenze Mo, Ao Qu, Yuhan Tang, Kaiya Ivy Zhao, Yulu Gan, Jie Fan, Jiangbo Yu, Jinhua Zhao, Paul Liang, Luis Alonso, Kent Larson

机构 * MIT Media Lab（麻省理工学院媒体实验室） ； MIT EECS（麻省理工学院电子工程与计算机科学系） ； MIT BCS（麻省理工学院生物工程与计算机科学系） ； MIT IDSS（麻省理工学院国际设计与研究系统） ； MIT CEE（麻省理工学院土木与环境工程系） ； MIT DUSP（麻省理工学院设计与科学计划） ； MIT Architecture（麻省理工学院建筑系） ； Northeastern University（东北大学） ； Brown University（布朗大学） ； McGill University（麦吉尔大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments NeurIPS 2025 (Position Paper Track)

CourtGuard: A Local, Multiagent Prompt Injection Classifier

Isaac Wu, Michael Maslowski

机构 * Isaac Wu Research Fellow（Isaac Wu 研究员） ； Non-Trivial Ventures（非平凡企业） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 11 pages, 7 figures

EMRRG: Efficient Fine-Tuning Pre-trained X-ray Mamba Networks for Radiology Report Generation

Mingzheng Zhang, Jinfeng Gao, Dan Xu, Jiangrui Yu, Yuhan Qiao, Lan Chen, Jin Tang, Xiao Wang

机构 * School of Computer Science and Technology, Anhui University（计算机科学与技术学院，安徽大学） ； School of Electronic and Information Engineering, Anhui University（电子与信息工程学院，安徽大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)