语言大模型 / LLM

An Exploratory Study of Bayesian Prompt Optimization for Test-Driven Code Generation with Large Language Models

基于大语言模型的测试驱动代码生成中贝叶斯提示优化的探索性研究

Shlok Tomar, Aryan Deshwal, Ethan Villalovoz, Mattia Fazzini, Haipeng Cai, Janardhan Rao Doppa

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 本文提出BODE-GEN方法，通过贝叶斯优化优化提示以提高大语言模型生成代码的准确性，实验表明其在代码生成准确性上优于固定提示和手动提示工程。

Comments 20 pages, 13 figures

Integrating Large Language Models and Knowledge Graphs to Capture Political Viewpoints in News Media

将大型语言模型与知识图谱结合以捕捉新闻媒体中的政治观点

Massimiliano Fadda, Enrico Motta, Francesco Osborne, Diego Reforgiato Recupero, Angelo Salatino

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出利用大型语言模型和知识图谱结合的方法，提升新闻媒体中政治观点的识别与分类性能。

From Pretraining to Privacy: Federated Ultrasound Foundation Model with Self-Supervised Learning

从预训练到隐私：具有自监督学习的联邦超声基础模型

Yuncheng Jiang, Chun-Mei Feng, Jinke Ren, Jun Wei, Zixun Zhang, Yiwen Hu, Yunbi Liu, Rui Sun, Xuemei Tang, Juan Du, Xiang Wan, Yong Xu, Bo Du, Xin Gao, Guangyu Wang, Shaohua Zhou, Shuguang Cui, Zhen Li

机构 * FNii-Shenzhen, The Chinese University of Hong Kong, Shenzhen（深圳FNii，香港中文大学（深圳）） ； School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（科学与工程学院，香港中文大学（深圳）） ； West China Hospital of Sichuan University, Chengdu（四川大学华西医院） ； School of Computer Science, University College Dublin, Ireland（计算机科学学院，都柏林大学（爱尔兰）） ； College of Computer Science and Software Engineering, Shenzhen University, Shenzhen（计算机科学与软件工程学院，深圳大学） ； South China Hospital, Health Science Center, Shenzhen University, Shenzhen（南方医院，深圳大学健康科学中心） ； School of Computer Science, Nanjing University of Posts and Telecommunications, Nanjing（计算机科学学院，南京邮电大学） ； Affiliated Hospital of North Sichuan Medical College, Sichuan（北川医学院附属医院） ； North Sichuan Medical College, Sichuan（北川医学院） ； Shenzhen Research Institute of Big Data, Shenzhen（深圳大数据研究院） ； Bio-Computing Research Center, Harbin Institute of Technology, Shenzhen（生物计算研究中心，哈尔滨工业大学（深圳）） ； School of Computer Science, Wuhan University, Wuhan（计算机科学学院，武汉大学） ； Computer Science Program, Computer, E（计算机科学项目，计算机） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title)；分类 cs.AI

AI总结 UltraFedFM通过联邦学习和自监督学习，构建了一个隐私保护的超声基础模型，实现了在多种疾病诊断和病变分割上的高准确率，超越了中级医师水平，达到了专家级表现。

Comments npj digital medicine(2025)

Quantifying Return on Security Controls in LLM Systems

对LLM系统中安全控制的回报进行量化

Richard Helder Moulton, Austin O'Brien, John D. Hastings

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种量化LLM系统安全控制回报的方法，通过模拟攻击和风险评估，比较了ABAC、NER删除和NeMo Guardrails三种安全措施的效果，发现ABAC显著降低风险，RoC达到9.83。

Comments 13 pages, 9 figures, 3 tables

SeBERTis: A Framework for Producing Classifiers of Security-Related Issue Reports

SeBERTis：一个用于生成安全相关问题报告分类器的框架

Sogol Masoumzadeh, Yufei Li, Shane McIntosh, Dániel Varró, Lili Wei

机构 * Electrical \& Computer Engineering McGill University Montréal, Canada ； Cheriton School of Computer Science University of Waterloo Waterloo, Canada ； 2cm Computer \& Information Science 2cm Linköping University 2cm Linköping, Sweden 2cm ； 2cm Electrical \& Computer Engineering 2cm McGill University 2cm Montréal, Canada 2cm 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 SEBERTIS通过训练深度神经网络分类器，有效提升安全相关问题的检测精度，显著优于现有方法。

Comments This is the author pre-print. The manuscript has been accepted for publication at SANER 2026!

dots.ocr: Multilingual Document Layout Parsing in a Single Vision-Language Model

dots.ocr: 一种单一视觉-语言模型中的多语言文档布局解析

Yumeng Li, Guang Yang, Hao Liu, Bowen Wang, Colin Zhang

机构 * hi lab（hi实验室） ； Xiaohongshu Inc（小红书公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 dots_ocr是一种单一视觉-语言模型，通过联合学习多语言文档布局解析的三个核心任务，实现了统一框架下的高效性能提升。

SynthSeg-Agents: Multi-Agent Synthetic Data Generation for Zero-Shot Weakly Supervised Semantic Segmentation

SynthSeg-Agents: 多智能体合成数据生成用于零样本弱监督语义分割

Wangyu Wu, Zhenhong Chen, Xiaowei Huang, Fei Ma, Jimin Xiao

机构 * Xi'an Jiaotong-Liverpool University（西安交通大学利物浦大学） ； University of Liverpool（利物浦大学） ； Microsoft（微软公司） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 SynthSeg-Agents利用大型语言模型生成合成数据，无需现实图像即可实现零样本弱监督语义分割。

Toward expert-level motivational interviewing for health behavior improvement with LLMs

迈向利用大语言模型的专家级激励访谈以改善健康行为

Run-ze Hu, Yang Yang, Yi-hang Yang, Jing-qi Kong, Jia-hui Luo, Wen-yu Yang, Jing Chen, Jing-yao Liu, Hui-qun Zeng, Lei Zhang, Zheng Liu

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究通过开发和评估基于大语言模型的激励访谈系统，探索了利用AI促进健康行为改变的可行性，展示了微调后模型在激励访谈技术上的表现。

Comments 26 pages, 3 figures

Leveraging Foundational Models and Simple Fusion for Multi-modal Physiological Signal Analysis

利用基础模型和简单融合进行多模态生理信号分析

Youssef Ghallab, Omar Iraqy, Mohamed Kandil, Mohamed Ashraf, Saadeldine Eletter, Morougue Ghazal, Ayman Khalafallah, Nagwa El-Makky

机构 * Computer and Communication Engineering Department, Alexandria University（亚历山大大学计算机与通信工程系） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG；foundation model(comments)

AI总结 本文提出利用基础模型和简单融合方法，通过双掩码策略和对称编码器提升多模态生理信号分析的性能，实现情绪识别的高精度结果。

Comments Published at NeurIPS 2025 Workshop on Foundation Models for the Brain and Body

You Never Know a Person, You Only Know Their Defenses: Detecting Levels of Psychological Defense Mechanisms in Supportive Conversations

你无法了解一个人，你只能了解他们的防御：在支持性对话中检测心理防御机制的层次

Hongbin Na, Zimu Wang, Zhaoming Chen, Peilin Zhou, Yining Hua, Grace Ziqi Zhou, Haiyang Zhang, Tao Shen, Wei Wang, John Torous, Shaoxiong Ji, Ling Chen

机构 * University of Technology Sydney（悉尼技术大学） ； Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） ； University of Utah（犹他大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Harvard University（哈佛大学） ； The University of Sydney（悉尼大学） ； ELLIS Institute Finland（芬兰ELLIS研究所） ； University of Turku（图尔库大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 本文提出PsyDefConv语料库和DMRS Co-Pilot流程，用于检测支持性对话中心理防御机制的层次，通过标注和实验验证其有效性。

Comments Under Review

How Much is Too Much? Exploring LoRA Rank Trade-offs for Retaining Knowledge and Domain Robustness

过多的幅度有多大？探索LoRA秩的权衡以保留知识和领域鲁棒性

Darshita Rathore, Vineet Kumar, Chetna Bansal, Anindya Moitra

机构 * PayPal 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文探讨LoRA秩配置在保留知识和领域鲁棒性方面的权衡，通过多任务评估展示LoRA在推理任务中的竞争力。

Comments Accepted at AACL IJCNLP 2025

Yes-MT's Submission to the Low-Resource Indic Language Translation Shared Task in WMT 2024

Yes-MT在WMT 2024低资源印地语翻译共享任务中的提交

Yash Bhaskar, Parameswari Krishnamurthy

机构 * IIIT Hyderabad（IIIT海得拉巴） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 Yes-MT在WMT 2024低资源印地语翻译共享任务中，通过多种方法探索低资源翻译挑战，展示了LLMs在微调下的表现。

Comments Accepted at WMT 2024

Journal ref In Proceedings of the Ninth Conference on Machine Translation (WMT 2024), pages 788-792, 2024

May I have your Attention? Breaking Fine-Tuning based Prompt Injection Defenses using Architecture-Aware Attacks

请允许我注意：利用架构感知攻击打破基于微调的提示注入防御

Nishit V. Pandya, Andrey Labunets, Sicun Gao, Earlence Fernandes

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于注意力的攻击算法，揭示了现有白盒提示注入防御的不足，攻击成功率高达85-95%

Multi-label classification for multi-temporal, multi-spatial coral reef condition monitoring using vision foundation model with adapter learning

利用视觉基础模型与适配器学习进行多时序、多空间珊瑚礁状态监测的多标签分类

Xinlei Shao, Hongruixuan Chen, Fan Zhao, Kirsty Magson, Jundong Chen, Peiran Li, Jiaqi Wang, Jun Sasaki

机构 * Department of Socio-Cultural Environmental Studies, Graduate School of Frontier Sciences, The University of Tokyo（社会文化环境研究部门，前沿科学研究生院，东京大学） ； Department of Environment Systems, Graduate School of Frontier Sciences, The University of Tokyo（环境系统部门，前沿科学研究生院，东京大学） ； New Heaven Reef Conservation Program, Koh Tao, Surat Thani, 84360, Thailand（新天堂珊瑚礁保护计划， Koh Tao, Surat Thani, 84360, Thailand） ； Data Science and AI Innovation Research Promotion Center, Shiga University（数据科学与人工智能创新研究促进中心，Shiga大学） ； Interfaculty Initiative in Information Studies, The University of Tokyo（跨学际信息研究倡议，东京大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)

AI总结 本研究提出利用DINOv2视觉基础模型与LoRA适配器学习方法，实现多时序、多空间珊瑚礁状态的高效多标签分类，提升了分类精度并减少了计算资源消耗。

Journal ref Marine Pollution Bulletin, Vol. 223, Article 119054, 2026

Persistent Backdoor Attacks under Continual Fine-Tuning of LLMs

在LLM持续微调下的持久后门攻击

Jing Cui, Yufei Han, Jianbin Jiao, Junge Zhang

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出P-Trojan算法，研究在LLM持续微调中后门的持久性问题，实验显示其在保持清洁任务准确性的同时实现高持久性。

Imitation Learning for Multi-turn LM Agents via On-policy Expert Corrections

通过在线专家纠正实现多轮LM代理的模仿学习

Niklas Lauffer, Xiang Deng, Srivatsa Kundurthy, Brad Kenstler, Jeff Da

专题命中 指令微调 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过在线专家纠正解决多轮LM代理模仿学习中的协变量偏移问题，实验显示在软件工程任务中效果优于传统方法。

DreamPRM-Code: Function-as-Step Process Reward Model with Label Correction for LLM Coding

DreamPRM-Code: 一种基于函数作为步骤的进程奖励模型与标签校正用于LLM编码

Ruiyi Zhang, Peijia Qin, Qi Cao, Pengtao Xie

机构 * University of California, San Diego（加州大学圣迭戈分校） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 DreamPRM-Code通过链式函数提示策略和元学习校正机制，提升LLM在编码任务中的表现，达到LiveCodeBench的最高准确率

Structure-Aligned Protein Language Model

结构对齐的蛋白质语言模型

Can Chen, David Heurtel-Depeiges, Robert M. Vernon, Christopher James Langmead, Yoshua Bengio, Quentin Fournier

机构 * Mila – Quebec AI Institute（魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） ； Chandar Research Lab（钱达尔研究实验室） ； Polytechnique Montréal（蒙特利尔理工学院） ； Amgen（安进公司） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 通过结构对齐方法提升蛋白质语言模型的结构知识，增强其在生物应用中的性能。

Comments 28 pages, 16 figures, 9 tables

InpaintDPO: Mitigating Spatial Relationship Hallucinations in Foreground-conditioned Inpainting via Diverse Preference Optimization

InpaintDPO：通过多样偏好优化缓解前景条件修复中的空间关系幻觉

Qirui Li, Yizhe Tang, Ran Yi, Guangben Lu, Fangyuan Zou, Peng Shu, Huan Yu, Jie Jiang

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；RLHF(abstract)

AI总结 InpaintDPO通过多样偏好优化解决前景条件修复中的空间关系幻觉问题，提升背景与前景间的一致性与合理性。

Adversarial versification in portuguese as a jailbreak operator in LLMs

葡萄牙对抗性韵律作为LLMs中的对抗性操作符

Joao Queiroz

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现，将提示改写为诗歌能显著提高LLMs的安全漏洞，揭示当前对齐机制的不足，并指出葡萄牙语评估的缺失。

Comments 15 pages

Model Agnostic Preference Optimization for Medical Image Segmentation

无模型偏好优化用于医学图像分割

Yunseong Nam, Jiwon Jang, Dongkyu Won, Sang Hyun Park, Soopil Kim

机构 * DGIST, School of Undergrad Studies（DGIST研究生院） ； DGIST, Department of Robotics and Mechatronics Engineering（DGIST机器人与机电工程系） ； DGIST, Division of Intelligent Robot（DGIST智能机器人系） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)

AI总结 MAPO通过Dropout驱动的随机分割假设实现无模型偏好优化，提升医学图像分割的边界遵循性和稳定性。

RPM-MCTS: Knowledge-Retrieval as Process Reward Model with Monte Carlo Tree Search for Code Generation

RPM-MCTS：基于蒙特卡洛树搜索的知识检索作为过程奖励模型用于代码生成

Yuanyuan Lin, Xiangyu Ouyang, Teng Zhang, Kaixin Sui

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 RPM-MCTS通过结合知识检索与蒙特卡洛树搜索，有效评估代码生成过程中的中间步骤，减少错误并提升效率

Comments Accepted at AAAI 2026

CAPE: Capability Achievement via Policy Execution

通过策略执行实现能力：CAPE

David Ball

机构 * Superficial Labs（超浅实验室） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 CAPE通过策略执行实现能力，系统性地将要求转化为可执行规范并训练模型默认满足，减少违规率81%，提升能力评估效率。

Comments 32 pages, 3 figures

3DLLM-Mem: Long-Term Spatial-Temporal Memory for Embodied 3D Large Language Model

3DLLM-Mem: 长期空间-时间记忆用于具身3D大语言模型

Wenbo Hu, Yining Hong, Yanjun Wang, Leison Gao, Zibu Wei, Xingcheng Yao, Nanyun Peng, Yonatan Bitton, Idan Szpektor, Kai-Wei Chang

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 3DLLM-Mem通过引入动态内存管理和融合模型，提升LLMs在复杂3D环境中的长期空间-时间记忆推理与行动能力。

Comments demos at: https://3dllm-mem.github.io

Hidden in the Haystack: Smaller Needles are More Difficult for LLMs to Find

haystack中隐藏的针：更小的针对LLM来说更难找到

Owen Bianchi, Mathew J. Koretsky, Maya Willey, Chelsea X. Alvarado, Tanay Nayak, Adi Asija, Nicole Kuznetsov, Mike A. Nalls, Faraz Faghri, Daniel Khashabi

机构 * Center for Alzheimer’s Disease and Related Dementias, NIA, NIH（阿尔茨海默病及相关痴呆症研究中心，国家老龄化研究所，国家卫生研究院） ； DataTecnica LLC（DataTecnica公司） ； Johns Hopkins University（约翰霍普金斯大学） ； Laboratory of Neurogenetics, NIA, NIH（神经遗传学实验室，国家老龄化研究所，国家卫生研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了黄金上下文大小对LLM长上下文问答性能的影响，发现较短的黄金上下文会显著降低模型性能，揭示了上下文长度对模型表现的关键作用。

Comments Under Review

Workflows vs Agents for Code Translation

工作流与代理在代码翻译中的比较

Henry Gray, Tom Yotam, Octavian Udrea

机构 * Code Metal 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究比较了工作流与代理方法在MATLAB到HDL代码翻译中的效果，发现代理方法在语法修复和提升模拟覆盖率方面表现更优。

Journal ref NeurIPS 2025 Fourth Workshop on Deep Learning for Code

Characterizing Mamba's Selective Memory using Auto-Encoders

利用自编码器表征Mamba的选择性记忆

Tamanna Hossain, Robert L. Logan, Ganesh Jagadeesan, Sameer Singh, Joel Tetreault, Alejandro Jaimes

机构 * University of California, Irvine（加州大学尔湾分校） ； Dataminr Inc.（Dataminr公司） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 本文通过自编码器研究Mamba模型在处理长序列时对特定类型信息的遗忘特性，发现数学相关和组织实体等标记更易被遗忘。

Comments AACL 2025. Oral Presentation

CTkvr: KV Cache Retrieval for Long-Context LLMs via Centroid then Token Indexing

CTkvr: 通过聚类然后标记索引实现长上下文LLM的KV缓存检索

Kuan Lu, Shuhang Lin, Sai Wu, Yichen Yao, Junhan Yang, Huan Li, Wei Chu, Xu Yinghui, Yuan Qi, Gang Chen

机构 * Zhejiang University（浙江大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 CTKVR通过聚类和标记索引方法提升长上下文LLM的KV缓存检索效率与准确性，实现性能优化和吞吐量提升。

Scale-invariant Attention

尺度不变注意力

Ben Anson, Xi Wang, Laurence Aitchison

机构 * School of Mathematics University of Bristol（布里斯托大学数学学院） ； Department of Computer Science Johns Hopkins University（约翰霍普金斯大学计算机科学系） ； School of Computer Science University of Bristol（布里斯托大学计算机科学学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种尺度不变的注意力机制，通过简单的位置依赖变换实现总注意力和稀疏性的尺度不变性，提升了长上下文推理和检索性能。

Comments Accepted at Neurips 2025

Evaluating Large Language Models on Multimodal Chemistry Olympiad Exams

评估大型语言模型在多模态化学奥林匹克考试中的表现

Yiming Cui, Xin Yao, Yuxuan Qin, Xin Li, Shijin Wang, Guoping Hu

机构 * State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） ； iFLYTEK AI Research（iFLYTEK人工智能研究院） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本文评估了多种多模态LLM在化学奥林匹克考试中的表现，发现其在多模态融合和科学推理方面存在显著局限，提出通过链式思维提示提升模型性能的方法。

Comments Published at Communications Chemistry

Journal ref Commun. Chem. 8 (2025)