语言大模型 / LLM

CORE: Comprehensive Ontological Relation Evaluation for Large Language Models

CORE：面向大语言模型的全面本体关系评估

Satyam Dwivedi, Sanjukta Ghosh, Shivam Dwivedi, Nishi Kumari, Anil Thakur, Anurag Purushottam, Deepak Alok, Praveen Gatla, Manjuprasad B, Bipasha Patgiri

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 CORE提出一个全面评估大语言模型语义关系区分能力的数据集和基准测试，揭示其在无关性推理上的显著缺陷。

Can One-sided Arguments Lead to Response Change in Large Language Models?

单方面论点能否引导大语言模型产生回应变化？

Pedro Cisneros-Velarde

机构 * VMware Research（VMware研究） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了通过单方面论点是否能引导大语言模型改变其回应观点，发现不同模型和主题下均存在观点引导现象，而转向其他论点可减少这种影响。

Show or Tell? Effectively prompting Vision-Language Models for semantic segmentation

展示还是讲述？有效提示视觉-语言模型进行语义分割

Niccolo Avogaro, Thomas Frick, Mattia Rigotti, Andrea Bartezzaghi, Filip Janicki, Cristiano Malossi, Konrad Schindler, Roy Assaf

机构 * IBM Research（IBM研究院） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 评测与基准 ：language model(title,abstract)；prompting(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本文提出PromptMatcher，通过结合文本和视觉提示提升VLMs在语义分割中的性能，实现优于现有方法的改进。

Journal ref Transactions on Machine Learning Research, 2025

Detecting Latin in Historical Books with Large Language Models: A Multimodal Benchmark

利用大语言模型检测历史书籍中的拉丁文：一个多模态基准测试

Yu Wu, Ke Shu, Jonas Fischer, Lidia Pivovarova, David Rosson, Eetu Mäkelä, Mikko Tolonen

机构 * University of Helsinki（赫尔辛基大学） 纠错

专题命中 评测与基准 ：large language model(title)；language model(title)；foundation model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出利用大语言模型检测历史文献中的拉丁文片段，并通过多模态数据集评估模型性能，揭示了零样本模型在拉丁文识别中的有效性及局限性。

Comments Accepted by the EACL 2026 main conference. Code and data available at https://github.com/COMHIS/EACL26-detect-latin

Is Your Paper Being Reviewed by an LLM? Benchmarking AI Text Detection in Peer Review

你的论文正在由LLM审查吗？同行评审中AI文本检测的基准测试

Sungduk Yu, Man Luo, Avinash Madasu, Vasudev Lal, Phillip Howard

机构 * Oracle AI ； Abridge ； Intel Labs（Intel实验室） ； Thoughtworks 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一个包含788,984篇AI与人类同行评审的综合数据集，评估18种AI文本检测算法的性能，并探索上下文感知的Anchor检测方法，揭示识别AI生成文本的困难。

Comments Accepted to ICLR 2026

Code vs Serialized AST Inputs for LLM-Based Code Summarization: An Empirical Study

代码与序列化AST输入在基于LLM的代码摘要中的比较：一项实证研究

Shijia Dong, Haoruo Zhao, Paul Harvey

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract,comments)；language model(abstract,comments)

AI总结 本文提出AST(NIT)方法，通过序列化AST提升基于LLM的代码摘要效果，实验表明其在输入长度、训练时间和摘要质量上均优于传统方法。

Comments Accepted at the 3rd International Workshop on Large Language Models for Code (LLM4Code 2026), co-located with ICSE 2026

Visual Word Sense Disambiguation with CLIP through Dual-Channel Text Prompting and Image Augmentations

通过双通道文本提示和图像增强的CLIP实现视觉词义消歧

Shamik Bhattacharya, Daniel Perkins, Yaren Dogan, Vineeth Konjeti, Sudarshan Srinivasan, Edmon Begoli

机构 * 2 The Bredesen Center for Interdisciplinary Research ； 3 Department of Electrical Engineering \& Computer Science, University of Tennessee, Knoxville, TN 37916 ； 4 Oak Ridge National Laboratory (ORNL), Oak Ridge, TN 37830 纠错

专题命中 评测与基准 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出通过CLIP和双通道提示与图像增强实现视觉词义消歧，提升MRR和命中率，验证了精确提示的有效性。

Comments 9 pages, 6 figures, pending journal/workshop submission

PromptPex: Automatic Test Generation for Language Model Prompts

PromptPex: 语言模型提示的自动测试生成

Reshabh K Sharma, Jonathan De Halleux, Shraddha Barke, Dan Grossman, Benjamin Zorn

机构 * University of Washington（华盛顿大学） ； Microsoft Research（微软研究院） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.AI

AI总结 PromptPex 是一个基于 LLM 的工具，用于自动为语言模型提示生成和评估单元测试，以提高提示的稳健性和可预测性。

LLM-Based Repair of Static Nullability Errors

基于大型语言模型的静态空性错误修复

Nima Karimipour, Pascal Joos, Michael Pradel, Martin Kellogg, Manu Sridharan

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 基于LLM的NullRepair系统通过结构化工作流自动修复静态空性错误，有效解决残留问题并保留程序语义。

TraceCoder: A Trace-Driven Multi-Agent Framework for Automated Debugging of LLM-Generated Code

TraceCoder: 一个基于跟踪的多智能体框架，用于自动调试LLM生成的代码

Jiangping Huang, Wenguang Ye, Weisong Sun, Jian Zhang, Mingyue Zhang, Yang Liu

机构 * School of Computer Science and Technology, Chongqing University of Posts and Telecommunications（重庆邮电大学计算机科学与技术学院） ； Nanyang Technological University（南洋理工大学） ； Beihang University（北京航空航天大学） ； Southwest University（西南大学） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 TraceCoder通过多智能体框架和历史教训学习机制，提升LLM生成代码的自动调试效率和准确性。

TrajAD: Trajectory Anomaly Detection for Trustworthy LLM Agents

TrajAD：用于可信大语言模型代理的轨迹异常检测

Yibing Liu, Chong Zhang, Zhongyi Han, Hansong Liu, Yong Wang, Yang Yu, Xiaoyan Wang, Yilong Yin

机构 * School of Software, Shandong University（山东大学软件学院） ； Sonli Holding Group Co., Ltd.（山东利集团有限公司） ； Shandong Huazhi Talent Technology Co., Ltd.（山东华智人才科技有限公司） ； Information Technology Service Center of People’s Court（人民法院信息技术服务中心） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；prompting(abstract)；分类 cs.AI

AI总结 TrajAD通过细粒度过程监督训练的专用验证器，解决大语言模型代理轨迹异常检测问题，提升过程可靠性。

Comments 9 pages, 5 figures, 1 table

A methodology for analyzing financial needs hierarchy from social discussions using LLM

一种利用大语言模型分析社交媒体中财务需求层级的方法

Abhishek Jangra, Sachin Thukral, Arnab Chatterjee, Jayasree Raveendran

机构 * TCS Research（塔塔咨询服务研究院） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出利用大语言模型分析社交媒体中财务需求层级结构，通过计算验证其层级组织特征，并提供新的在线财务讨论内容洞察。

Comments 15 pages, 5 figures, 4 tables

A Human-in-the-Loop, LLM-Centered Architecture for Knowledge-Graph Question Answering

面向知识图谱问答的人机协同、大语言模型中心架构

Larissa Pusch, Alexandre Courtiol, Tim Conrad

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出一种人机协同的大语言模型中心架构，用于知识图谱问答，通过生成Cypher查询并让用户逐步优化，提升复杂数据集的可访问性并保持事实准确性。

DimStance: Multilingual Datasets for Dimensional Stance Analysis

DimStance：多语言数据集用于维度立场分析

Jonas Becker, Liang-Chih Yu, Shamsuddeen Hassan Muhammad, Jan Philip Wahle, Terry Ruas, Idris Abdulmumin, Lung-Hao Lee, Nelson Odhiambo, Lilian Wanzare, Wen-Ni Liu, Tzu-Mi Lin, Zhe-Yu Xu, Ying-Lung Lin, Jin Wang, Maryam Ibrahim Mukhtar, Bela Gipp, Saif M. Mohammad

机构 * University of Göttingen（弗赖堡大学） ； Yuan Ze University（元智大学） ； Imperial College London（伦敦帝国理工学院） ； University of Pretoria（南非普里蒂亚大学） ； National Yang Ming Chiao Tung University ； Maseno University（马斯诺大学） ； Central Police University Taiwan（台湾中央警察大学） ； Yunnan University（云南大学） ； Bayero University Kano（卡诺巴耶罗大学） ； National Research Council Canada（加拿大国家研究委员会） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 DimStance通过引入valence-arousal维度标注，为多语言立场分析提供首个数据集，评估模型在回归和提示设置下的性能，揭示了细粒度立场分析的挑战与前景。

CIPHER: Cryptographic Insecurity Profiling via Hybrid Evaluation of Responses

CIPHER: 通过响应混合评估进行密码学不安全性分析

Max Manolov, Tony Gao, Siddharth Shukla, Cheng-Ting Chou, Ryan Lagasse

机构 * Independent Researcher（独立研究者） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 CIPHER通过混合评估响应的方法，评估LLM生成代码中的密码学漏洞，发现安全提示能减少部分问题但无法彻底消除漏洞。

InstructLR: A Scalable Approach to Create Instruction Dataset for Under-Resourced Languages

InstructLR: 一种可扩展的方法，用于为资源匮乏语言创建指令数据集

Mamadou K. Keita, Sebastien Diarra, Christopher Homan, Seydou Diallo

机构 * Rochester Institute of Technology（罗切斯特理工学院） ； RobotsMali ； MALIBA-AI 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 InstructLR通过结合LLM生成与双层质量过滤机制，为低资源语言创建高质量指令数据集，促进了三个多领域基准的建立。

A Unified Framework for LLM Watermarks

为大语言模型设计统一的水印框架

Thibaud Gloaguen, Robin Staab, Nikola Jovanović, Martin Vechev

机构 * ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种统一的框架，通过约束优化问题统一现有大语言模型水印方法，并揭示质量-多样性-功率的权衡，同时为设计新型水印方案提供系统性方法。

Let LLMs Speak Embedding Languages: Generative Text Embeddings via Iterative Contrastive Refinement

让大语言模型说嵌入语言：通过迭代对比细化生成文本嵌入

Yu-Che Tsai, Kuan-Yu Chen, Yuan-Chi Li, Yuan-Hao Chen, Ching-Yu Tsai, Shou-De Lin

机构 * Department of Computer Science and Information Engineering, National Taiwan University（国家台湾大学计算机科学与信息工程系） ； National Taiwan University AI Center of Research Excellence（国家台湾大学人工智能研究中心） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 GIRCSE通过迭代对比细化生成文本嵌入，优于现有LLM基嵌入方法，在多个基准和任务中表现出色。

OpenDeception: Learning Deception and Trust in Human-AI Interaction via Multi-Agent Simulation

OpenDeception: 通过多智能体模拟学习人类-人工智能交互中的欺骗与信任

Yichen Wu, Qianqian Gao, Xudong Pan, Geng Hong, Min Yang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 OpenDeception通过多智能体模拟评估人类-人工智能交互中的欺骗与信任风险，利用场景基准、意图网络和信任网络，识别高风险对话并提前预警。

ExpressivityBench: Can LLMs Communicate Implicitly?

ExpressivityBench: LLMs能否隐式沟通？

Joshua Tint, Som Sagar, Aditya Taparia, Kelly Raines, Bimsara Pathiraja, Caleb Liu, Ransalu Senanayake

机构 * Amazon（亚马逊公司） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 ExpressivityBench通过信息理论模型评估LLM隐式沟通能力，发现其在情感表达上表现良好，但在社会语言学信号上不如人类。

Comments 21 pages, 7 figures

AgentStepper: Interactive Debugging of Software Development Agents

AgentStepper: 软件开发代理的交互式调试

Robert Hutter, Michael Pradel

机构 * University of Stuttgart（斯图加特大学） ； CISPA Helmholtz Center for Information Security（CISPA 沃尔夫冈·泡利信息安全中心） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 AgentStepper是一种用于LLM软件工程代理的交互式调试工具，通过结构化对话和逐步执行提升调试效率，减少开发者工作量。

PersonaPlex: Voice and Role Control for Full Duplex Conversational Speech Models

PersonaPlex：面向全双工对话语音模型的语音与角色控制

Rajarshi Roy, Jonathan Raiman, Sang-gil Lee, Teodor-Dumitru Ene, Robert Kirby, Sungwon Kim, Jaehyeon Kim, Bryan Catanzaro

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 PersonaPlex通过融合角色条件和语音克隆技术，实现全双工对话语音模型的语音与角色控制，提升角色一致性、说话人相似性和对话自然度。

SpIDER: Spatially Informed Dense Embedding Retrieval for Software Issue Localization

SpIDER：面向软件问题定位的时空感知密集嵌入检索

Shravan Chaudhari, Rahul Thomas Jacob, Mononito Goswami, Jiajun Cao, Shihab Rashid, Christian Bock

机构 * Department of Computer Science, Johns Hopkins University（约翰霍普金斯大学计算机科学系） ； AWS（亚马逊公司） ； AWS AI Labs（亚马逊人工智能实验室） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SpIDER通过结合LLM推理和图结构探索信息，提升代码库中相关代码单元的密集检索性能，实验显示在多个编程语言和基准测试中性能提升达13%。

Comments Initial preprint

Do LLMs Track Public Opinion? A Multi-Model Study of Favorability Predictions in the 2024 U.S. Presidential Election

大语言模型能跟踪公众意见吗？2024年美国总统选举中多模型对候选人好感度预测的分析

Riya Parikh, Sarah H. Cen, Chara Podimata

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究发现，现成的大语言模型在预测2024年美国总统选举候选人好感度时存在系统性偏差，且无法通过时间平滑或互联网增强检索进行纠正。

Comments 17 pages, 10 figures

Enhancing Features in Long-tailed Data Using Large Vision Model

利用大视觉模型增强长尾数据特征

Pengxiao Han, Changkun Ye, Jinguang Tong, Cuicui Jiang, Jie Hong, Li Fang, Xuesong Li

机构 * Australian National University Canberra, Australia ； The University of Hong Kong Hong Kong SAR ； Chinese Academy of Sciences China ； Australian National University\&CSIRO Canberra, Australia 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本研究提出利用大视觉模型增强长尾数据特征，通过特征融合和原型损失函数提升模型性能。

Halluverse-M^3: A multitask multilingual benchmark for hallucination in LLMs

Halluverse-M^3: 一个多任务多语言的幻觉基准测试用于LLMs中的幻觉

Samir Abdaljalil, Parichit Sharma, Erchin Serpedin, Hasan Kurban

机构 * Texas A&M University（德克萨斯农工大学） ； University of Maryland, Baltimore（马里兰大学巴尔的摩分校） ； Hamad Bin Khalifa University（哈马德·本·卡尔法大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Halluverse-M^3是一个多语言多任务基准测试，用于评估大型语言模型中的幻觉检测性能，涵盖四种语言和两种生成任务，揭示了不同任务和语言下的幻觉检测挑战。

Revisiting Salient Object Detection from an Observer-Centric Perspective

重新审视以观察者为中心的显著物体检测

Fuxi Zhang, Yifan Wang, Hengrun Zhao, Zhuohan Sun, Changxing Xia, Lijun Wang, Huchuan Lu, Yangrui Shao, Chen Yang, Long Teng

机构 * Dalian University of Technology（大连理工大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出OC-SOD方法，通过考虑观察者偏好和意图，实现个性化显著性预测，并构建首个OC-SOD数据集和代理基线。

SMMILE: An Expert-Driven Benchmark for Multimodal Medical In-Context Learning

SMMILE：一个多模态医学上下文学习的专家驱动基准

Melanie Rieff, Maya Varma, Ossian Rabow, Subathra Adithan, Julie Kim, Ken Chang, Hannah Lee, Nidhi Rohatgi, Christian Bluethgen, Mohamed S. Muneer, Jean-Benoit Delbrouck, Michael Moor

机构 * ETH Zurich（苏黎世联邦理工学院） ； Stanford University（斯坦福大学） ； Lund University（隆德大学） ； Jawaharlal Institute of Postgraduate Medical Education and Research（贾瓦哈拉尔·尼赫鲁医学教育与研究学院） ； UCSF（加州大学旧金山分校） ； University of Zurich（苏黎世大学） ； University Hospital Zurich（苏黎世大学医院） ； HOPPR 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SMMILE是一个专家驱动的多模态医学上下文学习基准，评估了15个MLLMs在医学任务中的多模态ICL能力，发现其表现有限且易受无关示例和最近性偏见影响。

Comments NeurIPS 2025 (Datasets & Benchmarks Track)

Seeing Beyond Redundancy: Task Complexity's Role in Vision Token Specialization in VLLMs

超越冗余：任务复杂性在视觉令牌专业化中的作用

Darryl Hannan, John Cooper, Dylan White, Yijing Watkins

机构 * Pacific Northwest National Laboratory（太平洋西北国家实验室） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本研究探讨了任务复杂性对VLLMs视觉令牌专业化的影响，发现高复杂度视觉数据对提升模型在复杂视觉任务上的性能至关重要。

Comments 25 pages

Estimating Exam Item Difficulty with LLMs: A Benchmark on Brazil's ENEM Corpus

利用LLM估算考试题目难度：在巴西ENEM语料库上的基准测试

Thiago Brant, Julien Kühn, Jun Pang

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本文研究了LLM在估算考试题目难度上的表现，发现其在单模态问题上表现中等，但对多模态问题和人口统计数据提示的适应性有限，建议采用评估后再生成的流程进行负责任的评估设计。

Comments 42 pages, 19 figures. Appendix included