语言大模型 / LLM

Constrained Semantic Decompression in LLMs through Persian Proverb-Conditioned Story Generation

通过波斯谚语条件故事生成实现LLM中的约束语义解压缩

Zahra Habibzadeh, Paria Khoshtab, Amir Mesbah, Yadollah Yaghoobzadeh

机构 * Tehran Institute for Advanced Studies, Khatam University, Iran（德黑兰高级研究所，卡塔姆大学，伊朗） ； School of Electrical and Computer Engineering, College of Engineering, University of Tehran, Tehran, Iran（电气与计算机工程学院，工程学院，德黑兰大学，伊朗） 纠错

专题命中 评测与基准 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出约束语义解压缩任务，通过波斯谚语条件故事生成测试大语言模型的抽象到实现能力，构建PAND数据集，发现解压缩差距，并表明显式推理和迭代细化可部分缓解。

Creating and Evaluating K-12 GenAI Assessment Graders Through Context Engineering

通过上下文工程创建和评估K-12生成式AI评分器

Zewei Tian, Alex Liu, Lief Esbenshade, Michael Xiao, Zachary Zhang, Yulia Lápicus, Thomas Han, Kevin He, Min Sun

机构 * University of Washington（华盛顿大学） ； Colleague AI 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本研究通过上下文工程利用商用基础模型构建LLM评分器，基于MCAS数据评估其在数学、科学和ELA上的评分一致性，发现大参数模型在数学和科学上表现良好，而ELA上差异较大，表明AI更适合作为形成性工具。

Comments Published on the Proceedings of NCME 2026 Conference (https://www.xcdsystem.com/proceedings/ncme/8DbqHwv/presentation/28064.cfm?uuid=3EC982ED-A989-8E53-B42BC86334206028)

Can Factual Opinions Be Edited (Manipulated) in Large Language Models?

大型语言模型中的事实性观点能否被编辑（操纵）？

Yuanpu Cao, Ziyi Yin, Fenglong Ma, Jinghui Chen

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 提出FOE基准测试，评估当前知识编辑技术对事实性观点（如公众人物立场）的操纵能力，并发现其仅能实现表面修改，无法保持观点与证据的一致性；进而提出自生成证据对齐方法实现观点-证据对齐。

Comments Accepted to the ACL 2026 Main Conference

IVIE: A Neuro-symbolic Approach to Incremental and Validated Generation of Interactive Fiction Worlds

IVIE：一种用于增量且经过验证的交互式小说世界生成的神经符号方法

Micaela Vaucher, Santiago Silveira, Santiago Góngora, Luis Chiruzzo

机构 * Instituto de Computación, Facultad de Ingeniería, Universidad de la República（乌拉圭共和国大学工程学院计算机研究所） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出IVIE神经符号方法，结合LLM的创造力与符号验证的连贯性，通过四阶段增量生成管道构建可玩的交互式小说世界，人类评估显示其生成沉浸式、主题连贯的世界，平衡了灵活性与叙事一致性。

Comments 10 pages, 3 figures. To appear in the Proceedings of the 16th International Conference on Computational Creativity (ICCC'26), June 2026

RogueAI: A Reverse Turing Test for Detecting Licensed AI Deception in Dialogue

RogueAI: 一种用于检测对话中授权AI欺骗的逆向图灵测试

Sara Candussio, Emanuele Ballarin, Lorenzo Bonin, Sandro Junior Della Rovere, Luca Bortolussi

机构 * AILab, MIGe, University of Trieste（的里雅斯特大学） ； Computational Statistics and Machine Learning, Istituto Italiano di Tecnologia（意大利理工学院） ； DIA, University of Trieste（的里雅斯特大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出RogueAI，一种通过玩家与两个LLM代理的对话游戏来检测授权欺骗的逆向图灵测试，并引入AutoRogueAI扩展。实验发现简单启发式方法准确率75.6%，而人类仅56.6%，表明人类忽略关键信号。

Prefill Awareness in Large Language Models

大型语言模型中的预填充感知

Andy Wang, Parv Mahajan, David Demitri Africa, Alexandra Souly, Jordan Taylor, Robert Kirk

机构 * Constellation University of Wisconsin-Madison（威斯康星大学麦迪逊分校星座研究所） ； Constellation Georgia Institute of Technology（佐治亚理工学院星座研究所） ； UK AI Security Institute（英国人工智能安全研究所） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(title)；分类 cs.AI

AI总结 研究大型语言模型能否识别并响应其助手消息被预填充或篡改，发现前沿模型具有显著预填充感知能力，可能影响安全评估方法。

Comments Submitted to NeurIPS 2026

EPIG: Emotion-Based Prompting for Personalised Image Generation

EPIG：基于情感提示的个性化图像生成

Emna Othmen, Mohamed Yassine Landolsi, Lotfi Ben Romdhane

机构 * MARS Research Lab LR17ES05, ISITCom, University of Sousse（苏塞大学ISITCom学院MARS研究实验室LR17ES05） 纠错

专题命中 评测与基准 ：prompting(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出EPIG方法，利用心理学效价-唤醒模型在提示层面增强情感表达，无需训练即可控制生成图像的唤醒度，在10个多样化提示上平均唤醒误差降低14%-17%。

Comments Submitted to arXiv. 20 pages, 4 figures. Work on emotion-based prompt engineering for text-to-image diffusion models with applications in personalized image generation

An LLM System for Autonomous Variational Quantum Circuit Design

用于自主变分量子电路设计的大语言模型系统

Kenya Sakka, Wataru Mizukami, Kosuke Mitarai

机构 * Center for Quantum Information and Quantum Biology（量子信息与量子生物学中心） ； The University of Osaka（大阪大学） ； Graduate School of Engineering Science（工学研究科） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一个基于大语言模型的自主代理框架，通过迭代设计量子电路，在量子特征映射和变分量子本征求解器任务中取得优于或媲美现有方法的性能。

Comments 63 pages, 19 figures, 3 tables

From Seeing to Experiencing: Scaling Navigation Foundation Models with Reinforcement Learning

从看见到体验：通过强化学习扩展导航基础模型

Honglin He, Yukai Ma, Brad Squicciarini, Wayne Wu, Bolei Zhou

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Coco Robotics（Coco机器人） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；pretraining(abstract)；post-training(abstract)

AI总结 提出S2E框架，结合离线视频预训练和模拟环境强化学习，通过锚点引导分布匹配和残差注意力模块，提升导航基础模型的交互性和安全性。

Comments 27 pages, 20 figures, 9 tables, conference

Beyond Problem Solving: UOJ-Bench for Evaluating Code Generation, Hacking, and Repair in Competitive Programming

超越问题求解：用于评估竞赛编程中代码生成、攻击和修复的UOJ-Bench基准

Tingqiang Xu, Hangrui Zhou, Tianle Cai, Alex Gu, Kaifeng Lyu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出UOJ-Bench基准，通过代码生成、攻击和修复三项任务评估LLM在竞赛编程中的问题求解与人类代码错误识别能力，发现最强模型在一次性评估中无法识别超过50%的错误提交，但测试时扩展可提升至90%以上，且能发现约5%的满分提交中的错误。

Fin-RATE: A Real-world Financial Analytics and Tracking Evaluation Benchmark for LLMs on SEC Filings

Fin-RATE：面向SEC文件的金融分析与追踪评估基准

Yidong Jiang, Junrong Chen, Eftychia Makri, Jialin Chen, Peiwen Li, Ali Maatouk, Leandros Tassiulas, Eliot Brenner, Bing Xiang, Rex Ying

机构 * Tongji University（同济大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； Yale University（耶鲁大学） ； Goldman Sachs（高盛集团） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对LLM在金融领域分析复杂监管文件的需求，提出基于SEC文件的Fin-RATE基准，通过三种任务路径评估模型，发现跨文档和跨时间分析时性能显著下降。

Journal ref Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026)

InnoEval: On Research Idea Evaluation as a Knowledge-Grounded, Multi-Perspective Reasoning Problem

InnoEval：将研究思路评估视为基于知识的多视角推理问题

Shuofei Qiao, Yunxiang Wei, Xuehai Wang, Bin Wu, Boyang Xue, Ningyu Zhang, Hossein A. Rahmani, Yanshan Wang, Qiang Zhang, Keyan Ding, Jeff Z. Pan, Huajun Chen, Emine Yilmaz

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出InnoEval框架，通过异构深度知识检索和多视角评审委员会，实现基于知识的多维度解耦评估，在点对点、成对和分组评估任务中优于基线方法。

Comments ICML 2026

LingxiDiagBench: A Multi-Agent Framework for Benchmarking LLMs in Chinese Psychiatric Consultation and Diagnosis

LingxiDiagBench: 用于基准测试大语言模型在中文精神科咨询与诊断中的多智能体框架

Shihao Xu, Tiancheng Zhou, Jiatong Ma, Yanli Ding, Yiming Yan, Ming Xiao, Guoyi Li, Haiyang Geng, Yunyun Han, Jianhua Chen, Yafeng Deng

机构 * Tianqiao and Chrissy Chen Institute（天桥和克里斯西·陈研究所） ； EverMind AI Inc.（EverMind AI公司） ； Shanghai Mental Health Center, Shanghai Jiao Tong University School of Medicine（上海精神卫生中心，上海交通大学医学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出LingxiDiagBench多智能体框架，包含16K电子病历对齐的合成咨询对话数据集，评估LLM在静态诊断和动态咨询中的表现，发现其对抑郁-焦虑共病识别和12类鉴别诊断准确率低，动态咨询常不如静态评估。

DuplexSLA: A Full-Duplex Spoken Language Model with Synchronized Speech, Language, and Action

DuplexSLA: 一种具备同步语音、语言和动作的全双工语音语言模型

Haoyang Zhang, Jun Chen, Donghang Wu, Yuxin Li, Yuxin Zhang, Xiangyu Tony Zhang, Che Liu, Qingjian Lin, Yizhou Peng, Hexin Liu, Eng Siong Chng, Chao Yan, Boyong Wu, Yechang Huang, Xuerui Yang, Fei Tian

专题命中 评测与基准 ：language model(title,abstract)；foundation model(abstract)

AI总结 本研究提出DuplexSLA，一种全双工语音语言模型，通过共享160ms时间线解码助理音频和结构化动作流，实现了同步语音、语言和动作的处理，解决了现有全双工模型在对话中规划和工具调用方面的不足。

Self-Evolving Vision-Language Models for Image Quality Assessment via Voting and Ranking

自进化视觉语言模型用于图像质量评估：基于投票与排序

Wen Wen, Tianwu Zhi, Kanglong Fan, Yang Li, Xinge Peng, Yabin Zhang, Yiting Liao, Junlin Li, Li Zhang

机构 * City University of Hong Kong（香港城市大学） ； ByteDance Inc.（字节跳动公司） 纠错

专题命中 评测与基准 ：language model(title,abstract)；post-training(abstract)

AI总结 提出EvoQuality框架，通过自一致性生成伪标签，利用群体相对策略优化迭代提升VLM的图像质量感知能力，无监督下在多个IQA基准上超越监督方法。

Comments Published as a conference paper at ICLR 2026

From Digital to Physical: Digital Agents as Autonomous Coaches for Physical Intelligence

从数字到物理：数字代理作为物理智能的自主教练

Zixing Lei, Genjia Liu, Yuanshuo Zhang, Qipeng Liu, Yuzhu Cai, Sixiang Chen, Jixian Wu, Yunhong Wang, Weixin Li, Chuan Wen, Bo Zhao, Shanghang Zhang, Wenzhao Lian, Siheng Chen

机构 * School of Artificial Intelligence, Shanghai Jiao Tong University, Shanghai, China（上海交通大学人工智能学院） ； Zhongguancun Academy, Beijing, China（中关村学院） ； School of Integrated Circuits, Shanghai Jiao Tong University, Shanghai, China（上海交通大学集成电路学院） ； School of Computer Science, Shanghai Jiao Tong University, Shanghai, China（上海交通大学计算机科学学院） ； State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University, Beijing, China（北京大学计算机科学学院多媒体信息处理国家重点实验室） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出EmboCoach-Bench基准，评估LLM代理自主设计具身策略的能力，通过迭代调试和优化，代理在平均成功率上超越人工基线26.5%，并具备自我修正能力。

Comments 53 pages, 12 figures

RAGPPI: RAG Benchmark for Protein-Protein Interactions in Drug Discovery

RAGPPI：药物发现中蛋白质-蛋白质相互作用的RAG基准

Youngseung Jeon, Ziwen Li, Thomas Li, JiaSyuan Chang, Morteza Ziyadi, Xiang 'Anthony' Chen

机构 * University of California Los Angeles（加州大学洛杉矶分校） ； Palo Alto High School（帕洛阿尔托高中） ； Amazon AGI（亚马逊人工智能研究院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出RAGPPI基准，包含4420个问答对，用于评估检索增强生成在药物发现中识别蛋白质-蛋白质相互作用生物学影响的能力。

Comments 17 pages, 4 figures, 8 tables

Journal ref Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2026)

Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior

重新思考LLMs的心理测量评估：自我报告何时以及为何能预测行为

Rafal Kocielnik, Pengrui Han, Peiyang Song, Myrl G. Marmarelis, Ramit Debnath, Dean Mobbs, Anima Anandkumar, R. Michael Alvarez

机构 * Caltech（加州理工学院） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； University of Cambridge（剑桥大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究对比大五人格与计划行为理论，发现LLMs的自我报告-行为一致性存在选择性：在共享对话中TPB达到人类水平，跨对话仅对锚定于训练的行为保持一致性，且角色提示不能使行为对齐。

Comments Accepted as an Oral (Contributed Talk) at the ICML 2026 Workshop on Combining Theory and Benchmarks (CTB)

Multi-Modal Agents for Power Distribution Defect Detection: An Evaluation of Foundation Models

用于配电缺陷检测的多模态智能体：基础模型评估

Quan Quan

机构 * Quan Quan 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出多模态智能体框架，系统评估基础模型在感知、推理和工具使用三方面的能力，用于配电缺陷检测的闭环自动化。

ReliableEval: A Recipe for Stochastic LLM Evaluation via Method of Moments

ReliableEval: 通过矩方法进行随机大语言模型评估的配方

Gili Lior, Eliya Habba, Shahar Levy, Avi Caciularu, Gabriel Stanovsky

机构 * The Hebrew University of Jerusalem（耶路撒冷希伯来大学） ； Google Research（谷歌研究） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.CL

AI总结 本文提出ReliableEval方法，通过矩方法评估大语言模型的提示敏感性，发现顶级模型如GPT-4o和Claude-3.7-Sonnet存在显著提示敏感性。

Comments Findings of EMNLP 2025

Journal ref Findings of the Association for Computational Linguistics: EMNLP 2025, pages 11146-11153, Suzhou, China. Association for Computational Linguistics

LLMs Can Better Capture Human Judgments--With the Right Prompts

LLMs 能更好地捕捉人类判断——使用合适的提示

Danica Dillion, Chen Cecilia Liu, Baihui Wang, Daniele Barolo, Tanmay Rajore, Niket Tandon, Pranathi Ravikumar, Kurt Gray

机构 * Complexity Science Hub, Vienna（维也纳复杂科学中心） ； The Ohio State University（俄亥俄州立大学） ； University of Cambridge（剑桥大学） ； University of Chicago（芝加哥大学） ； Microsoft Research（微软研究院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 通过简单提示策略，LLMs 能恢复人类反应的完整分布，并减少对措辞变化的敏感性，提升 AI-人类对齐。

FENCE: A Financial and Multimodal Jailbreak Detection Dataset

FENCE：一个金融和多模态越狱检测数据集

Mirae Kim, Seonghun Jeong, Youngjun Kwak

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对金融领域多模态越狱检测资源匮乏的问题，提出FENCE数据集，包含韩英双语文本和图像，用于训练和评估检测器，实验表明基线检测器准确率达99%。

Comments lrec 2026 accepted paper

Reasoning for Mobile User Experience with Multimodal LLMs: Task, Benchmark, and Approach

基于多模态大语言模型的移动用户体验推理：任务、基准与方法

Ruichao Mao, Zhou Fang, Teng Guo, Hao Yang, Yaping Li, Shaohua Peng, Maji Huang, Xiaoyu Lin, Shuoyang Liu, Xuepeng Li, Yuyu Zhang, Hai Rao

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 提出UXBench基准（2000个VQA样本）评估多模态大模型在UI推理上的能力，并设计UI-UX模型，通过奖励路由和不对称过渡奖励机制在UXBench上达到0.7963准确率，超越Claude-4.5-Sonnet。

Comments 10 pages, 6 figures, Accepted at CVPR 2026 Findings

Polar: A Benchmark for Evaluating Political Bias in LLMs

Polar: 评估大语言模型中政治偏见的基准

Sangho Kim, Heejin Kim, Yoonhee Park, Hyunggeun Jeon, Jaejin Lee

机构 * Graduate School of Data Science, Seoul National University（首尔大学数据科学研究生院） ； Dept. of Computer Science and Engineering, Seoul National University（首尔大学计算机科学与工程系） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出Polar基准，通过选项级似然度测量大语言模型的政治偏见，覆盖美国和韩国政治语境，发现偏见随语境、议题、模型组和语言变化。

Comments Submitted to ARR 2026 May cycle

HybridCodeAuthorship: A Benchmark Dataset for Line-Level Code Authorship Detection

HybridCodeAuthorship：一个用于行级代码作者归属检测的基准数据集

Luke Patterson, Li Wang, Adam Faulkner

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对现有基准无法反映真实AI代码助手使用场景的问题，提出HybridCodeAuthorship数据集，包含交错的人类和AI编写代码行，并评估两种检测算法性能。

Comments Accepted to LREC 2026

Journal ref LREC 2026 proceedings (pp. 1520-1532)

A Controlled Study of Decoding-Time Truthfulness Methods on Instruction-Tuned LLMs

指令调优大语言模型解码时真实性方法的受控研究

Ao Sun

机构 * Independent Researcher（独立研究员） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 本研究通过分析每层令牌logits特征，提出CHAIR框架检测幻觉，在TruthfulQA和MMLU上显著提升零样本检测准确率。

DecompSR: A dataset for decomposed analyses of compositional multihop spatial reasoning

DecompSR：用于组合多跳空间推理分解分析的数据集

Lachlan McPheat, Navdeep Kaur, Robert Blackwell, Alessandra Russo, Anthony G. Cohn, Pranava Madhyastha

机构 * The Alan Turing Institute（艾伦·图灵研究所） ； Imperial College London（帝国理工学院伦敦分校） ； The University of Leeds（利兹大学） ； City St George’s University of London（伦敦城市圣乔治大学） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出DecompSR数据集（超500万数据点），通过程序化生成独立控制组合性的多个方面（如推理深度、语言变异性），用于细粒度评估大语言模型的空间推理能力。

CoDeR: Local Constraint-Compatible Retrieval Beyond Semantic Similarity

CoDeR: 超越语义相似性的局部约束兼容检索

Xingkun Yin, Xuebin Tang, Hongyang Du

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 针对约束敏感查询中语义相似性作为相关性代理的失效问题，提出CoDeR方法，通过分离主题相关性与约束兼容性，利用对比学习训练兼容性评分器，在不调用外部大模型的情况下实现约束兼容检索。

Counterintuitive problems in discrete probability

离散概率中的反直觉问题

Luca Avena, Gianmarco Bet, Bernardo Busoni

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文收集了一系列离散概率中的反直觉问题及详细解答，旨在挑战启发式推理，评估大语言模型在概率推理中的认知偏差。

Comments Feedback on possible mistakes or typos and suggested additions to the list of problems are welcome at the email address of the authors

Unsafer in Many Turns: Benchmarking and Defending Multi-Turn Safety Risks in Tool-Using Agents

多轮交互中的安全隐患：工具使用智能体的多轮安全风险基准与防御

Xu Li, Simon Yu, Minzhou Pan, Yiyou Sun, Bo Li, Dawn Song, Xue Lin, Weiyan Shi

机构 * Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出多轮工具使用安全基准MT-AgentRisk，发现多轮设置下攻击成功率平均增加16%，并设计无训练、与工具无关的自探索防御方法ToolShield，平均降低30%攻击成功率。