语言大模型 / LLM

CogToM: A Comprehensive Theory of Mind Benchmark inspired by Human Cognition for Large Language Models

CogToM：一种受人类认知启发的大型语言模型全面理论思维基准

Haibo Tong, Zeyang Yue, Feifei Zhao, Erliang Lin, Lu Jia, Ruolin Chen, Yinqian Sun, Qian Zhang, Yi Zeng

机构 * BrainCog Lab, Institute of Automation, Chinese Academy of Sciences（脑认知实验室，自动化研究所，中国科学院） ； Beijing Institute of AI Safety and Governance (Beijing-AISI)（北京人工智能安全与治理研究所） ； Beijing Key Laboratory of Safe AI and Superalignment（北京安全人工智能与超对齐重点实验室） ； School of Artificial Intelligence, UCAS（人工智能学院，中国科学院大学） ； Long-term AI（长期人工智能） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 CogToM通过8000个双语实例评估LLM的理论思维能力，揭示性能异质性和认知瓶颈，为研究LLM认知边界提供新视角。

Adversarial Alignment: Ensuring Value Consistency in Large Language Models for Sensitive Domains

对抗对齐：确保大型语言模型在敏感领域中的价值一致性

Yuan Gao, Zhigang Liu, Xinyu Yao, Bo Chen, Xiaobing Zhao

机构 * School of Information Engineering, Minzu University of China（中国民族大学信息工程学院） ； National Language Resource Monitoring and Research Center of Minority Languages（少数民族语言资源监测与研究中心） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文提出对抗对齐框架，通过持续预训练、指令微调和对抗训练提升大型语言模型在敏感领域中的价值一致性，实验表明其优于现有主流模型。

Comments 13 pages, 5 figures

A large-scale evaluation of commonsense knowledge in humans and large language models

对人类和大语言模型常识知识的大规模评估

Tuan Dung Nguyen, Duncan J. Watts, Mark E. Whiting

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI；LLM(comments)

AI总结 本文提出了一种评估人类和大语言模型常识知识的方法，发现较小的开放权重模型在常识能力上表现更优，强调常识知识的文化基础与人类群体差异。

Comments Code and data: https://github.com/Watts-Lab/commonsense-llm-eval

Evaluating Multimodal Large Language Models for Heterogeneous Face Recognition

评估多模态大语言模型用于异构人脸识别

Hatef Otroshi Shahreza, Anjith George, Sébastien Marcel

机构 * Idiap Research Institute（日内瓦研究所） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文评估了多模态大语言模型在异构人脸识别中的性能，发现其在跨模态条件下表现欠佳，凸显了当前模型的局限性及生物识别评估的重要性。

LLM Prompt Evaluation for Educational Applications

用于教育应用的LLM提示评估

Langdon Holmes, Adam Coscia, Scott Crossley, Joon Suh Choi, Wesley Morris

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出了一种系统评估方法，通过测试六个提示模板，发现一个结合角色和上下文管理器模式的提示在教育应用中表现最佳，支持元认知学习策略。

LLM or Human? Perceptions of Trust and Information Quality in Research Summaries

LLM还是人类？研究摘要中的信任与信息质量感知

Nil-Jana Akpinar, Sandeep Avula, CJ Lee, Brandon Dang, Kaza Razat, Vanessa Murdock

机构 * Microsoft（微软） ； Amazon AWS AI（亚马逊AWS人工智能） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究探讨了读者对LLM生成摘要的信任与质量感知，发现尽管难以识别LLM内容，但读者的信念显著影响评估，且LLM编辑的摘要更受好评。

Comments Accepted to ACM CHI conference on Human Factors in Computing Systems(CHI 2026)

VegaChat: A Robust Framework for LLM-Based Chart Generation and Assessment

VegaChat: 一种基于大语言模型的图表生成与评估稳健框架

Marko Hostnik, Rauf Kurbanov, Yaroslav Sokolov, Artem Trofimov

机构 * JetBrains 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 VegaChat通过引入Spec Score和Vision Score两个指标，解决了LLM基于自然语言生成可视化中的评估难题，实现了高准确率的图表生成与评估。

Comments 8 pages, 9 figures

The Paradigm Shift: A Comprehensive Survey on Large Vision Language Models for Multimodal Fake News Detection

范式转变：大型视觉语言模型在多模态虚假新闻检测中的全面调查

Wei Ai, Yilong Tan, Yuntao Shou, Tao Meng, Haowen Chen, Zhixiong He, Keqin Li

机构 * College of Computer and Mathematics, Central South University of Forestry and Technology（计算机与数学学院，中央南大学林业科技学院） ； College of Computer Science and Electronic Engineering, Hunan University（计算机科学与电子工程学院，湖南大学） ； College of Economics and Management, Central South University of Forestry and Technology（经济管理学院，中央南大学林业科技学院） ； Department of Computer Science, State University of New York（计算机科学系，纽约州立大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本文通过大型视觉语言模型全面调查多模态虚假新闻检测，分析其发展历程、技术挑战及未来方向。

Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation

操纵法官：不忠的推理链可能损害智能体评估

Muhammad Khalifa, Lajanugen Logeswaran, Jaekyeom Kim, Sungryull Sohn, Yunxiang Zhang, Moontae Lee, Hao Peng, Lu Wang, Honglak Lee

机构 * University of Michigan（密歇根大学） ； LG AI Research（LG人工智能研究） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文揭示了LLM法官对智能体推理轨迹操纵的脆弱性，表明基于内容的操纵能显著提高假阳性率，凸显了需验证推理与证据的评估机制的重要性。

Sub-Region-Aware Modality Fusion and Adaptive Prompting for Multi-Modal Brain Tumor Segmentation

子区域感知模态融合与自适应提示的多模态脑肿瘤分割

Shadi Alijani, Fereshteh Aghaee Meibodi, Homayoun Najjaran

机构 * University of Victoria, BC, Canada（维多利亚大学） 纠错

专题命中 评测与基准 ：prompting(title,abstract)；foundation model(abstract)

AI总结 本文提出子区域感知模态融合与自适应提示方法，提升多模态脑肿瘤分割的准确性与鲁棒性。

Language Models Entangle Language and Culture

语言模型融合语言与文化

Shourya Jain, Paras Chopra

机构 * Lossfunk 纠错

专题命中 评测与基准 ：language model(title)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 研究发现语言选择影响LLM生成答案的文化上下文，导致低资源语言回答质量较低。

Comments Accepted at LM4UC Workshop at AAAI'26, Submitted to ACL 2026. 17 pages, 7 figures

Codebook-Injected Dialogue Segmentation for Multi-Utterance Constructs Annotation: LLM-Assisted and Gold-Label-Free Evaluation

用于多轮对话结构标注的代码表注入对话分割：LLM辅助且无需黄金标签的评估

Jinsook Lee, Kirk Vanacore, Zhuqian Zhou, Bakhtawar Ahtisham, Jeanine Grutter, Rene F. Kizilcec

机构 * Cornell University（康奈尔大学） ； LMU Muinich（慕尼黑大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于LLM的对话分割方法，通过代码表注入提升分割一致性，并在无黄金标签情况下评估不同分割器的性能，发现需根据下游任务优化分割策略。

Comments Under Review for ACL 2026

PyTDC: A multimodal machine learning training, evaluation, and inference platform for biomedical foundation models

PyTDC: 一种用于生物医学基础模型的多模态机器学习训练、评估和推理平台

Alejandro Velez-Arce, Jesus Caraballo, Marinka Zitnik

机构 * arcellai（ArcellAI公司） ； calculus（The Residency公司） ； mit（麻省理工学院） ； hms（哈佛医学院生物医学信息学系） ； broad（MIT与哈佛大学Broad研究所） ； harvard-ds（哈佛大学数据科学倡议） ； kempner（哈佛大学Kempner研究所） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 PyTDC是一种多模态机器学习平台，旨在提升生物医学基础模型的训练、评估和推理能力，通过统一数据源和模型权重，促进多模态、上下文感知的研究。

Comments Proceedings of the 42nd International Conference on Machine Learning, Vancouver, Canada. PMLR 267, 2025

Improving Methodologies for LLM Evaluations Across Global Languages

提升跨全球语言的LLM评估方法

Akriti Vij, Benjamin Chua, Darshini Ramiah, En Qi Ng, Mahran Morsidi, Naga Nikshith Gangarapu, Sharmini Johnson, Vanessa Wilfred, Vikneswaran Kumaran, Wan Sie Lee, Wenzhuo Yang, Yongsen Zheng, Bill Black, Boming Xia, Frank Sun, Hao Zhang, Qinghua Lu, Suyu Ma, Yue Liu, Chi-kiu Lo, Fatemeh Azadi, Isar Nejadgholi, Sowmya Vajjala, Agnes Delaborde, Nicolas Rolin, Tom Seimandi, Akiko Murakami, Haruto Ishi, Satoshi Sekine, Takayuki Semitsu, Tasuku Sasaki, Angela Kinuthia, Jean Wangari, Michael Michie, Stephanie Kasaon, Hankyul Baek, Jaewon Noh, Kihyuk Nam, Sang Seo, Sungpil Shin, Taewhi Lee, Yongsu Kim, Daisy Newbold-Harrop, Jessica Wang, Mahmoud Ghanem, Vy Hong

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI

AI总结 本研究通过多语言评估活动，探讨了不同语言环境下LLM安全行为的差异，并提出了改进多语言安全评估的方法论建议。

Comments Author names have been organised by country, and in alphabetical order within countries

MALTopic: Multi-Agent LLM Topic Modeling Framework

MALTopic: 多智能体大语言模型主题建模框架

Yash Sharma

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.CL

AI总结 MALTopic通过多智能体框架整合结构化数据，提升调查数据的主题连贯性、多样性和可解释性。

Comments 6 pages. Published in 2025 IEEE World AI-IoT Congress. \c{opyright} 2025 IEEE. Project code and data available at: https://github.com/yash91sharma/MALTopic

Journal ref 2025 IEEE AI-IoT

Chunking, Retrieval, and Re-ranking: An Empirical Evaluation of RAG Architectures for Policy Document Question Answering

分块、检索与重排序：RAG架构在政策文件问答中的实证评估

Anuj Maharjan, Umesh Yadav

机构 * Computer Science (EECS) University of Toledo Toledo, OH, USA 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过实证评估，比较了RAG架构在政策文件问答中的有效性，发现Advanced RAG在忠实度上表现更优，但文档分段限制影响多步骤推理。

Zero-Shot Product Attribute Labeling with Vision-Language Models: A Three-Tier Evaluation Framework

基于视觉-语言模型的零样本产品属性标注：一种三级评估框架

Shubham Shukla, Kunal Sonalkar

机构 * Nordstrom（诺德斯特拉姆） 纠错

专题命中 评测与基准 ：language model(title,abstract)

AI总结 本文提出一种三级评估框架，评估视觉-语言模型在多属性服装任务中的零样本属性标注性能，发现高效模型在成本较低时能实现接近旗舰级性能，揭示了属性适用性检测是关键瓶颈。

Comments Accepted to WACV 2026 Workshop on Physical Retail AI (PRAW)

AdversaRiskQA: An Adversarial Factuality Benchmark for High-Risk Domains

AdversaRiskQA: 面向高风险领域的对抗事实性基准

Adam Szelestey, Sofie van Engelen, Tianhao Huang, Justin Snelders, Qintao Zeng, Songgaojun Deng

机构 * Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 AdversaRiskQA是一个面向高风险领域的对抗事实性基准，通过评估LLM在不同领域和难度下的事实性表现，揭示模型弱点并提升高风险应用的可靠性。

Comments 13 pages, 4 figures, and 11 tables

From Quotes to Concepts: Axial Coding of Political Debates with Ensemble LMs

从引语到概念：利用集成语言模型进行政治辩论的轴向编码

Angelina Parfenova, David Graus, Juergen Pfeffer

机构 * Technical University of Munich（慕尼黑技术大学） ； Lucerne University of Applied Sciences and Arts（卢塞恩应用科学大学） ； Arts University of Amsterdam（阿姆斯特丹艺术大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出利用集成语言模型进行政治辩论的轴向编码，通过聚类和LLM分组方法生成层次化代码，提升辩论分析的结构化和语义对齐性。

Comments Accepted to ECIR2026

Being Kind Isn't Always Being Safe: Diagnosing Affective Hallucination in LLMs

善良并不总是安全：诊断大语言模型中的情感幻觉

Sewon Kim, Jiwon Kim, Seungwoo Shin, Hyejin Chung, Daeun Moon, Yejin Kwon, Hyunsoo Yoon

机构 * Department of Industrial Engineering, Yonsei University（工业工程系，延世大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 本文提出AHaBench和AHaPairs用于诊断LLM中的情感幻觉问题，通过DPO优化减少虚假社会存在感，提升模型的心理安全性和事实可靠性。

Comments EACL 2026 Findings

Accessibility Scout: Personalized Accessibility Scans of Built Environments

Accessibility Scout: 个性化建筑环境可及性扫描

William Huang, Xia Su, Jon E. Froehlich, Yang Zhang

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； University of Washington（华盛顿大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Accessibility Scout利用大型语言模型实现个性化建筑环境可及性扫描，通过协同人机评估，根据用户需求定制可及性评估，提升无障碍评估的适应性和扩展性。

Comments 18 pages, 16 figures. Presented at ACM UIST 2025

Changes in Coding Behavior and Performance Since the Introduction of LLMs

LLMs引入后编码行为与性能的变化

Yufan Zhang, Jaromir Savelka, Seth Copen Goldstein, Michael Conway

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 LLMs引入后，学生编码行为和学习效果显著下降，过度依赖LLM影响学习成果，需重新评估评估方法。

The Percept-V Challenge: Can Multimodal LLMs Crack Simple Perception Problems?

感知挑战：多模态大语言模型能否解决简单感知问题？

Samrajnee Ghosh, Naman Agarwal, Hemanshu Garg, Chinmay Mittal, Mausam, Parag Singla

机构 * IIT Delhi（德里印度理工学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Percept-V挑战通过简单感知任务测试多模态大语言模型的表现，发现其在基本感知任务上远低于人类水平。

SciArena: An Open Evaluation Platform for Non-Verifiable Scientific Literature-Grounded Tasks

SciArena: 一个用于非可验证科学文献基础任务的开放评估平台

Yilun Zhao, Kaiyan Zhang, Tiansheng Hu, Sihong Wu, Ronan Le Bras, Charles McGrady, Taira Anderson, Jonathan Bragg, Joseph Chee Chang, Jesse Dodge, Matt Latzke, Yixin Liu, Xiangru Tang, Zihang Wang, Chen Zhao, Hannaneh Hajishirzi, Doug Downey, Arman Cohan

专题命中 评测与基准 ：foundation model(abstract)；分类 cs.CL、cs.AI

AI总结 SciArena是一个开放平台，用于评估基础模型在科学文献基础任务上的表现，通过社区投票和元评估基准促进更可靠的自动评估方法研究。

Comments NeurIPS 2025 Datasets & Benchmarks Track (Spotlight)

Agentic Confidence Calibration

代理置信度校准

Jiaxin Zhang, Caiming Xiong, Chien-Sheng Wu

机构 * Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Holistic Trajectory Calibration (HTC)方法，通过提取代理轨迹上的过程级特征，提升AI代理的置信度校准能力，实现更可靠的自主系统。

Comments 37 pages, 15 figures, 12 tables

Skywork UniPic 3.0: Unified Multi-Image Composition via Sequence Modeling

Skywork UniPic 3.0：通过序列建模实现统一的多图像合成

Hongyang Wei, Hongbo Liu, Zidong Wang, Yi Peng, Baixin Xu, Size Wu, Xuying Zhang, Xianglong He, Zexiang Liu, Peiyu Wang, Xuchen Song, Yangguang Li, Yang Liu, Yahui Zhou

机构 * Skywork 纠错

专题命中 评测与基准 ：post-training(abstract)；分类 cs.AI

AI总结 Skywork UniPic 3.0通过序列建模实现统一的多图像合成，采用新颖的训练范式和高效的数据流程，在单图像编辑和多图像合成任务中均取得优异性能。

Agentic Persona Control and Task State Tracking for Realistic User Simulation in Interactive Scenarios

代理人格控制与任务状态跟踪用于交互场景中逼真用户模拟

Hareeshwar Karthikeyan

机构 * Toast Inc.（Toast公司） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 本文提出了一种多代理框架，通过人格控制和任务状态跟踪模拟逼真用户交互，实验表明其在任务完成和真实性方面优于单LLM基线。

Comments - Accepted to 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: Scaling Environments for Agents (SEA) - Paper contains 12 pages with 3 figures and 3 tables

AudioMotionBench: Evaluating Auditory Motion Perception in Audio LLMs

AudioMotionBench: 评估音频大语言模型中的听觉运动感知

Zhe Sun, Yujun Cai, Jiayu Yao, Yiwei Wang

机构 * Wuhan University（武汉大学） ； University of Queensland（昆士兰大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 AudioMotionBench通过评估音频大语言模型对移动声源方向和轨迹的感知能力，揭示了当前模型在听觉空间推理方面的局限性。

Exploring Multidimensional Checkworthiness: Designing AI-assisted Claim Prioritization for Human Fact-checkers

探索多维可信度：为人类事实核查员设计AI辅助的声明优先级排序

Houjiang Liu, Jacek Gwizdka, Matthew Lease

专题命中 评测与基准 ：LLM(abstract)

AI总结 本研究通过设计和混合方法评估，开发AI辅助声明优先级排序原型，揭示事实核查员的多维可信度分层策略，并提出改进事实核查流程的设计建议。

Comments Accepted at CSCW 2025

Journal ref Proceedings of the ACM on Human-Computer Interaction 9, no. 7 (2025): 1-49

Keyframe-Based Feed-Forward Visual Odometry

基于关键帧的前馈视觉里程计

Weichen Dai, Wenhan Su, Da Kong, Yuhang Ming, Wanzeng Kong

机构 * Key Laboratory of Brain Machine Collaborative Intelligence of Zhejiang Province, School of Computer Science, Hangzhou Dianzi University（浙江省脑机协同智能重点实验室，计算机科学学院，杭州电子大学） ； Technion Autonomous Systems Program, Technion - Israel Institute of Technology（技术ion自主系统计划，技术ion-以色列理工学院） 纠错

专题命中 评测与基准 ：foundation model(abstract)

AI总结 本文提出基于关键帧的前馈视觉里程计方法，通过强化学习自适应选择关键帧，提升视觉里程计的性能。