语言大模型 / LLM

Penalizing Length: Uncovering Systematic Bias in Quality Estimation Metrics

通过长度惩罚：揭示质量估计指标中的系统性偏差

Yilin Zhang, Wenda Xu, Zhongtao Liu, Tetsuji Nakagawa, Markus Freitag

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Google（谷歌） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 研究揭示了质量估计指标在翻译长度上的系统性偏差，指出长度偏差可能导致对长译文的不公平惩罚，并通过长度归一化训练方法改进了指标的可靠性。

Agentic AI for Clustering, Relationship Discovery, and Semantic Trading in Prediction Markets

语义交易：用于预测市场聚类和关系发现的代理AI

Agostino Capponi, Alfio Gliozzo, Brian Zhu

机构 * Columbia University（哥伦比亚大学） ； IBM Research（IBM研究院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种代理AI方法，通过自然语言处理将预测市场划分为主题组并发现市场间的关系，利用历史数据验证其预测准确性及交易策略收益。

Benchmarking In-context Experiential Learning Through Repeated Product Recommendations

通过重复产品推荐评估上下文经验学习

Gilbert Yang, Yaqin Chen, Thomson Yen, Hongseok Namkoong

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出BELA基准，通过重复产品推荐场景评估智能体在动态环境中的经验学习与主动探索能力。

Beyond English: Evaluating Automated Measurement of Moral Foundations in Non-English Discourse with a Chinese Case Study

Calvin Yixiang Cheng, Scott A Hale

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 12 pages, 2 figures, 6 tables

Can Open-Weight Models Compete on Financial Text Comprehension?

开源权重模型能在金融文本理解领域与（闭源）模型竞争吗？

Jan Spörer

机构 * University of St. Gallen（圣加仑大学） 纠错

专题命中 评测与基准 ：language model(abstract,comments)；分类 cs.CL、cs.AI；large language model(comments)

AI总结 该研究更新了Financial Touchstone金融文本理解基准，测试了20款模型，发现开源权重模型Kimi K2.6准确率排第三，挑战了推理架构或闭源权重是金融理解前提的假设，还发现中国模型存在地缘政治内容过滤器拒绝合法金融问题的现象。

Comments To be presented at the workshop International Symposium on Large Language Models for Financial Services (FinLLM@IJCAI2026)

Does ChatGPT score research quality differently by gender?

ChatGPT是否会按性别对研究质量给出不同评分？

Kayvan Kousha, Mike Thelwall

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 该研究利用REF2021的近9万篇论文，发现ChatGPT对男性第一作者论文的评分略高于女性，此差异在部分学科更明显，提示AI研究评估需谨慎。

Graphing the Everyday: A Neurosymbolic Approach to Eliciting Routines for Just-In-Time Adaptive Interventions

描绘日常：用于触发即时自适应干预的神经符号方法

Shakyani Jayasiriwardene, Blake Mountford, Meican Ma, Niels van Berkel, Nicholas Koemel, Matthew Ahmadi, Jorge Goncalves, Emmanuel Stamatakis, Zhanna Sarsenbayeva

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本研究结合LLMs与Neo4j知识图谱的神经符号管道，针对JITAIs面临的对话转日程难题，发现心智模型差距与生态不匹配问题，提出设计启发法以构建支持健康行为改变的主动智能体。

Comments Accepted at OzCHI 2026

RefineAny3D: Depth Refinement as Semantic Alignment for Monocular 3D Detection

RefineAny3D：作为语义对齐的深度细化用于单目3D检测

Zhihao Zhang, Gengwei Zhang, Tianlong Chen, Xiaoming Liu

机构 * Michigan State University（密歇根州立大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 评测与基准 ：language model(abstract)；foundation model(abstract)

AI总结 RefineAny3D将单目3D检测的深度细化转化为视觉对齐问题，通过VLM实现无需数值预测的深度修正，在多类检测工具上均有性能提升且可泛化。

SI-Edit: Toward Sketch-Instruction Guided Local Image Editing with Pixel-Level Precision

SI-Edit：面向草图-指令引导的像素级精度局部图像编辑

Weixin Ye, Wei Wang, Hongguang Zhu, Xuecheng Nie

机构 * Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所） ； City University of Macau（澳门城市大学） ； Meitu Inc（美图公司） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 针对基于草图的图像编辑缺乏像素级精度及对应数据集、评估指标的问题，提出SI-Edit框架，构建SI-Data数据集并建立评估指标，实现更可靠的结构控制与像素级局部编辑效果。

Comments accepted by ACM MM 2026

MRBench: A Comprehensive Benchmark for Human Motion-Text Retrieval

MRBench：用于人体动作-文本检索的综合基准

Fulong Liu, Liang Xu, Chengqun Yang, Yuhao Zhang, Yichao Yan, Xiaokang Yang

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 本文提出综合动作-文本检索基准MRBench，针对现有基准缺陷构建，提出轻量级粒度感知模型，提升混合粒度检索效果，为动作-语言对齐评估提供测试平台。

SmartMage: Dynamic Modality Orchestration for 3D Scene Understanding

SmartMage：面向3D场景理解的动态模态编排

Yue Zhang, Yingzhao Jian, Yunqiu Xu, Xiaoxiao Sun, Hehe Fan

机构 * Zhejiang University（浙江大学） ； Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本文针对现有MLLMs采用固定模态组合的缺陷，提出SmartMage模型，通过SMART和MAGE模块动态编排模态，在5个3D场景理解基准上取得最优性能，在RGB视频理解基准上表现具竞争力。

Comments Accepted to ACM MM 2026

Data Pyramid for Embodied Manipulation: A Survey

用于具身操纵的数据金字塔

Yifan Ye, Yankai Fu, Yaoxu Lv, Bohan Hou, Jun Cen, Lingdong Kong, Duo Zheng, Tianxing Chen, Jiaming Liu, Ziang Cao, Yunfan Lou, Wei Chow, Xian Sun, Yingshuo Wang, Kuangzhi Ge, Xiaowei Chi, Xidong Zhang, Zhibo Pang, Yiwu Zhong, Sirui Han, Zhihe Lu, Weihao Yuan, Qifeng Chen, Michael Yu Wang, Yao Mu, Ziwei Liu, Jianfei Yang, Ping Luo, Shanghang Zhang

机构 * PKU（北京大学） ； NTU（南洋理工大学） ； HKUST（香港科技大学） ； NUS（新加坡国立大学） ； CUHK（香港中文大学） ； HKU（香港大学） ； Duke（杜克大学） ； UCB（加州大学伯克利分校） ； GBU（未提及具体中文名的机构） ； NJU（南京大学） ； SJTU（上海交通大学） 纠错

专题命中 评测与基准 ：foundation model(abstract)；pretraining(abstract)

AI总结 研究围绕具身操纵数据生态系统展开，构建跨越五个互补数据源的“数据金字塔”，通过数据配方分析具身基础模型，将数据组成与多种能力联系起来，并讨论了六个开放挑战，为下一代具身系统设计奠定基础。

Comments Awesome Embodied Data Pyramid; Project Page at https://jasper-aaa.github.io/embodied-data-pyramid/ GitHub Repo at https://github.com/worldbench/awesome-embodied-data-pyramid

Temporal Misgrounding in Legal RAG: A Versioned-Corpus Benchmark for French Tax Law

法律检索增强生成（RAG）中的时间错位：面向法国税法的版本化语料库基准

Rose Cymbler, Daniel Guez, Laurent Fabre

专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对法律RAG的时间错位问题，构建法国税法版本化语料库基准FiscalQA Pro，发现现有模型时间推理能力差，端到端多版本检索器性能优异，还发布了相关数据集与代码。

Comments 13 pages, 1 figure, 4 tables. Accepted at the ICML 2026 Workshop on AI for Law (AI4Law), Seoul. Code and data: https://github.com/rosecymbler/fiscal-fr-bench

UNMASK: Discovering and Causally Verifying Spurious Shortcuts in Text Classifiers

UNMASK：发现并因果验证文本分类器中的虚假捷径

Chidaksh Ravuru, Shashank Srivastava

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出UNMASK自动化流程，可发现并因果验证文本分类器的虚假相关性，在MNLI、CivilComments-WILDS等数据集上提升模型性能，还可推广至奖励模型偏好数据。

Comments Accepted at COLM 2026

Attack Ensembles Expose a Safety-Utility Trade-off in Black-Box Guard Defenses Against Encoded VLM Jailbreaks

恢复、解码、再防护：针对编码型VLM越狱的防护无关型防御放大技术

Haoyu Zhang, Zhuoxi Wang, Shibo Zheng, Yi Feng, Xiao Luo, Zijian Xiao, Haowen Xu, Xiangchen Guan, Mohammad Zandsalimy, Shanu Sushmita

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出防护无关型的恢复-解码放大器，评估其对11种攻击集成的编码型VLM越狱防御效果，发现其存在安全-效用上限，贡献了放大器、集成评估方法及防御适用场景图谱。

ORBIT: Training-Free Multi-Attribute Behavioral Steering via Orthogonal Subspace Rotation

ORBIT: 通过正交子空间旋转实现无训练的多属性行为引导

Narges Ghasemi, Amir Ziashahabi, Salman Avestimehr, Jonathan May

机构 * Information Sciences Institute, University of Southern California（南加州大学信息科学研究所） ； Department of Electrical and Computer Engineering, University of Southern California（南加州大学电气与计算机工程系） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出ORBIT方法，利用奇异值分解构建联合子空间并施加单一旋转，实现无训练的多属性行为引导，平衡多个属性并保持输出连贯性。

Comments v2: Updated technical details and added supplementary evaluations

TS-Arena -- A Live Forecast Pre-Registration Platform

TS-Arena -- 一个实时预测预注册平台

Marcel Meyer, Sascha Kaltenpoth, Henrik Albers, Kevin Zalipski, Oliver Müller

机构 * Paderborn University, Data Analytics Group（帕德博恩大学数据分析组） 纠错

专题命中 评测与基准 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 TS-Arena通过实时数据流预注册协议，防止信息泄露，提供更高效的预测模型评估框架，展示现有模型长期表现和新模型即时竞争力。

Journal ref KDD '26: Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining V.2, pp. 9558 - 9568, 2026

FronTalk: Benchmarking Front-End Development as Conversational Code Generation with Multi-Modal Feedback

FronTalk: 以多模态反馈进行对话式代码生成的前端开发基准测试

Xueqing Wu, Zihan Xue, Da Yin, Shuyan Zhou, Kai-Wei Chang, Nanyun Peng, Yeming Wen

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Duke University（杜克大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出FronTalk基准，通过多轮对话和多模态反馈（文本与视觉指令）评估前端代码生成，发现模型存在遗忘和视觉反馈理解困难，提出AceCoder方法有效减少遗忘并提升性能。

Comments CoLM 2026

The Collaboration Gap: Exploration and Benchmarking of Open-World Agentic Cooperation

协作差距：开放世界智能体协作的探索与基准测试

Tim R. Davidson, Adam Fourney, Saleema Amershi, Robert West, Eric Horvitz, Ece Kamar

机构 * EPFL（瑞士联邦理工学院） ； Microsoft Research（微软研究院） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出协作迷宫求解基准，评估32个模型的协作能力，发现模型存在协作差距，提出中继推理等缓解措施，强调协作相关评估、训练与交互设计的重要性。

Comments Accepted to COLM 2026, code available at https://github.com/trdavidson/collaboration_gap

SafeSceneReason: A Multimodal Reasoning Benchmark Connecting Industrial Hazards with Accident Knowledge

SafeSceneReason：连接工业危害与事故知识的多模态推理基准

Yuanchi Zhu, Kang An, Tengyue Wang, Zhongyu Yang, Chenxu Du, Xinqi Yang, Hebao Zhu, Bokai Zhao, Tianyu Liang, Ziliang Wang, Faqiang Qian, Yunli Yang, Weiyang Shi, Qibing Ren

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 SafeSceneReason是关联工业危害与事故知识的多模态推理基准，含两类问答对，评估发现现有视觉-语言模型在工业安全推理上存显著弱点。

Twin Rollouts: Noise-Coupled Counterfactual Branching in Interactive Video World Models

双回滚：交互式视频世界模型中的噪声耦合反事实分支

Yu Ma, Hongli Shi, Xinran Xu

专题命中 评测与基准 ：post-training(abstract)；分类 cs.LG

AI总结 本研究提出噪声耦合双回滚框架，解决交互式视频世界模型的反事实生成问题，规避近似逆问题，定义时空局部性度量，待开展实验验证。

When Skills Meet Safety: Benchmarking and Characterizing the Adaptive Jailbreak Robustness of Skill-Merged LLMs

当技能与安全相遇：对技能合并大语言模型的自适应越狱鲁棒性进行基准测试与表征

Yu Ma, Hongli Shi, Jing Li, Xinran Xu, Weiwei Hou

机构 * Google（谷歌公司） ； University of New South Wales（新南威尔士大学） ； University of Technology Sydney（悉尼科技大学） ； Zhejiang University（浙江大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.LG

AI总结 本研究针对技能合并大语言模型，构建SkillSafe-Bench基准，发现静态安全无法预测其自适应越狱鲁棒性，提出SubSafe-Merge方法可在保留能力的同时消除安全侵蚀。

SkillsMetric: Mapping the Detection Boundary of Static Analysis for Malicious Agent Skills

SkillsMetric：映射恶意智能体技能静态分析的检测边界

Xinze Chen, Chi Zhang, Ping Ji, Yimin Liu

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 本研究提出五阶段静态分析框架SkillsMetric，构建含2266个技能的对抗性数据集，发现静态分析对部分攻击检测不足，需结合静态预筛选与语义审查的纵深防御架构。

Comments 6 pages, 3 figures, 3 tables

Illusion of Alignment: Detecting Hidden Disagreement in Collaborative Dialogue

对齐的错觉：检测协同对话中的隐藏分歧

Kaiming Liu, Fuwen Luo, Ziyue Wang, Jinrui Ju, Yuxuan Liu, Xuanyu Lei, Yunghwei Lai, Peng Li, Yang Liu

机构 * College of AI, Tsinghua University（清华大学人工智能学院） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； Institute for AI, Tsinghua University（清华大学人工智能研究院） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 本研究针对协同对话中存在的对齐的错觉（IoA）问题，构建IoA-Suite数据集，训练IoA-Prober-8B模型检测隐藏分歧，该模型可揭示真人会议中未表达的分歧，还能提升多智能体协作的下游任务性能。

TSDS-Toolbox: A Toolbox for Measuring Time-Series Dataset Similarity

TSDS-Toolbox：用于测量时间序列数据集相似度的工具箱

Yen-Ku Liu, Hongjie Chen, Ryan A. Rossi, Franck Dernoncourt

机构 * National Yang Ming Chiao Tung University（国立阳明交通大学） ； Dolby Laboratories（杜比实验室） ； Adobe Research（奥多比研究院） 纠错

专题命中 评测与基准 ：foundation model(abstract)；分类 cs.LG

AI总结 该研究针对现有时间序列数据集相似度基准实现零散难扩展的问题，提出TSDS-Toolbox工具箱，支持系统比较、灵活扩展与一致评估，经实验验证有效且公开可用。

Lingjing: A Simulation Testbed for Multi-Agent Embodied Tasks in Open-Ended Cities

Lingjing：面向开放城市多智能体具身任务的仿真测试平台

Xiaohe Li, Yiru Wang, Junhao Fan, Mingyuan Liu, Jie Huang, Kaixin Zhang, Jiahao Li, Chen Qian, Zide Fan

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 Lingjing 是一款面向开放城市异构多智能体具身任务的仿真测试平台，支持城市多智能体协同的可复现评估与故障诊断，通过评估视觉语言模型等揭示了环境感知等瓶颈。

TelemetrySuffBench: Is Agent Telemetry Sufficient for Failure-Origin Diagnosis?

TelemetrySuffBench：智能体遥测是否足以用于故障起源诊断？

Yuxuan Zhu, Peng Pu

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 该研究推出TelemetrySuffBench基准，评估五个前沿语言模型的故障起源诊断能力，发现检测与定位存在差距，安全弃权（不执行）具强模型依赖性，需决策-来源链接与弃权保障。

Comments 10 pages, 3 figures, 4 tables

Jako Tako or Fluent? Presenting PoVisLE: A Polish Vision-Language Evaluation

Jako Tako 还是 Fluent？推出 PoVisLE：波兰语视觉-语言评估基准

Anna Kołos, Grzegorz Statkiewicz, Karolina Seweryn, Katarzyna Kowol, Karolina Piosek, Wojciech Kusa

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL

AI总结 针对现有英语中心视觉-语言模型在文化理解上的不足，推出波兰语单文化视觉-语言基准 PoVisLE，含1117张图像与2366对标注VQA样本，可评估深层文化多模态理解。

Comments 28 pages. Preprint under review

InfoOps Bench: A live information operations safety benchmark

InfoOps Bench：实时信息行动安全基准

Dorian Quelle, Lisa-Maria Neudert, Jonathan Bright, John Gallacher

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 该研究提出实时信息行动安全基准InfoOps Bench，测试17个前沿语言模型抵御国家支持信息行动的能力，发现多数模型可被利用，中国开发模型对涉华事实主张合规性显著下降，凸显模型可用性与安全性的平衡挑战。

ChannelGuard: Safe Models Do Not Compose into Safe Multi-Agent Systems

通道卫士：安全模型无法组合成安全的多智能体系统

Elias Hossain, Md Mehedi Hasan Nipu, Fatema Tuj Johora Faria, Tasfia Nuzhat Ornee, Maleeha Sheikh

机构 * College of Engineering and Computer Science, University of Central Florida（工程与计算机科学学院，中央佛罗里达大学） ； Department of Computer Science and Engineering, North South University（计算机科学与工程系，北南大学） ； Computer Science and Engineering, Ahsanullah University of Science and Technology（计算机科学与工程，阿沙努拉科学与技术大学） ； Department of Electrical and Computer Engineering, Purdue University Fort Wayne（电气与计算机工程系，普渡大学弗拉特沃恩分校） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 研究多智能体大语言模型应用程序中智能体间通道安全问题，提出ChannelGuard深度防御框架，在通道设信息瓶颈门，通过文本与对抗短语库评分处理信息，能有效阻止工具中毒攻击，降低提示注入攻击成功率，保持准确率，白盒自适应释义可规避嵌入门。