语言大模型 / LLM

OpenLVLM-MIA: A Controlled Benchmark Revealing the Limits of Membership Inference Attacks on Large Vision-Language Models

OpenLVLM-MIA：一个揭示大型视觉-语言模型上成员推断攻击局限性的受控基准

Ryoto Miyamoto, Xin Fan, Fuyuko Kido, Tsuneo Matsumoto, Hayato Yamana

机构 * Waseda University（早稻田大学） ； Hitotsubashi University（立命馆大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 OpenLVLM-MIA通过受控基准揭示大型视觉-语言模型上成员推断攻击的局限性，表明现有方法性能接近随机水平，为隐私保护技术发展提供基础。

Comments WACV2026 Accepted

TradeTrap: Are LLM-based Trading Agents Truly Reliable and Faithful?

TradeTrap: LLM-based Trading Agents 是否 truly 可靠和忠实？

Lewen Yan, Jilin Mei, Tianyi Zhou, Lige Huang, Jie Zhang, Dongrui Liu, Jing Shao

机构 * Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI

AI总结 TradeTrap 提出了一种统一的评估框架，用于系统性压力测试基于 LLM 的交易代理，揭示其在系统级扰动下的鲁棒性问题。

Benchmarking LLM Agents for Wealth-Management Workflows

对财富管理流程的LLM代理进行基准测试

Rory Milsom

机构 * Rory Milsom（独立研究者） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI

AI总结 本研究通过构建12个任务对的基准，评估通用LLM代理在财富管理任务中的准确性和经济性，发现其性能受自主性水平和工作流程可靠性影响显著。

Comments 56 pages, 8 figures, The University of Edinburgh

Beyond Confidence: Adaptive and Coherent Decoding for Diffusion Language Models

超越置信度：用于扩散语言模型的自适应与一致解码

Kecheng Chen, Ziru Liu, Xijia Tao, Hui Liu, Xinyu Fu, Suiyun Zhang, Dandan Tu, Lingpeng Kong, Rui Liu, Haoliang Li

机构 * City University of Hong Kong（香港城市大学） ； Huawei Research（华为研究） ； The University of Hong Kong（香港大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出Coherent Contextual Decoding方法，通过自适应解码策略提升扩散语言模型的生成质量和采样效率。

Visible Yet Unreadable: A Systematic Blind Spot of Vision Language Models Across Writing Systems

可见却不可读：跨书写系统下视觉语言模型的系统性盲区

Jie Zhang, Ting Xu, Gelei Deng, Runyi Hu, Han Qiu, Tianwei Zhang, Qing Guo, Ivor Tsang

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 本文研究了视觉语言模型在跨书写系统下识别碎片化文本的鲁棒性，发现其在可见但不可读的刺激下表现下降，揭示了模型对组成先验依赖不足的结构性限制。

Comments arXiv admin note: This article has been withdrawn by arXiv administrators due to violation of arXiv policy regarding generative AI authorship

Towards a vision foundation model for comprehensive assessment of Cardiac MRI

面向全面评估心脏磁共振成像的视觉基础模型

Athira J Jacob, Indraneel Borgohain, Teodora Chitiboi, Puneet Sharma, Dorin Comaniciu, Daniel Rueckert

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出了一种面向心脏磁共振成像全面评估的视觉基础模型，通过自监督学习和微调提升多种临床任务的精度与鲁棒性。

Comments 11 pages, 3 figures, 4 tables

An Empirical Survey of Model Merging Algorithms for Social Bias Mitigation

对缓解社会偏见的模型合并算法的实证调查

Daiki Shirafuji, Tatsuhiko Saito, Yasutomo Kimura

机构 * Mitsubishi Electric Corporation（三菱电机公司） ； Otaru University of Commerce（大岛商业大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文实证分析了七种模型合并算法在缓解社会偏见中的效果，发现SLERP在平衡偏见减少与性能方面表现最佳。

Comments Accepted in PACLIC 2025

AI Text Detectors and the Misclassification of Slightly Polished Arabic Text

AI文本检测器与略微润色的阿拉伯文本的误分类

Saleh Almohaimeed, Saad Almohaimeed, Mousa Jari, Khaled A. Alobaid, Fahad Alotaibi

机构 * College of Applied Computer Science（应用计算机科学学院） ； Institution of Public Administration（公共行政研究所） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了AI检测器对略微润色的阿拉伯文本的误分类问题，通过两个数据集评估了14个LLMs和商业检测器的性能，发现润色显著影响检测准确性。

Comments (Submitted) Journal of Big Data

Evaluating LLMs on Sequential API Call Through Automated Test Generation

通过自动化测试生成评估LLMs的顺序API调用

Yuheng Huang, Jiayang Song, Da Song, Zhenlan Ji, Wenhan Wang, Shuai Wang, Lei Ma

机构 * The University of Tokyo（东京大学） ； Macau University of Science and Technology（澳门科技大学） ； Shandong University（山东大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Alberta（阿尔伯塔大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出StateGen框架，通过自动化测试生成评估LLMs在顺序API调用中的性能，构建了包含120个测试用例的StateEval基准测试，揭示了当前LLM在API整合方面的改进方向。

Deep Research: A Systematic Survey

深度研究：系统性综述

Zhengliang Shi, Yiqun Chen, Haitao Li, Weiwei Sun, Shiyu Ni, Yougang Lyu, Run-Ze Fan, Bowen Jin, Yixuan Weng, Minjun Zhu, Qiujie Xie, Xinyu Guo, Qu Yang, Jiayi Wu, Jujia Zhao, Xiaqiang Tang, Xinbei Ma, Cunxiang Wang, Jiaxin Mao, Qingyao Ai, Jen-Tse Huang, Wenxuan Wang, Yue Zhang, Yiming Yang, Zhaopeng Tu, Zhaochun Ren

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本文系统综述了深度研究系统，提出三阶段路线图，引入四个核心组件，并总结优化技术与评估标准，旨在推动该领域的发展。

Polar Perspectives: Evaluating 2-D LiDAR Projections for Robust Place Recognition with Visual Foundation Models

极坐标视角：评估2D激光雷达投影在基于视觉基础模型的鲁棒位置识别中的影响

Pierpaolo Serio, Giulio Pisaneschi, Andrea Dan Ryals, Vincenzo Infantino, Lorenzo Gentilini, Valentina Donzella, Lorenzo Pollini

专题命中 评测与基准 ：foundation model(title,abstract)

AI总结 本文通过评估不同2D激光雷达投影对位置识别的影响，发现精心设计的投影可有效替代端到端3D学习。

Comments 13 Pages, 5 Figures, 2 Tables Under Review

Towards Language-Independent Face-Voice Association with Multimodal Foundation Models

面向语言无关的面容-语音关联的多模态基础模型

Aref Farhadipour, Teodora Vukovic, Volker Dellwo

机构 * Department of Computational Linguistics, University of Zurich（苏黎世大学计算语言学系） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)

AI总结 本文提出了一种基于多模态基础模型的跨语言面容-语音关联方法，通过ImageBind与LoRA结合，实现了在未见过语言上的有效验证。

Comments This paper presents the system description of the UZH-CL team for the FAME2026 Challenge at ICASSP 2026. Our model achieved second place in the final ranking

Emergent Extreme-View Geometry in 3D Foundation Models

三维基础模型中的涌现极端视角几何

Yiwen Zhang, Joseph Tung, Ruojin Cai, David Fouhey, Hadar Averbuch-Elor

机构 * Cornell University（康奈尔大学） ； New York University（纽约大学） ； Kempner Institute, Harvard University（哈佛大学凯普勒研究所） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)

AI总结 本文研究了三维基础模型在极端视角下的几何理解能力，并提出轻量级对齐方案提升其相对姿态估计性能，同时引入新的未见过的互联网场景基准。

Comments Project page is at https://ext-3dfms.github.io/

CryptoQA: A Large-scale Question-answering Dataset for AI-assisted Cryptography

CryptoQA: 一个大规模问答数据集，用于人工智能辅助密码学

Mayar Elfares, Pascal Reisert, Tilman Dietz, Manpa Barman, Ahmed Zaki, Ralf Küsters, Andreas Bulling

机构 * University of Stuttgart（斯图加特大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 CryptoQA是一个大规模问答数据集，旨在评估和训练LLMs在密码学任务中的能力，揭示LLMs在形式推理和数学知识上的不足，推动密码学研究的发展。

AutoSurvey2: Empowering Researchers with Next Level Automated Literature Surveys

AutoSurvey2：赋能研究人员的下一代自动化文献综述

Siyi Wu, Chiaxin Liang, Ziqian Bi, Leyi Zhao, Tianyang Wang, Junhao Song, Yichao Zhang, Keyu Chen, Benji Peng, Xinyuan Song

机构 * University of Texas at Arlington（德克萨斯理工大学） ； AI Agent Lab（人工智能代理实验室） ； Indiana University（印第安纳大学） ； Ohio State University（俄亥俄州立大学） ； Imperial College London（伦敦帝国理工学院） ； Georgia Institute of Technology（佐治亚理工学院） ； Appcubic（Appcubic公司） ； Emory University（埃默里大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 AutoSurvey2通过多阶段流程实现自动化文献综述生成，结合检索增强合成与结构化评估，提升综述的连贯性与相关性，为学术写作提供可扩展解决方案。

Comments TKDD 2025

Emergent Bayesian Behaviour and Optimal Cue Combination in LLMs

涌现的贝叶斯行为与LLMs中的最优线索整合

Julian Ma, Jun Wang, Zafeirios Fountas

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） ； AI Centre, Department of Computer Science, University College London（人工智能中心，计算机科学系，伦敦大学学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究揭示LLMs在多模态整合中表现出贝叶斯策略，但准确性不等于鲁棒性，提出贝叶斯一致性分数以评估不确定性处理。

Noise Injection Reveals Hidden Capabilities of Sandbagging Language Models

噪声注入揭示了“沙袋”语言模型的隐藏能力

Cameron Tice, Philipp Alexander Kreer, Nathan Helm-Burger, Prithviraj Singh Shahani, Fedor Ryzhenkov, Fabien Roger, Clement Neo, Jacob Haimes, Felix Hofstätter, Teun van der Weij

机构 * Geodesic Research ； Technical University of Munich（慕尼黑技术大学） ； Tufts University（塔夫茨大学） ； SecureBio ； Apart Research ； Anthropic ； Apollo Research 纠错

专题命中 评测与基准 ：language model(title)；分类 cs.AI

AI总结 通过噪声注入揭示沙袋语言模型的隐藏能力，提供了一种检测和评估前沿AI系统有效性的实用工具。

Comments Published at NeurIPS 2025, code available at https://github.com/camtice/SandbagDetect. Preliminary work presented at SATA and SoLaR (NeurIPS 2024 workshops)

Contextual Image Attack: How Visual Context Exposes Multimodal Safety Vulnerabilities

基于上下文的图像攻击：如何通过视觉上下文暴露多模态安全漏洞

Yuan Xiong, Ziqi Miao, Lijun Li, Chen Qian, Jie Li, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Xi’an Jiaotong University（西安交通大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出上下文图像攻击方法，通过多智能体系统和四种可视化策略，有效利用图像的上下文信息对多模态大语言模型进行劫持攻击，实验结果显示攻击效果优于现有方法。

Learning Massively Multitask World Models for Continuous Control

学习大规模多任务世界模型用于连续控制

Nicklas Hansen, Hao Su, Xiaolong Wang

机构 * University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 评测与基准 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 Newt通过大规模预训练和在线交互，实现智能体在数百个任务上的多任务学习，提升连续控制的效率和适应性。

Comments Webpage: https://www.nicklashansen.com/NewtWM

Automated Duplicate Bug Report Detection in Large Open Bug Repositories

在大型开源bug仓库中自动检测重复bug报告

Clare E. Laney, Andrew Barovic, Armin Moin

机构 * Department of Computer Science University of Colorado Colorado Springs United States（计算机科学系，科罗拉多州立大学，美国） ； George Mason University, Fairfax, VA, United States（乔治·马歇尔大学，弗吉尼亚州 Fairfax，美国） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出基于机器学习的自动检测重复bug报告方法，通过多种技术提升准确率，应用于Eclipse开源项目数据集。

Comments IEEE COMPSAC 2025

Kardia-R1: Unleashing LLMs to Reason toward Understanding and Empathy for Emotional Support via Rubric-as-Judge Reinforcement Learning

Kardia-R1: 通过Rubric-as-Judge强化学习释放大语言模型以通过评分标准进行推理，以实现情感支持的理解与共情

Jiahao Yuan, Zhiqing Cui, Hanqing Wang, Yuansheng Gao, Yucheng Zhou, Usman Naseem

专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 Kardia-R1通过Rubric-as-Judge强化学习框架，提升大语言模型在情感支持中的理解与共情能力，通过评分标准引导训练以实现更准确的情感推理和个性化响应。

Learning Egocentric In-Hand Object Segmentation through Weak Supervision from Human Narrations

通过人类叙述的弱监督学习进行视角注视手部物体分割

Nicola Messina, Rosario Leonardi, Luca Ciampi, Fabio Carrara, Giovanni Maria Farinella, Fabrizio Falchi, Antonino Furnari

机构 * Institute of Information Science and Technologies - National Research Council（信息科学与技术研究所-国家研究理事会） ； University of Catania（卡塔尼亚大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 本文提出WISH模型，通过人类叙述的弱监督学习实现手部物体分割，无需精细像素标注即可超越基线方法。

Comments Under consideration at Pattern Recognition Letters

StereoDetect: Detecting Stereotypes and Anti-stereotypes the Correct Way Using Social Psychological Underpinnings

StereoDetect: 通过社会心理基础正确检测刻板印象和反刻板印象

Kaustubh Shivshankar Shejole, Pushpak Bhattacharyya

机构 * Computation for Indian Language Technology (CFILT) Indian Institute of Technology Bombay（印度理工学院孟买分校计算印度语言技术中心） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL

AI总结 StereoDetect通过社会心理学基础提出刻板印象和反刻板印象检测的五元组定义，构建了定义一致的基准数据集，揭示现有方法的不足并验证其有效性。

Generative Multi-modal Feedback for Singing Voice Synthesis Evaluation

生成式多模态反馈用于歌唱语音合成评估

Xueyan Li, Yuxin Wang, Mengjie Jiang, Qingzi Zhu, Jiang Zhang, Zoey Kim, Yazhe Niu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of Science and Technology of China（中国科学技术大学） ； Columbia University（哥伦比亚大学） ； Dalian University of Technology（大连理工大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.LG

AI总结 本文提出生成式多模态反馈框架，通过音频-语言模型生成多维语言和音频反馈，提升歌唱语音合成评估的准确性和可解释性。

Comments 16 pages, 5 figures

scCluBench: Comprehensive Benchmarking of Clustering Algorithms for Single-Cell RNA Sequencing

scCluBench: 单细胞RNA测序中聚类算法的全面基准测试

Ping Xu, Zaitian Wang, Zhirui Wang, Pengjiang Li, Jiajia Wang, Ran Zhang, Pengfei Wang, Yuanchun Zhou

专题命中 评测与基准 ：foundation model(abstract)；分类 cs.AI

AI总结 scCluBench提供了一套标准化的scRNA-seq聚类算法基准测试，涵盖多种数据集和方法，用于评估性能和实际应用。

Tackling Tuberculosis: A Comparative Dive into Machine Learning for Tuberculosis Detection

应对肺结核：深入比较用于肺结核检测的机器学习方法

Daanish Hindustani, Sanober Hindustani, Preston Nguyen

专题命中 评测与基准 ：prompting(abstract)；分类 cs.AI

AI总结 本研究比较了ResNet-50和SqueezeNet在肺结核检测中的性能，发现SqueezeNet在准确率和召回率上表现更优，但需进一步优化模型以提高应用效果。

Journal ref Vol. 6, No. 1 (2024), Minnesota Undergraduate Research & Academic Journal (MURAJ)

WearVQA: A Visual Question Answering Benchmark for Wearables in Egocentric Authentic Real-world scenarios

WearVQA: 一个用于评估智能眼镜等可穿戴设备上多模型AI助手视觉问答能力的基准测试

Eun Chang, Zhuangqun Huang, Yiwei Liao, Sagar Ravi Bhavsar, Amogh Param, Tammy Stark, Adel Ahmadyan, Xiao Yang, Jiaqi Wang, Ahsan Abdullah, Giang Nguyen, Akil Iyer, David Hall, Elissa Li, Shane Moon, Nicolas Scheffer, Kirmani Ahmed, Babak Damavandi, Rakesh Wanga, Anuj Kumar, Rohit Patel, Xin Luna Dong

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 WearVQA是一个评估可穿戴设备上多模型AI助手视觉问答能力的基准测试，通过真实场景下的图像-问题-答案三元组，评估其在复杂视觉输入和现实任务中的表现。

Comments 11 pages, 5 figures, NeurIPS 2025

Artificial Intelligence Virtual Cells: From Measurements to Decisions across Modality, Scale, Dynamics, and Evaluation

人工智能虚拟细胞：从多模态、多尺度测量到决策的跨模态、跨尺度、动态和评估

Chengpeng Hu, Calvin Yu-Chian Chen

专题命中 评测与基准 ：foundation model(abstract)；分类 cs.AI

AI总结 本文提出了一种模型无关的细胞状态潜在视角，通过操作符语法组织学习，旨在跨模态、跨尺度、上下文和干预实现决策对齐的评估框架。

TurBLiMP: A Turkish Benchmark of Linguistic Minimal Pairs

TurBLiMP：土耳其语的语言最小对基准

Ezgi Başar, Francesca Padovani, Jaap Jumelet, Arianna Bisazza

机构 * Center for Language and Cognition (CLCG), University of Groningen（语言与认知中心（CLCG）、格罗宁根大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL

AI总结 TurBLiMP是首个土耳其语语言最小对基准，用于评估语言模型的语法能力，揭示了先进模型在处理复杂语法现象上的不足。

Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing

DepthScape: Authoring 2.5D Designs via Depth Estimation, Semantic Understanding, and Geometry Extraction

DepthScape: 通过深度估计、语义理解和几何提取进行2.5D设计创作

Xia Su, Cuong Nguyen, Matheus A. Gadelha, Jon E. Froehlich

专题命中 评测与基准 ：language model(abstract)

AI总结 DepthScape通过深度估计、语义理解和几何提取，实现2.5D设计创作，提升视觉真实感与动态效果。