University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）

On the Fundamental Limits of LLMs at Scale

在大规模下的大语言模型根本限制

Muhammad Ahmed Mohsin, Muhammad Umer, Ahsan Bilal, Zeeshan Memon, Muhammad Ibtsaam Qadir, Sagnik Bhattacharya, Hassan Rizwan, Abhiram R. Gorle, Maahe Zehra Kazmi, Nukhba Amir, Ali Subhan, Muhammad Usman Rafique, Zihao He, Pulkit Mehta, Muhammad Ali Jamshed, John M. Cioffi

机构 * Stanford University（斯坦福大学） ； The University of Oklahoma（俄克拉荷马大学） ； Emory University（埃默里大学） ； Purdue University（普渡大学） ； UC Riverside（加州大学河滨分校） ； UC Berkeley（加州大学伯克利分校） ； Khyber Medical University（克希伯医学大学） ； Universtat Pompeu Fabra（庞培法华大学） ； Zoox（Zoox公司） ； Meta ； Google DeepMind（谷歌DeepMind） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Glasgow（格拉斯哥大学） 纠错

AI总结 本文探讨了大规模大语言模型的根本限制，提出统一框架分析计算、信息和学习的基础限制，并提供缓解方法。

Comments Submitted to TMLR 2025

Ask Me Again Differently: GRAS for Measuring Bias in Vision Language Models on Gender, Race, Age, and Skin Tone

再次提问：GRAS用于测量视觉语言模型在性别、种族、年龄和肤色上的偏见

Shaivi Malik, Hasnat Md Abdullah, Sriparna Saha, Amit Sheth

机构 * Guru Gobind Singh Indraprastha University（古鲁·戈宾德·辛格印度教普拉斯塔大学） ； AI Institute, University of South Carolina（南卡罗来纳大学人工智能研究所） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Indian Institute of Technology Patna, India（印度理工学院帕纳布分校） 纠错

AI总结 GRAS用于评估视觉语言模型在性别、种族、年龄和肤色上的偏见，通过基准测试揭示了模型的偏见水平，并提出了可解释的偏见评分方法。

Comments Accepted to the Findings of EACL 2026

Neuro-Symbolic Verification on Instruction Following of LLMs

神经符号验证在大语言模型指令遵循上的应用

Yiming Su, Kunzhao Xu, Yanjie Gao, Fan Yang, Cheng Li, Mao Yang, Tianyin Xu

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Science and Technology of China（中国科学技术大学） ； Microsoft Research（微软研究院） 纠错

AI总结 本文提出NSVIF框架，通过神经符号方法验证大语言模型是否遵循指令，实验表明其在指令遵循验证中表现优异。

Mind the Ambiguity: Aleatoric Uncertainty Quantification in LLMs for Safe Medical Question Answering

注意模糊性：在LLMs中进行偶然不确定性量化以实现安全的医疗问答

Yaokun Liu, Yifan Liu, Phoebe Mbuvi, Zelin Li, Ruichen Yao, Gawon Lim, Dong Wang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

AI总结 本文提出AU-Probe框架，通过检测输入模糊性提升医疗问答的安全性与准确性。

Comments Accepted at The Web Conference 2026 (WWW 2026)

Benchmarking Deep Learning-Based Reconstruction Methods for Photoacoustic Computed Tomography with Clinically Relevant Synthetic Datasets

基于临床相关合成数据集的深度学习图像重建方法在光声计算断层成像中的基准测试

Panpan Chen, Seonyeong Park, Gangwon Jeong, Refik Mert Cam, Umberto Villa, Mark A. Anastasio

机构 * Department of Bioengineering, University of Illinois Urbana-Champaign（生物工程系，伊利诺伊大学厄巴纳-香槟分校） ； Department of Electrical and Computer Engineering, University of Illinois Urbana-Champaign（电气与计算机工程系，伊利诺伊大学厄巴纳-香槟分校） ； Department of Biomedical Engineering, The University of Texas at Austin（生物医学工程系，德克萨斯大学奥斯汀分校） ； Oden Institute for Computational Engineering and Sciences, The University of Texas at Austin（奥登计算工程与科学研究所，德克萨斯大学奥斯汀分校） 纠错

AI总结 本文提出了一种基于临床相关合成数据集的基准测试框架，用于评估深度学习在光声计算断层成像中的图像重建方法，揭示传统度量标准的不足并推动方法优化。

Privy: Envisioning and Mitigating Privacy Risks for Consumer-facing AI Product Concepts

Privy：面向消费者的人工智能产品概念中的隐私风险展望与缓解

Hao-Ping Lee, Yu-Ju Yang, Matthew Bilik, Isadora Krsek, Thomas Serban von Davier, Kyzyl Monteiro, Jason Lin, Shivani Agarwal, Jodi Forlizzi, Sauvik Das

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Washington（华盛顿大学） 纠错

AI总结 Privy通过结构化隐私影响评估帮助无隐私专业知识的从业者识别和缓解人工智能产品概念中的隐私风险，其基于大语言模型的版本效果更佳。

Path-specific effects for pulse-oximetry guided decisions in critical care

脉氧引导决策中特定路径的偏见影响

Kevin Zhang, Yonghan Jung, Divyat Mahajan, Karthikeyan Shanmugam, Shalmali Joshi

机构 * Columbia University（哥伦比亚大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Mila & Université de Montréal（Mila与蒙特利尔大学） ； Google DeepMind（谷歌DeepMind） ； Purdue University（普渡大学） 纠错

AI总结 本研究通过因果推理方法，利用路径特定效应分析脉氧测量中的种族偏见对ICU侵入性通气的影响，揭示种族差异对通气持续时间的影响，并强调因果方法在医疗公平性评估中的重要性。

DeepInsert: Early Layer Bypass for Efficient and Performant Multimodal Understanding

DeepInsert: 早期层绕过以实现高效且高性能的多模态理解

Moulik Choraria, Xinbo Wu, Akhil Bhimaraju, Nitesh Sekhar, Yue Wu, Xu Zhang, Prateek Singhal, Lav R. Varshney

机构 * UIUC（伊利诺伊大学） ； Amazon（亚马逊） ； Capital One ； Apple（苹果） ； Stony Brook University（石溪大学） 纠错

AI总结 DeepInsert通过将多模态令牌插入模型中间层以绕过早期层，从而在降低训练和推理成本的同时保持或提升多模态语言模型的性能。

Comments To be presented at EACL 2026 (Main Conference)

How to Make LMs Strong Node Classifiers?

如何让语言模型成为强大的节点分类器？

Zhe Xu, Kaveh Hassani, Si Zhang, Hanqing Zeng, Michihiro Yasunaga, Limei Wang, Dongqi Fu, Ning Yao, Bo Long, Hanghang Tong

机构 * Meta ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

AI总结 本文提出了一种无需架构修改的方法，使语言模型在节点分类任务中达到与最先进的图神经网络相当的性能，通过拓扑和语义检索增强输入并利用轻量级GNN分类器修剪类别候选。

Do VLMs Have a Moral Backbone? A Study on the Fragile Morality of Vision-Language Models

视觉-语言模型是否具有道德基础？对视觉语言模型脆弱道德的研究

Zhining Liu, Tianyi Wang, Xiao Lin, Penghao Ouyang, Gaotang Li, Ze Yang, Hui Liu, Sumit Keswani, Vishwa Pardeshi, Huijun Zhao, Wei Fan, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） ； Fidelity Investments（富达投资） 纠错

AI总结 研究发现视觉语言模型在面对文本和视觉扰动时道德判断易变，需通过轻量干预提升道德鲁棒性以确保负责任的部署。

Evaluating Reward Model Generalization via Pairwise Maximum Discrepancy Competitions

通过成对最大分歧竞赛评估奖励模型泛化能力

Shunyang Luo, Peibei Cao, Zhihui Zhu, Kehua Feng, Zhihua Wang, Keyan Ding

机构 * ZJU-UIUC Institute, Zhejiang University（浙江大学ZJU-UIUC研究院） ； School of Artificial Intelligence, Nanjing University of Information Science and Technology（南京信息工程大学人工智能学院） ； ZJU-Hangzhou Global Scientific and Technological Innovation Center, Zhejiang University（浙江大学Hangzhou全球科技创新中心） ； City University of Hong Kong（香港城市大学） 纠错

AI总结 本文提出PMDC方法，通过动态选择高争议测试案例评估奖励模型的泛化能力，并揭示了现有模型的系统性泛化失败问题。

Comments 17 pages, 6 figures, 2 tables