arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

共收录 1498 信号源:cs.CL, cs.AI, cs.LG

1. 评测与基准 1498 篇

2604.06614 2026-07-16 cs.CV cs.LG 版本更新 57%

Holistic Optimal Label Selection for Robust Prompt Learning under Partial Labels

整体最优标签选择用于在部分标签下的鲁棒提示学习

Yaqi Zhao, Haoliang Sun, Yating Wang, Yongshun Gong, Yilong Yin

机构 * Shandong University, Jinan, China(山东大学(济南,中国))

专题命中 评测与基准 :language model(abstract);分类 cs.LG

AI总结 本文提出Holistic Optimal Label Selection方法,通过局部密度过滤和全局最优传输策略,提升部分标签下的提示学习性能,实验表明其在八个基准数据集上表现优异。

Comments ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.18548 2026-07-16 cs.SE cs.AI 版本更新 57%

1D-Bench: A Benchmark for Iterative UI Code Generation with Visual Feedback in Real-World

1D-Bench: 一个用于具有实时反馈的现实世界迭代UI代码生成的基准

Qiao Xu, Yipeng Yu, Chengxiao Feng, Xu Liu

专题命中 评测与基准 :post-training(abstract);分类 cs.AI

AI总结 1D-Bench通过现实电商工作流提供迭代UI代码生成基准,测试模型在中间表示缺陷下的鲁棒性,实验表明迭代编辑能提升渲染成功率和视觉相似性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.05860 2026-07-16 cs.CL 版本更新 57%

Overcoming Language Barriers: Multilingual Analysis of the 2023 Swiss Privacy Law's Impact

克服语言障碍:对2023年瑞士隐私法影响的多语言分析

Luka Nenadic, David Rodriguez, Joseph A. Calandrino

机构 * ETH Zurich(苏黎世联邦理工学院) Carnegie Mellon University(卡内基梅隆大学)

专题命中 评测与基准 :LLM(abstract);分类 cs.CL

AI总结 研究2023年瑞士隐私法与欧盟法规对齐对瑞士网站隐私政策的影响,开发基于大语言模型的管道提取法律信息,应用于超35000个网站隐私政策,发现政策中数据主体权利披露增加,还揭示了政策生成器对披露率的影响。

Journal ref Proceedings on Privacy Enhancing Technologies 2026(4) 703-723

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.23993 2026-07-14 cs.CL 版本更新 57%

The GRADIEND Python Package: An End-to-End System for Gradient-Based Feature Learning

GRADIEND Python包:一种基于梯度的特征学习端到端系统

Jonathan Drechsel, Steffen Herbold

机构 * Faculty of Computer Science and Mathematics University of Passau(计算机科学与数学学院 巴伐利亚大学)

专题命中 评测与基准 :language model(abstract);分类 cs.CL

AI总结 GRADIEND Python包提供端到端系统,通过语言模型中的事实-反事实MLM和CLM梯度学习特征方向,并支持特征数据创建、训练、评估及多特征比较。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.07533 2026-07-14 cs.IR cs.CL cs.DL 版本更新 57%

Loci Similes: A Benchmark for Extracting Intertextualities in Latin Literature

《相似轨迹:拉丁文学中互文性提取的基准》

Julian Schelb, Michael Wittweiler, Marie Revellio, Barbara Feichtinger, Andreas Spitz

机构 * Department of Computer and Information Science, University of Konstanz(计算机与信息科学系,康斯坦茨大学) Department of Latin Philology, University of Konstanz(拉丁语言学系,康斯坦茨大学) Department of Archaeology, Classical Philology and Ancient Studies, University of Zurich(考古学、古典语言学与古代研究系,苏黎世大学)

专题命中 评测与基准 :language model(abstract);分类 cs.CL

AI总结 该研究针对拉丁文学互文性提取任务,因缺乏标准化基准和数据集阻碍新方法发展的问题,引入“相似轨迹”基准,利用约172k文本片段数据集及545个相似之处,用先进语言模型建立互文性检索和分类基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.14046 2026-07-14 cs.CL cs.SD 版本更新 57%

PRiSM: Benchmarking Phone Realization in Speech Models

PRiSM:语音模型中电话实现的基准测试

Shikhar Bharadwaj, Chin-Jou Li, Yoonjae Kim, Kwanghee Choi, Eunjung Yeo, Ryan Soh-Eun Shim, Hanyu Zhou, Brendon Boldt, Karen Rosero Jacome, Kalvin Chang, Darsh Agrawal, Keer Xu, Chao-Han Huck Yang, Jian Zhu, Shinji Watanabe, David R. Mortensen

机构 * CMU(卡内基梅隆大学) Gwangju Institute of Science and Technology(光州科学技术院) UT Austin(得克萨斯大学奥斯汀分校) LMU Munich(慕尼黑路德维希-马克西米利安大学) UC Berkeley(伯克利加州大学) NVIDIA(英伟达) UBC(不列颠哥伦比亚大学)

专题命中 评测与基准 :language model(abstract);分类 cs.CL

AI总结 该研究针对语音模型中电话实现进行基准测试,引入PRiSM开源基准用内在和外在评估揭示语音感知盲点,标准化评估并通过探针评估下游效用,发现训练语言接触对PR性能关键,编码器-CTC模型稳定,专门PR模型优于大型音频语言模型,还发布相关资源推动多语言语音模型发展。

Comments Presented at ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.13994 2026-07-10 cs.CV cs.AI q-bio.NC 版本更新 57%

Human-like Object Grouping in Self-supervised Vision Transformers

自监督视觉Transformer中的类人物体分组

Hossein Adeli, Seoyoung Ahn, Andrew Luo, Mengmi Zhang, Nikolaus Kriegeskorte, Gregory Zelinsky

专题命中 评测与基准 :foundation model(abstract);分类 cs.AI

AI总结 本文通过行为基准测试,探讨自监督视觉模型在物体感知上的类人特性,发现基于DINO目标的Transformer模型在预测人类反应时间方面表现最佳,且Gram矩阵结构对感知对齐有驱动作用。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.17588 2026-07-09 cs.CL cs.HC 版本更新 57%

Modeling Distinct Human Interaction in Web Agents

建模网络代理中不同的人类交互

Faria Huq, Zora Zhiruo Wang, Zhanqiu Guo, Venu Arvind Arangarajan, Tianyue Ou, Frank Xu, Shuyan Zhou, Graham Neubig, Jeffrey P. Bigham

机构 * Carnegie Mellon University(卡内基梅隆大学) Duke University(杜克大学)

专题命中 评测与基准 :language model(abstract);分类 cs.CL

AI总结 本文通过收集400条真实用户网络导航轨迹,识别四种人机交互模式,并训练语言模型预测用户干预时机,将干预预测准确率提升61.4%-63.4%,用户评价的代理有用性提高36.8%。

Comments Preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.18735 2026-07-09 cs.CV cs.AI 版本更新 57%

Thinking Ahead: Foresight Intelligence in MLLMs and World Model

提前思考:多模态语言模型和世界模型中的预见智能

Zhantao Gong, Liaoyuan Fan, Qing Guo, Xun Xu, Xulei Yang, Shijie Li

机构 * College of Software, Nankai University, China(南开大学软件学院) The University of Hong Kong, China(香港大学) NKIARI, Shenzhen Futian, China(NKIARI,深圳福田,中国) AAIS & VCIP, Nankai University, China(AAIS与VCIP,南开大学,中国) A*STAR Institute of Advanced Intelligence and Computing, Singapore(新加坡A*STAR先进智能与计算研究所)

专题命中 评测与基准 :language model(abstract);分类 cs.AI

AI总结 研究定义预见智能,引入FSU-QA数据集,对视觉语言模型在预见任务中全面研究,发现当前模型不足。该数据集可评估世界模型,增强预见推理,微调小模型能超大型先进模型,为开发下一代模型提供基础,还验证了评估协议。

Comments Accepted by ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.11539 2026-07-08 cs.CV cs.AI 版本更新 57%

CLAY: Conditional Visual Similarity Modulation in Vision-Language Embedding Space

CLAY:视觉相似性模拟能力在视觉-语言嵌入空间中的条件性

Sohwi Lim, Lee Hyoseok, Jungjoon Park, Tae-Hyun Oh

机构 * KAIST(韩国科学技术院)

专题命中 评测与基准 :language model(abstract);分类 cs.AI

AI总结 CLAY通过重构预训练视觉-语言模型的嵌入空间,实现基于文本条件的灵活相似性计算,提升多条件检索效率与准确性。

Comments CVPR 2026, Project page: https://sohwi-lim.github.io/CLAY

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.17649 2026-07-08 cs.CV cs.AI cs.RO 版本更新 57%

SWITCH: Benchmarking Modeling and Handling of Tangible Interfaces in Long-horizon Embodied Scenarios

SWITCH:在长时程具身场景中评估和处理具象接口的基准测试

Juntao Cheng, Wanyue Zhang, Zhiwei Yu, Shuo Ren, Zheqi He, Shaoxuan Xie, Guocai Yao, Jieru Lin, Börje F. Karlsson, Jiajun Zhang

专题命中 评测与基准 :LLM(abstract);分类 cs.AI

AI总结 SWITCH基准测试通过1170个时间交互视频,评估具象接口在真实第一人称环境中的闭环交互推理,揭示多模态模型在细粒度视觉-时间感知、结果验证和错误恢复方面的不足。

Comments The dataset is available at https://huggingface.co/datasets/BAAI-Agents/SWITCH

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.21803 2026-07-08 cs.CL 版本更新 57%

Quantifying Retriever-Generator Alignment in RAG with Local Explanations

用局部解释量化检索生成模型(RAG)中的检索器-生成器对齐

Korbinian Randl, Guido Rocchietti, Aron Henriksson, Ziawasch Abedjan, Tony Lindgren, John Pavlopoulos

机构 * Department of Computer and Systems Sciences, Stockholm University(斯德哥尔摩大学计算机与系统科学系) BIFOLD, Technische Universität Berlin(柏林技术大学BIFOLD) Department of Informatics, Athens University of Economics and Business(雅典经济与商业大学信息系) Archimedes, Athena Research Centre(雅典研究中心Archimedes)

专题命中 评测与基准 :language model(abstract);分类 cs.CL

AI总结 研究RAG系统中检索器与生成器交互不透明问题,提出RAG-E框架,用数学归因方法量化二者对齐,通过实验表明WARG能更好捕捉对齐情况,为审计交互提供实用框架,提升RAG系统可靠性与透明度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.03042 2026-07-03 cs.CV cs.AI 版本更新 57%

PPTArena: A Benchmark for PowerPoint Editing

PPTArena: 一个用于PowerPoint编辑的基准测试

Michael Ofengenden, Yunze Man, Ziqi Pang, Liang-Yan Gui, Yu-Xiong Wang

机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) University of California, Berkeley(加州大学伯克利分校)

专题命中 评测与基准 :language model(abstract);分类 cs.AI

AI总结 提出PPTArena基准,包含2125张幻灯片的1300+人工编辑任务,并设计PPTPilot智能体通过结构感知的规划-编辑-验证循环,在复合、布局敏感和跨幻灯片编辑上超越强基线10个百分点以上。

Comments ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.20441 2026-07-03 cs.SD cs.AI 版本更新 57%

UniSE: A Unified Framework for Decoder-Only Autoregressive LM-Based Speech Enhancement

UniSE:一种基于仅解码器自回归语言模型的统一语音增强框架

Haoyin Yan, Chengwei Liu, Shaofei Xue, Xiaotao Liang, Yinghao Liu, Yuxiang Kong, Zheng Xue

机构 * Qwen Business Unit of Alibaba, China(阿里巴巴Qwen业务单元,中国) Tongyi AI Lab of Alibaba, China(阿里巴巴通义AI实验室,中国)

专题命中 评测与基准 :language model(abstract);分类 cs.AI

AI总结 提出UniSE,一种统一的仅解码器LM框架,通过自回归生成离散令牌处理语音恢复、目标说话人提取和语音分离任务,并引入渐进强化学习优化质量,在多个基准上取得竞争性表现。

Comments Accepted by Interspeech 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.16432 2026-07-02 cs.CV cs.LG 版本更新 57%

IRIS: A Real-World Benchmark for Inverse Recovery and Identification of Physical Dynamic Systems from Monocular Video

IRIS:从单目视频进行物理动态系统逆恢复与识别的真实世界基准

Rasul Khanbayov, Mohamed Rayan Barhdadi, Erchin Serpedin, Hasan Kurban

机构 * Hamad Bin Khalifa University(哈马德·本·哈利法大学)

专题命中 评测与基准 :prompting(abstract);分类 cs.LG

AI总结 提出IRIS基准,包含240个4K/60fps真实视频,覆盖单体和多体动力学,提供真实参数和不确定度,定义标准化评估协议,评估多种基线方法,揭示系统失败模式。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02863 2026-07-01 cs.AI 版本更新 57%

Don't Gamble, GAMBLe: An Analytical Framework for AI-Driven Research Systems

不要赌博,GAMBLe:AI驱动研究系统的分析框架

Marquita Ellis, Paul Castro

机构 * IBM Research(IBM研究院)

专题命中 评测与基准 :LLM(abstract_cn);分类 cs.AI

AI总结 提出GAMBLe框架,通过四个参数(生成器G、评估器A、发现机制M、预算B)和一个有效景观L_eff = A ∘ G分解AI驱动研究系统行为,实验表明组件选择可显著提升性能和搜索效率。

Comments Preprint. 23 pages (10 main, 13 appendix). 6 figures (2 in main, 4 in appendix)

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.18197 2026-06-29 cs.AI 版本更新 57%

GAIA: A Data Flywheel System for Training GUI Test-Time Scaling Critic Models

GAIA: 用于训练GUI测试时缩放评论模型的数据飞轮系统

Shaokang Wang, Pei Fu, Ruoceng Zhang, Shaojie Zhang, Xiuwen Xi, Jiahui Yang, Bin Qin, Ying Huang, Zhenbo Luo, Jian Luan

专题命中 评测与基准 :language model(abstract);分类 cs.AI

AI总结 提出GAIA数据飞轮系统,通过训练直觉评论模型(ICM)评估GUI代理动作的正确性,利用正负样本迭代提升代理测试时性能,实验表明该方法能持续改进多种模型。

Comments Accepted by ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.02340 2026-06-29 cs.AI q-bio.OT 版本更新 57%

Chronic Kidney Disease Prognosis Prediction Using Transformer

使用Transformer进行慢性肾脏病预后预测

Yohan Lee, Dong Gyun Kang, SeHoon Park, Sa-Yoon Park, Kwangsoo Kim

专题命中 评测与基准 :language model(abstract);分类 cs.AI

AI总结 提出基于Transformer的ProQ-BERT框架,利用多模态电子健康记录预测CKD进展,在9万余名患者数据上实现高达0.995的ROC-AUC。

Comments 5 pages, 2 figures, 2 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.23842 2026-06-25 cs.CL 版本更新 57%

How Pragmatics Shape Articulation: A Computational Case Study in STEM ASL Discourse

语用如何塑造发音:STEM ASL 话语的计算案例研究

Saki Imai, Lee Kezar, Laurel Aichler, Mert Inan, Erin Walker, Alicia Wooten, Lorna Quandt, Malihe Alikhani

机构 * Northeastern University(东北大学) Gallaudet University(盖尔道特大学) University of Pittsburgh(匹兹堡大学)

专题命中 评测与基准 :language model(abstract);分类 cs.CL

AI总结 通过采集 STEM 领域美国手语对话的运动捕捉数据,量化分析对话、独白和翻译场景中手语发音的时空变化,发现对话中手语持续时间显著缩短,并评估了手语嵌入模型对 STEM 手语的识别能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.21481 2026-06-24 cs.CL 版本更新 57%

Preferences of a Voice-First Nation: Large-Scale Pairwise Evaluation and Preference Analysis for TTS in Indian Languages

语音优先的印度语言国家偏好:面向印度语言TTS的大规模成对评估与偏好分析

Srija Anand, Ashwin Sankar, Ishvinder Sethi, Aaditya Pareek, Kartik Rajput, Gaurav Yadav, Nikhil Narasimhan, Adish Pandya, Deepon Halder, Mohammed Safi Ur Rahman Khan, Praveen S, Shobhit Banga, Mitesh M Khapra

机构 * Indian Institute of Technology, Madras, India(印度理工学院马德拉斯分校) AI4Bharat, India(AI4Bharat) Josh Talks, India(Josh Talks)

专题命中 评测与基准 :foundation model(abstract);分类 cs.CL

AI总结 本文通过大规模成对评估和分析,探讨印度语言TTS系统在多语言环境下的偏好,结合语言控制与感知注解,评估7种先进系统,揭示人类偏好与模型性能的多维关系。

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.05469 2026-06-23 cs.LG cs.IT math.IT 版本更新 57%

Let's Measure Information Step-by-Step: AI-Based Evaluation Beyond Vibes

逐步测量信息:超越情绪的AI评估

Zachary Robertson, Sanmi Koyejo

机构 * Department of Computer Science(计算机科学系)

专题命中 评测与基准 :prompting(abstract);分类 cs.LG

AI总结 本文提出基于AI的评估方法,通过战略游戏与信息损失的联系,分析对抗操纵下鲁棒的机制,证明总变差距离在对抗攻击下保持多项式保证,提升信息关系提示的鲁棒性。

Comments Accepted to TMLR (2026). Updated appendix to restore the proof of Theorem 3.3

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.12911 2026-06-23 cs.CL 版本更新 57%

ViMedCSS: A Vietnamese Medical Code-Switching Speech Dataset & Benchmark

ViMedCSS:越南语医学术语代码转换语音数据集与基准

Tung X. Nguyen, Nhu Vo, Giang-Son Nguyen, Duy Mai Hoang, Chien Dinh Huynh, Inigo Jauregi Unanue, Massimo Piccardi, Wray Buntine, Dung D. Le

机构 * College of Engineering and Computer Science(工程与计算机科学学院) Center for AI Research(人工智能研究中心) College of Health Sciences(健康科学学院) University of Technology Sydney(悉尼科技大学)

专题命中 评测与基准 :pretraining(abstract);分类 cs.CL

AI总结 针对越南语医学术语代码转换问题,构建了34小时语音数据集ViMedCSS,评估多种ASR模型并探索微调策略,发现越南语优化模型与多语言预训练结合效果最佳。

Comments Accepted at LREC 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.05409 2026-06-18 cs.CV cs.CL 版本更新 57%

Would you still call this Dax? Novel Visual References in VLMs and Humans

你还会称它为Dax吗?VLM与人类中的新颖视觉参照

Ada Defne Tür, Gaurav Kamath, Joyce Chai, Siva Reddy, Benno Krojer

机构 * McGill University(麦吉尔大学) Mila Quebec AI Institute(魁北克人工智能研究所) University of Michigan - Ann Arbor(密歇根大学安娜堡分校) Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)

专题命中 评测与基准 :language model(abstract);分类 cs.CL

AI总结 提出新颖视觉参照数据集(NVRD),通过对比VLM和人类对新颖视觉概念的泛化能力,发现模型在矛盾先验知识时难以习得新概念,且过度泛化。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.03297 2026-06-16 cs.SD cs.LG 版本更新 57%

Contrastive Regularization for Accent-Robust ASR

对比正则化用于口音鲁棒的ASR

Van-Phat Thai, Aradhya Dhruv, Duc-Thinh Pham, Sameer Alam

机构 * Air Traffic Management Research Institute, Nanyang Technological University, Singapore(新加坡南洋理工大学航空交通管理研究所) Center of AI Research, VinUniversity, Vietnam(越南Vin大学人工智能研究中心)

专题命中 评测与基准 :pretraining(abstract);分类 cs.LG

AI总结 提出使用监督对比学习作为轻量级口音不变辅助目标,在CTC微调中正则化编码器表示,无需架构修改或显式口音监督,在L2-ARCTIC基准上实现高达25-29%的未见口音词错误率降低。

Comments Accepted by Interspeech 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.09329 2026-06-16 cs.LG 版本更新 57%

MacrOData: New Benchmarks of Thousands of Datasets for Tabular Outlier Detection

MacrOData:用于表格异常检测的数千个数据集的新基准

Xueying Ding, Simon Klüttermann, Haomin Wen, Yilong Chen, Leman Akoglu

机构 * Carnegie Mellon University(卡内基梅隆大学) Technical University of Dortmund(多特蒙德技术大学)

专题命中 评测与基准 :foundation model(abstract);分类 cs.LG

AI总结 提出大规模表格异常检测基准MacrOData,包含2446个数据集,覆盖真实与合成异常,支持全面鲁棒的评估。

Comments 29 pages, KDD 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.21613 2026-06-16 cs.CL cs.SD eess.AS 版本更新 57%

ChildGuard: A Specialized Dataset for Combatting Child-Targeted Hate Speech

ChildGuard:针对儿童仇恨言论的专用数据集

Gautam Siddharth Kashyap, Mohammad Anas Azeez, Rafiq Ali, Zohaib Hasan Siddiqui, Jiechao Gao, Usman Naseem

机构 * Macquarie University(麦考瑞大学) MBZUAI(穆罕默德·本·拉希德人工智能研究所) DSEU(德里国家理工学院) Department of Information and Computer Science, KFUPM(科威特石油大学信息与计算机科学系) Stanford University(斯坦福大学)

专题命中 评测与基准 :LLM(abstract_cn);分类 cs.CL

AI总结 针对社交媒体上针对儿童的仇恨言论问题,构建了大规模英文数据集ChildGuard,包含351,877条标注实例,覆盖三个年龄段,并评估了多种模型性能。

Comments Updated Version

详情

展开后加载摘要…

URL PDF HTML 收藏
2502.11201 2026-06-16 cs.DB cs.AI 版本更新 57%

Bridging the Gap: Enabling Natural Language Queries for NoSQL Databases through Text-to-NoSQL Translation

弥合差距:通过文本到NoSQL翻译实现NoSQL数据库的自然语言查询

Jinwei Lu, Jiawei Lu, Chen Zhang, Zhiqian Qin, Haodi Zhang, Yuanfeng Song, Raymond Chi-Wing Wong

机构 * University of Science and Technology of China(中国科学技术大学) Tsinghua University(清华大学) The University of Hong Kong(香港大学)

专题命中 评测与基准 :LLM(abstract_cn);分类 cs.AI

AI总结 本文研究Text-to-NoSQL任务,提出TEND基准和SAG求解器,用于将自然语言请求翻译为MongoDB聚合管道,验证了无模式文档推理的独特挑战。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.00593 2026-06-15 cs.CV cs.LG 版本更新 57%

Pix2Fact: When Vision Is Not Enough -- Benchmarking Fine-Grained VQA with Web Verification on High-Resolution Real-World Scenes

Pix2Fact: 当视觉不够时——基于网络验证的细粒度VQA基准测试

Yifan Jiang, Cong Zhang, Bofei Zhang, Qiaofeng Zheng, Yifan Yang, Bingzhang Wang, Yew-Soon Ong

机构 * GADE Union (Global AI Data Experts Union)(GADE联盟(全球人工智能数据专家联盟)) Shanghai Jiao Tong University(上海交通大学) Nanyang Technological University(南洋理工大学) New York University(纽约大学) Cambridge University(剑桥大学) The University of Hong Kong(香港大学)

专题命中 评测与基准 :language model(abstract);分类 cs.LG

AI总结 本文提出Pix2Fact基准测试,通过高分辨率真实场景中的网络验证,评估细粒度视觉问答中的专家级视觉感知和知识搜索能力,发现现有模型在复杂任务中存在显著不足。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.11378 2026-06-15 cs.CL 版本更新 57%

An Empirical Study of Automating Agent Evaluation

自动化代理评估的实证研究

Kang Zhou, Sangmin Woo, Haibo Ding, Kiran Ramnath, Subramanian Chidambaram, Aosong Feng, Vinayak Arannil, Muhyun Kim, Ishan Singh, Darren Wang, Zhichao Xu, Megha Gandhi, Nirmal Prabhu, Soumya Smruti Mishra, Vivek Singh, Gouri Pandeshwar, Lin Lee Cheong

机构 * AWS AI Labs(AWS人工智能实验室)

专题命中 评测与基准 :prompting(abstract);分类 cs.CL

AI总结 本文研究了自动化代理评估的可行性,提出EvalAgent系统,通过编码技能和领域知识提升评估效率,实验显示其在评估准确性和人类偏好上显著优于基线方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16689 2026-06-12 cs.AI 版本更新 57%

The Query Channel: Information-Theoretic Limits of Masking-Based Explanations

查询通道:基于掩码的解释的信息论极限

Erciyes Karakaya, Ozgur Ercetin

机构 * Department of Electrical and Computer Engineering, University of Maryland, College Park, USA(美国马里兰大学电气与计算机工程系) Faculty of Engineering and Natural Sciences, Sabanci University, Turkiye(土耳其萨班奇大学工程与自然科学学院)

专题命中 评测与基准 :language model(abstract);分类 cs.AI

AI总结 本文提出查询通道框架,将掩码后解释建模为通信过程,推导解释率与识别容量之间的信息论极限,并证明稀疏最大似然解码器可实现可靠恢复。

详情

展开后加载摘要…

URL PDF HTML 收藏