语言大模型 / LLM

Attention, Please! PixelSHAP Reveals What Vision-Language Models Actually Focus On

Roni Goldshmidt

机构 * Nexar（奈克萨（Nexar）） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL

STAR: A Foundation Model-driven Framework for Robust Task Planning and Failure Recovery in Robotic Systems

Md Sadman Sakib, Yu Sun

机构 * University of South Florida（南佛罗里达大学） 纠错

专题命中 推理与问题求解 ：foundation model(title,abstract)；分类 cs.AI

Zero-Shot Peg Insertion: Identifying Mating Holes and Estimating SE(2) Poses with Vision-Language Models

Masaru Yajima, Kei Ota, Asako Kanezaki, Rei Kawakami

机构 * Institute of Science Tokyo（科学东京学院） ； Mitsubishi Electric（三菱电机） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.AI

Comments Under submission

CoT-VLM4Tar: Chain-of-Thought Guided Vision-Language Models for Traffic Anomaly Resolution

Tianchi Ren, Haibo Hu, Jiacheng Zuo, Xinhong Chen, Jianping Wang, Chun Jason Xue, Jen-Ming Wu, Nan Guan

机构 * City University of Hong Kong（香港城市大学） ； Soochow University（苏州大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Honhai Research Institute（鸿海研究院） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.AI

Exploring the Effectiveness of Object-Centric Representations in Visual Question Answering: Comparative Insights with Foundation Models

Amir Mohammad Karimi Mamaghan, Samuele Papa, Karl Henrik Johansson, Stefan Bauer, Andrea Dittadi

机构 * KTH Royal Institute of Technology（瑞典皇家理工学院） ； University of Amsterdam（阿姆斯特丹大学） ； Digital Futures（数字未来机构） ； Helmholtz AI（亥姆霍兹人工智能研究所） ； Technical University of Munich（慕尼黑工业大学） ； MPI for Intelligent Systems, Tübingen（蒂宾根马克斯·普朗克智能系统研究所） 纠错

专题命中 推理与问题求解 ：foundation model(title,abstract)；分类 cs.LG

Comments Published at ICLR 2025

CogCoM: A Visual Language Model with Chain-of-Manipulations Reasoning

Ji Qi, Ming Ding, Weihan Wang, Yushi Bai, Qingsong Lv, Wenyi Hong, Bin Xu, Lei Hou, Juanzi Li, Yuxiao Dong, Jie Tang

机构 * Tsinghua University（清华大学） ； Zhipu AI（智谱AI） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL

Comments 21 pages, 10 figures

Can Language Models Falsify? Evaluating Algorithmic Reasoning with Counterexample Creation

Shiven Sinha, Shashwat Goel, Ponnurangam Kumaraguru, Jonas Geiping, Matthias Bethge, Ameya Prabhu

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.LG

Comments Technical Report

HYBRIDMIND: Meta Selection of Natural Language and Symbolic Language for Enhanced LLM Reasoning

Simeng Han, Tianyu Liu, Chuhan Li, Xuyuan Xiong, Arman Cohan

机构 * Yale University（耶鲁大学） 纠错

专题命中 推理与问题求解 ：LLM(title)；prompting(abstract)；分类 cs.CL

End-to-End Chart Summarization via Visual Chain-of-Thought in Vision-Language Models

Raymond Choi, Frank Burns, Chase Lawrence

机构 * Federal University of Rio de Janeiro（里约热内卢联邦大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL

CurricuVLM: Towards Safe Autonomous Driving via Personalized Safety-Critical Curriculum Learning with Vision-Language Models

Zihao Sheng, Zilin Huang, Yansong Qu, Yue Leng, Sruthi Bhavanam, Sikai Chen

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Purdue University（普渡大学） ； Google（谷歌公司） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.AI

NAVIG: Natural Language-guided Analysis with Vision Language Models for Image Geo-localization

Zheyuan Zhang, Runze Li, Tasnim Kabir, Jordan Boyd-Graber

机构 * Tsinghua University（清华大学） ； Nanjing University（南京大学） ； University of Maryland（马里兰大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL

Uncovering the Impact of Chain-of-Thought Reasoning for Direct Preference Optimization: Lessons from Text-to-SQL

Hanbing Liu, Haoyang Li, Xiaokang Zhang, Ruotong Chen, Haiyong Xu, Tian Tian, Qi Qi, Jing Zhang

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； School of Information, Renmin University of China（中国人民大学信息学院） ； China Mobile Information Technology Center（中国移动信息技术中心） 纠错

专题命中 推理与问题求解 ：preference optimization(title,abstract)；分类 cs.CL

EMOS: Embodiment-aware Heterogeneous Multi-robot Operating System with LLM Agents

Junting Chen, Checheng Yu, Xunzhe Zhou, Tianqi Xu, Yao Mu, Mengkang Hu, Wenqi Shao, Yikai Wang, Guohao Li, Lin Shao

机构 * National University of Singapore（新加坡国立大学） ； The University of Hong Kong（香港大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； KAUST（阿卜杜拉国王科技大学） ； University of Oxford（牛津大学） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） ； Fudan University（复旦大学） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；分类 cs.AI

Comments 10 pages of main content, 3 pages of references, 5 pages of appendix, 7 figures in total

Learning without Forgetting for Vision-Language Models

Da-Wei Zhou, Yuanhan Zhang, Yan Wang, Jingyi Ning, Han-Jia Ye, De-Chuan Zhan, Ziwei Liu

机构 * Nanjing University（南京大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.LG

Comments Accepted to TPAMI. Code is available at https://github.com/zhoudw-zdw/PROOF

Transferring Foundation Models for Generalizable Robotic Manipulation

Jiange Yang, Wenhui Tan, Chuhao Jin, Keling Yao, Bei Liu, Jianlong Fu, Ruihua Song, Gangshan Wu, Limin Wang

机构 * Nanjing University（南京大学） ； Renmin University of China（中国人民大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Microsoft Research（微软研究院） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 推理与问题求解 ：foundation model(title,abstract)；分类 cs.AI

Comments WACV 2025, Oral

Language Models Prefer What They Know: Relative Confidence Estimation via Confidence Preferences

Vaishnavi Shrivastava, Ananya Kumar, Percy Liang

机构 * Stanford University（斯坦福大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL

RLS3: RL-Based Synthetic Sample Selection to Enhance Spatial Reasoning in Vision-Language Models for Indoor Autonomous Perception

Joshua R. Waite, Md. Zahid Hasan, Qisai Liu, Zhanhong Jiang, Chinmay Hegde, Soumik Sarkar

机构 * Iowa State University（爱荷华州立大学） ； New York University（纽约大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.LG

Comments ICCPS 2025 accepted paper, 10 pages, 9 figures

DrawEduMath: Evaluating Vision Language Models with Expert-Annotated Students' Hand-Drawn Math Images

Sami Baral, Li Lucy, Ryan Knight, Alice Ng, Luca Soldaini, Neil T. Heffernan, Kyle Lo

机构 * Worcester Polytechnic Institute（伍斯特理工学院） ； University of California Berkeley（加州大学伯克利分校） ； Insource Services（Insource服务公司） ； Teaching Lab（教学实验室） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL

Comments 19 pages, 10 figures, Accepted to NAACL 2025

On the Representational Capacity of Neural Language Models with Chain-of-Thought Reasoning

Franz Nowak, Anej Svete, Alexandra Butoi, Ryan Cotterell

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL

Comments Published at ACL 2024

Audio-CoT: Exploring Chain-of-Thought Reasoning in Large Audio Language Model

Ziyang Ma, Zhuo Chen, Yuping Wang, Eng Siong Chng, Xie Chen

机构 * Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； ByteDance Inc.（字节跳动公司） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL

Can Large Audio-Language Models Truly Hear? Tackling Hallucinations with Multi-Task Assessment and Stepwise Audio Reasoning

Chun-Yi Kuan, Hung-yi Lee

机构 * National Taiwan University（台湾大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL

Comments Accepted to ICASSP 2025. Project Website: https://github.com/kuan2jiu99/audio-hallucination

Large-Scale Text Analysis Using Generative Language Models: A Case Study in Discovering Public Value Expressions in AI Patents

Sergio Pelaez, Gaurav Verma, Barbara Ribeiro, Philip Shapira

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL

Comments 13 pages, 3 figures. Update corrects ORCID ID, adds arXiv citation. No other changes

Journal ref Quantitative Science Studies (2024) 5 (1),153-169

Do Multimodal Language Models Really Understand Direction? A Benchmark for Compass Direction Reasoning

Hang Yin, Zhifeng Lin, Xin Liu, Bin Sun, Kan Li

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.AI

HandsOnVLM: Vision-Language Models for Hand-Object Interaction Prediction

Chen Bao, Jiarui Xu, Xiaolong Wang, Abhinav Gupta, Homanga Bharadhwaj

机构 * The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） ； University of California at San Diego（加州大学圣迭戈分校） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.LG

Comments Preprint. Under Review

SAModified: A Foundation Model-Based Zero-Shot Approach for Refining Noisy Land-Use Land-Cover Maps

Sparsh Pekhale, Rakshith Sathish, Sathisha Basavaraju, Divya Sharma

专题命中 推理与问题求解 ：foundation model(title,abstract)；分类 cs.AI

DualAD: Dual-Layer Planning for Reasoning in Autonomous Driving

Dingrui Wang, Marc Kaufeld, Johannes Betz

专题命中 推理与问题求解 ：large language model(abstract,comments)；language model(abstract,comments)；LLM(abstract)；分类 cs.AI

Comments Autonomous Driving, Large Language Models (LLMs), Human Reasoning, Critical Scenario

GraphOTTER: Evolving LLM-based Graph Reasoning for Complex Table Question Answering

Qianlong Li, Chen Huang, Shuai Li, Yuanxin Xiang, Deng Xiong, Wenqiang Lei

专题命中 推理与问题求解 ：LLM(title,abstract)；分类 cs.CL

Comments COLING 2025, code is available at https://github.com/JDing0521/GraphOTTER

Safe + Safe = Unsafe? Exploring How Safe Images Can Be Exploited to Jailbreak Large Vision-Language Models

Chenhang Cui, Gelei Deng, An Zhang, Jingnan Zheng, Yicong Li, Lianli Gao, Tianwei Zhang, Tat-Seng Chua

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL

Think Step by Step: Chain-of-Gesture Prompting for Error Detection in Robotic Surgical Videos

Zhimin Shao, Jialang Xu, Danail Stoyanov, Evangelos B. Mazomenos, Yueming Jin

专题命中 推理与问题求解 ：prompting(title,abstract)；分类 cs.AI

Comments 8 pages, 4 figures

Journal ref IEEE Robotics and Automation Letters, vol. 9, no. 12, pp. 11513-11520, Dec. 2024

Visual Sketchpad: Sketching as a Visual Chain of Thought for Multimodal Language Models

Yushi Hu, Weijia Shi, Xingyu Fu, Dan Roth, Mari Ostendorf, Luke Zettlemoyer, Noah A Smith, Ranjay Krishna

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL

Comments Accepted to NeurIPS 2024. Project and codes url: https://visualsketchpad.github.io/