语言大模型 / LLM

MALTO at SemEval-2024 Task 6: Leveraging Synthetic Data for LLM Hallucination Detection

MALTO在SemEval-2024任务6：利用合成数据进行LLM幻觉检测

Federico Borra, Claudio Savelli, Giacomo Rosso, Alkis Koudounas, Flavio Giobergia

机构 * Politecnico di Torino（托尼诺理工学院） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 MALTO通过合成数据增强和投票集成方法，提升LLM幻觉检测的准确性与鲁棒性。

Comments Under revision at SemEval 2024

Reusable theory representations for colliders: a demonstrator SMEFT foundation model

可重用的理论表示用于对撞机：SMEFT基础模型的演示

Supratim Das Bakshi, T. J. Hobbs, Brandon Kriesten

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本研究提出了一种基于对比表示的SMEFT基础模型，用于高能对撞机中对新物理的探索，通过训练编码器网络生成低维潜在流形，以捕捉SMEFT引起的Drell-Yan光谱变形的几何结构。

Comments 39 pages, 12 figures, 2 tables

Abacus: Self-Supervised Event Counting-Aligned Distributional Pretraining for Sequential User Modeling

Abacus: 为序列用户建模的自监督事件计数对齐分布预训练

Sullivan Castro, Artem Betlei, Thomas Di Martino, Nadir El Manouzi

机构 * Criteo AI Lab（Criteo人工智能实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 Abacus通过自监督预训练方法提升序列用户建模，结合事件计数统计与序列学习目标，提高下游任务性能。

From Minutes to Days: Scaling Intracranial Speech Decoding with Supervised Pretraining

从分钟到天：通过监督预训练扩展颅内语音解码

Linnea Evanson, Mingfang Zhang, Hubert Banville, Saarang Panchavati, Pierre Bourdillon, Jean-Rémi King

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL

AI总结 通过监督预训练扩展颅内语音解码，利用长期数据提升解码性能并解决跨天变化问题。

Comments Linnea Evanson* and Mingfang (Lucy) Zhang* are joint first authors. Pierre Bourdillon** and Jean-Rémi King** are joint last authors

Detecting Malicious Entra OAuth Apps with LLM-Based Permission Risk Scoring

基于LLM的权限风险评分检测恶意Entra OAuth应用

Ashim Mahara

专题命中 预训练与数据 ：LLM(title,abstract)

AI总结 本文提出基于LLM的权限风险评分方法，用于实时检测恶意Entra OAuth应用。

Provable Ordering and Continuity in Vision-Language Pretraining for Generalizable Embodied Agents

可证明的视觉-语言排序与连续性在通用化具身体验代理中的预训练

Zhizhen Zhang, Lei Zhu, Zhen Fang, Zi Huang, Yadan Luo

机构 * The University of Queensland（昆士兰大学） ； Tongji University（同济大学） ； University of Technology Sydney（悉尼科技大学） 纠错

专题命中 预训练与数据 ：pretraining(title)；分类 cs.AI、cs.LG

AI总结 本文提出AcTOL方法，通过对比帧间语义差异和局部布朗桥约束，实现有序且连续的视觉-语言表示，提升具身体验代理在不同指令风格下的鲁棒性。

Comments NeurIPS 2025 Poster

Impacts of Racial Bias in Historical Training Data for News AI

历史训练数据中的种族偏见对新闻AI的影响

Rahul Bhargava, Malene Hornstrup Jespersen, Emily Boardman Ndulue, Vivica Dsouza

机构 * Northeastern University（东北大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了基于历史训练数据的新闻AI中种族偏见的影响，发现'blacks'标签在某些群体中作为种族歧视检测器，但对现代案例表现不佳，揭示了新闻室在采用AI工具时需平衡效率与偏见风险的挑战。

nanoTabPFN: A Lightweight and Educational Reimplementation of TabPFN

nanoTabPFN：一种轻量级且教育性的TabPFN重实现

Alexander Pfefferle, Johannes Hog, Lennart Purucker, Frank Hutter

机构 * ELLIS Institute Tübingen（图宾根ELLIS研究所） ； University of Freiburg（弗赖堡大学） ； Prior Labs（Prior实验室） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 nanoTabPFN通过轻量级实现和预生成训练数据，使表格基础模型更易于教育使用，预训练速度比TabPFN v2快160,000倍。

Decoding Fake Narratives in Spreading Hateful Stories: A Dual-Head RoBERTa Model with Multi-Task Learning

在传播仇恨言论中解码虚假叙述：一种带有多任务学习的双头RoBERTa模型

Yash Bhaskar, Sankalp Bahad, Parameswari Krishnamurthy

机构 * IIIT Hyderabad（IIIT海得拉巴） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种双头RoBERTa模型，通过多任务学习检测社交媒体中的虚假叙述驱动的仇恨言论，并实现目标和严重性预测。

Comments Accepted Paper, Anthology ID: 2024.icon-fauxhate.3, 4 pages, 1 figure, 1 table

Journal ref Proceedings of the 21st International Conference on Natural Language Processing (ICON), pages 12-15, 2024

The Emergence of Chunking Structures with Hierarchical RNN

具有层次递归神经网络的分块结构涌现

Zijun Wu, Anup Anand Deshmukh, Yongkang Wu, Jimmy Lin, Lili Mou

机构 * University of Alberta/Amii（阿尔伯塔大学/Amii） ； University of Waterloo（滑铁卢大学） ； Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii）） ； Huawei Poisson Lab（华为Poisson实验室） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL

AI总结 本文提出一种无监督分块方法，利用层次递归神经网络建模词与分块的层次结构，通过预训练和微调提升分块性能，揭示分块结构在训练过程中的短暂性。

Comments Published in Computational Linguistics

Journal ref Computational Linguistics, vol. 51, no. 3, pp. 815-841, 2025

Seeing Beyond Words: Self-Supervised Visual Learning for Multimodal Large Language Models

超越文字：面向多模态大语言模型的自监督视觉学习

Davide Caffagni, Sara Sarto, Marcella Cornia, Lorenzo Baraldi, Pier Luigi Dovesi, Shaghayegh Roohi, Mark Granroth-Wilding, Rita Cucchiara

机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） ； AMD Silo AI 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；foundation model(abstract)

AI总结 JARVIS通过自监督视觉学习提升多模态大语言模型的视觉推理能力，无需依赖语言监督。

Fine-tuning of lightweight large language models for sentiment classification on heterogeneous financial textual data

轻量级大语言模型在异构金融文本数据上的情感分类微调

Alvaro Paredes Amorin, Andre Python, Christoph Weisser

机构 * International Business School, Zhejiang University（浙江大学国际商务学院） ； Center for Data Science, Zhejiang University（浙江大学数据科学中心） ； Centre for Statistics, Georg-August-Universität Göttingen（哥廷根大学统计中心） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本研究探讨了轻量级开源大语言模型在异构金融文本数据上的情感分类微调效果，发现Qwen3 8B和Llama3 8B在有限数据下表现优异。

Auto-Tuning Safety Guardrails for Black-Box Large Language Models

为黑盒大语言模型自动调整安全防护栏

Perry Abdulkadir

机构 * University of St. Thomas（圣托马斯大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过超参数优化来自动调整黑盒大语言模型的安全防护栏，以提高其安全性和效率。

Comments 8 pages, 7 figures, 1 table. Work completed as part of the M.S. in Artificial Intelligence at the University of St. Thomas using publicly available models and datasets; all views and any errors are the author's own

MMRel: Benchmarking Relation Understanding in Multi-Modal Large Language Models

MMRel：多模态大语言模型中关系理解的基准测试

Jiahao Nie, Gongjie Zhang, Wenbin An, Yun Xing, Yap-Peng Tan, Alex C. Kot, Shijian Lu

机构 * Interdisciplinary Graduate Programme, Nanyang Technological University, Singapore（南洋理工大学跨学科研究生项目） ； Alibaba DAMO Academy, Singapore（阿里巴巴达摩院） ； Xi’an Jiaotong University, China（西安交通大学） ； Nanyang Technological University, Singapore（南洋理工大学） ； VinUniversity, Vietnam（文莱大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

AI总结 MMRel是一个用于评估和提升多模态大语言模型关系理解能力的基准测试，包含大规模高质量的关系数据和对抗性案例，通过实验验证其在提升模型关系理解方面的有效性。

Seeing is Believing (and Predicting): Context-Aware Multi-Human Behavior Prediction with Vision Language Models

看见即信仰（并预测）：基于视觉语言模型的上下文感知多人类行为预测

Utsav Panchal, Yuchen Liu, Luigi Palmieri, Ilche Georgievski, Marco Aiello

机构 * Institute of Architecture of Application Systems, University of Stuttgart, Germany（应用系统建筑研究所，斯图加特大学，德国） ； Bosch Research, Germany（博世研究，德国） 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 CAMP-VLM通过结合视觉语言模型与上下文特征，提升了多人类行为预测的准确性，其在预测精度上比基线模型高66.9%。

Comments Accepted at IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2026

MAIN: Mutual Alignment Is Necessary for instruction tuning

MAIN：互斥对齐是指令微调的必要条件

Fanyi Yang, Jianfeng Liu, Xin Zhang, Haoyu Liu, Xixin Cao, Yuefeng Zhan, Hao Sun, Weiwei Deng, Feng Sun, Qi Zhang

机构 * Peking University（北京大学） ； Microsoft Corporation（微软公司） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出MAIN框架，通过互斥约束增强指令与响应的一致性，提升LLM在多种基准上的性能。

Comments Accepted by EMNLP 2025

ARD-LoRA: Dynamic Rank Allocation for Parameter-Efficient Fine-Tuning of Foundation Models with Heterogeneous Adaptation Needs

ARD-LoRA：动态秩分配用于具有异质适应需求的基础模型参数高效微调

Haseeb Ullah Khan Shinwari, Muhammad Usama

机构 * Newton AI Lab（牛顿人工智能实验室） ； School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（电气工程学院，韩国科学技术院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 ARD-LoRA通过动态秩分配提升基础模型微调效率，实现参数高效且适应性更强的模型调整。

Journal ref IEEE Transactions on Artificial Intelligence, 2025

AdaGradSelect: An adaptive gradient-guided layer selection method for efficient fine-tuning of SLMs

AdaGradSelect: 一种基于自适应梯度引导的层选择方法，用于高效微调小型语言模型

Anshul Kumar, Gagan Raj Gupta, Manisha Chawla

机构 * IIT Bhilai（比哈尔理工学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；small language model(abstract)；分类 cs.AI、cs.LG

AI总结 AdaGradSelect通过自适应梯度引导选择Transformer块，实现高效微调SLMs，训练速度快35%且性能接近全微调。

MoAPT: Mixture of Adversarial Prompt Tuning for Vision-Language Models

MoAPT: 基于对抗提示微调的视觉-语言模型混合

Shiji Zhao, Qihui Zhu, Shukun Xiong, Shouwei Ruan, Maoxun Yuan, Jialing Tao, Jiexi Liu, Ranjie Duan, Jie Zhang, Jie Zhang, Xingxing Wei

机构 * Institute of Artificial Intelligence, Beihang University, Beijing, China（北京航空航天大学人工智能研究院） ； Center for Frontier AI Research, A*STAR, Singapore（A*STAR前沿人工智能研究中心） ； Institute of Computing Technology, Chinese Academy of Sciences, China（中国科学院计算技术研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)

AI总结 MoAPT通过混合对抗提示微调提升视觉-语言模型对多种对抗攻击的鲁棒性，通过学习多个提示的混合权重以增强泛化能力。

Fine-Tuning Discrete Diffusion Models with Policy Gradient Methods

使用策略梯度方法微调离散扩散模型

Oussama Zekri, Nicolas Boullé

专题命中 指令微调 ：language model(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出SEPO算法，用于高效微调离散扩散模型，通过理论支持和实验验证展示了其在非可微奖励下的有效性。

Comments 33 pages, 8 figures, 8 tables

Journal ref NeurIPS 2025

Bandits with Preference Feedback: A Stackelberg Game Perspective

带有偏好反馈的多臂问题：从Stackelberg博弈视角出发

Barna Pásztor, Parnian Kassraie, Andreas Krause

机构 * ETH Zurich（苏黎世联邦理工学院） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MAXMINLCB算法，通过Stackelberg博弈框架解决无限域和非线性奖励下的多臂问题，实现最优后悔保证和优越性能。

Comments In Proceedings of the 38th Conference on Neural Information Processing Systems (NeurIPS), 30 pages, 8 figures

Who is In Charge? Dissecting Role Conflicts in Instruction Following

谁在掌控？解析指令遵循中的角色冲突

Siqi Zeng

机构 * University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究揭示大型语言模型在指令遵循中存在角色冲突，通过机制分析发现系统-用户冲突与社会冲突的不同处理方式，并强调了对齐方法的重要性。

Comments 12 pages, 5 figures, Mech Interp Workshop (NeurIPS 2025) Poster

Towards Fine-Tuning-Based Site Calibration for Knowledge-Guided Machine Learning: A Summary of Results

基于微调的站点校准用于知识引导的机器学习：结果总结

Ruolei Zeng, Arun Sharma, Shuai An, Mingzhou Yang, Shengya Zhang, Licheng Liu, David Mulla, Shashi Shekhar

专题命中 指令微调 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出FTBSC-KGML框架，通过预训练和微调结合空间异质性意识和知识引导，提升在有限数据下对土地排放的准确预测能力。

CitySeeker: How Do VLMS Explore Embodied Urban Navigation With Implicit Human Needs?

CitySeeker: VLMS如何通过隐含人类需求探索具身城市导航

Siqi Wang, Chao Liang, Yunfan Gao, Erxin Yu, Sen Li, Yushi Li, Jing Li, Haofen Wang

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） ； Tongji University（同济大学） ； Nanjing Institute of Geography and Limnology, Chinese Academy of Sciences（中国科学院南京地理与湖泊研究所） ； Research Centre for Data Science & Artificial Intelligence（数据科学与人工智能研究中心） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 CitySeeker通过评估VLMs在动态城市环境中探索具身导航的能力，揭示了隐含需求理解中的关键瓶颈，并提出改进策略以提升空间推理和决策能力。

OS-Oracle: A Comprehensive Framework for Cross-Platform GUI Critic Models

OS-Oracle: 一个跨平台GUI批评模型的综合框架

Zhenyu Wu, Jingjing Xie, Zehao Li, Bowen Yang, Qiushi Sun, Zhaoyang Liu, Zhoumianze Liu, Yu Qiao, Xiangyu Yue, Zun Wang, Zichen Ding

机构 * Shanghai Jiaotong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； CUHK MMLab（香港大学MMLab） ； The University of Hong Kong（香港大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 指令微调 ：SFT(abstract)；分类 cs.AI

AI总结 OS-Oracle提出了一种跨平台GUI批评模型框架，通过合成数据和两阶段训练方法，实现了在移动、网页和桌面平台上的高效批评评估。

C-DGPA: Class-Centric Dual-Alignment Generative Prompt Adaptation

面向类别的双对齐生成提示适应：C-DGPA

Chao Li, Dasha Hu, Chengyang Li, Yuming Jiang, Yuncheng Shen

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 C-DGPA通过双分支架构协同优化边缘分布和条件分布对齐，提升无监督领域适应中提示学习的领域不变性和语义判别性。

BarcodeMamba+: Advancing State-Space Models for Fungal Biodiversity Research

BarcodeMamba+: 推动真菌生物多样性研究的state-space模型

Tiancheng Gao, Scott C. Lowe, Brendan Furneaux, Angel X Chang, Graham W. Taylor

机构 * University of Guelph（圭尔夫大学） ； Vector Institute（向量研究所） ； University of Jyväskylä（耶夫斯克耶拉大学） ； Simon Fraser University（西蒙弗雷泽大学） ； Amii（阿米国际） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 BarcodeMamba+通过高效state-space模型提升真菌分类性能，克服数据稀疏与长尾分布挑战，实现多层级分类优势。

Comments 11 pages, accepted at the 3rd Workshop on Imageomics: Discovering Biological Knowledge from Images Using AI (NeurIPS 2025)

Reinforcement Learning Finetunes Small Subnetworks in Large Language Models

强化学习在大型语言模型中微调小型子网络

Sagnik Mukherjee, Lifan Yuan, Dilek Hakkani-Tur, Hao Peng

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 强化学习在大型语言模型中通过微调小型子网络显著提升性能，且该子网络更新稀疏性源于数据分布和正则化技术的影响。

Comments NeuRIPS 2025

Stackelberg Learning from Human Feedback: Preference Optimization as a Sequential Game

基于人类反馈的Stackelberg学习：偏好优化作为连续博弈

Barna Pásztor, Thomas Kleine Buening, Andreas Krause

机构 * ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；RLHF(abstract)

AI总结 SLHF通过连续博弈框架实现偏好优化，优于RLHF和NLHF，在一致性、数据敏感性和鲁棒性方面具有优势，并在大规模语言模型中展示出强对齐能力。

Comments 10 pages, 5 tables, 1 figures

LaF-GRPO: In-Situ Navigation Instruction Generation for the Visually Impaired via GRPO with LLM-as-Follower Reward

LaF-GRPO：通过GRPO与LLM-as-Follower生成视障人士的现场导航指令

Yi Zhao, Siqi Wang, Jing Li

专题命中 后训练与偏好优化 ：LLM(title,abstract)；language model(abstract)；post-training(abstract)；SFT(abstract)

AI总结 LaF-GRPO通过GRPO与LLM-as-Follower生成更直观安全的视障人士现场导航指令，提升指令准确性和实用性。

Comments Accepted at AAAI-26