语言大模型 / LLM

Enhancing Single-Image Facial Demorphing using Multimodal Large Language Models

利用多模态大语言模型增强单图像面部去变形

Nitish Shukla, Arun Ross

机构 * IEEE 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)

AI总结 提出一种基于多模态大语言模型引导的耦合扩散重建框架，通过提取中间层语义嵌入作为条件，实现无参考的面部去变形，恢复构成图像并保持身份一致性。

Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces

迈向真实世界的人类行为模拟：在长时间跨度、跨场景、异质行为轨迹上对大语言模型进行基准测试

Jiawei Chen, Ruoxi Xu, Boxi Cao, Ruotong Pan, Yunfei Zhang, Yifei Hu, Yong Du, Tingting Gao, Yaojie Lu, Yingfei Sun, Xianpei Han, Le Sun, Xiangyu Wu, Hongyu Lin

机构 * Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所信息处理实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出OmniBehavior基准测试，通过真实世界数据整合长周期、跨场景和异质行为模式，揭示现有模型在模拟复杂人类行为时的局限性，包括对正向平均人的趋同、人格同质化和乌托邦偏见，为未来高保真模拟研究指明方向。

Comments Project page: https://OmniBehavior.github.io

LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws

LLMs on the Line: 数据决定损失-损失缩放定律

Prasanna Mayilvahanan, Thaddäus Wiedemer, Sayak Mallick, Matthias Bethge, Wieland Brendel

机构 * Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Tübingen AI Center（图宾根人工智能中心） ； University of Tübingen（图宾根大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 研究探讨了影响LLM损失-损失缩放定律的主要因素，发现预训练数据决定了缩放趋势，而模型大小、优化超参数、分词器和架构差异对缩放影响有限，因此应精心选择预训练数据以获得最佳下游性能。

Comments ICML 2025 camera-ready version

Improving Calibration in Test-Time Prompt Tuning for Vision-Language Models via Data-Free Flatness-Aware Prompt Pretraining

通过数据无关的平坦性感知提示预训练提升视觉语言模型测试时提示调优的校准

Hyeonseo Jang, Jaebyeong Jeon, Joong-Won Hwang, Kibok Lee

机构 * Yonsei University（延世大学） ； ETRI（韩国电子技术研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(title,abstract)

AI总结 本文提出FPP框架，通过在提示初始化时选择平坦区域，提升测试时提示调优的校准和性能，无需额外标注数据和计算成本。

Comments CVPR 2026

Injecting Structured Biomedical Knowledge into Language Models: Continual Pretraining vs. GraphRAG

将结构化生物医学知识注入语言模型：持续预训练与GraphRAG

Jaafer Klila, Sondes Bannour Souihi, Rahma Boujelben, Nasredine Semmar, Lamia Hadrich Belguith

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出通过持续预训练和GraphRAG两种方法将结构化生物医学知识注入语言模型，提升其在生物医学领域的表现，实验显示BERTUMLS在知识密集型问答任务中表现优异，GraphRAG在PubMedQA和BioASQ上提升显著。

Comments Accepted at LREC 2026

Spatio-Temporal Grounding of Large Language Models from Perception Streams

从感知流中对大语言模型进行时空 grounding

Jacob Anderson, Bardh Hoxha, Georgios Fainekos, Hideki Okamoto, Danil Prokhorov

机构 * Toyota Motor North America Research & Development（丰田北美研发中心） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 本文提出FESTS框架，通过将自然语言查询转化为SpRE，为大语言模型注入可验证的时空监督，提升时空推理能力，使30亿参数模型在27k数据上实现87.5%的帧级F1分数，接近GPT-4.1性能。

Story Point Estimation Using Large Language Models

利用大语言模型进行故事点估计

Pranam Prakash Shetty, Adarsh Balakrishnan, Mengqiao Xu, Xiaoyin Xi, Zhe Yu

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 研究探讨了大语言模型在无训练数据或少量训练数据下对故事点的预测能力，并比较了比较判断与直接标注对模型性能的影响。

Comments 10 pages

Scaling Video Pretraining for Surgical Foundation Models

为手术基础模型扩展视频预训练

Sicheng Lu, Zikai Xiao, Jianhui Wei, Danyu Sun, Qi Lu, Keli Hu, Yang Feng, Jian Wu, Zongxin Yang, Zuozhu Liu

机构 * The Johns Hopkins University（约翰霍普金斯大学） ； Zhejiang University（浙江大学） ； Zhejiang University-University of Illinois Urbana-Champaign Institute（浙江大学伊利诺伊大学厄巴纳-香槟分校联合学院） ； Zhejiang Lab（之江实验室） ； Shaoxing University（绍兴大学） ； Angelalign（时代天使） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；language model(abstract)

AI总结 本文提出SurgRec，通过大规模数据和统一预训练流程提升手术视频理解能力，对比SSL基线和视觉语言模型，展示SurgRec在多个下游任务中的优越性能。

Have Large Language Models Enhanced the Way Civil & Environmental Engineers Write? A Quantitative Analysis of Scholarly Communication over 25 Years

大语言模型是否增强了土木与环境工程师的写作方式？对25年学术交流的定量分析

Morgan D. Sanger, Brett W. Maurer

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 本文通过词汇频率分析方法，研究大语言模型对土木与环境工程领域学术写作的影响，发现自2022年起，LLM的使用显著改变了写作风格，使文章更复杂、自信。

Underrepresented in Foundation Model Pretraining Data? A One-Shot Probe

在基础模型预训练数据中被低估？一个单次探测器

Chris Vorster, Mayug Maniparambil, Noel E. O'Connor, Noel Murphy, Derek Molloy

机构 * ML-Labs（ML实验室） ； Dublin City University（都柏林城市大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出一种低成本方法，通过单张标记图像预测VLFM在目标领域的零样本准确率，用于评估和优化数据标注决策。

Visual Instruction Pretraining for Domain-Specific Foundation Models

面向领域特定基础模型的视觉指令预训练

Yuxuan Li, Yicheng Zhang, Wenhao Tang, Yimian Dai, Ming-Ming Cheng, Xiang Li, Jian Yang

机构 * PCA Lab, VCIP, Computer Science, NKU, Tianjin, China（PCA实验室、VCIP、计算机科学、NKU、天津，中国） ； NKIARI, Futian, Shenzhen, China（NKIARI、福田、深圳，中国） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；language model(abstract)

AI总结 本文提出ViTP，通过视觉指令预训练提升领域特定基础模型的感知与推理能力，在多个遥感和医学影像任务中取得新的最先进性能。

Scaling Audio-Text Retrieval with Multimodal Large Language Models

通过多模态大语言模型扩展音频-文本检索

Jilan Xu, Carl Thomé, Danijela Horak, Weidi Xie, Andrew Zisserman

机构 * Visual Geometry Group, University of Oxford（牛津大学视觉几何组） ； Epidemic Sound ； School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 AuroLA通过多模态大语言模型实现音频-文本检索的扩展，利用可扩展的数据管道和混合NCE损失提升检索性能。

Comments Technical Report

Emergent Morphing Attack Detection in Open Multi-modal Large Language Models

开放多模态大语言模型中的涌现形变攻击检测

Marija Ivanovska, Vitomir Štruc

机构 * Faculty of Electrical Engineering, University of Ljubljana（卢布尔雅那大学电气工程学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)

AI总结 本文提出利用开源多模态大语言模型进行零样本人脸形变攻击检测，通过实验表明其在无微调情况下具备优异的判别能力，性能超越传统基线23%。

Comments This manuscript is currently under review at Pattern Recognition Letters

Automated Extraction of Multicomponent Alloy Data Using Large Language Models for Sustainable Design

利用大语言模型自动化提取多组分合金数据用于可持续设计

Aravindan Kamatchi Sundaram, Mohit Chakraborty, Sai Mani Kumar Devathi, B. Pabitramohan Prusty, Rohit Batra

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 利用大语言模型自动化提取多组分合金数据，构建大规模数据库并用于可持续材料选择。

Comments 18 pages, 6 figures

Towards Fair Large Language Model-based Recommender Systems without Costly Retraining

迈向无需昂贵重训练的公平大型语言模型推荐系统

Jin Li, Huilin Gu, Shoujin Wang, Qi Zhang, Shui Yu, Chen Wang, Xiwei Xu, Fang Chen

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 FUDLR提出一种无需昂贵重训练的高效去偏方法，通过两阶段机器无学习提升LLM推荐系统的公平性，同时保持推荐准确性。

Comments Accepted by WWW 2026

Knowledge-enhanced Pretraining for Vision-language Pathology Foundation Model on Cancer Diagnosis

基于知识增强的视觉语言病理基础模型用于癌症诊断

Xiao Zhou, Luoyi Sun, Dexuan He, Wenbin Guan, Ge Wang, Ruifen Wang, Lifeng Wang, Xiaojun Yuan, Xin Sun, Ya Zhang, Kun Sun, Yanfeng Wang, Weidi Xie

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Xinhua Hospital Affiliated to Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属新华医院） ； School of Artificial Intelligence（人工智能学院） ； Department of Pathology（病理学部） ； Department of Oral Pathology（口腔病理学部） ； Department of Pediatric Hematology/Oncology（儿科血液肿瘤科） ； Clinical Research and Innovation Unit（临床研究与创新单元） ； Department of Pediatric Cardiology（儿童心脏病科） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；language model(abstract)

AI总结 本文提出KEEP模型，通过整合疾病知识图谱提升癌症诊断的视觉语言基础模型性能，显著优于现有方法。

Comments V2: fixed typos, updated experimental results, added ablation

A Universal Large Language Model -- Drone Command and Control Interface

通用大型语言模型——无人机指挥与控制接口

Javier N. Ramos-Silva, Peter J. Burke

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 本文提出了一种通用的无人机控制接口，通过MCP协议实现LLM与无人机的无缝集成，提供实时导航和飞行控制能力。

Doctor Sun: A Bilingual Multimodal Large Language Model for Biomedical AI

Doctor Sun: 一种双语多模态大语言模型用于生物医学AI

Dong Xue, Ziyao Shao, Zhaoyang Duan, Fangzhou Liu, Bing Li, Zhongheng Zhang

机构 * Key Laboratory of Smart Manufacturing in Energy Chemical Process, Ministry of Education East China University of Science and Technology（能源化工过程智能制造重点实验室，东华大学） ； Research Institute of Intelligent Control and Systems Harbin Institute of Technology（智能控制与系统研究室，哈尔滨工业大学） ； Department of Emergency Medicine, Sir Run Run Shaw Hospital Zhejiang University School of Medicine（浙江大学医学院急诊医学科） ； Provincial Key Laboratory of Precise Diagnosis Treatment of Abdominal Infection, Sir Run Run Shaw Hospital Zhejiang University School of Medicine（腹部感染精准诊断治疗省级重点实验室，浙江大学医学院） ； School of Medicine Shaoxing University（绍兴大学医学院） 纠错

专题命中 预训练与数据 ：large language model(title)；language model(title)；LLM(abstract)；instruction tuning(abstract)

AI总结 Doctor Sun是一种双语多模态大语言模型，通过整合预训练视觉编码器和医学LLM，提升生物医学多模态任务的性能，并提供SunMed-VL数据集支持研究进展。

Semi-Supervised Learning for Large Language Models Safety and Content Moderation

大型语言模型安全性和内容审核的半监督学习

Eduard Stefan Dinuta, Iustin Sirbu, Traian Rebedea

机构 * National University of Science and Technology Politehnica Bucharest（波兰技术大学科学与技术国家大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出利用半监督学习提升大型语言模型的安全性，通过结合标记和未标记数据以及任务特定增强技术，提高安全分类器的性能。

An Exploratory Study of Bayesian Prompt Optimization for Test-Driven Code Generation with Large Language Models

基于大语言模型的测试驱动代码生成中贝叶斯提示优化的探索性研究

Shlok Tomar, Aryan Deshwal, Ethan Villalovoz, Mattia Fazzini, Haipeng Cai, Janardhan Rao Doppa

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 本文提出BODE-GEN方法，通过贝叶斯优化优化提示以提高大语言模型生成代码的准确性，实验表明其在代码生成准确性上优于固定提示和手动提示工程。

Comments 20 pages, 13 figures

Memories Retrieved from Many Paths: A Multi-Prefix Framework for Robust Detection of Training Data Leakage in Large Language Models

从多路径中检索的记忆：一种多前缀框架，用于在大型语言模型中稳健检测训练数据泄露

Trung Cuong Dang, David Mohaisen

机构 * Department of Computer Science, University of Central Florida（计算机科学系，中央佛罗里达大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出多前缀框架，通过量化记忆的检索路径多样性，稳健检测大型语言模型中的训练数据泄露问题。

Comments 11 pages, 2 tables, 8 figures

Patent Language Model Pretraining with ModernBERT

Amirhossein Yousefiramandi, Ciaran Cooney

机构 * Clarivate 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 7 pages, 5 figures, 4 tables

Is Training Data Quality or Quantity More Impactful to Small Language Model Performance?

Aryan Sajith, Krishna Chaitanya Rao Kathala

专题命中 预训练与数据 ：language model(title,abstract)；small language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 14 pages, 5 tables, 4 figures | Accepted at International Conference on Neural Computing for Advanced Applications 2025, Conference info: https://aaci.org.hk/ncaa2025

Journal ref Commun. Comput. Inf. Sci. 2665 (2025) 75-87

SpatialLM: Training Large Language Models for Structured Indoor Modeling

Yongsen Mao, Junhao Zhong, Chuan Fang, Jia Zheng, Rui Tang, Hao Zhu, Ping Tan, Zihan Zhou

机构 * Manycore Tech Inc.（Manycore科技公司） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

GeoLLaVA-8K: Scaling Remote-Sensing Multimodal Large Language Models to 8K Resolution

Fengxiang Wang, Mingshuo Chen, Yueying Li, Di Wang, Haotian Wang, Zonghao Guo, Zefan Wang, Boqi Shan, Long Lan, Yulin Wang, Hongzhen Wang, Wenjing Yang, Bo Du, Jing Zhang

机构 * College of Computer Science and Technology, National University of Defense Technology, China（中国国防科技大学计算机科学与技术学院） ； Beijing University of Posts and Telecommunications, China（北京邮电大学） ； School of Computer Science, Wuhan University, China（武汉大学计算机学院） ； Zhongguancun Academy, China（中关村学院） ； Tsinghua University, China（清华大学） ； Beihang University, China（北航大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)

Comments NeurlPS 2025 Spotlight

Readability $\ne$ Learnability: Rethinking the Role of Simplicity in Training Small Language Models

Ivan Lee, Taylor Berg-Kirkpatrick

机构 * UC San Diego（圣地亚哥大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；small language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to COLM 2025 (Spotlight)

Exploring Large Language Models (LLMs) through interactive Python activities

Eugenio Tufino

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

Comments 13 pages, 6 figures

Journal ref Phys. Educ. 60 (2025) 055003

VisPile: A Visual Analytics System for Analyzing Multiple Text Documents With Large Language Models and Knowledge Graphs

Adam Coscia, Alex Endert

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

Comments Accepted to HICSS 2026. 10 pages, 4 figures. For a demo video, see https://youtu.be/vY6SqkkNeMQ. For a live demo, visit https://adamcoscia.com/papers/vispile/demo/. The source code is available at https://github.com/AdamCoscia/VisPile

On-Premise AI for the Newsroom: Evaluating Small Language Models for Investigative Document Search

Nick Hagar, Nicholas Diakopoulos, Jeremy Gilbert

专题命中 预训练与数据 ：language model(title,abstract)；small language model(title)；LLM(abstract)；large language model(abstract)

Comments Accepted to Computation + Journalism Symposium 2025

Uncovering Scaling Laws for Large Language Models via Inverse Problems

Arun Verma, Zhaoxuan Wu, Zijian Zhou, Xiaoqiang Lin, Zhiliang Chen, Rachael Hwee Ling Sim, Rui Qiao, Jingtan Wang, Nhung Bui, Xinyuan Niu, Wenyang Hu, Gregory Kang Ruey Lau, Zi-Yu Khoo, Zitong Zhao, Xinyi Xu, Apivich Hemachandra, See-Kiong Ng, Bryan Kian Hsiang Low

机构 * Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工联盟研究技术中心） ； Dept. of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） ； Agency for Science, Technology and Research（科技研究局） ； Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院） ； SAP（SAP公司） ； AI Singapore（AI新加坡） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted at EMNLP Findings 2025