语言大模型 / LLM

A large language model system for the field of chemical engineering technology

Heng Zhang, Jibin Zhou, Feiyang Xu, Jian Cui, Yi Li, Fan Yang, Hao Wang, Xin Li, Mao Ye

专题命中 效率与部署 ：large language model(title)；language model(title)

TreeBoN: Enhancing Inference-Time Alignment with Speculative Tree-Search and Best-of-N Sampling

Jiahao Qiu, Yifu Lu, Yifan Zeng, Jiacheng Guo, Jiayi Geng, Chenhao Zhu, Xinzhe Juan, Ling Yang, Huazheng Wang, Kaixuan Huang, Yue Wu, Mengdi Wang

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；preference optimization(abstract)

Integrating Time Series into LLMs via Multi-layer Steerable Embedding Fusion for Enhanced Forecasting

Zhuomin Chen, Dan Li, Jiahui Zhou, Shunyu Wu, Haozheng Ye, Jian Lou, See-Kiong Ng

机构 * School of Software Engineering Sun Yat-Sen University（软件工程学院中山大学） ； Institute of Data Science（数据科学研究院） ； School of Computing（计算机学院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

Comments To be published in CIKM 2025

Collaborative Inference and Learning between Edge SLMs and Cloud LLMs: A Survey of Algorithms, Execution, and Open Challenges

Senyao Li, Haozhao Wang, Wenchao Xu, Rui Zhang, Song Guo, Jingling Yuan, Xian Zhong, Tianwei Zhang, Ruixuan Li

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

Comments 35 pages, 9 figures

SpeedLLM: An FPGA Co-design of Large Language Model Inference Accelerator

Peipei Wang, Wu Guan, Liping Liang, Zhijun Wang, Hanqing Luo, Zhibin Zhang

专题命中 效率与部署 ：large language model(title)；language model(title)

Evolving Prompts In-Context: An Open-ended, Self-replicating Perspective

Jianyu Wang, Zhiqiang Hu, Lidong Bing

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hupan Lab（虎扑实验室） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments ICML 2025, and Code will be released at: https://github.com/jianyu-cs/PromptQuine/

Journal ref Forty-second International Conference on Machine Learning, 2025

Zero-Shot and Efficient Clarification Need Prediction in Conversational Search

Lili Lu, Chuan Meng, Federico Ravenda, Mohammad Aliannejadi, Fabio Crestani

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Enhancing Olfactory Perception Through Large Language Models: Integrating Sensory Data for Advanced Odor Recognition

Ravirajan K, Arvind Sundararajan

专题命中 效率与部署 ：large language model(title)；language model(title)

Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming

Mrinank Sharma, Meg Tong, Jesse Mu, Jerry Wei, Jorrit Kruthoff, Scott Goodfriend, Euan Ong, Alwin Peng, Raj Agarwal, Cem Anil, Amanda Askell, Nathan Bailey, Joe Benton, Emma Bluemke, Samuel R. Bowman, Eric Christiansen, Hoagy Cunningham, Andy Dau, Anjali Gopal, Rob Gilson, Logan Graham, Logan Howard, Nimit Kalra, Taesung Lee, Kevin Lin, Peter Lofgren, Francesco Mosconi, Clare O'Hara, Catherine Olsson, Linda Petrini, Samir Rajani, Nikhil Saxena, Alex Silverstein, Tanya Singh, Theodore Sumers, Leonard Tang, Kevin K. Troy, Constantin Weisser, Ruiqi Zhong, Giulio Zhou, Jan Leike, Jared Kaplan, Ethan Perez

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Batch Calibration: Rethinking Calibration for In-Context Learning and Prompt Engineering

Han Zhou, Xingchen Wan, Lev Proleev, Diana Mincu, Jilin Chen, Katherine Heller, Subhrajit Roy

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments ICLR 2024

Sample-Efficient Alignment for LLMs

Zichen Liu, Changyu Chen, Chao Du, Wee Sun Lee, Min Lin

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；RLHF(abstract)

Efficient Learned Query Execution over Text and Tables [Technical Report]

Matthias Urban, Carsten Binnig

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

Prompt-SAW: Leveraging Relation-Aware Graphs for Textual Prompt Compression

Muhammad Asif Ali, Zhengping Li, Shu Yang, Keyuan Cheng, Yang Cao, Tianhao Huang, Guimin Hu, Weimin Lyu, Lijie Hu, Lu Yu, Di Wang

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 16 pages

Distillation Contrastive Decoding: Improving LLMs Reasoning with Contrastive Decoding and Distillation

Phuc Phan, Hieu Tran, Long Phan

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Under Review

Time Sensitive Knowledge Editing through Efficient Finetuning

Xiou Ge, Ali Mousavi, Edouard Grave, Armand Joulin, Kun Qian, Benjamin Han, Mostafa Arefiyan, Yunyao Li

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments ACL 2024 main

Crafting Interpretable Embeddings by Asking LLMs Questions

Vinamra Benara, Chandan Singh, John X. Morris, Richard Antonello, Ion Stoica, Alexander G. Huth, Jianfeng Gao

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

In-IDE Human-AI Experience in the Era of Large Language Models; A Literature Review

Agnia Sergeyuk, Sergey Titov, Maliheh Izadi

专题命中 效率与部署 ：large language model(title)；language model(title)

Comments Paper accepted for presentation at the IDE Workshop, co-located with ICSE'24

Catalyst Property Prediction with CatBERTa: Unveiling Feature Exploration Strategies through Large Language Models

Janghoon Ock, Chakradhar Guntuboina, Amir Barati Farimani

专题命中 效率与部署 ：large language model(title)；language model(title)

Comments 32 pages, 5 figures

Edu-Theater: A Data-Efficient Agent Framework for Scalable Learner Behavior Simulation through Staging Roll-Call

Edu-Theater: 一种通过点名排演实现可扩展学习者行为模拟的数据高效智能体框架

Weibo Gao, Qi Liu, Linan Yue, Zheng Zhang, Yichao Du, Fangzhou Yao, Ao Yu, Zhenya Huang, Shijin Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） ； Southeast University（东南大学） ； Alibaba Group（阿里巴巴集团） ； iFLYTEK Co., Ltd.（科大讯飞股份有限公司） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出Edu-Theater框架，通过构建群体水平能力先验和少量诊断查询，利用LLM智能体模拟学习者行为，在减少数据需求的同时提高模拟精度，并增强下游自适应测试等应用。

Comments LLM Agent, Educational Data Mining, Data Synthesis, Human Simulation

Efficient Reasoning on the Edge

边缘设备上的高效推理

Yelysei Bondarenko, Thomas Hehn, Rob Hesselink, Romain Lepert, Fabio Valerio Massoli, Evgeny Mironov, Leyla Mirvakhabova, Tribhuvanesh Orekondy, Spyridon Stasis, Andrey Kuzmin, Anna Kuzina, Markus Nagel, Ankita Nayak, Corrado Rainone, Ork de Rooij, Paul N Whatmough, Arash Behboodi, Babak Ehteshami Bejnordi

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出结合LoRA适配器、监督微调、强化学习预算控制、并行测试时缩放、动态适配器切换和KV缓存共享的方法，在资源受限的边缘设备上实现高效准确的推理。

Comments Project page: https://qualcomm-ai-research.github.io/llm-reasoning-on-edge/

ChatGPT Based Data Augmentation for Improved Parameter-Efficient Debiasing of LLMs

Pengrui Han, Rafal Kocielnik, Adhithya Saravanan, Roy Jiang, Or Sharir, Anima Anandkumar

专题命中 效率与部署 ：language model(abstract,comments)；LLM(abstract)；large language model(abstract)；prompting(abstract)

Comments To Appear in the Proceedings of the 1st Conference on Language Modeling (COLM) 2024

GAP-Prompt: Gated Adaptive Prompting for Efficient Continual Learning

GAP-Prompt：用于高效持续学习的门控自适应提示

Trung-Anh Dang, Duy-Cuong Bui, Ngoc-Son Vu, Christel Vrain, Vincent Nguyen

机构 * Université d’Orléans（奥尔良大学） ； INSA CVL（中央卢瓦尔河谷国立应用科学学院） ； CY Cergy Paris University（塞尔吉-蓬图瓦兹大学） ； ENSEA（法国高等电子与数字学院） ； CNRS（法国国家科学研究中心） ； Université de Technologie de Troyes（特鲁瓦技术大学） 纠错

专题命中 效率与部署 ：prompting(title,abstract)；分类 cs.LG

AI总结 针对持续学习的灾难性遗忘问题，提出引入实例级适应性的GAP-Prompt方法，含三个协同模块，在多基准测试中性能最优，CUB-200数据集准确率达87.29%，接近联合训练上限。

GEAR: Generative Expansion and Real Anchoring for Two-Stage Distillation of Tabular Foundation Models

GEAR：面向表格基础模型两阶段蒸馏的生成式扩展与真实锚定

Qi Qin, Jiajie Zhu, Dali Chen, Yuzhao Zhang, Jia-Xing Han, Peng Zhang, Ying Yan, Yifan Sun, Yu Su

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 GEAR是一种两阶段蒸馏框架，可将表格基础模型蒸馏为轻量级预测器，在TALENT和TabArena上的实验显示其能显著降低推理开销并提升AUC，性能优于多种基准模型。

Comments 9 pages,5 figures

Accelerating Diffusion Language Models via Structured Suffix Modeling

通过结构化后缀建模加速扩散语言模型

Zifeng Cheng, Keda Li, Zhiwei Jiang, Cong Wang, Fei Shen, Qing Gu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 该研究针对扩散语言模型（DLM）并行解码的高计算开销问题，提出结构化后缀建模方法，将后缀分区域处理并融入前一步解码信息，无需训练且可与其他加速技术结合，能进一步加速DLM推理并提升性能，长序列场景下最高可实现72.81倍加速。

TASSO: TAsk-Specific Subspace Optimization for Continual Learning of Vision-Language Models

TASSO：面向视觉-语言模型持续学习的任务特定子空间优化

Chang Sun, Francesco Barbato, Matteo Caligiuri, Pietro Zanuttigh

机构 * University of Padova（帕多瓦大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 TASSO通过子空间学习与几何感知知识蒸馏，缓解VLMs持续学习中的灾难性遗忘和零样本退化，在多域及类增量学习基准上优于现有最优方法。

Crossing the Margin Cliff: Toward Relearn-Robust LLM Unlearning via Margin Calibration

跨越边际悬崖：通过边际校准实现可再学习鲁棒的大语言模型遗忘

Xiangyu Yin, Jiaxu Liu, Zhen Chen, Chih-Hong Cheng

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对大语言模型遗忘在再学习攻击下的脆弱性，提出边际校准方法，在多个数据集和模型上提升遗忘鲁棒性并降低成员推断风险，仅以保留侧效用降低为代价。

When Less Latent Leads to Better Relay: Information-Preserving Compression for Latent Multi-Agent LLM Collaboration

少而精的潜在信息带来更好的中继：面向潜在多智能体大语言模型协作的信息保持压缩

Yiping Li, Zhiyu An, Wan Du

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.LG

AI总结 本文提出一种信息保持压缩方法，通过引入正交回填机制，在减少通信开销的同时保持信息完整性，提升了多智能体大语言模型协作性能。

Write Once, Run Everywhere: The Axon DSL for Shape-Safe and Framework-Agnostic LLM Architectures

一次编写，随处运行：用于形状安全且框架无关的大语言模型架构的Axon领域特定语言

Jacob Nielsen, Danial Namazifard, Lukas Galke Poech, Peter Schneider-Kamp

专题命中 效率与部署 ：LLM(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 针对大语言模型架构的可移植性与效率瓶颈，提出强类型领域特定语言Axon，可编译为多框架实现，在467项基准测试中实现显著加速，突破部署锁定问题。

Monroe: A Molecular Foundation Model for In-Context Probabilistic Inference

Monroe：用于上下文概率推理的分子基础模型

Blazej Banaszewski, Andrew W. Fitzgibbon

机构 * Graphcore（格弗科（Graphcore）） ； Max Planck Institute of Biochemistry（马克斯·普朗克生物化学研究所） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出新的分子基础模型Monroe，通过多方面创新提升性能，在多个基准测试中表现优异，且其下游适应策略可推广至其他模型。

Comments Preprint; Open source weights and code

On the Robustness of Vision-Language Models in Zero-shot Privacy Classification

零样本隐私分类中视觉语言模型的鲁棒性研究

Alina Elena Baia, Alessio Xompero, Andrea Cavallaro

机构 * Idiap Research Institute（Idiap研究机构） ； Queen Mary University of London（伦敦女王学院） ； EPFL（瑞士联邦理工学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 本研究分析零样本设置下视觉语言模型（VLMs）用于图像隐私分类的可靠性，对比三类开源VLMs与专用模型的性能，发现VLMs鲁棒但精度低、速度慢，凸显专用隐私分类模型的优势。

Comments 15 pages, 6 figures, 3 tables. Paper accepted at the TrustDOC Workshop at ICPR 2026