Huazhong University of Science and Technology（华中科技大学）

Skill-Conditioned Gated Self-Distillation for LLM Reasoning

技能条件门控自蒸馏用于大语言模型推理

Jiazhen Huang, Xiao Chen, Xiao Luo, Yong Dai, Senkang Hu, Yuzhi Zhao

机构 * Tsinghua University（清华大学） ； Fudan University（复旦大学） ； City University of Hong Kong（香港城市大学） ； Huazhong University of Science and Technology（华中科技大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

AI总结 提出技能条件门控自蒸馏（SGSD），通过从经验技能库中检索技能-错误对构建多教师池，并利用验证器验证教师极性，以鲁棒门控目标蒸馏信息性师生差异，在弱先验信息假设下提升数学推理性能。

Comments Accepted by EMNLP 2026 Findings. Code is available at this https URL (https://github.com/walawalagoose/SGSD)

crossMoDA Challenge: Evolution of Cross-Modality Domain Adaptation Techniques for Vestibular Schwannoma and Cochlea Segmentation from 2021 to 2023

crossMoDA挑战赛：2021至2023年前庭神经鞘瘤与耳蜗分割的跨模态域自适应技术演进

Navodini Wijethilake, Reuben Dorent, Marina Ivory, Aaron Kujawa, Stefan Cornelissen, Patrick Langenhuizen, Mohamed Okasha, Anna Oviedova, Hexin Dong, Bogyeong Kang, Guillaume Sallé, Luyi Han, Ziyuan Zhao, Han Liu, Yubo Fan, Tao Yang, Shahad Hardan, Hussain Alasmawi, Santosh Sanjeev, Yuzhou Zhuang, Satoshi Kondo, Maria Baldeon Calisto, Shaikh Muhammad Uzair Noman, Cancan Chen, Ipek Oguz, Rongguo Zhang, Mina Rezaei, Susana K. Lai-Yuen, Satoshi Kasai, Yunzhi Huang, Chih-Cheng Hung, Mohammad Yaqub, Lisheng Wang, Benoit M. Dawant, Cuntai Guan, Ritse Mann, Vincent Jaouen, Tae-Eui Kam, Li Zhang, Jonathan Shapey, Tom Vercauteren

机构 * School of BMEIS, King's College London, London, United Kingdom（伦敦国王学院生物医学工程与信息科学学院） ； Harvard University, USA（哈佛大学） ； Elisabeth-TweeSteden Hospital, Tilburg, Netherlands（蒂尔堡埃利斯贝特-特维德登医院） ； King's College Hospital, London, United Kingdom（伦敦国王学院医院） ； Center for Data Science, Peking University, Beijing, China（北京大学数据科学中心） ； Center for Data Science in Health and Medicine, Peking University, Beijing, China（北京大学健康与医学数据科学中心） ； Department of Artificial Intelligence, Korea University, Seoul, Republic of Korea（韩国大学人工智能系） ； Department of Radiology and Nuclear Medicine, Radboud University Medical Center, Geert Grooteplein 10, 6525 GA, Nijmegen, The Netherlands（拉德堡德大学医学中心放射科与核医学科） ； Department of Radiology, The Netherlands Cancer Institute, Plesmanlaan 121, 1066 CX, Amsterdam, The Netherlands（荷兰癌症研究所放射科） ； Nanyang Technological University, Singapore（南洋理工大学） ； Vanderbilt University, USA（范德比尔特大学） ； Department of Automation, Shanghai Jiao Tong University, Shanghai, China（上海交通大学自动化系） ； Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE（阿布扎克穆罕默德·本·扎耶德人工智能大学） ； School of Computer Science and Technology, Huazhong University of Science and Technology, Wuhan, China（华中科技大学计算机科学与技术学院） ； Center for Machine Vision and Security Research, Kennesaw State University, Marietta, MA 30060, USA（肯尼斯州立大学机器视觉与安全研究中心） ； Muroran Institute of Technology, Hokkaido, Japan（北海道Muroran理工学院） ； Niigata University of Health and Welfare, Niigata, Japan（Niigata健康与福利大学） ； University of South Florida, Tampa, FL, USA（佛罗里达州立大学） ； Infervision Advanced Research Institute, Beijing, China（北京Infervision高级研究 institutes） ； Academy for Multidisciplinary Studies, Capital Normal University, Beijing, China（北京师范大学多学科研究学院） ； School of Automation, Nanjing University of Information Science and Technology, Nanjing 210044, China（南京信息科学技术大学自动化学院） 纠错

AI总结 该研究回顾2021-2023年crossMoDA挑战赛，分析跨模态域自适应技术在VS与耳蜗分割任务中的演进，发现数据规模与异构性提升可改善分割性能，但耳蜗Dice评分2023年下降，提示需更具挑战性的跨模态任务。