Adobe

PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction

PTP：基于前序令牌预测的大语言模型反演方法，用于近精确提示重构

Pirzada Suhail, Nagasai Saketh Naidu, Atanu R Sinha, Amit Sethi

机构 * IIT Bombay（印度理工学院孟买分校） ； Adobe Research（奥多比研究中心） 纠错

AI总结 提出PTP方法，在黑盒场景下从零训练逆语言模型，通过前序令牌预测实现近精确提示重构，泛化性与迁移性良好，性能优于现有LLM反演工作。

How Hard Does It Think? Analyzing Step-Aware Reasoning Energy in LLM Chain-of-Thought Trajectories

它认为有多难？分析大型语言模型思维链轨迹中感知步骤的推理能量

Hui Wei, Junda Wu, Sheldon Yu, Sizhe Zhou, Yizhu Jiao, Ming Zhong, Bowen Jin, Tong Yu, Shijia Pan, Jiawei Han, Julian McAuley

机构 * UC Merced（加州大学默塞德分校） ； UC San Diego（加州大学圣迭戈分校） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Adobe Research（奥多比研究院） 纠错

AI总结 该研究提出SARE框架量化LLM思维链各步骤的推理能量，发现推理能量不均匀、错误轨迹关键节点能量更低，SARE特征性能优于或匹配输出置信度基线，揭示内部几何动态含预测信息。

Comments 13 pages, 3 figures