Attention Residuals：
残差连接十年没变——每层只读上一层，深了之后早期信号被一路加法稀释。AttnRes 给每层一个零初始化的 pseudo-query，让它在所有历史层输出上做注意力、按需聚合，只花约 4%/2% 开销。
Model architecture7 min · 2.8K characters
Topic index
1 post
残差连接十年没变——每层只读上一层，深了之后早期信号被一路加法稀释。AttnRes 给每层一个零初始化的 pseudo-query，让它在所有历史层输出上做注意力、按需聚合，只花约 4%/2% 开销。