Looped Model Atlas
EN
中文
Looped Model Atlas
z
z
z
Layer 1
Layer 2
Layer 3
Layer 4
input
token 1
predict 2
position 1
token 2
predict 3
position 2
token 3
predict 4
position 3
第 1 层
第 2 层
第 3 层
第 4 层
输入
token 1
预测 2
位置 1
token 2
预测 3
位置 2
token 3
预测 4
位置 3
Layer 1
Layer 2
Layer 3
Layer 4
Layer 5
Layer 6
Layer 7
Layer 8
input
token 1
predict 2
position 1
token 2
predict 3
position 2
token 3
predict 4
position 3
第 1 层
第 2 层
第 3 层
第 4 层
第 5 层
第 6 层
第 7 层
第 8 层
输入
token 1
预测 2
位置 1
token 2
预测 3
位置 2
token 3
预测 4
位置 3
position 1
position 2
position 3
Layer 1
Layer 2
Layer 3
Layer 4
input
token 1
pass 1
top state
predict 2
pass 2
token 2
pass 1
top state
predict 3
pass 2
token 3
pass 1
top state
predict 4
pass 2
位置 1
位置 2
位置 3
第 1 层
第 2 层
第 3 层
第 4 层
输入
token 1
第 1 遍
顶层状态
预测 2
第 2 遍
token 2
第 1 遍
顶层状态
预测 3
第 2 遍
token 3
第 1 遍
顶层状态
预测 4
第 2 遍
position 1
position 2
position 3
Layer 1
Layer 2
Layer 3
Layer 4
input
token 1
pass 1
top state
predict 2
pass 2
token 2
pass 1
top state
predict 3
pass 2
token 3
pass 1
top state
predict 4
pass 2
位置 1
位置 2
位置 3
第 1 层
第 2 层
第 3 层
第 4 层
输入
token 1
第 1 遍
顶层状态
预测 2
第 2 遍
token 2
第 1 遍
顶层状态
预测 3
第 2 遍
token 3
第 1 遍
顶层状态
预测 4
第 2 遍
position 1
position 2
position 3
Layer 1
Layer 2
Layer 3
Layer 4
input
token 1
pass 1
top state
predict 2
pass 2
token 2
pass 1
top state
predict 3
pass 2
token 3
pass 1
top state
predict 4
pass 2
位置 1
位置 2
位置 3
第 1 层
第 2 层
第 3 层
第 4 层
输入
token 1
第 1 遍
顶层状态
预测 2
第 2 遍
token 2
第 1 遍
顶层状态
预测 3
第 2 遍
token 3
第 1 遍
顶层状态
预测 4
第 2 遍
position 1
position 2
position 3
Layer 1
Layer 2
Layer 3
Layer 4
input
token 1
token step
top state
predict 2
thought step
token 2
token step
top state
predict 3
thought step
token 3
token step
top state
predict 4
thought step
位置 1
位置 2
位置 3
第 1 层
第 2 层
第 3 层
第 4 层
输入
token 1
token 步
顶层状态
预测 2
thought 步
token 2
token 步
顶层状态
预测 3
thought 步
token 3
token 步
顶层状态
预测 4
thought 步
Layer 1
Layer 2
Layer 3
Layer 4
input
token 1
predict 2
position 1
token 2
predict 3
position 2
token 3
predict 4
position 3
第 1 层
第 2 层
第 3 层
第 4 层
输入
token 1
预测 2
位置 1
token 2
预测 3
位置 2
token 3
预测 4
位置 3
Layer 1
Layer 2
Layer 3
Layer 4
input
token 1
memory
predict 2
position 1
token 2
memory
predict 3
position 2
token 3
memory
predict 4
position 3
第 1 层
第 2 层
第 3 层
第 4 层
输入
token 1
memory
预测 2
位置 1
token 2
memory
预测 3
位置 2
token 3
memory
预测 4
位置 3
middle layers · recurrent
later layers
early layers
Rₜ = RMSNorm(hₜ + Rₜ₋₁)
Layer 4
Layer 3
Layer 2
Φ
Layer 1
input
token 1
Φ
h₁
predict 2
position 1
token 2
Φ
h₂
predict 3
position 2
token 3
Φ
h₃
predict 4
position 3
R₁
R₂
R₃
中段层 · 循环
后段层
前段层
Rₜ = RMSNorm(hₜ + Rₜ₋₁)
第 4 层
第 3 层
第 2 层
Φ
第 1 层
输入
token 1
Φ
h₁
预测 2
位置 1
token 2
Φ
h₂
预测 3
位置 2
token 3
Φ
h₃
预测 4
位置 3
R₁
R₂
R₃
whole stack · recurrent
uₜ = Wᴴhₜ₋₁ ⊙ σ(Wᴳeₜ)
Layer 4
Layer 3
Layer 2
Layer 1
⊗ fuse
input
token 1
top state h₁
predict 2
position 1
token 2
⊗
top state h₂
predict 3
position 2
token 3
⊗
top state h₃
predict 4
position 3
整个网络 · 循环
uₜ = Wᴴhₜ₋₁ ⊙ σ(Wᴳeₜ)
第 4 层
第 3 层
第 2 层
第 1 层
⊗ 融合
输入
token 1
顶层状态 h₁
预测 2
位置 1
token 2
⊗
顶层状态 h₂
预测 3
位置 2
token 3
⊗
顶层状态 h₃
预测 4
位置 3
Training: teacher states, all positions in parallel
Inference: own states, one position after another
frozen teacher LM
KL
KL
KL
teacher
student
Layer L
Layer 1
fuse F
input
token 1
F
o₁
o*₁
position 1
learned
s*₂
token 2
F
o₂
o*₂
position 2
s*₃
token 3
F
o₃
o*₃
position 3
token 1
F
o₁
position 1
learned
s₂
token 2
F
o₂
position 2
s₃
token 3
F
o₃
position 3
训练：teacher 提供状态，所有位置并行
推理：用自己的状态，逐个位置
冻结的 teacher LM
KL
KL
KL
teacher
student
第 L 层
第 1 层
融合 F
输入
token 1
F
o₁
o*₁
位置 1
学到的
s*₂
token 2
F
o₂
o*₂
位置 2
s*₃
token 3
F
o₃
o*₃
位置 3
token 1
F
o₁
位置 1
学到的
s₂
token 2
F
o₂
位置 2
s₃
token 3
F
o₃
位置 3
position 1
position 2
position 3
Layer 1
Layer 2
Layer 3
Layer 4
input
token 1
memory
token step
top state
memory
predict 2
thought step
token 2
memory
token step
top state
memory
predict 3
thought step
token 3
memory
token step
top state
predict 4
thought step
位置 1
位置 2
位置 3
第 1 层
第 2 层
第 3 层
第 4 层
输入
token 1
memory
token 步
顶层状态
memory
预测 2
thought 步
token 2
memory
token 步
顶层状态
memory
预测 3
thought 步
token 3
memory
token 步
顶层状态
预测 4
thought 步
position 1
position 2
position 3
Layer 1
Layer 2
Layer 3
Layer 4
input
token 1
memory
token step
top state
predict 2
thought step
token 2
memory
token step
top state
predict 3
thought step
token 3
memory
token step
top state
predict 4
thought step
位置 1
位置 2
位置 3
第 1 层
第 2 层
第 3 层
第 4 层
输入
token 1
memory
token 步
顶层状态
预测 2
thought 步
token 2
memory
token 步
顶层状态
预测 3
thought 步
token 3
memory
token 步
顶层状态
预测 4
thought 步
position 1
position 2
position 3
Layer 1
Layer 2
Layer 3
Layer 4
input
token 1
memory
token step
top state
predict 2
thought step
token 2
memory
token step
top state
predict 3
thought step
token 3
memory
token step
top state
predict 4
thought step
位置 1
位置 2
位置 3
第 1 层
第 2 层
第 3 层
第 4 层
输入
token 1
memory
token 步
顶层状态
预测 2
thought 步
token 2
memory
token 步
顶层状态
预测 3
thought 步
token 3
memory
token 步
顶层状态
预测 4
thought 步
position 1
position 2
position 3
Layer 1
Layer 2
Layer 3
Layer 4
input
token 1
memory
token step
top state
predict 2
thought step
token 2
memory
token step
top state
predict 3
thought step
token 3
memory
token step
top state
predict 4
thought step
位置 1
位置 2
位置 3
第 1 层
第 2 层
第 3 层
第 4 层
输入
token 1
memory
token 步
顶层状态
预测 2
thought 步
token 2
memory
token 步
顶层状态
预测 3
thought 步
token 3
memory
token 步
顶层状态
预测 4
thought 步
position 1
position 2
position 3
Layer 1
Layer 2
Layer 3
Layer 4
input
token 1
token step
top state
predict 2
thought step
token 2
token step
top state
predict 3
thought step
token 3
token step
top state
predict 4
thought step
位置 1
位置 2
位置 3
第 1 层
第 2 层
第 3 层
第 4 层
输入
token 1
token 步
顶层状态
预测 2
thought 步
token 2
token 步
顶层状态
预测 3
thought 步
token 3
token 步
顶层状态
预测 4
thought 步
position 1
position 2
position 3
Layer 1
Layer 2
Layer 3
Layer 4
input
token 1
pass 1
top state
predict 2
pass 2
token 2
pass 1
top state
predict 3
pass 2
token 3
pass 1
top state
predict 4
pass 2
位置 1
位置 2
位置 3
第 1 层
第 2 层
第 3 层
第 4 层
输入
token 1
第 1 遍
顶层状态
预测 2
第 2 遍
token 2
第 1 遍
顶层状态
预测 3
第 2 遍
token 3
第 1 遍
顶层状态
预测 4
第 2 遍