training

尘埃：无需反向传播的Transformer预训练

Dust 无需反向传播即可预训练 transformer，它利用激活空间中的扰动来决定哪些权重应获得信用。论文报告了多个规模下的结果，并讨论了该方法在哪些方面仍落后于标准训练循环。