尘埃：无需反向传播的Transformer预训练
Dust 无需反向传播即可预训练 transformer，它利用激活空间中的扰动来决定哪些权重应获得信用。论文报告了多个规模下的结果，并讨论了该方法在哪些方面仍落后于标准训练循环。
machine-learning
更多 machine-learning
首页Strands Decider：为什么不用编码器？
在发布strands-decider之后，Marc Brooker被问及为什么该模型使用解码器而不是编码器。他比较了五种设计，发现对于这个分类任务，解码器表现不俗，在某些条件下还能胜出。