ダスト：逆伝播不要のTransformer事前学習
Dust は逆伝播なしで transformer を事前学習し、活性化空間の摂動を利用してどの重みにクレジットを与えるかを決定する。論文は複数の規模での結果を報告し、この手法が標準的な訓練ループにまだ劣る点について議論している。
machine-learning
もっと見る machine-learning
ホームStrands Decider：なぜエンコーダーを使わないのか？
strands-deciderの公開後、Marc Brookerはなぜこのモデルがエンコーダではなくデコーダを使うのかと問われた。5つの設計を比較し、この分類タスクではデコーダが遜色なく、ある条件下では勝ることを見出した。