training

ダスト：逆伝播不要のTransformer事前学習

Dust は逆伝播なしで transformer を事前学習し、活性化空間の摂動を利用してどの重みにクレジットを与えるかを決定する。論文は複数の規模での結果を報告し、この手法が標準的な訓練ループにまだ劣る点について議論している。