Alex Wang

記憶から Transformer を発明できたはず

各層を記憶ストアと見なすと、1 つの干渉信号比からどれだけ記憶できるかが分かる。外積は約 64 件、MLP は数千件、自己注意は約 100 万件。