Alex Wang

你本可以从记忆中发明 Transformer

把每一层都看作记忆存储，按相似度用键取回值，一个干扰信号比就能算出它能存多少：外积约 64 条，MLP 几千条，自注意力约一百万条。