
像物理学家一样剪枝 LLM:把块删除当成 Ising 优化问题
整块删掉 transformer block 最省事,挑哪些块却是多体问题。Multiverse Computing 把它写成二元优化,用 Ising 的低能态对应高分模型,Llama-3.3-70B 砍半深度仍保住 MMLU 76.9。

整块删掉 transformer block 最省事,挑哪些块却是多体问题。Multiverse Computing 把它写成二元优化,用 Ising 的低能态对应高分模型,Llama-3.3-70B 砍半深度仍保住 MMLU 76.9。