Liquid AI が LFM3 を発表、2B クラスの 6 モデルを 1 つのバックボーンで
LFM3-1.7B は 22T トークンで事前学習し、24 層のうち 13 層がゲート付き短畳み込み、5 層がスライディングウィンドウ注意、6 層がグローバル注意。4bit で約 1 GB、128K コンテキストの KV キャッシュは 1.6 GB に収まる。視覚・音声・オムニ・判断の各モデルも同じ骨格から派生した。
Liquid AI
ホームLFM3-1.7B は 22T トークンで事前学習し、24 層のうち 13 層がゲート付き短畳み込み、5 層がスライディングウィンドウ注意、6 層がグローバル注意。4bit で約 1 GB、128K コンテキストの KV キャッシュは 1.6 GB に収まる。視覚・音声・オムニ・判断の各モデルも同じ骨格から派生した。