Gemma 4 26B を M1/M2 Mac で 2GB RAM で動かす推論エンジン

要約

開発者が TurboFieldfare という Swift/Metal ベースの推論エンジンを作成し、M シリーズ Mac で 4 ビット量子化された Gemma 4 26B モデルを約 2GB の RAM で実行することに成功した。14GB の量子化重みを全メモリに載せられない制約に対し、共有レイヤーと KV キャッシュのみを RAM に保持し、必要な専門家モデルだけを SSD からストリーミング転送する手法を採用した。M2 MacBook Air で秒当たり 5～6 トークン、M3 MacBook Pro で 31～35 トークンの生成速度を達成した。OpenAI 互換のローカルサーバー機能も実装され、ストリーミングとツール呼び出しに対応している。