注目★★★★★Hacker News
2.78兆パラメータの Kimi K3、64GB ノート PC で動作――MoE キャッシング技術 WASTE 公開
30秒で把握
- 1Kimi K3 2.78 兆パラメータを WASTE エンジンで 64GB MacBook Pro で実行・0.5 トークン/秒達成
- 2モデル幹をメモリ保持・非アクティブエキスパートをディスクストリーム・ダイナミックキャッシュ戦略
- 3オンデバイス推論で API 利用回避・機密データ外部送信ゼロ・スケール小さいモデル (48B) は 10+ 倍高速
要約
sqliteai が混合エキスパート型の大規模言語モデル Kimi K3 (2.78 兆パラメータ) を 64GB MacBook Pro で実行可能にする推論エンジン WASTE を開発した。モデル全体は 982GB だが、MoE の特性を活かしてモデルの幹をメモリに保持し、非アクティブなエキスパートをディスクからストリーミング読み込みするアーキテクチャにより、1 トークンあたり 0.49〜0.54 トークン/秒で推論を実行した。圧縮やプルーニングなしの完全なオープンウェイト版を消費者向けハードウェアで動作させた点が特徴で、クラウド API 利用を避けたいユースケースでの活用を想定している。
あなたへの影響
Kimi K3 のような超大規模モデルが個人のノート PC で実行可能になれば、企業内の機密データを外部 API に送信する必要がなくなり、セキュリティとコスト面での判断が変わる可能性がある。
推奨：クラウドベースの LLM API に依存している運用チームは、オンプレミス代替案の検証を次の四半期に組み込む価値がある。