注目★★★★★GitHub Trending
14MB の小型モデル Needle 2、スマートフォンから IoT まで動く tool calling エンジン
30秒で把握
- 1Cactus Compute が Needle 2 公開・45M パラメータ 14MB バイナリ・28MB RAM で完全推論
- 2FunctionGemma・Apple FM と同等性能を 5〜70 倍小さいサイズで実現・CQ2-bit 量子化・スマートフォン～ロボット対応
- 3pip install で導入・Python で tool calling と構造化抽出を完全制御・LoRA ファインチューニング対応
要約
Cactus Compute は Needle 2 をオープンソース化した。45M パラメータで 14MB の単一バイナリ、28MB RAM で完全推論を実行する小型言語モデルだ。FunctionGemma (270M) や Apple FM と同等の性能を 5〜70 倍小さいサイズで実現し、CQ2-bit 量子化で実装された。Tool calling・device use・構造化抽出を備え、スマートフォン・ウェアラブル・スマートホーム・ロボット向けに設計されている。
あなたへの影響
スマートフォンや IoT デバイス向けに AI 機能を実装するチームにとって、推論リソースと開発コストが劇的に削減される。
推奨：14MB バイナリでネットワーク通信なし・28MB RAM での実行が確定しているため、デバイス仕様の評価と導入検証を今のスプリントから始めると実装スケジュールが短縮できる。