Inkling、975B パラメータの完全公開 MoE モデル発表―カスタマイズ可能な基盤モデル

要約

Thinking Machines は、975B 総パラメータ (41B アクティブ) を持つ Mixture-of-Experts トランスフォーマー「Inkling」を公開し、完全な重みを開示した。1M トークンまでのコンテキスト窓を備え、テキスト・画像・音声・動画 45 兆トークンで事前学習し、テキスト・画像・音声の 3 モダリティをネイティブに処理する。制御可能な思考量により推論コストと性能のバランスを実現し、設計上は相互作用型モデル・インターフェースの背景推論モデルとして機能するため、ファインチューニング基盤として高いカスタマイズ性を持つ。より軽量な Inkling-Small (12B アクティブパラメータ) も同時にプレビュー公開され、開発者向けの Inkling Playground で試用できる。