Kimi Linear: 線形注意機構が標準アテンションを初めて上回る（48B パラメータモデル）

要約

Kimi Linear は線形注意の一種である Kimi Delta Attention (KDA) を核とした新しいハイブリッドアーキテクチャで、短文脈・長文脈・強化学習スケーリングのすべてのシーン で標準的なフルアテンション (MLA) を初めて上回った。3B の活性パラメータと 48B 総パラメータを持つモデルは同じ学習設定で評価し、全タスクにおいてフル MLA より有意な マージンで勝利しながら KV キャッシュを最大 75% 削減、1M トークン文脈で最大 6 倍のデコード スループットを達成した。DPLR 遷移行列の専用最適化によってハードウェア効率を大幅に高め、線形注意をフルアテンションの直接代替として機能させることを実証した。研究推進のため KDA カーネルと vLLM 実装をオープンソース化し、学習済みおよび命令チューニング済みモデルをリリースした。