DeepSeek-V4.1-Flash、KVキャッシュを最大8分の1に圧縮

要約

DeepSeek は DeepSeek-V4.1-Flash を公開し、KVキャッシュ圧縮で長期エージェントの推論コスト削減を狙う。552BパラメータのマルチモーダルMoEで、最大100万トークンのコンテキストに対応する。CED構 architecture により、decode時は1トークンあたり16B、prefill時は8Bのパラメータだけを活性化する。CSA2の層間KV再利用とFP4 KVキャッシュにより、HBM上のKVキャッシュを890バイト／トークン、DeepSeek-V4-Flash比で約4分の1に削減した。SWA Bounded Replayにより、SSDまたはホストメモリ上の永続KVキャッシュも約8分の1に圧縮した。45Tトークンで事前学習し、テキスト・マルチモーダルのエージェント用途でベースラインを上回る性能を達成した。