LMCache：LLM推論を高速化するKVキャッシュ管理レイヤー

要約

LMCacheはLLM推論向けのKVキャッシュ管理レイヤーで、GPUメモリ上の一時的なKVキャッシュを永続化・再利用可能なストレージ階層へ移動させる。CPU RAM・ローカルSSD・Redis・S3互換ストレージなど複数のバックエンドに対応し、リクエスト間・セッション間でKVキャッシュを共有することでTTFT削減とスループット向上を実現する。vLLM・NVIDIA Dynamoなど主要推論エンジンやAMD・Armなど複数ハードウェアに対応するベンダーニュートラルな設計で、エンジンがクラッシュしてもキャッシュが失われないスタンドアロンデーモン構成を採る。RAGや長文エージェント・マルチターン会話など繰り返しプリフィル計算が多いワークロードで特に効果を発揮する。