35KBプロンプトをOllamaへ移行、65Kトークンの壁

要約

筆者は、OpenAIやAnthropic向けに作った35KBのprepromptを、自己ホスト型Ollamaへ移行した際の失敗要因と調整法を論じた。128GBのAMD Ryzen AI MAX+ 395環境では、65Kトークンのコンテキスト上限に35KBのプロンプトだけで14%を消費し、ツール呼び出しの反復やファイルの再読、作業のやり直しが発生した。大規模モデル向けの長い指示は、ローカル環境ではセッション履歴と合算されて短時間でコンテキストを使い切る。対策として、目的ごとのプロンプト分割、Ollamaのコンテキスト長設定、セッション状態のディスク保存、ツール呼び出し削減、肯定形の指示を挙げた。連続した同一ツール呼び出しや同じファイルの再読は、コンテキスト枯渇の兆候になる。