vLLM が複数モデルの協調推論を API 内部に、フロンティアモデル並みの性能を実現

要約

vLLM Semantic Router は、単一の model API 呼び出しの背後で複数モデルを協調させる「マイクロエージェント」実行層を導入した。Confidence（段階的エスカレーション）、Ratings（並列評価）、ReMoM（合成推論）、Fusion（意見集約）、Workflows（ワークフロー）の 5 つのループパターンを提供し、タスク形状に応じた最適なレシピを自動選択する。ユーザーには通常の OpenAI 互換 API のまま見え、コスト削減・品質向上・予測可能な failure policy が実現される。複数モデルの手法評価から、単一の万能ループより「タスク特性に合わせたレシピ選択」が最適であることを検証した。