Domino：因果モデリングと自己回帰ドラフトを分離し推論を最大5.8倍高速化

要約

投機的デコーディングにおける草稿品質と生成コストのトレードオフを解消する新フレームワーク「Domino」が提案された。並列ドラフトバックボーンでブロック全体の草稿分布を生成し、軽量な Domino ヘッドで因果依存情報を後処理として付与する設計により、逐次処理のオーバーヘッドを排除する。Qwen3 モデルでの実験では、Transformers バックエンドで最大 5.49 倍のエンドツーエンド高速化、SGLang サービング環境では最大 5.8 倍のスループット向上を達成した。