Uno、LLM生成を品質無損失で最大3倍高速化

要約

研究チームは、ARモデルの品質を保ったまま複数トークンを並列生成するLLM「Uno」を提案した。通常のNTPで学習したAR重みと、並列生成用の軽量な拡散重みを分離し、Ψ-SpecサンプラーでAR分布からトークンを生成する。別途ドラフトモデルを必要とせず、既存のopen-weight AR LLMにも追加できる。Unoは評価した全バッチサイズで主要なspeculative decoding手法を上回り、基盤ARモデル比で最大3倍の高速化を達成した。8B版は、agentic tool use、コーディング、長文脈推論の全評価で26B DiffusionGemmaとMercury 2を上回った。