注目★★★★★Hugging Face Papers
Orthrusの「無損失」推論、BF16では一致率45%
30秒で把握
- 1OrthrusのBF16軌跡一致率は著者モデル45%、独自モデル43%
- 21,190プロンプト・12領域で評価し、下流ベンチマーク低下は未確認
- 3FP32では全プロンプト一致し、無損失性は精度依存と判明
要約
Orthrusの無損失 speculative decoding は、数値精度に依存する。1,190プロンプト・12領域の評価で、BF16の完全な軌跡一致率は著者提供チェックポイントで45%、独自学習モデルで43%にとどまった。軌跡の不一致は参照モデルの応答条件付き perplexity と強く関連したが、下流の lm-eval-harness ベンチマークでは系統的な性能低下は確認されなかった。FP32では評価した全プロンプトで完全一致し、軌跡の同一性と下流タスク性能は分けて評価すべきだと結論づけた。
あなたへの影響
OrthrusをBF16で運用する日本のエンジニアは、無損失という前提を置かず、代表的な入力で基準モデルとの軌跡一致率と下流タスク性能を検証すべきです。
推奨：軌跡一致を厳密に求める用途では、FP32を含む精度別の評価が必要になる可能性があります。