注目★★★★★Hugging Face Papers
Multi-LCB: LiveCodeBenchを12言語に拡張した新ベンチマーク
30秒で把握
- 1Multi-LCBがLCBを12言語に拡張しPythonオーバーフィットを実証
- 224 LLMを評価し多言語間で大きな性能格差を確認
- 3LCB更新に自動追従しコンタミネーション制御も維持
要約
研究チームはLiveCodeBench (LCB) をPython以外の11言語に拡張した新ベンチマーク「Multi-LCB」を公開した。LCBのコンタミネーション制御と評価プロトコルを維持しつつ、PythonタスクをC++・Java・Rustなど計12言語の等価タスクへ変換している。24のLLMを評価した結果、PythonへのオーバーフィットやLLMの多言語性能に大きなばらつきが存在することが判明した。
あなたへの影響
現状のLLM評価がPython偏重であることが数値で裏付けられたため。
推奨：実務で多言語対応が必要なチームはモデル選定時にMulti-LCBのスコアを参考に言語別の性能差を確認することが望ましい。