注目★★★★★Hacker News
LLM生成GPU カーネルの大規模検証、業界基準テストの39.5% に不具合発見
30秒で把握
- 1LLM 生成 GPU カーネル 2,638 個を検証、39.5% が不具合・62.1% が何らかの違反検出
- 2業界標準テストは 1,487 個の欠陥カーネルを不正合格・容差フリー検証ゲート導入の必要性
- 3Blackwell ネイティブ backward カーネル実装・倍精度参照との正確性独立検証で実績確認
要約
研究チームは LLM が生成した GPU カーネルの正確性を検証する「契約級検証器」を開発し、12 個の容差フリー項目を含む品質ゲートを実装した。公開システムが正しいと判定した 2,638 個のカーネルのうち、39.5% が根拠のある容差論では説明できない不具合を抱え、62.1% が何らかの違反を含むことを検出した。業界標準テストは検証器が棄却した 1,487 個を不正に合格させた一方、検証器の判定に反した合格はわずか 14 個に留まった。
あなたへの影響
GPU カーネル自動生成を本番運用するシステムは。
推奨：単純な動作確認だけでなく容差フリーな数値精度検証 (NaN/無限大/浮動小数点精度の違い等) を組み込む必要があり、既存カーネルの再評価を検討すべき。