注目★★★★★Hugging Face Papers
K12 教科書から抽出した知識グラフ、教育向け LLM ベンチマーク公開
30秒で把握
- 1中国の K-12 教科書から知識グラフ抽出・9 ノード型 14 関係型でカリキュラム構造を表現
- 223,640 問のベンチマーク K12-Bench で Gemini 57%・Gemma 46% の正答率・概念関連性が課題
- 3微調整用コーパス K12-Train で領域特化データの効果を確認・教育 AI 評価軸の拡張を実証
要約
中国の義務教育・高校の公式教科書から抽出した「K12-KGraph」知識グラフを発表した。数学・物理・化学・生物にわたり 9 種類のノード型と 14 種類の関係型で、単なる問題解答ではなく概念体系・前提条件・視覚的理解を含む「カリキュラム認知」を評価する。これを基に 23,640 問の多肢選択ベンチマーク K12-Bench と、7,335 サンプルの微調整用コーパス K12-Train を構築した。Gemini-3-Flash で 57%、Gemma-4-31B-IT で 46% の正答率に留まり、特に前提条件と周辺概念の問題が困難である一方、領域特化の教育データを用いた微調整で成績差を大幅に縮小できた。
あなたへの影響
教育向け LLM の開発・選定時に、試験成績だけでなく教科書の構造・概念図の理解が重要であることが実証された。
推奨：日本の教育 AI 導入を検討するチームは、このベンチマークの設計思想 (前提チェーン・視覚的理解) を自国のカリキュラムに応用する価値がある。