注目★★★★★Hacker News
DeepSeek から蒸留した GPT-OSS は検閲を継承しない—金融推論で Kimi K3 上回る
30秒で把握
- 1DeepSeek V4 を教師として GPT-OSS-120B 蒸留・金融推論で 83.61%・Kimi K3 上回る
- 2教師の検閲特性は +45.45 点差だが蒸留モデルに転移せず・152 組対比評価で検証
- 3LineageEval フレームワーク公開・20B モデルはオープンウェイト・プレイグラウンドで試用可能
要約
CTGT は DeepSeek V4 Flash を教師として GPT-OSS-120B を金融タスクで蒸留し、8k トークン予算で FinanceReasoning 83.61% を達成、Kimi K3 (81.93%) と Inkling (65.13%) を上回った。蒸留時に教師モデルの検閲特性が学生モデルに転移するかを検証した結果、転移しなかった：教師は中国関連の政治的質問に対して期待値から 7 標準偏差ずれた対応 (+45.45 点差) をしたが、蒸留モデルは米国ベースの元の性質を維持した。152 組の対比プロンプト (中国概念 vs. 非中国版) で測定し、4 つの LLM ジャッジで検証し人間スコア (r=0.948) に一致した。20B 金融蒸留モデルをオープンウェイトで、120B をプレイグラウンド (認証なし) で公開、評価フレームワーク LineageEval もリリースした。
あなたへの影響
金融や規制業務で中国モデルの蒸留利用を検討するチームにとって、検閲特性が転移しないという実証結果は安心材料となる。
推奨：ただし本検証は DeepSeek→GPT-OSS という特定の組み合わせに限定されており、他の中国モデルやベース (Qwen など) での転移可能性は別途確認が必要。