注目★★★★★Hacker News
Claude Opus 5、能力は高いのに使いにくい理由——ベンチマーク最適化の副作用
30秒で把握
- 1Claude Opus 5 は能力数値は高いが、不明確な指示への対応がユーザーの期待と乖離し実務利用感が低下
- 2ベンチマーク最適化と AGI 自己改善の圧力が、曖昧性への質問傾向を排除しモデル特性を歪めている
- 3実務コーディングは曖昧性が常態のため、エージェントの大胆な仮定置きより確認型の応答が有効か検証すべき
要約
ユーザーは Claude Opus 5 の能力が Opus 4.7/4.8 より高いにもかかわらず、実務での使用感が劣化したと報告している。Opus 5 は不明確な指示に対して確認を求めず、ユーザーの意図を推測して独断で進める傾向があり、頻繁な監視が必要になるという。著者は、ベンチマークスコア最適化とAGI実現への欲求が、モデルを「曖昧性に直面しても大胆な仮定を置く」よう選別し、「不明確さで立ち止まって質問する」傾向を排除していると推測している。ベンチマークタスクは自己完結的で曖昧性がないが、実務コーディングはそうではなく、エージェントが誤った仮定を置くリスクが大きいため、このトレードオフは問題だと指摘している。
あなたへの影響
ベンチマークスコア競争とUX の乖離は、AI選定時に数値だけでなく実タスクでの検証を重視すべき点を示唆している。
推奨：Opus 5 を導入検討する際は、自分たちの曖昧さレベルでモデルの裁量判断が適切か、事前に試行で確認しておくべき。