注目★★★★★Hacker News
OpenJev、LLMの選択確率をブラウザで直接比較
30秒で把握
- 1OpenJev がローカルLLMの直接確率読み出しとJSON生成を比較
- 2MiniCPM5 2Bを標準搭載、Qwen3 0.6Bと4Bも選択可能
- 3ブラウザ内実行で入力送信なし、量子化が品質と速度に影響
要約
OpenJev は、ローカルLLMが選択肢ごとの確率を直接読み出す方式と、同じ分布をJSONとして逐次生成する方式を比較できる実験を公開した。MiniCPM5 2Bを標準とし、Qwen3 0.6Bや4Bモデルも選択できる。モデルはブラウザ内で実行され、入力はページ外へ送信されない。直接読み出しの確率は表示した選択肢だけでsoftmax化され、校正済み信頼度ではない。実行時間はセットアップから生成完了まで実機で計測され、量子化済みGGUF重みには品質と速度が変わる可能性がある。
あなたへの影響
ローカルLLMの推論方式や速度を評価するエンジニアは、手元のGPUや端末でモデル別に直接読み出しとJSON生成を実行して比較する。
推奨：入力がブラウザ外へ出ないため、検証データを送信せずに試せるが、量子化による精度差は個別に確認が必要。