注目★★★★★Lobsters
非自己回帰モデル「RL Agent」、33〜38msで意思決定
30秒で把握
- 1RL Agent が421Mパラメータで構造化判断を33〜38msで実行
- 2Jevの約150msに対して約4倍高速・RLCDで確率を校正
- 3信頼度上位50%の正解率92.2%・低信頼判定は人へ移管
要約
Nandakishor M は、文章生成を行わず構造化データの確率判断に特化した421Mパラメータのオープンソースモデル「RL Agent」を公開した。GPU上で33〜38msで動作し、TypeSafe AIのJevが公表した約150msに対して約4倍高速だという。choice・score・noulの3種類で分類、段階評価、真偽判定を1回の推論で処理し、RLCDと厳密プロパー・スコアリング規則で確率を校正する。信頼度上位50%に絞ると正解率92.2%を達成し、モデルが確信できない判断は人へエスカレーションできる。
あなたへの影響
分類・ルーティング・Guardrailを運用する日本のエンジニアは、LLMとの遅延・コスト・信頼度を比較する候補として評価し、実データで校正精度と人手移管条件を検証するとよい。
推奨：非自己回帰モデルは、文章生成ではなく確率出力に限定することで高速化する方式を指す。