注目★★★★★Hacker News
Laya公開、非自己回帰モデルで32.8ms判定
30秒で把握
- 1ConvAI Innovations がLaya公開、単一GPU32.8msの判定モデル
- 2choice・score・noul対応、3 checkpointと22文字体系Routerを提供
- 3Jev比6〜8倍高速、選択肢20超では精度低下し階層化が必要
要約
ConvAI Innovations は、構造化された判定をテキスト生成なしで処理するオープンソースの System 1 モデル群 Laya を公開した。単一GPUで32.8ms、バッチ処理では質問あたり7.2msで動作し、TypeSafe AIのJevより6〜8倍高速だと測定した。choice・score・noulの3 primitiveで選択、順位評価、真偽判定を行い、出力は確率や数値に限定されるため、自由文生成や不正なJSONを発生させない。英語・多言語など3つのcheckpointを備え、22種類の文字体系を検出するRouterでモデルを自動選択する。51言語評価では英語モデルがクメール語で正解率0.000、平均信頼度0.952となり、信頼度だけでは言語不一致を検出できないことも示した。77分類のように選択肢が多い場合は精度が0.425まで低下し、20項目以下または階層化が必要になる。
あなたへの影響
高頻度の分類、ルーティング、ガードレールを運用する日本のエンジニアは、既存LLMとの速度・精度・校正誤差を次スプリントで実データ評価し、言語別モデル選択を組み込むべきです。
推奨：選択肢が20を超える用途では階層化し、ドメイン別のtemperature calibrationも検証してください。