注目★★★★★Hugging Face Blog
LFM2.5-Encoders、CPU で長文推論 3.7 倍高速化・8192 トークン対応
30秒で把握
- 1LFM2.5-Encoders (230M / 350M) が Hugging Face で公開・CPU 上で ModernBERT-base 比 3.7 倍高速化・8192 トークン対応
- 2GLUE / SuperGLUE / 多言語分類で大型モデル同等の精度・laptopt CPU で 30 秒以内に長文契約処理可能
- 3意図ルーティング・PII 検出・ポリシー検証の demo が CPU オンリー Space で動作・transformers で数行で fine-tune 可能
要約
Liquid AI が LFM2.5-Encoders を公開した。230M と 350M の 2 サイズで、CPU 上の長文推論が ModernBERT-base 比で 3.7 倍高速化し、8192 トークンのコンテキストに対応した。GLUE・SuperGLUE・多言語分類タスクで同サイズ以上のモデルと同等以上の精度を実現している。意図ルーティング・ポリシー検証・PII 検出など常時稼働する分類・抽出タスク向けで、ノートパソコンの CPU でも 30 秒以内に長文契約書や議事録を処理できる。
あなたへの影響
分類・ルーティング・抽出など高頻度で実行される NLP タスクを CPU オンリーで安価に運用したいチームは、既存の BERT 系モデルや小型 LLM への置き換え検討価値がある。
推奨：fine-tuning チュートリアルと demo が公開されているため、試験運用は今週中に始められる。