注目★★★★★Hacker News
Xiaomi、MiMo-v2.5-Pro-UltraSpeed公開 1Tパラメータで毎秒1000トークン
要約
XiaomiはMixture-of-Experts構成の大規模言語モデル「MiMo-v2.5-Pro-UltraSpeed」を公開した。総パラメータ数は1兆規模とされ、推論速度は毎秒1000トークンを達成している。高速推論と大規模モデルの両立を実現した点が注目される。
あなたへの影響
大規模MoEモデルで毎秒1000トークンという速度は、リアルタイム応答を必要とするアプリケーション開発に影響を与える可能性がある。
推奨：自社サービスのLLM選定を行っているチームは、次のスプリントでベンチマーク比較を実施するとよいだろう。