注目★★★★★Hugging Face Papers
BM25 が大規模コーパスで勝利、RAG パラダイムの縮尺依存性を実証
30秒で把握
- 1450 倍規模で RAG パラダイムを比較・BM25 が 1000 万トークン以上で全階層で優位
- 2File-System Agent は小規模で有効だが 39 倍多くのクエリトークンを消費・コスト効率が悪化
- 3グラフベース RAG の構築課題・密集検索の精度不足が判明・BM25 + 推論エージェントの組み合わせが推奨
要約
Hugging Face の研究者らが、検索拡張生成 (RAG) の複数パラダイムを同一条件下で比較する縮尺研究を実施した。コーパスサイズを 450 倍以上にわたって 28 段階で変動させ、質問と関連度の高い文書は固定したまま精度・トークンコスト・レイテンシを測定した。結果として、小規模では File-System Agent が優位だが、約 1000 万トークン以上の規模では BM25 が全階層で優位となり、最大規模では精度差が約 20 ポイントに達した。密集検索は効率的だが精度では劣り、グラフベース RAG はコンストラクション段階での課題により本番規模に達しなかった。大規模コーパスでは字句検索によるグローバルランキングが最強の選択肢であり、推論エージェントはランキング後の補助手段として機能する。
あなたへの影響
大規模 RAG システムの実装検討時、BM25 などの軽量な字句検索ベースの方針が精度・コスト両面で優位となる可能性があるため、既に複雑な密集検索やグラフベース手法を採用していても、同じデータセット規模での再評価と段階的な縮尺テストを検討する価値がある。
推奨：現時点で即時対応は不要です。必要に応じて原文を確認してください。