注目★★★★★Hacker News
RAG は思ったより単純、BM25 とクエリ書き直しで 9 割事足りる
30秒で把握
- 1RAG の 4 段階レシピ：全文検索→クエリ書き直し→ハイブリッド検索→オンザフライ埋め込み
- 2BM25 は API コスト ¥0・応答 10ms でも有効、固有用語は LLM 書き直しで対応可能
- 3データ鮮度・コーパス規模・クエリパターン・チーム能力で段階的に複雑化させるべき
要約
Rafael は、多くのエンジニアが RAG スタックを過剰設計していると指摘し、実際には BM25 による全文検索とクエリ書き直しだけで大半のユースケースに対応できると論じた。データの鮮度・コーパス特性・クエリパターン・スケール・チーム能力に応じて段階的に複雑化させるべき四段階レシピを提示し、安易に埋め込みベクトルやリランキング投資する前にシンプルなアプローチを試すべきだと主張した。全文検索は API コスト ¥0、応答 10ms 以下で十分効果的であり、LLM によるクエリ書き直し (GPT-4o-mini 使用時 $0.001/回) なら固有用語問題も解決できると示した。
あなたへの影響
ベクトル DB や複雑な chunking 戦略に先行投資する前に、Elasticsearch や Postgres の全文検索を試す価値がある。
推奨：社内フレームワーク名など固有用語が多い場合、LLM クエリ書き直しが埋め込みモデルより有効であることを知っておくと、実装判断を大きく単純化できる。