注目★★★★★Hugging Face Blog
Papers with Code、110,000本を高速検索する基盤を公開
30秒で把握
- 1Papers with Code が全文検索と意味検索をRRFで統合
- 2Jobs・Buckets・Inference Endpointsで110,000本超を処理
- 3256次元でRecall@20 0.9955・ストレージ約27%に縮小
要約
Hugging Face は、Papers with Code の研究論文検索を支えるハイブリッド検索基盤を公開した。PostgreSQL の全文検索と pgvector の意味検索を Reciprocal Rank Fusion（RRF）で統合し、arXiv と Daily Papers の現行論文 110,000 本超を対象にする。文書埋め込みは Jobs で生成し、Storage Buckets で受け渡し、Inference Endpoints で検索クエリを低遅延にベクトル化する。5,000 本の試験では、256 次元の HNSW インデックスが Recall@20 0.9955、検索遅延 p50 1.31ms・p95 2.21msを達成し、1024 次元版の約 27% のストレージで動作した。Endpoint の停止時や障害時は全文検索へ即時フォールバックする。
あなたへの影響
検索やRAGを運用する日本のエンジニアは、埋め込みのモデルrevision・次元数・prompt・正規化を固定し、全文検索フォールバックを含む構成を次の評価対象にすべきです。
推奨：Endpointのscale-to-zeroはコストを抑えられる一方、cold startが起こり得るため、タイムアウトとサーキットブレーカーを実装してください。