注目★★★★★Hacker News
Pulpie：Web ページから広告・ナビを除去、抽出コスト 20 分の 1 に削減
30秒で把握
- 1Feyn が Pulpie を公開、10 億ページのクリーニングコスト $7,900 に削減（従来 $159,000）
- 2エンコーダ型アーキテクチャで安価 GPU での推論効率が向上、抽出品質は最先端同等
- 3モデルが Hugging Face でオープンソース公開、RAG やデータ前処理の実装で品質向上に活用可能
要約
Feyn が Web クリーニング用エンコーダモデル Pulpie を公開した。HTML から広告・フッター・サイドバーを除去して本文のみを抽出し、抽出品質は最先端と同等で、コストは 20 分の 1 に削減した。10 億ページクリーニングに Pulpie は $7,900 で済む一方、既存ツール Dripper は $159,000 を要する。
あなたへの影響
検索結果やクローラから取得した Web テキストに混入した広告・ナビ要素が LLM の出力を汚すリスクがあるため。
推奨：RAG やデータ前処理を行うチームは低コストな本ツール導入を検討する価値がある。