注目★★★★★Hacker News
週末で 560 万ドメインの検索エンジンを $10 で構築、個人向け製作者検索の実装記
30秒で把握
- 1個人用検索エンジン構築：56 万ドメイン、総コスト $10・GPU レンタル数時間で実現・1GB 以内保存
- 2クローラが LLM で要約・分類し優先度制御で高品質サイト優先・Tumblr 過剰をサブドメイン数キャップで制御
- 3GPU 環境で CPU 専有度が効率左右：毎分 600 サイト要約・10 万サイト当り $1 コストを達成
要約
プログラマが週末の夜中に個人用検索エンジンを構築した。56 万サイトの情報を 1GB 以下のディスクに保存し、総コスト $10・GPU レンタル時間で実現した。クローラが各サイトの概要をテキスト生成モデルで要約し、ローカル LLM で分類・タグ付けして、企業ドキュメントに埋もれた個人プロジェクト・アートサイト・個人ソフトウェアを見つけやすくした。クローラの優先度制御で高品質サイトへのリンクを重視し、Tumblr や Neocities 過剰の問題をサブドメイン数キャップで解決した。GPU 環境では CPU/GPU 間のリソース競争が吸収効率を左右し、専有 CPU 付きの中級 GPU で毎分約 600 サイト要約でき、10 万サイトあたり $1 程度の原価を達成した。
あなたへの影響
既存検索エンジンが企業ドキュメント中心になる中、スケール制約下での優先度付け・品質管理の工夫が参考になる。
推奨：自組織のナレッジベース検索や niche 領域インデックスの構築を検討するチームは、この GPU 利用率・クローラ設計・フィルタ戦略を評価基準にできる。