注目★★★★★GitHub Trending
中国SNS対応の多機能スクレイピングツール MediaCrawler、小紅書・抖音・B站など7プラットフォーム対応
30秒で把握
- 1MediaCrawler が小紅書・抖音・快手・B站・微博・貼吧・知乎の 7 プラットフォーム対応で公開・Python+Playwright ベース
- 2ブラウザログイン状態を保持してJS逆解析なしにAPI署名を取得・技術的ハードル大幅低減
- 3キーワード検索・投稿ID指定・二層コメント・クリエイター検索・プロキシ管理が全プラットフォームで実装済み
要約
NanmiCoder が公開した MediaCrawler は、小紅書、抖音、快手、B 站、微博、百度貼吧、知乎の 7 つの中国 SNS プラットフォームから公開情報を自動抽出するオープンソースツールである。Playwright ブラウザ自動化フレームワークを使ったログイン状態の保持により、複雑な暗号化アルゴリズムの逆解析が不要で、技術的なハードルを大幅に低減している。キーワード検索、特定投稿の取得、二階層コメント抽出、クリエイタープロフィール取得、IP プロキシ管理、コメント可視化など 7 機能をすべてのプラットフォームで実装している。商用利用禁止、学習目的のみとする免責条項を明記しており、企業向けの MediaCrawlerPro 版では断点再開機能と多アカウント対応が追加される。
あなたへの影響
データ分析・マーケティングリサーチで中国 SNS データの取得が必要なチームは、このツールで各プラットフォームの非常にシンプルなセットアップだけで統一的にデータ収集できるようになった。
推奨：ただし利用規約上、データ取得・保存・利用が各プラットフォームで許可されているか、自社の法務チームとあらかじめ確認して、規約違反スクレイピングとならないよう留意すること。