2026.6.9 Mon 21:00 - 22:00
Speaker: サウス (@south0120)
どんなサービスで何ができる?料金感は?
スクレイピングの法的リスクとコスト管理
1分で繋がる最強のデータ収集環境
日本語で話しかけるだけ。ライブ実演あり
Claude Code に Bright Data を繋いで
「何でも調べられる」
状態を手に入れる
基礎を理解
セットアップ完了
初めてのレシピ実行
同じサイトに何度もアクセスするとアクセス遮断される
「私はロボットではありません」に毎回阻まれる
100件のデータ収集に何時間もかかる
Web 上のデータを
合法的に・安定的に・大量に
取得できるインフラサービス
任意のサイトをスクレイピング
Google/Bing 検索結果を取得
CAPTCHA 自動突破ブラウザ
構造化済みデータを購入
ブラウザ上でノーコードでスクレイピングルールを構築。ポイント&クリックでデータ項目を指定
Amazon / YouTube / Instagram 等メジャーサイトは公式テンプレで即利用可能。自分で構築不要
7,200万以上の住宅IPアドレスを自動ローテーション。ブロックを回避しながら安定取得
商品名・価格・評価・レビュー数を一括取得。価格比較サイトや仕入れ判断に活用
SUUMO / Zillow 等から物件情報(価格・間取り・立地)を自動収集。市場調査を効率化
特定メディアの記事タイトル・本文・公開日を毎日収集。業界動向の定点観測に
Indeed / LinkedIn から求人条件・年収帯・必要スキルを自動収集。採用市場の分析に
Perplexity・Gemini のような
AIチャット系
今日紹介する組み合わせ
例:「Amazon で Sony WF-1000XM5 の現在価格とレビューを教えて」と聞くと
最新価格は取得不可
「リアルタイム情報にアクセスできません」
¥28,190 / ★4.3 / レビュー 2,721 件
在庫「残り3点」までリアルタイム実データ
公式 API の"壁" は SNS ごとに違う。Bright Data は壁を横断して同じ方法で取れる
壁:1日1万ユニット上限
クォータを超えると待機。動画一括取得には足りないケースあり
BD で取得
壁:有料 (高額)
無料枠は read 不可。Basic 月 $200 前後〜・料金変動あり
BD で取得
壁:他人垢は取れない
審査+本人アカウントのみ。競合分析・市場調査には不向き
BD で取得 (他人垢)
住み分け:YouTube 単体なら公式 API も十分強い。量・横断・他人垢 が必要な場面では Bright Data が効く
SERP = Search Engine Results Page(検索エンジン結果ページ)
検索エンジンの結果ページ(SERP)を構造化データ(JSON)で取得。タイトル・URL・スニペットを一括収集
195カ国に対応。「アメリカから見た検索結果」「日本のGoogle結果」等を正確に取得
キャッシュではなくリアルタイムの検索結果。SEO分析・競合調査に最適
「ターゲットキーワードで上位10位はどのサイト?」→ 上位記事のURL・タイトル・スニペットを一括取得して自社との差を分析
Google 検索結果の広告枠を監視。競合がどんな広告文・ランディングページを使っているかを定期チェック
同じキーワードで日本・アメリカ・イギリスの検索結果を比較。海外展開時のSEO戦略立案に
複数キーワードの検索結果を定期取得して、上位サイトの入れ替わりやトレンド変化を追跡
JavaScript を完全に実行。SPA(シングルページアプリ)やダイナミックコンテンツも取得可能
画像認証・パズル認証を自動で突破。人間の介入なしでデータ取得を継続
ブラウザのフィンガープリント(User-Agent / 画面サイズ等)を自動管理。ボット検知を回避
CAPTCHA で守られた EC サイトの在庫状況を自動チェック。人気商品の入荷タイミングを逃さない
Instagram / TikTok 等の動的コンテンツを JS 完全実行で取得。API がなくても投稿データを収集可能
スクロールで追加読み込みされる商品リスト・記事フィードも、自動でページ末尾までデータ取得
JavaScript で動的にレンダリングされるサイトも完全に取得。通常のスクレイパーでは取れないデータに対応
Bright Data が事前に収集・構造化したデータセットをそのまま購入。自分でスクレイピングする手間ゼロ
Amazon 商品データ / LinkedIn 企業プロフィール / Google Maps ビジネス情報 / 不動産リスティング等
データセットは定期的に更新。最新データを常に入手可能。カスタムデータセットの依頼も可
価格・評価・カテゴリ・販売ランク・レビュー数を構造化済み。価格調査・競合分析にすぐ使える
業種・従業員数・成長率・採用状況。B2B リード獲得やマーケット調査に
店舗名・評価・営業時間・住所を地域ごと一括取得。ローカルビジネス調査に
上記以外でも必要なデータをカスタムオーダーで収集・構造化。要件を伝えるだけ
メジャーサイトはコードなしで即利用 — カテゴリ別に整備済み
Amazon / 楽天 / Shopify
eBay / AliExpress 等
YouTube / Instagram
TikTok / X / Reddit
LinkedIn / Glassdoor
Indeed / Crunchbase
Zillow / Airbnb
SUUMO
Booking / Airbnb
Agoda / Trip
Google Play
App Store
1リクエストあたり
1ページあたり
1ページあたり
個人利用なら月数ドル〜数十ドル程度。ダッシュボードで月額上限を設定できるので、想定外の課金を防げます。
メールアドレスで登録 — 3分で完了
登録直後にトライアルクレジットが付与。すぐに使い始められる
ダッシュボードからテンプレートを選択 → パラメータを入れて「Run」
安全に使うために知っておくべきこと
スクレイピングとは:Webサイトに自動的にアクセスしてデータを取得・収集するプログラム技術。人が手作業でコピー&ペーストする作業をコードで自動化したもの
スクレイピング行為自体は違法ではありません
「このページは取得OK」「このページは取得NG」をサイト運営者が宣言するファイル。サイトのルート直下に配置
https://example.com/robots.txt
任意のサイトの URL の後ろに /robots.txt を付けるだけ
法的拘束力はないが、無視するとサイトからブロックされるリスク。また訴訟時に「悪意があった」と判断される材料になり得る
User-agent: *
Disallow: /
プロフィール・投稿・検索・写真、すべてのページが対象
※ 一般スクレイパーには適用されない
robots.txt・利用規約の両方でスクレイパーは全ページ禁止
⚖️ X Corp. v. Bright Data 訴訟(2023〜2025年)
"crawling or scraping the Services in any form, for any purpose without our prior written consent is prohibited"
(訳:いかなる形式・目的であっても、書面による事前承諾なしにサービスをクロール・スクレイピングすることを禁止)
"Crawls," "scrapes," or "spiders" any page, data, or portion of Substack (through use of manual or automated means)"
(訳:手動・自動を問わず、Substackのページ・データをクロール、スクレイピング、またはスパイダーすること)
"develop, support or use software, devices, scripts, robots or any other means or processes to scrape the services or otherwise copy profiles and other data"
(訳:ソフトウェア・スクリプト・ロボットその他の手段を開発・使用して、サービスをスクレイピングしたり、プロフィールやデータをコピーすること)
Bright Data はサイトの利用規約を尊重する仕組みを内蔵 — 禁止サイトは自動でブロック
個人データの取得・保存・利用にはルールがある。特に EU 圏のデータは GDPR の対象。日本でも 2022 年改正法で罰則強化
原則:公開されているビジネスデータの収集に留める。個人を特定できるデータの大量収集は避ける
EU 市民の個人データを扱う場合に適用。収集目的の明示・保存期間の制限・削除権への対応が必要。違反時は最大「年間売上高の4%」または「2,000万ユーロ」の制裁金
法人への罰則強化(最大1億円)。クッキー情報・端末IDも「個人関連情報」として規律対象に。スクレイピングで得た個人情報の第三者提供には本人同意が必要
利用者登録時に本人確認と利用目的の審査を実施
スパム・フィッシング・不正アクセス目的の利用は規約違反で即時停止
取得したデータの利用方法と法令遵守はユーザーの責任。Bright Data はインフラを提供
ダッシュボードの Settings で月額上限金額を設定。超えたら自動停止するので安心
同じデータを何度も取得しない。ローカルにキャッシュして必要時だけ更新
個人利用なら月 $5〜$20 で十分実用的。まずは無料トライアルで感覚を掴んでから課金プランを検討
inurl: を大量に使うとクエリが長すぎて API エラー。演算子は最小限に、フィルタは取得後に行う
URL エンコードで日本語は3倍に膨らむ。クエリ全体は200文字以内を推奨
「30件取得」と指定しても、SERP の濃さやフィルタで実際は5件しか返らないことがある。上限 ≠ 保証件数
Model Context Protocol
AI にツールを渡す仕組み
Claude Code(AI)と Bright Data(データ取得ツール)を橋渡しするプロトコル。設定するだけで Claude が Bright Data のツールを自由に呼び出せる
プログラミング不要。日本語で指示するだけで Claude が最適なツールを選択し、データ取得→分析まで自動実行
Claude Code デスクトップ → Customize → ディレクトリ → プラグイン → bright を検索 → Bright Data を選択 → インストール
インストール前にブラウザで brightdata.com にログインしておくだけ — API キーが自動取得される。手動設定は不要
/agent-onboarding を実行 → onboarding complete が表示されたらセットアップ完了
インストール中にブラウザで Bright Data にログイン済みであれば、APIキーは自動で取得される。
環境変数への手動登録は不要。
新規セッションで /agent-onboarding を実行。下記が表示されたら準備完了。
✅ Bright Data onboarding complete — everything's verified and working.
どんなサイトも1ページ丸ごとマークダウンで取得
最大5ページを一括取得
Google / Bing / Yandex 検索結果を取得
最大5クエリを同時検索
AIが関連度をスコア付きで検索
URL を渡すだけでマークダウンで取得。CAPTCHA も自動突破。batch は最大5URL 同時処理
Google / Bing / Yandex の SERP を JSON で取得。地域指定で海外検索結果も。batch は5クエリ同時
AI が関連度スコア付きで検索。intent で精度向上。日付・キーワードフィルタ対応。海外リサーチに最強
Claude に日本語で指示するだけで最適なツールを自動選択して実行。自分で選ぶ必要なし
「"Bright Data 使い方" で Google 検索して、上位5記事のURLを取得して。その5記事を全部スクレイピングして、各記事の見出し(h2/h3)構成を比較表にまとめて」
上位5記事の見出し構成比較表(h2/h3 の一覧 + 共通パターン分析)
| 記事 | h2 数 | h3 数 | 主要トピック |
|---|---|---|---|
| 記事A: 「Bright Data入門」 | 5 | 12 | セットアップ / 料金 / 活用例 |
| 記事B: 「スクレイピング比較」 | 4 | 8 | ツール比較 / 長所短所 |
| 記事C: 「Bright Data活用法」 | 6 | 15 | EC / SNS / SEO 事例 |
| 記事D: 「初心者ガイド」 | 3 | 9 | 基礎概念 / ハンズオン |
| 記事E: 「Bright Data API」 | 7 | 11 | API活用 / コード例 |
1回の指示で 検索 → 5記事取得 → 構成分析 → 表作成 まで全自動
「自社のブログ記事と競合3社の記事構成を比較して、足りないトピックを抽出して」
「SaaS ブログの上位記事10本の構成パターンを分析して、テンプレートを作って」
「英語と日本語の "remote work" 記事の構成の違いを分析して」
「"AI tools" の上位記事は3ヶ月前と今でどう変わった?」
「Amazon で "ワイヤレスイヤホン" を検索した結果ページをスクレイピングして、商品名・価格・評価を表にまとめて」
EC サイトは通常スクレイピングが難しいが、Bright Data は CAPTCHA やブロックを自動突破。これが最大の価値
商品名 / 価格 / 評価の比較表
「Amazon と楽天で同じ商品の価格を比較して」
「アメリカの Amazon でこの商品の価格を調べて」
「この商品ページを週1で取得して価格の推移を記録して」
「上位10商品の価格・評価・レビュー件数を一覧にして」
「"AI productivity tools 2026" で英語圏の最新記事を10件探して、それぞれのタイトルと要約を日本語でまとめて。情報源のURLも付けて」
AI が関連度を判定するのでゴミ記事が混ざりにくい。日付フィルタで最新記事に限定可
URL付き日本語要約リスト(海外の最新トレンドを即キャッチアップ)
「no-code tools」「remote work trends」「startup funding」等テーマを変えるだけ
「日本の最新 AI ニュースを英語で要約して」で海外向けリサーチも
「毎週月曜にこのテーマの最新記事をまとめて」→ Dify で自動化
海外トレンド要約をそのまま自分のニュースレターに活用
「Bright Dataを使って、"〇〇" でGoogle検索して、上位5記事のURLを取得して。その5記事を全部スクレイピングして、各記事の見出し(h2/h3)構成を比較表にまとめて」
「Bright Dataで〇〇と△△の公式サイトをスクレイピングして、料金・機能・特徴を比較表にして」
「Bright Dataで "〇〇" について英語でGoogle検索して、上位5件を取得し日本語で要約して」
「調べて」より「Google検索して上位5件を取得して表にまとめて」の方が安定する
スクレイピングはネットワーク経由なので30秒〜2分程度かかることも。焦らず待つ
サイト側の一時的なブロックの場合、もう一度実行すると成功することが多い
5キーワード同時検索 → 上位記事の傾向分析
商品レビューをポジ/ネガに分類・集計
年収帯・必要スキル・傾向を自動整理
Reddit のトレンドから日本向けネタ10選
信頼できるソース5本 → 引用URL付き記事骨子
ジャンル × プラットフォームで候補リスト化
5つのメディアサイトをスクレイピング → 今週の注目記事を日本語要約
1回の日本語指示で
検索 → 取得 → 分析
まで全自動
ノーコードで AI ワークフローを構築できるオープンソースツール。Bright Data API を組み込んで「毎週月曜に自動で競合チェック」等のルーティンを作れる
| Claude Code | Dify | |
|---|---|---|
| 向いてる場面 | 今すぐ・アドホック | 定期・繰り返し |
| 操作 | 日本語で話す | GUI でフロー構築 |
| 自動化 | 都度手動 | スケジュール実行可 |
ジャンルと地域を入力 → SERP API で検索 → チャンネル情報を抽出 → レポート生成。毎回同じフォーマットで出力
キーワードリストを入力 → 上位記事の構成を自動分析 → 記事の骨子を自動生成。毎週月曜に自動実行
大原則:スクレイピング自体は違法ではない
hiQ v. LinkedIn (2022) :公開データの取得は CFAA 違反ではない
Meta v. Bright Data (2024) :公開データ容認・Bright Data 勝訴
X Corp v. Bright Data (2024) :Alsup 判事・審理継続中
→ 認証回避がない公開データの取得は不正アクセスにあたらない方向
「利用規約で禁止」 と 「法律で違法」 は別
非ログインの公開データは、判例でセーフ方向
→ ログイン同意済の範囲は契約の問題として残る
※ 一般情報の整理であり、法的助言ではありません。実際の判断は専門家にご相談ください
参考: hiQ v. LinkedIn (9th Cir. 2022) / Meta v. Bright Data (N.D. Cal. 2024) / X Corp v. Bright Data (N.D. Cal. 2024)
ログイン突破・認証回避は明確に NG。公開/非公開の境界が最重要
氏名・連絡先など、GDPR / CCPA / 個情法の規律対象
過剰・高頻度アクセスは業務妨害リスク。間隔・並列数を守る
「事実・数値」は対象外/「表現(文章・画像)」は保護される
🇯🇵 日本:著作権法 第30条の4 により情報解析目的の複製は権利者の許諾なく可能(AI 学習・データ解析の例外)。ただし解析結果の再利用は別問題
誠実スタンス:「取れる=技術的に可能」と「やっていい=法的に安全」は別
※ 一般情報の整理であり、法的助言ではありません。実際の判断は専門家にご相談ください
無料トライアルあり — 3分で完了
/plugin → bright 検索 → install + API トークンを環境変数登録 — 1分で完了
日本語で話しかけるだけ — 5分で体験
ありがとうございました
Q&A — ご質問があればどうぞ