・
Difyのスクレイピングは実務で役立つか｜Webデータ収集アプリを作成し徹底検証
プログラミング知識がなくても、Difyを使えば簡単にWebスクレイピングを自動化できます。本記事では、Difyでスクレイピングをする方法をはじめ、設定方法や活用事例、そして利用時の注意点を解説します。また、無料で使える内蔵ツール「WebScraper」を活用し、Webサイトをスクレイピングするワークフローの作成手順をステップバイステップで紹介するので、ぜひ参考にしてみてください。
💡DifyでWebスクレイピングを行うメリットと方法
Difyを使えば、プログラミング不要で高度なWebスクレイピングとデータ活用が実現します。主なメリットや手法は以下の通りです。
ノーコードで情報収集からAI要約・分析まで一気通貫で処理
従来のスクレイピングは、「データを集めるツール」と「AIで処理するツール」が分かれていることが多く、連携が複雑でした。Difyの最大の強みは、データ収集と処理を一元化できる点です。
- 情報の取得：
Webサイトからテキストデータを自動で抽出 - AIによる加工：
抽出したデータをLLM（ChatGPTやClaudeなど）に渡し、要約・翻訳・感情分析などを実行 - 出力・保存：
加工したデータを整理されたフォーマットで出力
これらの一連の流れ（ワークフロー）を、ひとつの画面上でブロックを繋ぐように構築できます。
外部API不要！無料で使えるDify組み込みツール
Difyでのスクレイピングには、外部の有料サービスと連携する方法と、事前に組み込まれているツールを使用する方法があります。
- WebScraper（内蔵ツール）：
Difyに標準搭載されているスクレイピングツール。URLを渡すだけで、ページのテキスト情報を無料で取得可能です。 - JinaReader / Firecrawl（外部ツール連携）：
より高度な取得（動的サイトの読み込みやマークダウン形式での整形など）が必要な場合は、これらの外部APIをプラグインとして連携することもできます。
「まずはコストをかけずに試したい」という初心者の方には、無料で設定も簡単な内蔵のWebScraperの利用が最適です。
🏢YoomはAIを活用した日々の業務フローを自動化できます
Difyなどを利用してWebスクレイピングを行えば、情報収集の一部を効率化できます。それでも、その作業の前後には、対象のURLをデータベースで管理したり、収集結果をドキュメントなどにまとめたりと関連するタスクがあるため、業務全体では期待する効果は限定的になりがちです。
Yoomは、さまざまな生成AIやDifyをはじめとするSaaSツールをノーコードで連携できるため、業務全体の効率化を図れます。これにより、以下のような効果が期待できます。
- 人にしかできないタスクにより多くのリソースを割く
- クオリティを維持しながらリードタイムを短縮する
[Yoomとは]
直感的な設定だけで柔軟なフローを構築できるため、自社に合わせたカスタマイズもノーコードでできます。以下のようなテンプレートも豊富に用意されており、すぐに試すこともできるので、自動化によって仕事がしやすくなる環境をぜひ体験してみてください。
このワークフローを活用すれば、Google スプレッドシートに企業名を追加するだけで、AIエージェント（AIワーカー）がWebリサーチから調査結果の記録、Slackへの通知までを自動化します。情報収集の工数を削減し、最新のデータに基づいた迅速な意思決定を支援します。
- Google スプレッドシートで管理しているアタックリストの企業調査を効率化したい営業担当者の方
- 投資先候補の資金調達状況や強みを、Webリサーチを用いて自動で収集したいベンチャーキャピタルの方
- 競合他社の最新動向を把握し、チームへスムーズに共有したいマーケティング担当者の方
- Google スプレッドシートへ企業名を入力するだけで、AIが最新の資金調達状況や強みを自動でリサーチするため、情報収集に費やす時間を短縮できます。
- 調査結果の記録とSlackへの通知が自動で行われるため、情報の共有漏れを防ぎ、チーム全体で最新の市場動向を共有可能です。
- はじめに、Google スプレッドシート、Perplexity、SlackをYoomと連携します
- 次に、トリガーで、Google スプレッドシートの「行が追加されたら」アクションを設定します
- 最後に、対象企業を特定・リサーチし、最新の資金調達状況や強みをWebで調査して記録・報告するためのマニュアル（指示）を作成し、Perplexity、Google スプレッドシート、Slackのアクションを使用ツールとして設定します
■このワークフローのカスタムポイント
- Google スプレッドシートのトリガー設定では、企業名を入力する対象のシートや列を正確に指定してください。
- AIワーカーの指示内容を調整することで、資金調達状況以外にも、特定の事業内容や採用情報など、リサーチしたい項目を自由に変更可能です。
- Slackの通知先チャネルやメッセージの形式を、チームの運用に合わせてカスタマイズしてください。
- Google スプレッドシート、Perplexity、SlackのそれぞれとYoomを連携してください。AIワーカー内で使用するツール（アプリ）についてもマイアプリ連携が必要です。
- トリガーは5分、10分、15分、30分、60分の間隔で起動間隔を選択できます。
- プランによって最短の起動間隔が異なりますので、ご注意ください。
- Googleスプレッドシートをアプリトリガーとして使用する際の注意事項は「【アプリトリガー】Googleスプレッドシートのトリガーにおける注意事項」を参照してください。
- AIワーカーの基本設定は「【AIワーカー】基本的な設定方法」をご参照ください。
- AIワーカーの同時実行数・作成可能なAIワーカー数・利用可能なAIモデルはご契約中のプランによって異なります。
- AIワーカー内でご利用いただけるアプリやオペレーション等はフローボットの利用制限と同様です。
- AIワーカーは、テスト実行でも本番実行と同様にタスクを消費しますのでご注意ください。詳細は「【AIワーカー】タスク実行数の計算方法」ご参照ください。
- AIワーカーはマニュアルを詳細に設定することで適切な処理を実行しやすくなります。詳細は「【AIワーカー】マニュアルの作成方法」をご参照ください。
- Slack上での記事作成依頼やリサーチ課題の発生から、アウトプットまでのスピードを速めたいマーケティング担当者の方
- 最新トレンドのリサーチと記事の骨子作成をAIで効率化し、執筆作業に集中したいコンテンツエディターの方
- リサーチ結果をGoogleドキュメントへ手作業で転記する手間を省き、チーム内での共有をスムーズにしたいチームリーダーの方
- Slackに投稿するだけでWebリサーチからドキュメント作成までが自動で行われるため、リサーチにかかる時間を短縮し、迅速な意思決定を支援します。
- AIが最新の情報をPerplexityで調査し、Googleドキュメントへ直接出力するため、情報収集から共有までのプロセスで発生する転記ミスや漏れを防ぎます。
- はじめに、Slack、Googleドキュメント、Perplexity、Google DriveをYoomと連携します。
- 次に、トリガーで、Slackを選択し「特定のキーワードが投稿されたら」というアクションを設定します。
- 最後に、AIワーカーで、Webリサーチ・記事構成案作成・ドキュメント出力・返信を行うためのマニュアルを作成し、Slack、Googleドキュメント、Perplexity、Google Driveの各アクションを使用ツールとして設定します。
- Slackのトリガー設定では、AIを起動させるための特定のキーワード（例：「リサーチ依頼」など）を業務内容に合わせて任意で設定してください。
- AIワーカーのマニュアル設定を調整することで、リサーチの深さや構成案のトーン、Googleドキュメントに反映させる情報のフォーマットを細かくカスタマイズすることが可能です。
- Slack、Googleドキュメント、Perplexity、Google DriveのそれぞれとYoomを連携してください。AIワーカー内で使用するツール（アプリ）についてもマイアプリ連携が必要です。
- AIワーカーの基本設定は「【AIワーカー】基本的な設定方法」をご参照ください。
- AIワーカーの同時実行数・作成可能なAIワーカー数・利用可能なAIモデルはご契約中のプランによって異なります。
- AIワーカー内でご利用いただけるアプリやオペレーション等はフローボットの利用制限と同様です。
- AIワーカーは、テスト実行でも本番実行と同様にタスクを消費しますのでご注意ください。詳細は「【AIワーカー】タスク実行数の計算方法」ご参照ください。
- AIワーカーはマニュアルを詳細に設定することで適切な処理を実行しやすくなります。詳細は「【AIワーカー】マニュアルの作成方法」をご参照ください。
🤖【設定解説】DifyのWebScraperでスクレイピングアプリを作ってみた！
今回は無料で使える「WebScraper」ツールを使用し、Yoomの公式サイトのURLを読み込んでスクレイピングするアプリを作成してみます。
利用条件
今回のアプリ作成は、以下の条件で行っています。
- アカウント：無料プラン
- 動作確認URL：https://lp.yoom.fun/blog-posts/casestudy-atomfirm
（「AI単体」の限界から、非エンジニアがAXを実現｜アトム法律グループがYoomを導入）
STEP1：ワークフローの作成と開始ノード（URL入力）の設定
まずは、情報を入力するための入り口（開始ノード）を設定します。
- アプリの作成：スタジオ画面の「最初から作成」をクリックします。
- 概要の設定：アプリタイプが「ワークフロー」になっていることを確認し、「名前」「説明」を入力したら「作成する」をクリックします。
- 開始ノードの選択：スクレイピングのように毎回異なるデータをユーザーが入力する場合は、「ユーザー入力（元の開始ノード）」を選択します。
※ワークフローを構成する各要素を「ノード」と呼びます。 - 開始ノードの設定：入力フィールドの「+」をクリックし、スクレイピングするURLを入力するフィールドを作成します。
- 変数名・ラベル名：url（任意の名前でOKです）
- フィールドタイプ： Text（文字列）
- 必須： オンにする
STEP2：WebScraperツールの配置とページテキスト取得の設定
次に、入力されたURLの中身を読み取るツールを配置します。
- ツールの追加：開始ノードの設定画面にある「次のステップ」欄をクリックし、「ツール」メニューから「Web Scraper」を選択します。
- URL変数の割り当て：WebScraperの設定パネルで「URL」の項目を選択し、「/」を入力後、先ほど作成した変数（url）を割り当てます。「/」を利用した設定を行うことで、URLを変数として処理できるようになり、毎回提供したURLをスクレイピングできます。固定値を入力すると、同じリンクしかスクレイピングできません。
その他の項目はデフォルトの状態となっており、要約まで行う設定としています。
STEP3：出力ノードの設定
WebScraperが取得して要約したテキストを出力する設定です。
- 出力ノードの追加：WebScraperノードの下部で横にある「次のステップ」欄をクリックし、「出力」ノードを追加します。
- 出力変数の選択：出力変数の「+」マークをクリックして変数名（例：output）を入力し、スクレイピング結果の変数を設定します。
STEP4：プレビューで実行！実際の抽出・要約結果を確認
設定が完了したら、正しく動作するかテストを行います。
- テスト実行：画面右上の「テスト実行」ボタンをクリックします。
- URLの送信：任意のURLを入力して「実行開始」をクリックします。
- 結果の出力：スクレイピング結果が出力されます。
- 内容の確認：今回は、スクレイピング結果を要約する指示をしましたが、要約されず、全文が出力される結果となりました。
検証結果
スクレイピングアプリを作成してみて、以下のことがわかりました。
- ワークフローの作成作業は3分未満で完了し、手軽にスクレイピングアプリを構築できた
- URLを変数として扱う設定や一部英語のUIなど、慣れが必要な部分がある
- スクレイピングツール内蔵の要約機能が動作せず全文が出力された
🔷非エンジニアでも3分未満でアプリ作成が可能な手軽さ
Difyを利用したスクレイピングアプリの作成は非常に手軽であることがわかりました。実際に検証したところ、ワークフローの作成開始から設定完了までにかかった時間は3分未満です。プログラミングの専門知識を持たない方でも、以下の作業をスムーズに行うことができます。
- 直感的な画面操作によるワークフローの構築
- 組み込みツール「WebScraper」の配置と基本設定
特別な環境構築や外部APIの契約を必要とせず、ごく短時間で実用的なデータ収集アプリのベースを作成できる点は、情報収集を効率化する上で魅力的です。
🔷UIの言語や設定の癖、要約機能の挙動に関する注意点
手軽に作成できる一方で、非エンジニアの方が利用する際のハードルが完全にゼロではないことも判明しました。具体的には以下の3点が挙げられます。- 変数の設定：
対象URLを変数（/を用いた割り当て）として扱うなど、Dify特有の操作に慣れが必要です。 - 英語のUI：
一部のインターフェースが英語表記のため、抵抗がある方は翻訳ツールを併用する手間が生じます。 - 要約機能の挙動：
今回の検証ではWebScraperの要約機能を指示したにもかかわらず、要約されずに全文が出力される結果となりました。
今回のように内蔵機能が期待通りに動作しないケースもあるため、取得したテキストを確実に要約したい場合は、WebScraper単体に依存せず、後続のステップにLLMノードを追加して組み合わせる運用をおすすめします。
🚀Difyでスクレイピングを実務活用するアイデア
基本のワークフローを応用すれば、実務のさまざまな課題を解決できます。以下は具体的な活用アイデアです。
競合サイトの分析や価格調査の自動レポート化
Difyを活用すれば、競合他社の価格変動やサービス改定の動向を素早く検知し、自社の戦略立案に役立てることができます。手作業によるサイト巡回の時間を削減し、常に最新の市場データを自動で整理・把握できるのが大きな強みです。
- 用途：競合他社の製品ページや価格表URLをリスト化し、Difyで定期的に読み込ませる。
- AIの処理：「自社製品との価格差」「新しい機能の追加有無」をLLMに比較・分析させる。
- メリット：手作業でのサイト巡回やエクセルへの転記作業がゼロになります。
ニュース記事やブログの要約とSlackへの自動配信
膨大な業界ニュースやトレンド情報をAIが自動で要約し、チームのチャットツールへ直接届けることで、情報収集のタイムロスを削減できます。長文を読まずとも重要なトピックだけを瞬時にインプットできるため、チーム全体の業務効率が向上します。
- 用途：
業界の最新ニュースやプレスリリースのURLを入力する。 - AIの処理：
長い記事から「結論・重要なポイント3つ」だけを箇条書きで抽出させる。 - メリット：
抽出した結果を外部連携機能を使ってSlackなどのチャットツールに自動通知すれば、チーム全体のインプット効率が劇的に向上します。
営業活動に向けた企業情報・IR情報の自動抽出
ターゲット企業のWebサイトから事業内容やIR情報を効率的に収集し、営業アプローチの質と速度を向上させることができます。手作業で企業ページを読み込む手間を省き、商談前に必要なインサイトを瞬時に得られるのが魅力です。
- 用途：
アプローチしたい企業の公式サイトやIRページのURLを入力する。 - AIの処理：
「主要な事業内容」「直近の業績ハイライトや注力分野」を抽出・要約させる。 - メリット：
営業担当者の事前リサーチ時間が大幅に短縮され、顧客の課題に合わせた精度の高い提案が容易になります。
製品やサービスの口コミ・レビューの収集と感情分析
Web上のレビューサイトや口コミ情報を自動で集約・分析することで、ユーザーのリアルな声を製品改善やマーケティング施策に素早く反映できます。膨大な定性データをAIが客観的に分類してくれるため、顧客満足度の向上に向けた具体的なアクションに直結します。
- 用途：
自社や競合のサービスが掲載されているレビューサイトや口コミページのURLを読み込ませる。 - AIの処理：
ユーザーの感想を「ポジティブ」「ネガティブ」「要望」の3カテゴリに自動分類し、要点を抽出する。 - メリット：
手動でレビューを読み込む工数が削減され、顧客の潜在的なニーズや不満を早期に発見・対応できるようになります。
⚠️スクレイピングを実行する際の注意点
スクレイピングは非常に便利ですが、実行時には技術的・法的なルールを守る必要があります。
対象サイトの利用規約やrobots.txtの遵守
スクレイピングを安全に運用するためには、対象サイトが自動データ収集を許可しているかを事前に確認することが最も重要です。無断でのクローリングやサーバーへの過度な負荷は、法的なトラブルやアクセス拒否につながる恐れがあるためルールを厳守しましょう。
- 利用規約の確認：
サイトによっては「自動データ収集（スクレイピング）」を規約で明確に禁止している場合があります。 - robots.txtの確認：
サイトのルートディレクトリにある「robots.txt」ファイルを確認し、クローラーのアクセスが許可されているか事前にチェックしましょう。 - サーバーへの配慮：
短時間に大量のアクセスを行うと、相手のサーバーに負荷をかけてダウンさせてしまう恐れがあるため注意が必要です。
LLMのトークン制限（長文ページの読み込み）への対策
取得したページテキストが長すぎる場合、AIモデルの処理上限（トークン制限）を超えてエラーになるため、適切なモデル選びや事前のテキスト処理が重要です。エラーを防ぐためには、長文入力に対応した高性能なモデルを選択するか、不要な情報を削る工夫が必要です。
- エラーの原因：
情報量が非常に多いWebページをWebScraperで読み込むと、抽出されたテキストが長大になり、LLMが処理できる文字数上限（トークン上限）を超えてエラーになることがあります。 - 対策方法：
- 扱えるトークン数が多いAIモデルを利用する。
- Difyの「コード実行ノード」をLLMの前に挟み、Pythonスクリプトで不要なヘッダーやフッターのテキストを事前に削ぎ落としてからLLMに渡す工夫をする。
📝 まとめ
今回は、Difyに内蔵されているWebScraperツールを活用して、無料でWebスクレイピングを行うアプリを作成してみました。Difyのワークフロー機能を利用すれば、プログラミングの知識がない方でも、URLを指定するだけでページのテキスト情報を自動で取得し、プロンプトに沿った高度な情報処理をワンストップで実行できます。競合サイトの分析や価格調査、日々のニュースの要約など、アイデア次第で幅広い実務に応用できるのが大きな魅力です。
実際に運用する際は、対象サイトの利用規約やrobots.txtといったルールの遵守、AIモデルのトークン制限への対策に十分配慮しながら安全に活用してください。まずは手軽に試せる無料の組み込みツールからスタートし、日々の業務フローを自動化する自社専用のAIアプリ構築に挑戦してみてはいかがでしょうか。
🔗 Yoomでできること
Difyを活用して業務フローを作成することで、業務の効率化を図れますが、自動化できるのは一部の作業に限られます。Yoomは750以上のAIやSaaSツールをはじめ、Difyで作成したアプリを組み込んだ業務フローも作成できるため、より多くの自動化が実現可能です。これにより、以下のような効果が期待できます。
- データ入力や通知作業など、定型的な業務にかかる手間を削減
- クオリティを維持しながらより短い時間でタスクを完了
Yoomには、これまで手作業で行ってきた業務を自動化できるテンプレートが豊富にあります。直感的な操作で簡単に設定できるので、ぜひ試してみてください。
■このテンプレートをおすすめする方
- HubSpotを利用しており、新規リード獲得後の企業リサーチにかかる時間を削減したい営業担当者の方
- 最新の企業情報に基づいたパーソナライズな営業メールを、手間をかけずに用意したいマーケティング担当者の方
- リードへのレスポンス速度を向上させ、商談化率の改善を目指しているチームリーダーの方
■このテンプレートを使うメリット
- HubSpotへリードが登録されると自動で企業調査とメール作成が行われるため、リサーチや執筆に費やしていた時間を短縮できます。
- AIが最新の情報をもとにメールの下書きを作成することで、情報の転記ミスを防ぎつつ、質の高い営業メッセージを安定して生成できます。
■フローボットの流れ
- はじめに、HubSpot、Gmail、SlackをYoomと連携します
- 次に、トリガーでHubSpotを選択し、「新しいコンタクトが作成されたら」というアクションを設定します
- 最後に、AIワーカーでWebリサーチとGmail下書き作成を行うためのマニュアルを作成し、HubSpot、Perplexity、Gmail、Slackのアクションを使用ツールとして設定します
■このワークフローのカスタムポイント
- AIワーカーのマニュアル設定では、リサーチしたい項目（事業内容、プレスリリースなど）を任意の内容に変更して調整してください。
- Gmailの下書き作成アクションにおいて、自社製品の強みやアピールしたいポイントを指示に含めることで、より精度の高いメール作成が可能です。
- Slackでの通知先を、特定の営業チャンネルなど、チームの運用に合わせて設定してください。
■注意事項
- HubSpot、Perplexity、Gmail、SlackのそれぞれとYoomを連携してください。AIワーカー内で使用するツール（アプリ）についてもマイアプリ連携が必要です。
- トリガーは5分、10分、15分、30分、60分の間隔で起動間隔を選択できます。
- プランによって最短の起動間隔が異なりますので、ご注意ください。
- AIワーカーの基本設定は「【AIワーカー】基本的な設定方法」をご参照ください。
- AIワーカーの同時実行数・作成可能なAIワーカー数・利用可能なAIモデルはご契約中のプランによって異なります。
- AIワーカー内でご利用いただけるアプリやオペレーション等はフローボットの利用制限と同様です。
- AIワーカーは、テスト実行でも本番実行と同様にタスクを消費しますのでご注意ください。詳細は「【AIワーカー】タスク実行数の計算方法」ご参照ください。
- AIワーカーはマニュアルを詳細に設定することで適切な処理を実行しやすくなります。詳細は「【AIワーカー】マニュアルの作成方法」をご参照ください。
- kintoneを活用し、採用候補者や求人案件の情報を管理しているリクルーティングアドバイザーの方
- AIエージェントを活用して、採用市場のリサーチや戦略立案業務を効率化したいと考えている方
- データに基づいた採用戦略の立案プロセスを仕組み化し、チーム全体の提案力を向上させたい方
- kintoneへの登録だけで市場リサーチから戦略提案、共有までが自動で実行されるため、情報収集や資料作成にかかる時間を削減できます
- AIがリサーチと提案を行うため、担当者の経験や知識に依存することなく、安定した品質の戦略レポートを作成することが可能になります
- はじめに、kintoneとMicrosoft TeamsをYoomと連携します
- 次に、トリガーでkintoneを選択し、「レコードが登録されたら」というアクションを設定します
- 最後に、オペレーションでAIワーカーを選択し、kintoneのレコード情報を基に、Perplexityで採用市場の動向をリサーチし、戦略レポートの作成からkintoneの更新、Microsoft Teamsへの共有までを実行するための指示を作成します
■このワークフローのカスタムポイント
- AIワーカーへの指示（マニュアル）を編集することで、アウトプットの形式や内容をより具体的に調整できます。例えば、リサーチ対象の業界を指定したり、kintoneの情報に応じて作業内容を調整するよう設定したりすることで、よりパーソナライズされたリサーチを実行させることが可能です
- kintone、Perplexity、Microsoft TeamsのそれぞれとYoomを連携してください。AIワーカー内で使用するツール（アプリ）についてもマイアプリ連携が必要です。
- Microsoft365（旧Office365）には、家庭向けプランと一般法人向けプラン（Microsoft365 Business）があり、一般法人向けプランに加入していない場合には認証に失敗する可能性があります。
- AIワーカーの基本設定は「【AIワーカー】基本的な設定方法」をご参照ください。
- AIワーカーの同時実行数・作成可能なAIワーカー数・利用可能なAIモデルはご契約中のプランによって異なります。
- AIワーカー内でご利用いただけるアプリやオペレーション等はフローボットの利用制限と同様です。
- AIワーカーは、テスト実行でも本番実行と同様にタスクを消費しますのでご注意ください。詳細は「【AIワーカー】タスク実行数の計算方法」ご参照ください。
- AIワーカーはマニュアルを詳細に設定することで適切な処理を実行しやすくなります。詳細は「【AIワーカー】マニュアルの作成方法」をご参照ください。
【出典】
Dify／Dify Docs／アプリの管理 - Dify Docs／ワークフローとチャットフロー - Dify Docs／ナレッジ - Dify Docs／アプリ内でのナレッジベース統合 - Dify Docs
プログラミング知識なしで手軽に構築できます。
