Web スクレイパーツール (Web Scraper)
概要 (What is it?)
Web Scraper ツールは、Web ページから情報を抽出できるようにエージェントに付与するユーティリティツールです。
使用する場面 (When would I use it?)
以下のような場面でこのノードを使用します：
- エージェントに Web サイトからのデータ抽出能力を持たせたい場合
- Web ページのコンテンツをスクレイピングしたい場合
- オンラインソースから情報を収集させたい場合
- Web データの収集を自動化したい場合
使い方 (How to use it)
基本セットアップ
- ワークフローに Web Scraper ツールを追加します
- Web スクレイピング能力を必要とするノード（Agent など）にその出力を接続します
出力 (Outputs)
- tool: 他のノードで使用できる、設定済みの Web スクレイパーツール
使用例 (Example)
Web コンテンツをスクレイピングできるエージェントを作成したい場合の例：
- ワークフローに Web Scraper ツールを追加します
- "tool" 出力を Agent ノードの "tools" 入力に接続します
- これにより、エージェントは会話やタスクの中で必要に応じて Web ページのスクレイピングを実行できるようになります
実装の詳細 (Implementation Details)
Web Scraper ツールは Griptape の WebScraperTool クラスを使用して実装されており、Web ページからコンテンツを抽出するためのシンプルなインターフェースを提供します。エージェントが Web サイトから構造化された方法で情報を収集できるように設計されています。
重要な注意点 (Important Notes)
- このツールは各 Web サイトの利用規約や
robots.txtファイルの方針を尊重します - Web サイトの構造や複雑さによってパフォーマンスが異なる場合があります
- 一部の Web サイトは自動スクレイピングのリクエストをブロックすることがあります
- 動的な JavaScript を多用するサイトよりも、静的なテキストベースのコンテンツに対して最適に機能します
- Web サイトへの過度な負荷を避けるため、レート制限や倫理的な利用に配慮してください
よくある問題 (Common Issues)
- アクセス拒否 (Access Denied): 一部の Web サイトはスクレイパーからのアクセスを能動的に遮断します
- コンテンツが見つからない: JavaScript で動的にレンダリングされるコンテンツは取得できない場合があります
- レート制限 (Rate Limiting): 過度のリクエストを送信すると、Web サイトから一時的に制限を受ける可能性があります
- レイアウトの変更: Web サイトの構造が変更されると、スクレイピングの精度に影響が出る場合があります
- 巨大なページの処理: 非常に大きなページは処理に時間がかかったり、トークン上限を超過したりする可能性があります