スクリーンスクレーパーとは何ですか？

スクリーンスクレーパーは、別のプログラムのディスプレイ出力から文字ベースのデータを収集するコンピュータープログラムです。 スクリーンスクレイパーは、探しているデータを抽出して、グラフや表などのよりリッチな形式で表示したり、単にデータをインデックス化して保存したりできます。 スクリーンスクレーパーには、Webサイトスクレーパー、コンテンツマイナー、Webサイトリッパー、Webエクストラクター、自動データコレクター、HTMLスクレーパーなど、他にも多くの名前があります。

スクリーンスクレイパーは、Webサイトのコードを検索し、エンドブラウザーに見栄えの良いプレゼンテーションを提供するために配置されている余分なコードを除外します。 そのようなコードは、意図したレイアウトでページ全体を表示するために必要ですが、スクレーパーは単に有用なデータを探しています。 このデータは収集され、提供された元のHTMLコードを添えずに、単純なデータベースとして提示されます。

実際のスクリーンスクレーパーの良い例は、検索エンジンのスパイダーです。 これらのスパイダーは数十万ものWebサイトにアクセスし、各Webサイトには多数のページが含まれています。 これらのサイトからキーワードデータが収集され、インデックスが作成された後、最終的に検索エンジンの結果としてエンドユーザーに表示されます。

ほとんどのスクリーンスクレイパーは、WebサイトのHTMLコーディングを調べて情報を取得しますが、JavaScriptやPHPなどの他のスクリプト言語も検索できます。 マイニングされたデータは、ユーザーがWebブラウザーでアクセスできるようにHTMLとして表示するか、ユーザーがオフラインでアクセスできるテキストデータとして保存できます。

企業は、レポートやプレゼンテーションで使用するグラフ、チャート、スプレッドシート、比較データを生成するために、スクリーンスクレーパーを使用して、さまざまなキーワード関連のWebサイトからデータをマイニングします。 スクリーンスクレーパーを使用すると、同じタスクを実行する従業員が関連するサイトを検索し、リンクをクリックし、各サイトを個別に参照して必要なデータを見つけて記録する必要があるため、時間を大幅に節約できます。 スクリーンスクレーパーは、新しいハードウェアまたはソフトウェアとの互換性の問題によりアクセスできなくなったシステムに情報が保存されている場合にも使用できます。

スクリーンスクレーパーは、サイト所有者とWebサーファーにとって祝福であり、呪いでもあります。 スクリーンスクレーパーは、ビジネス、検索エンジンなどに機能的なサービスを絶対に提供しますが、利他的ではない目的にも使用できます。 たとえば、広告方法としてスパムを使用する企業または個人は、スクリーンスクレーパーを使用して、Webサイトから電子メールアドレスをマイニングできます。

スクリーンスクレーパーは便利なツールですが、ウェブコミュニティでは、それらを使用する際の合法性と倫理についていくつかの議論があります。 スクリーンスクレーパーが誰かの苦労を抽出して別のWebサイト用に別の形式で提示すると、著作権の問題がぼやけます。スクリーンスクレーパーによって広告が破棄されると、広告に依存して収益を生み出すサイトに問題が生じます。 その結果、一部のWebサイト所有者は、サイトがスクレイプされるのを防ぐツールを実装し始めました。