スクリーンスクレーパーとは何ですか？

スクリーンスクレーパーは、別のプログラムの表示出力から文字ベースのデータを収集するコンピュータープログラムです。スクリーンスクレーパーは、探しているデータを抽出し、グラフやテーブルなどのより豊富な形式で提示したり、単にストレージのデータにインデックスを付けたりできます。 Webサイトスクレーパー、コンテンツマイナー、Webサイトリッパー、Web抽出器、自動データコレクター、HTMLスクレーパーなど、スクリーンスクレーパーには他にも多くの名前があります。

スクリーンスクレーパーは、Webサイトのコードを検索し、整備されている外観のコードを除外して、エンドブラウザに見栄えの良いプレゼンテーションを提供します。このようなコードは、目的のレイアウトでページ全体を表示するために必要ですが、スクレーパーは単に有用なデータを探しています。このデータは収集され、簡単なデータベースとして提示されます。ベルとホイッスルなしでは、元のHTMLコードが提供されています。これらのクモは数十万wにアクセスしますそれぞれ内部に多数のページが含まれているエブサイト。これらのサイトからのキーワードデータが収集およびインデックス化され、最終的には検索エンジンの結果としてエンドユーザーに提示されます。

ほとんどのスクリーンスクレーパーは、WebサイトのHTMLコーディングを精査して情報を取得しますが、JavaScriptやPHPなどの他のスクリプト言語を検索することもできます。マイニングされたデータは、HTML自体として表示されるため、ユーザーはWebブラウザーでアクセスするか、ユーザーがオフラインでアクセスできるテキストデータとして保存できます。

企業はスクリーンスクレーパーを使用して、さまざまなキーワード関連のWebサイトからのデータをマイニングして、レポートやプレゼンテーションで使用するグラフ、チャート、スプレッドシート、比較データを生成します。同じタスクを実行する従業員は、関連するサイトを検索し、リンクをクリックし、各サイトを閲覧する必要があるため、スクリーンスクレーパーは並外れた時間を節約します。必要な該当するデータを見つけて記録するために個別に。 新しいハードウェアやソフトウェアとの互換性の問題のためにアクセスできないシステムに情報が保存されている場合、スクリーンスクレーパーを使用することもできます。

スクリーンスクレーパーは、サイトの所有者とWebサーファーにとって祝福と呪いの両方になる可能性があります。企業や検索エンジンなどに機能的なサービスを絶対に提供していますが、スクリーンスクレーパーは利他的な目的でも使用できます。たとえば、Spamを広告方法として使用する企業や個人は、スクリーンスクレーパーを使用してWebサイトから電子メールアドレスをマイニングできます。

スクリーンスクレーパーは便利なツールになる可能性がありますが、使用する際に合法性と倫理に関するWebコミュニティの間でいくつかの議論があります。スクリーンスクレーパーが誰かのハードワークを抽出し、別のウェブサイトの別の形式で提示すると、著作権の問題がぼやけます。e画面スクレーパーによって破棄されます。その結果、一部のウェブサイトの所有者は、サイトが削らないようにするツールを実装し始めました。