ディープウェブとは

ディープウェブは、標準の検索方法の範囲外にあるインターネットの一部です。 標準の検索エンジンは、単一のページを表示してすべてのリンクをクリックすることにより、Webページを検索します。 これにより、巨大なクモの巣のような単一のページから拡張し、リンクを介してページごとにページを見つけることができます。 このプロセスは、インターネット上に存在するページの一部のみをキャプチャします。 膨大な量のデータは、多くの理由の1つで完全に分類されていません。 これらのページは標準の検索エンジンでは表示されないため、ほとんどのWebユーザーには見えません。

表面ウェブは、ほとんどのユーザーがよく知っているインターネットの一部です。 この部分には、ほとんどのユーザーが知っている標準のWebページとWebサービスが含まれています。 ディープウェブは、インターネットユーザーの特定の部分のみが認識またはアクセスできる情報で構成されています。 深いウェブは、表面のウェブに比べて巨大です。 2000年には、表面ウェブの約50倍の大きさでした。

ディープウェブが存在する理由は、主に検索エンジンの制限によるものです。 検索エンジンはリンクを調べると、特定の種類のWebページにアクセスできません。 これらのページはシステムに入ることはないため、インデックスは作成されません。 ユーザーがこれらのページの1つを検索しても、検索エンジンはその存在またはアクセスの失敗を記録しないため、ユーザーはそれを見つけることはありません。

検索エンジンがインデックスを作成するのが困難または不可能なさまざまなページタイプがあります。 動的なデータベースベースのWebページは、特定の入力が必要であるため、実際には不可能です。 これらのWebページは、その場で、多くの場合ユーザー入力を通じて作成されます。 動的ページは必要になるまで存在しないため、検索エンジンは何を要求すればよいかわからないため、それらをスキップします。

プライベートWebページまたはゲートWebページは、ディープWebの別の大部分を構成します。 これらのページには資格情報またはログイン情報が必要であり、検索エンジンにはどちらもないため、ログインの反対側の情報へのアクセスはブロックされます。 この問題が発生しても、ログインベースのサイトの一部は表面ウェブの一部です。 Webサイトは、エンジンがページを検索できるように特別な規定を設定します。 これは、オープン登録があり、追加のトラフィックを生成するページで一般的です。

ディープウェブの別の大部分は、リンクされていない、または制限されたウェブサイトで構成されています。 これらのページは、外部リソースへのリンクを所有していないか、既存のリンクを積極的にブロックしていません。 これにより、検索エンジンがページにつまずくのを防ぐことができるため、リストに追加されることはありません。 これは以前は個人のWebページで一般的でしたが、最近のWebの使用方法の変更により、ほとんどの個人のページがリンクおよびインデックス化されました。