Qu'est-ce que le Web profond?
Le Web profond est la partie de l’Internet qui ne fait pas partie des méthodes de recherche standard. Un moteur de recherche standard trouve les pages Web en affichant une seule page et en cliquant sur tous les liens. Cela leur permet de s’étendre à partir d’une seule page, telle une toile d’araignée géante, en recherchant page après page au moyen de liens. Ce processus ne capture qu'une fraction des pages existantes sur Internet. d'énormes quantités de données sont complètement non classifiées pour l'une des nombreuses raisons. Ces pages ne figureront jamais dans un moteur de recherche standard et sont donc invisibles pour la plupart des internautes.
Le Web de surface est la partie d'Internet avec laquelle la plupart des utilisateurs sont familiarisés. Cette partie contient les pages Web standard et les services Web que la plupart des utilisateurs connaissent. Deep Web est composé d'informations que seules des parties spécifiques d'internautes connaissent ou ont également accès. La toile profonde est énorme comparée à la toile de surface; en 2000, il était près de 50 fois plus grand que la bande de surface.
La raison pour laquelle le Web profond existe existe principalement en raison des limitations sur les moteurs de recherche. Lorsque les moteurs de recherche examinent des liens, ils ne peuvent pas accéder à certains types de pages Web. Ces pages n'entrent jamais dans le système et ne sont donc jamais indexées. Lorsqu'un utilisateur recherche l'une de ces pages, il ne la trouvera jamais, car le moteur de recherche n'enregistre pas son existence ou son incapacité à y accéder.
Il existe un certain nombre de types de page difficiles à indexer par un moteur de recherche. Les pages Web dynamiques et basées sur des bases de données sont pratiquement impossibles, car elles nécessitent une entrée spécifique. Ces pages Web sont composées sur place, souvent grâce à la saisie de l'utilisateur. Dans la mesure où une page dynamique n'existe pas jusqu'à ce que vous en ayez besoin, les moteurs de recherche les ignorent car ils ne savent pas quoi demander.
Les pages Web privées ou gated constituent une autre grande partie du Web profond. Étant donné que ces pages nécessitent des informations d'identification ou des informations de connexion et que le moteur de recherche n'a ni l'une ni l'autre, il est impossible d'accéder aux informations situées de l'autre côté de la connexion. Même avec ce problème, certains sites basés sur la connexion font partie du Web de surface. Le site Web établit des dispositions spéciales pour permettre aux moteurs de rechercher dans ses pages. Ceci est courant parmi les pages qui ont un enregistrement ouvert et qui souhaitent générer du trafic supplémentaire.
Une autre partie importante du Web profond est constituée de sites Web non liés ou restreints. Ces pages ne possèdent aucun lien vers des ressources extérieures ou ne bloquent pas activement les liens existants. Cela empêche les moteurs de recherche de trébucher sur la page. Elle n'est donc jamais ajoutée à une liste. Auparavant, cela était courant parmi les pages Web personnelles, mais les changements d’utilisation du Web moderne ont rendu la plupart des pages personnelles liées et indexées.