¿Qué es la web profunda?
La web profunda es la parte de Internet que está fuera de los métodos de búsqueda estándar. Un motor de búsqueda estándar encuentra páginas web al abrir una sola página y hacer clic en todos los enlaces. Esto les permite extenderse desde una sola página como una telaraña gigante, encontrando página tras página a través de enlaces. Este proceso solo captura una fracción de las páginas que existen en Internet; enormes cantidades de datos están completamente sin clasificar por una de muchas razones. Estas páginas nunca aparecerán en un motor de búsqueda estándar y, por lo tanto, son invisibles para la mayoría de los usuarios de la web.
La web de superficie es la parte de Internet con la que la mayoría de los usuarios están familiarizados. Esta parte contiene las páginas web estándar y los servicios web que la mayoría de los usuarios conocen. La web profunda está compuesta de información que solo partes específicas de los usuarios de Internet conocen o tienen acceso también. La red profunda es enorme en comparación con la red superficial; en el año 2000, era casi 50 veces más grande que la red de superficie.
La razón por la que existe la web profunda se debe principalmente a limitaciones en los motores de búsqueda. A medida que los motores de búsqueda buscan enlaces, no pueden acceder a ciertos tipos de páginas web. Estas páginas nunca ingresan al sistema y, por lo tanto, nunca se indexan. Cuando un usuario busca una de estas páginas, nunca la encontrará, ya que el motor de búsqueda no registra su existencia o su falta de acceso.
Hay varios tipos de páginas diferentes que son difíciles o imposibles de indexar para un motor de búsqueda. Las páginas web dinámicas y basadas en bases de datos son prácticamente imposibles, ya que requieren una entrada específica para existir. Estas páginas web se componen en el acto, a menudo a través de la entrada del usuario. Dado que una página dinámica no existe hasta que se necesita, los motores de búsqueda la omiten porque no saben qué pedir.
Las páginas web privadas o cerradas constituyen otra gran parte de la web profunda. Dado que estas páginas requieren credenciales o información de inicio de sesión y el motor de búsqueda no tiene ninguna, se bloquea el acceso a la información en el otro lado del inicio de sesión. Incluso con este problema, algunos sitios basados en inicio de sesión son parte de la superficie web. El sitio web establece disposiciones especiales para permitir que los motores busquen en sus páginas. Esto es común entre las páginas que tienen registro abierto y desean generar tráfico adicional.
Otra gran parte de la web profunda está hecha de sitios web no vinculados o restringidos. Estas páginas no poseen enlaces a recursos externos ni bloquean activamente los enlaces existentes. Esto evita que los motores de búsqueda tropiecen con la página, por lo que nunca se agrega a ninguna lista. Esto solía ser común entre las páginas web personales, pero los cambios en el uso moderno de la web han vinculado e indexado la mayoría de las páginas personales.