O que é a Deep Web?
A deep web é a parte da Internet que está fora dos métodos de pesquisa padrão. Um mecanismo de pesquisa padrão encontra páginas da Web, exibindo uma única página e clicando em todos os links. Isso permite que eles se estendam a partir de uma única página, como uma teia de aranha gigante, localizando página após página através de links. Esse processo captura apenas uma fração das páginas existentes na Internet; grandes quantidades de dados não são completamente classificadas por uma de muitas razões. Essas páginas nunca serão exibidas em um mecanismo de pesquisa padrão e, portanto, são invisíveis para a maioria dos usuários da Web.
A web de superfície é a parte da Internet com a qual a maioria dos usuários está familiarizada. Esta parte contém as páginas da web padrão e os serviços da web que a maioria dos usuários conhece. A deep web é composta por informações que apenas partes específicas dos usuários da Internet conhecem ou têm acesso também. A rede profunda é enorme comparada à rede de superfície; no ano de 2000, era quase 50 vezes maior que a teia de superfície.
A razão pela qual a deep web existe deve-se principalmente a limitações nos mecanismos de pesquisa. Como os mecanismos de pesquisa examinam os links, eles não conseguem acessar certos tipos de páginas da web. Essas páginas nunca entram no sistema e, portanto, nunca são indexadas. Quando um usuário pesquisa uma dessas páginas, ele ou ela nunca a encontrará, pois o mecanismo de pesquisa não registra sua existência ou falha em acessá-la.
Existem vários tipos de páginas diferentes que são difíceis ou impossíveis de serem indexados por um mecanismo de pesquisa. Páginas da Web dinâmicas e baseadas em banco de dados são praticamente impossíveis, pois exigem a entrada específica. Essas páginas da web são criadas no local, geralmente através da entrada do usuário. Como uma página dinâmica não existe até que seja necessária, os mecanismos de pesquisa as ignoram porque não sabem o que pedir.
Páginas da web privadas ou fechadas compõem outra grande parte da deep web. Como essas páginas exigem credenciais ou informações de login e o mecanismo de pesquisa não possui nenhuma, elas são impedidas de acessar informações do outro lado do login. Mesmo com esse problema, alguns sites baseados em login fazem parte da Web de superfície. O site estabelece disposições especiais para permitir que os mecanismos pesquisem suas páginas. Isso é comum entre as páginas que possuem registro aberto e desejam gerar tráfego adicional.
Outra grande parte da deep web é composta de sites não vinculados ou restritos. Essas páginas não possuem links para recursos externos ou bloqueiam ativamente os links existentes. Isso evita que os mecanismos de pesquisa se deparem com a página, para que nunca seja adicionada a nenhuma listagem. Isso costumava ser comum entre páginas pessoais, mas as mudanças no uso moderno da web fizeram com que a maioria das páginas pessoais fosse vinculada e indexada.