O que é a Web Deep?
A Web Deep é a parte da Internet que está fora dos métodos de pesquisa padrão. Um mecanismo de pesquisa padrão encontra páginas da Web, exibindo uma única página e clicando em todos os links. Isso permite que eles se estendam a partir de uma única página como uma web de aranha gigante, localizando página após página através da ligação. Esse processo captura apenas uma fração das páginas existentes na Internet; Muitas quantidades de dados são completamente não classificadas por um dos muitos motivos. Essas páginas nunca aparecerão em um mecanismo de pesquisa padrão e, portanto, são invisíveis para a maioria dos usuários da Web.
A Web Surface faz parte da Internet com a qual a maioria dos usuários está familiarizada. Esta parte contém as páginas da Web padrão e os serviços da Web que a maioria dos usuários conhece. A Web Deep é composta por informações que apenas partes específicas dos usuários da Internet estão cientes ou também têm acesso. A Web Deep é enorme em comparação com a teia de superfície; No ano 2000, foi quase 50 vezes maior que a web da superfície.
O motivoA Web Deep existe principalmente devido a limitações nos mecanismos de pesquisa. À medida que os mecanismos de pesquisa analisam os links, eles não conseguem acessar certos tipos de páginas da web. Essas páginas nunca entram no sistema e, portanto, nunca são indexadas. Quando um usuário procura uma dessas páginas, ele nunca o encontrará, pois o mecanismo de pesquisa não registra sua existência ou sua falha em acessá -lo.
Existem vários tipos de página diferentes que são difíceis ou impossíveis para um mecanismo de pesquisa indexar. As páginas da Web dinâmicas e baseadas em banco de dados são praticamente impossíveis, pois exigem informações específicas para existir. Essas páginas da web são compensadas no local, geralmente através da entrada do usuário. Como uma página dinâmica não existe até que seja necessária, os mecanismos de pesquisa os ignoram porque não sabem o que pedir.
Páginas da web privadas ou fechadas compõem outra grande parte da Web Deep. Como essas páginas requerem credenciais oR Informações de login e o mecanismo de pesquisa também não, ele está impedido de acessar informações do outro lado do login. Mesmo com esse problema, alguns sites baseados em login fazem parte da Web Surface. O site configura disposições especiais para permitir que os motores pesquisem suas páginas. Isso é comum entre as páginas que têm registro aberto e desejam gerar tráfego adicional.
Outra grande parte da Web Deep é feita de sites desvinculados ou restritos. Essas páginas não possuem links para recursos externos ou bloqueiam ativamente os links existentes. Isso impede que os mecanismos de pesquisa tropeçam na página, para que nunca seja adicionada a nenhuma listagem. Isso costumava ser comum entre as páginas pessoais, mas as mudanças no uso moderno da web tornaram as páginas mais pessoais vinculadas e indexadas.