O que é a Web invisível?

A web invisível é a área oculta da Internet que não é pesquisada automaticamente pelos mecanismos de pesquisa. São informações disponíveis gratuitamente na Internet, mas que não serão recuperadas por solicitações de pesquisa normais. As informações ocultas na Web invisível exigem um pouco mais de trabalho.

A web visível é uma informação que você pode ver ou recuperar dos mecanismos de pesquisa. A web invisível às vezes é chamada de web profunda . Se você pensa na Internet como um banco de dados gigante, algumas das informações no banco de dados são mais fáceis de encontrar do que outras. As informações mantidas na web visível são apenas uma fração das informações disponíveis na Internet.

Os bancos de dados dos mecanismos de pesquisa na Internet já contêm grandes quantidades de informações. Quando você digita uma pergunta em um mecanismo de pesquisa, ela exibe uma lista de possíveis páginas que podem responder à sua pergunta. É mais barato para o mecanismo de pesquisa exibir essas páginas de resposta do que armazenar todas as páginas possíveis sobre o assunto que você está procurando. Também ocupa menos espaço no banco de dados do mecanismo de pesquisa.

Pense nos milhões de pessoas que usam a Internet todos os dias. Eles estão fazendo perguntas aos motores de busca, pesquisando assuntos ou apenas navegando na rede. É mais fácil para o banco de dados fornecer a página de resposta do que acessar as páginas da web diretamente.

Uma maneira de acessar o material na Web invisível é simplesmente colocar o banco de dados de palavras após sua consulta de pesquisa. Se você estiver procurando férias na Irlanda, use as palavras férias no banco de dados da Irlanda . Isso direcionará o mecanismo de pesquisa para verificar os bancos de dados pesquisáveis ​​sobre o assunto. Muitos bancos de dados que armazenam informações têm a palavra banco de dados em suas páginas da Web, facilitando sua localização.

Existem algumas páginas da Web que estão na Web invisível apenas por razões técnicas. Os bancos de dados são criados usando aranhas . Estes são programas de computador que pesquisam na web procurando informações. No entanto, as aranhas não podem pensar ou digitar. Eles podem pular de um link para outro, mas não podem pensar por si mesmos.

Se a aranha se deparar com uma página da web que precisa de acesso por senha, eles não têm como entrar nessa página. Existem muitos sites que exigem que o usuário efetue logon e use uma senha para inserir e visualizar seu conteúdo. Além disso, se uma página da Web tiver sido criada sem o HTML usual, que é a linguagem básica da Web, ela poderá nem sempre ser lida com facilidade. Por exemplo, um documento PDF pode ser acessado apenas como um link e não é facilmente encontrado como uma página da Web HTML.

Outro link para o qual as aranhas não acessam é qualquer link com um ponto de interrogação. As aranhas são informadas a não irem aos links com um ponto de interrogação, pois podem ser armadilhas para prendê-las. O link também pode conter scripts mal escritos e, portanto, pode não ser armazenado nos bancos de dados comuns. Esses links estarão disponíveis apenas ao pesquisar bancos de dados na Web invisível.

Os mecanismos de pesquisa estão sendo atualizados com sofisticadas técnicas de pesquisa para acessar a web invisível. Pensa-se que, com o tempo, a teia invisível se tornará mais facilmente visível. Até então, é um caso de usar a inteligência para questionar os mecanismos de pesquisa e os links de navegação para encontrar informações.