Como os mecanismos de pesquisa funcionam?

Os mecanismos de pesquisa são basicamente algoritmos de computador que ajudam os usuários a encontrar as informações específicas que estão procurando. Com literalmente trilhões de páginas de informações on-line, sem mecanismos de busca eficazes, encontrar qualquer coisa na Internet seria quase impossível. Mecanismos de pesquisa diferentes funcionam de maneiras específicas diferentes, mas todos eles utilizam os mesmos princípios básicos.

A primeira coisa que os mecanismos de pesquisa precisam fazer para funcionar é criar um banco de dados local basicamente da Internet. Os primeiros mecanismos de pesquisa indexaram apenas palavras-chave e títulos de páginas, mas os mecanismos de pesquisa contemporâneos indexam todo o texto em todas as páginas, além de muitos outros dados sobre a relação dessa página com outras páginas e, em alguns casos, com a totalidade ou parte de a mídia disponível na página também. Os mecanismos de pesquisa precisam indexar todas essas informações para que elas possam executar pesquisas com eficiência, em vez de precisar rodar pela Internet toda vez que uma consulta de pesquisa é enviada.

Os mecanismos de pesquisa criam esses bancos de dados executando rastreamentos periódicos da Internet. Os primeiros mecanismos de pesquisa geralmente exigem que as páginas sejam enviadas a eles para rastrear, mas agora a maioria das páginas é encontrada seguindo os links de outras páginas. Os chamados robôs ou aranhas, programas de computador criados para indexar páginas, passam de uma página para outra, registram todos os dados da página e seguem todos os links para novas páginas. Mecanismos de pesquisa diferentes atualizam seus índices em intervalos diferentes, dependendo de quantas aranhas eles constantemente rastreiam e de qual velocidade elas rastejam, algumas navegando pela Internet todos os dias ou dois e outras apenas fazendo uma atualização periódica a cada semana ou mês.

À medida que a aranha passa por essas páginas, registra as palavras que encontra nas páginas. Ele faz anotações sobre quantas vezes cada palavra aparece, se as palavras são ponderadas de determinadas maneiras, talvez com base no tamanho, local ou marcação HTML, e decide a relevância das palavras com base nos links que chegam à página e no contexto geral da página.

Os mecanismos de pesquisa devem ponderar o valor de cada página e o valor de cada página para as palavras que aparecem nela. Essa é a parte mais complicada do que um mecanismo de pesquisa deve fazer, mas também a mais importante. No nível mais simples, um mecanismo de pesquisa pode simplesmente rastrear todas as palavras da página e registrar essa página como relevante para pesquisas com essa palavra-chave. No entanto, isso não seria muito bom para a maioria dos usuários, pois o desejado é a página mais relevante para a consulta de pesquisa. Assim, diferentes mecanismos de pesquisa apresentam diferentes maneiras de ponderar a importância.

Os algoritmos usados ​​por vários mecanismos de pesquisa são bem protegidos, para impedir que as pessoas criem páginas especificamente para obter melhores classificações ou, pelo menos, limitar o grau em que podem fazer isso. Essa diferença é a razão pela qual diferentes mecanismos de pesquisa geram resultados diferentes para os mesmos termos. O Google pode determinar que uma página é o melhor resultado para um termo de pesquisa, e o Ask pode determinar que a mesma página não esteja entre as 50 principais. Tudo isso se baseia apenas em como eles valorizam os links de entrada e saída, a densidade das palavras-chave que eles usam. acham importante, como eles valorizam o posicionamento diferente das palavras e qualquer número de fatores menores.

A tendência mais recente nos mecanismos de pesquisa, e provavelmente o futuro da pesquisa em geral, é deixar de pesquisas baseadas em palavras-chave para pesquisas baseadas em conceitos. Nessa nova forma de pesquisa, em vez de limitar uma pesquisa às palavras-chave inseridas pelo pesquisador, o mecanismo de pesquisa tenta descobrir o que essas palavras-chave significam, para que possa sugerir páginas que podem não incluir a palavra exata, mas que são tópicos para a pesquisa. Esse ainda é um campo em desenvolvimento, mas até agora parece ter muito potencial para tornar as pesquisas mais relevantes, tornando a Web um lugar ainda mais fácil para encontrar exatamente o que você está procurando.