Hva var den første søkemotoren?
En søkemotor er et dataprogram som fungerer som en måte å hente informasjon fra en database på, basert på visse kriterier definert av brukeren. Moderne søkemotorer søker i databaser som inneholder enorme mengder data, samlet inn fra World Wide Web, nyhetsgrupper og katalogprosjekter. Utviklingen av søkemotoren var ganske rask, med den tidligste sanne søkemotoren som dukket opp på begynnelsen av 1990-tallet, og den første moderne søkemotoren i 1995.
Før World Wide Web eksisterte, men etter bruk av Internett og dens påfølgende popularitet i universitetskretsen, ble den første søkemotoren opprettet. På dette tidspunktet i historien - på slutten av 1980-tallet og begynnelsen av 1990-tallet - var en av hovedprotokollene som ble brukt på Internett filoverføringsprotokollen (FTP). FTP-servere fantes over hele verden, vanligvis på universitetscampus, forskningsanlegg eller offentlige etater. Noen studenter ved McGill University i Montreal bestemte seg for at en sentralisert database med filer som er tilgjengelige på de forskjellige populære FTP-serverne, ville bidra til å spare tid og tilby en god service til andre. Dette var opprinnelsen til Archie-søkemotoren.
Archie, som var forkortelse for arkiv, var en søkemotor som regelmessig logget på FTP-servere i listen sin, og laget en indeks over hvilke filer som var på serveren. Siden prosessortid og båndbredde fremdeles var en ganske verdifull handelsvare, sjekket Archie bare for oppdateringer hver måned. Først var indeksen som Archie bygde ment å bli sjekket ved hjelp av Unix-kommandoen grep , men et bedre brukergrensesnitt ble snart utviklet for å muliggjøre enkelt søk i indeksen. Etter Archie dukket det opp en håndfull søkemotorer for å søke i den lignende Gopher-protokollen - to av de mest berømte var søkemotorene Jughead og Veronica. Archie ble relativt foreldet med bruk av World Wide Web og påfølgende søkemotorer, men Archie-servere eksisterer fortsatt.
I 1993, ikke lenge etter opprettelsen av World Wide Web, utviklet Matthew Gray World Wide Web Wanderer, som var den første nettroboten. World Wide Web Wanderer indekserte alle nettstedene som fantes på internett ved å fange opp URL-ene, men sporet ikke noe av det faktiske innholdet på nettstedene. Indeksen assosiert med Wanderer, som var en tidlig slags søkemotor, ble kalt Wandex.
Noen få andre små prosjekter vokste opp etter Wanderer, som begynte å nærme seg den moderne søkemotoren. Disse inkluderer World Wide Web Worm, Repository-Based Software Engineering (RBSE) edderkopp og JumpStation. Alle disse tre søkemotorene brukte data samlet av nettroboter for å returnere informasjonen til brukerne. Likevel ble informasjon nettopp returnert ufiltrert for det meste, selv om RBSE forsøkte å rangere verdien av sider.
I 1993 ga et selskap grunnlagt av noen Stanford-studenter, kalt Excite, ut den som uten tvil er den første søkemotoren som faktisk har integrert analyse av sideinnholdet. Dette første tilbudet var ment for å søke på et nettsted, men ikke å søke på nettet som helhet.
I 1994 hadde imidlertid søkemotorens verden et stort gjennombrudd. Et selskap kalt WebCrawler gikk live med en søkemotor som ikke bare fanget tittelen og overskriften på sider på Internett, men grep alt innholdet også. WebCrawler var enormt vellykket - så vellykket at mye av tiden den ikke engang kunne utnyttes fordi systemressursene alle ble brukt.
Noe senere samme år ble Lycos utgitt, inkludert mange av de samme funksjonene som WebCrawler, og som bygger på dem. Lycos rangerte resultatene basert på relevans, og tillot brukeren å finpusse et antall innstillinger for å få resultater som passer bedre. Lycos var også enormt - i løpet av året hadde det godt over en million nettsteder arkivert, og innen to år hadde det nådd 60 millioner.
Den første søkemotoren ville være mest nøyaktig Archie. Men de fleste, når de snakker om en søkemotor, betyr noe ganske annet enn det Archie gjorde. Selv de senere WWW-søkemotorene oppfyller ikke våre moderne kriterier før advent av WebCrawler og Lycos, de første virkelig moderne søkemotorene.