Hvordan fungerer søkemotorer?
Søkemotorer er i utgangspunktet datamaskinalgoritmer som hjelper brukere å finne den spesifikke informasjonen de leter etter. Med bokstavelig talt billioner sider med informasjon på nettet, uten effektive søkemotorer, ville det være nesten umulig å finne noe på Internett. Ulike søkemotorer fungerer på forskjellige spesifikke måter, men de bruker alle de samme grunnleggende prinsippene.
Det første søkemotorene må gjøre for å fungere, er å lage en lokal database over, i utgangspunktet, Internett. Tidlige søkemotorer indekserte bare nøkkelord og titler på sider, men moderne søkemotorer indekserer all teksten på hver side, i tillegg til mye annen informasjon om sidens forhold til andre sider, og i noen tilfeller hele eller en del av mediene som er tilgjengelige på siden også. Søkemotorer må indeksere all denne informasjonen slik at de kan kjøre søk på den effektivt, i stedet for å måtte løpe rundt på Internett hver gang et søk blir sendt.
Søkemotorer oppretter disse databasene ved å utføre periodiske gjennomganger av Internett. Tidlige søkemotorer krevde ofte at sider ble sendt til dem for å gjennomsøke dem, men nå er de fleste sider funnet ved å følge lenker fra andre sider. Det som kalles roboter eller edderkopper, dataprogrammer som er bygd for å indeksere sider, flit fra side til side, registrere alle dataene på siden og følge hver lenke til nye sider. Ulike søkemotorer frisker opp indeksene sine med forskjellige intervaller, avhengig av hvor mange edderkopper de konstant har gjennomgått, og hvor raskt disse edderkoppene kryper, med noen som jobber seg gjennom Internett hver dag eller to, og andre gjør bare periodisk oppdatering hver uke eller måned.
Når edderkoppen går gjennom disse sidene, registrerer den ordene den finner på sidene. Den lager notater om hvor mange ganger hvert ord vises, om ordene er vektet på bestemte måter, kanskje basert på størrelse, beliggenhet eller HTML-merking, og bestemmer hvor relevant ordene er basert på koblingene som kommer inn på siden, og på den generelle konteksten på siden.
Søkemotorer må deretter vekt på verdien på hver side og verdien på hver side for ordene som vises på den. Dette er den vanskeligste delen av hva en søkemotor må gjøre, men også den viktigste. På det mest enkle nivået kunne en søkemotor ganske enkelt følge med på hvert ord på siden, og registrere den siden som relevant for søk med det søkeordet. Dette vil ikke gjøre mye bra for de fleste brukere, ettersom det som ønskes er den mest relevante siden for søk. Så forskjellige søkemotorer har forskjellige måter å vektlegge viktighet på.
Algoritmene som forskjellige søkemotorer bruker er godt beskyttet, for å forhindre at folk spesifikt oppretter sider for å få bedre rangering, eller i det minste for å begrense i hvilken grad de kan gjøre det. Denne forskjellen er grunnen til at forskjellige søkemotorer gir forskjellige resultater for de samme vilkårene. Google kan bestemme at en side er det beste resultatet for et søkeord, og Ask kan bestemme at den samme siden ikke en gang er i topp 50. Dette er bare basert på hvordan de verdsetter inngående og utgående lenker, tettheten av nøkkelordene de synes det er viktig, hvordan de verdsetter forskjellig plassering av ord, og et hvilket som helst antall mindre faktorer.
Den nyeste trenden i søkemotorer, og sannsynligvis fremtiden for søk generelt, er å bevege seg fra søkeordbaserte søk til konseptbaserte søk. I denne nye formen for søk, i stedet for å begrense et søk til nøkkelordene som søkeren skriver inn, prøver søkemotoren å finne ut hva disse søkeordene betyr, slik at den kan foreslå sider som kanskje ikke inneholder det eksakte ordet, men som likevel er aktuelle for søket. Dette er fortsatt et utviklingsfelt, men så langt ser det ut til å ha mye potensiale i å gjøre søk mer relevante, noe som gjør nettet til et enda enklere sted å finne akkurat det du leter etter.