Hur fungerar sökmotorer?

Sökmotorer är i grund och botten datoralgoritmer som hjälper användare att hitta den specifika information de letar efter. Med bokstavligen biljoner sidor med information online, utan effektiva sökmotorer, skulle det vara nästan omöjligt att hitta något på Internet. Olika sökmotorer fungerar på olika specifika sätt, men alla använder samma grundprinciper.

Det första sökmotorerna måste göra för att fungera är att skapa en lokal databas över, i princip, Internet. Tidiga sökmotorer indexerade bara nyckelord och titlar på sidor, men samtida sökmotorer indexerar all text på varje sida, liksom en hel del annan information om sidans förhållande till andra sidor, och i vissa fall hela eller en del av media tillgängliga på sidan också. Sökmotorer måste indexera all denna information så att de kan köra sökningar på den effektivt, snarare än att behöva köra runt på Internet varje gång en sökfråga skickas.

Sökmotorer skapar dessa databaser genom att utföra periodiska genomsökningar av Internet. Tidiga sökmotorer krävde ofta att sidor skickades till dem för att genomsöka dem, men nu hittas de flesta sidor genom att följa länkar från andra sidor. Vad kallas robotar eller spindlar, datorprogram byggda för att indexera sidor, flit från sida till sida, spela in all information på sidan och följa varje länk till nya sidor. Olika sökmotorer uppdaterar sina index med olika intervall, beroende på hur många spindlar de ständigt har genomsöker, och hur snabbt dessa spindlar kryper, med vissa som arbetar på Internet varje dag eller två, och andra gör bara en periodisk uppdatering varje vecka eller månad.

När spindeln går igenom dessa sidor registrerar den orden den hittar på sidorna. Det gör anteckningar om hur många gånger varje ord visas, om orden vägs på vissa sätt, kanske baserat på storlek, plats eller HTML-markering, och bestämmer hur relevant orden är baserade på länkarna som kommer in på sidan, och på sidans allmänna sammanhang.

Sökmotorer måste då väga värdet på varje sida och värdet på varje sida för orden som visas på den. Detta är den svåraste delen av vad en sökmotor har att göra, men också den viktigaste. På den mest enkla nivån kan en sökmotor helt enkelt hålla reda på varje ord på sidan och spela in den sidan som relevant för sökningar med det sökordet. Detta skulle dock inte göra mycket bra för de flesta användare, eftersom vad som önskas är den mest relevanta sidan för deras sökfråga. Så olika sökmotorer har olika sätt att vikta vikt.

Algoritmerna som olika sökmotorer använder är väl skyddade, för att förhindra att människor specifikt skapar sidor för att få bättre rankningar, eller åtminstone för att begränsa i vilken grad de kan göra det. Denna skillnad är varför olika sökmotorer ger olika resultat för samma termer. Google kan bestämma att en sida är det bästa resultatet för en sökterm, och Ask kan bestämma att samma sida inte ens ligger i topp 50. Det här är bara baserat på hur de värderar inkommande och utgående länkar, tätheten för sökorden de hitta viktigt, hur de värderar olika placering av ord och valfritt antal mindre faktorer.

Den senaste trenden i sökmotorerna, och sannolikt framtidens sökning i allmänhet, är att flytta från sökordsbaserade sökningar till konceptbaserade sökningar. I denna nya sökform, snarare än att begränsa en sökning till de sökord som sökaren matar in, försöker sökmotorn att ta reda på vad dessa sökord betyder, så att den kan föreslå sidor som kanske inte innehåller det exakta ordet, men ändå är aktuella för sökningen. Detta är fortfarande ett utvecklingsfält, men hittills verkar det ha mycket potential att göra sökningar mer relevanta, vilket gör webben till en ännu enklare plats att hitta exakt vad du letar efter.