Hoe werken zoekmachines?
Zoekmachines zijn in principe computeralgoritmen die gebruikers helpen de specifieke informatie te vinden waarnaar ze op zoek zijn. Met letterlijk triljoenen pagina's online informatie, zonder effectieve zoekmachines, zou het vinden van iets op internet bijna onmogelijk zijn. Verschillende zoekmachines werken op verschillende specifieke manieren, maar ze gebruiken allemaal dezelfde basisprincipes.
Het eerste wat zoekmachines moeten doen om te kunnen functioneren, is een lokale database maken van, in principe, internet. Vroege zoekmachines indexeerden alleen trefwoorden en titels van pagina's, maar hedendaagse zoekmachines indexeren alle tekst op elke pagina, evenals een heleboel andere gegevens over de relatie van die pagina met andere pagina's, en in sommige gevallen alle of een deel van de media ook beschikbaar op de pagina. Zoekmachines moeten al deze informatie indexeren, zodat ze er efficiënt zoekopdrachten op kunnen uitvoeren, in plaats van dat ze telkens rond het internet moeten lopen als er een zoekopdracht wordt verzonden.
Zoekmachines maken deze databases door periodieke crawls van internet uit te voeren. Vroege zoekmachines moesten vaak pagina's indienen om ze te kunnen doorzoeken, maar nu worden de meeste pagina's gevonden door links van andere pagina's te volgen. Wat robots of spiders worden genoemd, computerprogramma's die zijn gebouwd om pagina's te indexeren, van pagina naar pagina bladeren, alle gegevens op de pagina opnemen en elke link naar nieuwe pagina's volgen. Verschillende zoekmachines vernieuwen hun indexen met verschillende intervallen, afhankelijk van het aantal spiders dat ze constant crawlen, en hoe snel die spiders crawlen, met sommige die elke dag of twee op internet werken, en anderen doen alleen een periodieke verversing elke week of maand.
Terwijl de spin deze pagina's doorloopt, neemt hij de woorden op die hij op de pagina's vindt. Het maakt aantekeningen over hoe vaak elk woord wordt weergegeven, of de woorden op bepaalde manieren worden gewogen, misschien op basis van grootte, locatie of HTML-opmaak, en bepaalt hoe relevant de woorden zijn op basis van de links die naar de pagina komen, en op de algemene context van de pagina.
Zoekmachines moeten vervolgens de waarde van elke pagina wegen en de waarde van elke pagina voor de woorden die erop voorkomen. Dit is het lastigste deel van wat een zoekmachine moet doen, maar ook het belangrijkste. Op het meest eenvoudige niveau kan een zoekmachine eenvoudig elk woord op de pagina bijhouden en die pagina opnemen als relevant voor zoekopdrachten met dat trefwoord. Dit zou echter niet veel goeds doen voor de meeste gebruikers, omdat de meest relevante pagina voor hun zoekopdracht gewenst is. Verschillende zoekmachines hebben dus verschillende manieren om belang te wegen.
De algoritmen die verschillende zoekmachines gebruiken, zijn goed beschermd, om te voorkomen dat mensen specifiek pagina's maken om betere rangen te krijgen, of op zijn minst om de mate te beperken waarin ze dat kunnen doen. Dit verschil is waarom verschillende zoekmachines verschillende resultaten opleveren voor dezelfde termen. Google kan bepalen dat één pagina het beste resultaat is voor een zoekterm, en Ask kan bepalen dat dezelfde pagina niet eens in de top 50 staat. Dit is allemaal alleen gebaseerd op hoe ze waarde hechten aan inkomende en uitgaande links, de dichtheid van de zoekwoorden die ze gebruiken belangrijk vinden, hoe ze verschillende plaatsing van woorden waarderen, en een willekeurig aantal kleinere factoren.
De nieuwste trend in zoekmachines, en waarschijnlijk de toekomst van zoeken in het algemeen, is om over te schakelen van zoekopdrachten op basis van zoekwoorden naar zoekopdrachten op basis van concepten. In deze nieuwe vorm van zoeken, in plaats van een zoekopdracht te beperken tot de trefwoorden die de zoeker invoert, probeert de zoekmachine erachter te komen wat die trefwoorden betekenen, zodat het pagina's kan suggereren die mogelijk niet het exacte woord bevatten, maar desondanks actueel zijn voor de zoektocht. Dit is nog steeds een ontwikkelingsgebied, maar tot nu toe lijkt het veel potentieel te hebben om zoekopdrachten relevanter te maken, waardoor het internet een nog gemakkelijkere plek wordt om precies te vinden wat u zoekt.