Quel était le premier moteur de recherche?
Un moteur de recherche est un programme informatique qui permet de récupérer des informations dans une base de données en fonction de certains critères définis par l'utilisateur. Les moteurs de recherche modernes effectuent des recherches dans des bases de données contenant d’énormes quantités de données, collectées à partir du Web, de groupes de discussion et de projets d’annuaires. L’évolution du moteur de recherche a été assez rapide, le premier véritable moteur de recherche apparaissant au début des années 90 et le premier moteur de recherche moderne apparaissant en 1995.
Avant l'apparition du World Wide Web, mais après l'avènement d'Internet et sa popularité dans le circuit universitaire, le premier moteur de recherche a été créé. À ce stade de l'histoire - à la fin des années 80 et au début des années 90 - l'un des principaux protocoles utilisés sur Internet était le protocole de transfert de fichiers (FTP). Les serveurs FTP existaient dans le monde entier, généralement sur des campus universitaires, des centres de recherche ou des agences gouvernementales. Certains étudiants de l'Université McGill à Montréal ont décidé qu'une base de données centralisée des fichiers disponibles sur les divers serveurs FTP populaires permettrait de gagner du temps et d'offrir un excellent service aux autres. C'était l'origine du moteur de recherche Archie.
Archie, qui était un raccourci pour archive, était un moteur de recherche qui se connectait régulièrement aux serveurs FTP de sa liste et créait un index des fichiers présents sur le serveur. Le temps de traitement du processeur et la bande passante demeurant un produit de grande valeur, Archie ne vérifiait les mises à jour que tous les mois. Au début, l'index construit par Archie devait être vérifié à l'aide de la commande Unix grep , mais une meilleure interface utilisateur fut bientôt développée pour faciliter la recherche dans l'index. Après Archie, une poignée de moteurs de recherche ont vu le jour pour rechercher le protocole similaire à Gopher - deux des plus célèbres étant les moteurs de recherche Jughead et Veronica. Archie est devenu relativement obsolète avec l'avènement du World Wide Web et des moteurs de recherche ultérieurs, mais les serveurs Archie existent toujours.
En 1993, peu après la création du World Wide Web, Matthew Gray développa le World Wide Web Wanderer, qui était le premier robot Web. Le World Wide Web Wanderer a indexé tous les sites Web qui existaient sur Internet en capturant leurs URL, mais n'a suivi aucun contenu réel de ces sites. L'index associé au Wanderer, qui était un des premiers moteurs de recherche, s'appelait Wandex.
Quelques autres petits projets ont vu le jour après le Wanderer, qui a commencé à s'approcher du moteur de recherche moderne. Ceux-ci comprenaient le World Wide Web Worm, l'araignée RBSE (Repository-Based Software Engineering) et JumpStation. Ces trois moteurs de recherche ont utilisé les données collectées par les robots Web pour renvoyer ces informations aux utilisateurs. Néanmoins, la plupart des informations ont été renvoyées sans filtre, bien que RBSE ait tenté de classer la valeur des pages.
En 1993, une société fondée par des étudiants de Stanford, nommée Excite, a publié ce qui est sans doute le premier moteur de recherche à intégrer réellement l’analyse du contenu de la page. Cette offre initiale était destinée à la recherche sur un site, mais pas à la recherche sur le Web dans son ensemble.
En 1994, toutefois, le monde des moteurs de recherche a connu une avancée majeure. Une société appelée WebCrawler est entrée en production avec un moteur de recherche qui non seulement a capturé le titre et l'en-tête des pages sur Internet, mais a également saisi tout le contenu. WebCrawler a rencontré un énorme succès, à tel point qu'il ne pouvait même pas être utilisé la plupart du temps, car toutes ses ressources système étaient utilisées.
Un peu plus tard, Lycos est sorti cette année-là, intégrant bon nombre des mêmes fonctionnalités que WebCrawler et s'appuyant sur celles-ci. Lycos a classé ses résultats en fonction de leur pertinence et a permis à l'utilisateur de modifier un certain nombre de paramètres pour obtenir des résultats plus ajustés. Lycos était également énorme: en un an, il comptait plus d'un million de sites Web archivés et en deux ans, il atteignait 60 millions.
Le premier moteur de recherche serait Archie. Cependant, la plupart des gens, lorsqu'ils parlent d'un moteur de recherche, veulent dire quelque chose de très différent de ce qu'Archie a fait. Même les derniers moteurs de recherche WWW ne répondent pas à nos critères modernes jusqu'à l'avènement de WebCrawler et de Lycos, les premiers moteurs de recherche véritablement modernes.