Was war die erste Suchmaschine?
Eine Suchmaschine ist ein Computerprogramm, mit dem auf der Grundlage bestimmter vom Benutzer definierter Kriterien Informationen aus einer Datenbank abgerufen werden können. Moderne Suchmaschinen durchsuchen Datenbanken mit riesigen Datenmengen, die aus dem World Wide Web, Newsgroups und Verzeichnisprojekten stammen. Die Entwicklung der Suchmaschine verlief recht schnell: Anfang der neunziger Jahre tauchte die erste echte Suchmaschine auf, und 1995 erschien die erste moderne Suchmaschine.
Bevor es das World Wide Web gab, wurde nach dem Aufkommen des Internets und der damit einhergehenden Popularität im Universitätskreis die erste Suchmaschine geschaffen. Zu diesem Zeitpunkt in der Geschichte - in den späten 1980er und frühen 1990er Jahren - war eines der Hauptprotokolle, die im Internet verwendet wurden, das File Transfer Protocol (FTP). FTP-Server gab es auf der ganzen Welt, in der Regel an Universitäten, Forschungseinrichtungen oder Regierungsbehörden. Einige Studenten der McGill University in Montreal waren der Meinung, dass eine zentralisierte Datenbank mit Dateien, die auf den verschiedenen gängigen FTP-Servern verfügbar ist, Zeit spart und anderen einen hervorragenden Service bietet. Dies war der Ursprung der Archie-Suchmaschine.
Archie war eine Suchmaschine, die sich regelmäßig bei FTP-Servern in ihrer Liste anmeldete und einen Index der Dateien auf dem Server erstellte. Da Prozessorzeit und Bandbreite immer noch ein ziemlich wertvolles Gut waren, suchte Archie nur etwa jeden Monat nach Updates. Zunächst sollte der von Archie erstellte Index mit dem Unix-Befehl grep überprüft werden, doch bald wurde eine bessere Benutzeroberfläche entwickelt, um das Durchsuchen des Index zu vereinfachen. Nach Archie suchten eine Handvoll Suchmaschinen nach dem ähnlichen Gopher-Protokoll - zwei der bekanntesten sind die Suchmaschinen Jughead und Veronica. Archie wurde mit dem Aufkommen des World Wide Web und der nachfolgenden Suchmaschinen relativ obsolet, aber Archie-Server existieren immer noch.
1993, nicht lange nach der Gründung des World Wide Web, entwickelte Matthew Gray den World Wide Web Wanderer, den ersten Webroboter. Der World Wide Web Wanderer indizierte alle im Internet vorhandenen Websites, indem er deren URLs aufzeichnete, ohne jedoch den tatsächlichen Inhalt der Websites nachzuverfolgen. Der dem Wanderer zugeordnete Index, der eine frühe Art von Suchmaschine war, hieß Wandex.
Ein paar andere kleine Projekte sind nach dem Wanderer entstanden, der sich der modernen Suchmaschine zu nähern begann. Dazu gehörten der World Wide Web-Wurm, der Repository-basierte Software Engineering (RBSE) -Spider und JumpStation. Alle diese drei Suchmaschinen verwendeten Daten, die von Web-Robotern gesammelt wurden, um diese Informationen an die Benutzer zurückzugeben. Die Informationen wurden jedoch größtenteils ungefiltert zurückgegeben, obwohl RBSE versucht hat, den Wert von Seiten zu bewerten.
1993 veröffentlichte eine von einigen Stanford-Studenten gegründete Firma namens Excite die wohl erste Suchmaschine, die eine Analyse des Seiteninhalts enthält. Dieses Erstangebot war für die Suche innerhalb einer Website gedacht, jedoch nicht für die Suche im gesamten Web.
1994 hatte die Welt der Suchmaschinen einen großen Durchbruch. Eine Firma namens WebCrawler ging mit einer Suchmaschine online, die nicht nur den Titel und die Kopfzeile von Seiten im Internet aufzeichnete, sondern auch den gesamten Inhalt aufnahm. WebCrawler war enorm erfolgreich - so erfolgreich, dass es die meiste Zeit nicht einmal genutzt werden konnte, da alle Systemressourcen genutzt wurden.
Etwas später in diesem Jahr wurde Lycos veröffentlicht, das viele der gleichen Funktionen wie WebCrawler enthielt und auf diesen aufbaute. Lycos stufte seine Ergebnisse nach Relevanz ein und erlaubte dem Benutzer, eine Reihe von Einstellungen zu ändern, um Ergebnisse zu erzielen, die besser passen. Lycos war auch riesig - innerhalb eines Jahres wurden weit über eine Million Websites archiviert und innerhalb von zwei Jahren waren es 60 Millionen.
Die erste Suchmaschine wäre am genauesten Archie. Allerdings meinen die meisten Leute, wenn sie über eine Suchmaschine sprechen, etwas ganz anderes als das, was Archie getan hat. Selbst die späteren WWW-Suchmaschinen erfüllen unsere modernen Kriterien erst mit WebCrawler und Lycos, den ersten wirklich modernen Suchmaschinen.