Was ist lexikalische Analyse?

lexikalische Analyse ist der Prozess der Aufnahme einer Zeichenfolge - oder einfacher Text - und sie in sinnvolle Gruppen, die als Token bezeichnet werden, umzuwandeln. Diese Methodik wird in einer Vielzahl von Anwendungen verwendet, von der Interpretation von Computersprachen bis zur Analyse von Büchern. Die lexikalische Analyse ist nicht gleichbedeutend mit Parsen; Es ist vielmehr der erste Schritt des Gesamt -Analyseprozesses und erzeugt Rohstoff für die spätere Verwendung. Ein häufiges Beispiel dafür ist die Aufteilung von Sätzen nach Wörtern; Dies erfolgt häufig durch Teilen von Sätzen um die Räume. Jede kontinuierliche Zeichenfolge ohne Lexem ist ein Lexem. Textzeichenfolgen können auf einem oder vielen Arten von Zeichen aufgeteilt werden, wodurch mehrere Versionen von Lexemen mit unterschiedlicher Komplexität erstellt werden. Token werden erzeugt, nachdem jedes Lexem bewertet und mit seinem entsprechenden Wert gepaart wurde. vonDefinition, Token beziehen sich auf diese Paarung, nicht nur auf das Lexem. Sein Zweck besteht nur darin, Bausteine ​​für die weitere Untersuchung zu generieren und nicht festzustellen, ob diese Teile gültig oder ungültig sind. Bei der Interpretation der Computersprache erfolgt die Validierung durch Syntaxanalyse und die Validierung des Textes kann im Hinblick auf den Kontext oder den Inhalt durchgeführt werden. Wenn eine Eingangszeichenfolge vollständig in geeignete Lexeme unterteilt ist und jedes dieser Lexeme einen geeigneten Wert hat, wird die Analyse als erfolgreich angesehen.

Ohne Kontext oder die Fähigkeit zur Durchführung von Validierung kann die lexikalische Analyse nicht zuverlässig verwendet werden, um Fehler in der Eingabe zu finden. Eine lexikalische Grammatik kann Fehlerwerte aufweisen, die bestimmten Lexemen zugewiesen sind, und eine solche Analyse kann auch illegale oder missgebildete Token erkennen. Obwohl das Finden eines illegalen oder missgebildeten Tokens unterzeichnet istAl Ungültige Eingabe, es hat keinen Einfluss darauf, ob die anderen Token gültig sind, und es ist daher nicht ausschließlich eine Art von Validierung.

Obwohl die lexikalische Analyse ein wesentlicher Bestandteil vieler Algorithmen ist, muss sie häufig in Verbindung mit anderen Methoden verwendet werden, um sinnvolle Ergebnisse zu erzielen. Wenn Sie beispielsweise eine Textzeichenfolge in Wörter aufteilen, um die Frequenzen zu bestimmen, verwendet die Erstellung von Lexeme, aber die Erstellung von Lexeme allein kann nicht die Anzahl der in der Eingabe erscheinenden Lexem erscheint. Die lexikalische Analyse kann für sich genommen nützlich sein, wenn die Lexeme selbst von Bedeutung sind, aber große Mengen an Eingaben könnten aufgrund des Datenvolumens schwierig werden.