Che cos'è l'analisi lessicale?
L'analisi lessicale è il processo di acquisizione di una serie di caratteri - o, più semplicemente, di testo - e la conversione in gruppi significativi chiamati token. Questa metodologia è utilizzata in un'ampia varietà di applicazioni, dall'interpretazione dei linguaggi informatici all'analisi dei libri. L'analisi lessicale non è sinonimo di analisi; piuttosto, è il primo passo del processo di analisi totale e crea materia prima per un uso successivo.
I blocchi costitutivi di token, chiamati anche lessemi, possono essere generati in molti modi, a seconda della grammatica richiesta per l'analisi lessicale. Un esempio comune di ciò è la divisione delle frasi in parole; questo è spesso fatto dividendo le frasi attorno agli spazi. Ogni stringa continua di caratteri generati senza spazi è un lessema. Le stringhe di testo possono essere suddivise su uno o più tipi di caratteri, creando più versioni di lessemi con complessità variabile. I token vengono generati dopo che ogni lessico è stato valutato e associato al valore corrispondente; per definizione, i token si riferiscono a questo abbinamento, non solo al lessico.
L'analisi lessicale, in qualche modo controintuitiva, spoglia una stringa di testo del suo contesto. Il suo scopo è solo quello di generare elementi costitutivi per ulteriori studi, non per determinare se quei pezzi sono validi o non validi. Nel caso dell'interpretazione del linguaggio informatico, la convalida viene effettuata mediante analisi della sintassi e la convalida del testo può essere effettuata in termini di contesto o contenuto. Se una stringa di input è completamente divisa in lessici appropriati e ciascuno di tali lessici ha un valore appropriato, l'analisi viene considerata corretta.
Senza contesto o capacità di eseguire la convalida, l'analisi lessicale non può essere utilizzata in modo affidabile per trovare errori nell'input. Una grammatica lessicale potrebbe avere valori di errore assegnati a lessemi specifici e tale analisi può anche rilevare token illegali o non validi. Sebbene la ricerca di un token illegale o non valido segnali un input non valido, non ha alcuna influenza sul fatto che gli altri token siano validi e quindi non è strettamente un tipo di convalida.
Sebbene l'analisi lessicale sia parte integrante di molti algoritmi, spesso deve essere utilizzata insieme ad altre metodologie per creare risultati significativi. Ad esempio, la suddivisione di una stringa di testo in parole per determinare le frequenze fa uso della creazione del lessema, ma la creazione del lessema da sola non può monitorare il numero di volte in cui un particolare lexema appare nell'input. L'analisi lessicale può essere utile da sola se i lessemi stessi sono importanti, ma grandi quantità di input potrebbero rendere difficile l'analisi dei lessemi grezzi a causa del volume di dati.