O que é análise lexical?

A análise lexical é o processo de tomar uma série de caracteres - ou, mais simplesmente, texto - e convertê -lo em grupos significativos chamados tokens. Essa metodologia utiliza em uma ampla variedade de aplicações, desde a interpretação de linguagens do computador até a análise de livros. A análise lexical não é sinônimo de análise; Em vez disso, é a primeira etapa do processo total de análise e cria matéria -prima para uso posterior. Um exemplo comum disso é dividir frases por palavras; Isso é freqüentemente feito dividindo frases em torno de espaços. Cada sequência contínua de caracteres gerados sem espaços é um lexeme. As seqüências de texto podem ser divididas em um ou muitos tipos de caracteres, criando várias versões de lexemas com complexidade variável. Os tokens são gerados depois que cada lexeme foi avaliado e emparelhado com seu valor correspondente; porDefinição, os tokens se referem a esse emparelhamento, não apenas ao lexeme. Seu objetivo é apenas gerar blocos de construção para estudos adicionais, não determinar se essas peças são válidas ou inválidas. No caso de interpretação da linguagem do computador, a validação é feita por análise de sintaxe e a validação do texto pode ser feita em termos de contexto ou conteúdo. Se uma sequência de entrada for completamente dividida em lexemes apropriados e cada um desses lexemes tiver um valor apropriado, a análise será considerada bem -sucedida.

Sem contexto ou capacidade de realizar validação, a análise lexical não pode ser usada com segurança para encontrar erros na entrada. Uma gramática lexical pode ter valores de erro atribuídos a lexemas específicos, e essa análise também pode detectar tokens ilegais ou malformados. Embora encontrar um token ilegal ou malformado assinaAl inválido entrada, não tem influência sobre se os outros tokens são válidos e, portanto, não é estritamente um tipo de validação.

Embora a análise lexical seja parte integrante de muitos algoritmos, ela deve ser usada frequentemente em conjunto com outras metodologias para criar resultados significativos. Por exemplo, dividir uma sequência de texto em palavras para determinar as frequências utiliza a criação do Lexeme, mas a criação do Lexeme sozinha não pode monitorar o número de vezes que um lexeme em particular aparece na entrada. A análise lexical pode ser útil por si só se os próprios lexemes forem notáveis, mas grandes quantidades de entrada podem dificultar a análise de lexemas brutos devido ao volume de dados.