어휘 분석이란 무엇입니까?

어휘 분석은 일련의 문자열 (또는 더 간단한 텍스트)을 취하고이를 토큰이라고 불리는 의미있는 그룹으로 변환하는 과정입니다. 이 방법론은 컴퓨터 언어 해석에서 책 분석에 이르기까지 다양한 응용 프로그램에 사용됩니다. 어휘 분석은 구문 분석과 동의어가 아닙니다. 오히려, 그것은 총 구문 분석 과정의 첫 번째 단계이며, 나중에 사용할 수있는 원료를 만듭니다.

lexemes라고도하는 토큰의 빌딩 블록은 어휘 분석에 필요한 문법에 따라 여러 가지 방법으로 생성 될 수 있습니다. 이것의 일반적인 예는 단어로 문장을 나누는 것입니다. 이것은 공백 주위에 문장을 분할하여 종종 수행됩니다. 공백없이 생성 된 각 연속 문자열은 lexeme입니다. 텍스트 문자열은 하나 또는 여러 유형의 문자로 분할되어 다양한 복잡성을 가진 여러 버전의 Lexemes를 생성 할 수 있습니다. 각 Lexeme이 평가되고 해당 값과 쌍을 이룬 후 토큰이 생성됩니다. ~에 의해정의, 토큰은 Lexeme뿐만 아니라이 페어링을 나타냅니다.

어휘 분석은 다소 직관적으로 컨텍스트의 텍스트 문자열을 제거합니다. 그 목적은 추가 연구를 위해 빌딩 블록을 생성하는 것입니다. 해당 작품이 유효하거나 유효하지 않은지 확인하지 않습니다. 컴퓨터 언어 해석의 경우 확인은 구문 분석에 의해 수행되며 텍스트 검증은 컨텍스트 또는 내용 측면에서 수행 할 수 있습니다. 입력 문자열이 적절한 Lexemes로 완전히 나뉘고 각 Lexemes가 적절한 값을 갖는 경우 분석은 성공한 것으로 간주됩니다.

컨텍스트 나 검증을 수행 할 수있는 능력이 없으면, 어휘 분석을 입력 오류를 찾기 위해 안정적으로 사용할 수 없습니다. 어휘 문법은 특정 렉시에 오류 값이 할당 될 수 있으며, 이러한 분석은 불법 또는 기형 토큰을 감지 할 수도 있습니다. 불법적이거나 기절 된 토큰을 찾는 것은 서명합니다Al 유효하지 않은 입력, 다른 토큰이 유효한지 여부와 관련이 없으므로 엄격히 유형의 검증이 아닙니다.

어휘 분석은 많은 알고리즘의 필수 부분이지만 다른 방법론과 함께 사용되어 의미있는 결과를 만들어야합니다. 예를 들어, 텍스트 문자열을 단어로 분할하여 주파수를 결정하면 Lexeme 생성을 사용하지만 Lexeme 생성만으로는 특정 Lexeme이 입력에 나타나는 횟수를 모니터링 할 수 없습니다. 어휘 분석은 Lexemes 자체가 주목할 만하면 자체적으로 유용 할 수 있지만 많은 양의 입력이 데이터의 양으로 인해 원시 Lexemes의 분석을 어려울 수 있습니다.