Preguntas etiquetadas con lexer

¿Son los lexers y analizadores realmente tan diferentes en teoría? Parece estar de moda odiar las expresiones regulares: codificar el horror , otra publicación de blog . Sin embargo, las herramientas populares basadas en lexing: pygments , geshi o prettify , todas usan expresiones regulares. Parecen dejarlo todo ... ¿Cuándo …

308 parsing  antlr  lexer  pygments 

Estoy buscando una definición clara de lo que son "tokenizer", "parser" y "lexer" y cómo se relacionan entre sí (por ejemplo, ¿un analizador utiliza un tokenizer o viceversa)? Necesito crear un programa que vaya a través de archivos fuente c / h para extraer la declaración de datos y las …

151 parsing  lexer  tokenize 

Quiero aprender a escribir un lexer. Mi curso universitario tenía una tarea en la que teníamos que escribir un analizador sintáctico (y un lexer para acompañarlo), pero esto nos fue entregado sin instrucciones ni comentarios (más allá de la marca), así que realmente no aprendí mucho de él. Después de …

85 language-agnostic  lexer  compiler-construction