Preguntas etiquetadas con lexer

Recientemente me sumergí en el mundo de los analizadores sintéticos, queriendo crear mi propio lenguaje de programación. Sin embargo, descubrí que existen dos enfoques algo diferentes para escribir analizadores: Generadores de analizadores y Combinadores de analizadores. Curiosamente, no he podido encontrar ningún recurso que explique en qué casos qué enfoque …

60 parsing  lexer  parser-combinator 

Estoy trabajando lentamente para terminar mi carrera, y este semestre es Compiladores 101. Estamos usando el Libro del Dragón . Poco después del curso, estamos hablando del análisis léxico y de cómo se puede implementar a través de autómatas finitos deterministas (en adelante, DFA). Configure sus diversos estados lexer, defina …

24 compiler  lexer  pragmatism 

Como se dice en el título, ¿qué tipo de datos debe devolver un lexer / darle al analizador? Al leer el artículo de análisis léxico que Wikipedia tiene, declaró que: En informática, el análisis léxico es el proceso de convertir una secuencia de caracteres (como en un programa de computadora …

21 data-types  lexer  flex 

Cuando comencé a usar los combinadores de analizador sintáctico, mi primera reacción fue una sensación de liberación de lo que parecía una distinción artificial entre analizador y lexing. De repente, ¡todo se estaba analizando! Sin embargo, recientemente encontré esta publicación en codereview.stackexchange que ilustra a alguien que restablece esta distinción. …

18 parsing  lexer  parser-combinator 

¿Cuáles son buenos recursos sobre cómo escribir un lexer en C ++ (libros, tutoriales, documentos), cuáles son algunas buenas técnicas y prácticas? He buscado en internet y todo el mundo dice que use un generador lexer como lex. No quiero hacer eso, quiero escribir un lexer a mano.

18 c++  compiler  lexer 

Estoy escribiendo un analizador para un lenguaje de marcado que he creado (escrito en python, pero eso no es realmente relevante para esta pregunta; de hecho, si esto parece una mala idea, me encantaría una sugerencia para un mejor camino) . Estoy leyendo sobre analizadores aquí: http://www.ferg.org/parsing/index.html , y estoy …

14 python  parsing  lexer 

Mientras leía una respuesta a la pregunta Clarificación sobre Gramáticas, Lexers y Parsers , la respuesta decía que: [...] una gramática BNF contiene todas las reglas que necesita para el análisis y análisis léxico. Esto me pareció extraño porque hasta ahora, siempre había pensado que un lexer no se basaba …

13 design  design-patterns  development-process  grammar  lexer 

He estado viendo algunos lexers en varios idiomas de nivel superior ( Python , PHP , Javascript , entre otros) y todos parecen usar expresiones regulares de una forma u otra. Si bien estoy seguro de que las expresiones regulares son probablemente la mejor manera de hacer esto, me preguntaba …

9 theory  regular-expressions  lexer 

Información de antecedentes ( puede omitirse ): estoy trabajando en una tarea que nos asignaron en la que tenemos que diseñar una gramática para un DSL que se nos ha proporcionado. La gramática debe estar en BNF o EBNF. Además de otra cosa, estamos siendo evaluados sobre las reglas léxicas …

8 language-design  parsing  grammar  lexer