¿Importa el formato de final de línea de robots.txt?

Pregunta simple: ¿Debo asegurarme de usar finales de línea Unix para mi robots.txt, o no importa?

No importa. Según la especificación:

El archivo consta de uno o más registros separados por una o más líneas en blanco (terminadas por CR, CR / NL o NL).

• CR = Retorno del carro (es decir, \ r)
• CR / NL = Retorno de carro / Nueva línea (es decir, \ r \ n)
• NL = Nueva línea (es decir, \ n)

Esto significa que puedes usar \r. \n, o \r\ny funcionará.