Esta pregunta / respuesta tiene algunas buenas soluciones para eliminar líneas idénticas en un archivo, pero no funcionará en mi caso, ya que las líneas duplicadas tienen una marca de tiempo.
¿Es posible decirle a awk que ignore los primeros 26 caracteres de una línea para determinar duplicados?
Ejemplo:
[Fri Oct 31 20:27:05 2014] The Brown Cow Jumped Over The Moon
[Fri Oct 31 20:27:10 2014] The Brown Cow Jumped Over The Moon
[Fri Oct 31 20:27:13 2014] The Brown Cow Jumped Over The Moon
[Fri Oct 31 20:27:16 2014] The Brown Cow Jumped Over The Moon
[Fri Oct 31 20:27:21 2014] The Brown Cow Jumped Over The Moon
[Fri Oct 31 20:27:22 2014] The Brown Cow Jumped Over The Moon
[Fri Oct 31 20:27:23 2014] The Brown Cow Jumped Over The Moon
[Fri Oct 31 20:27:24 2014] The Brown Cow Jumped Over The Moon
Se convertiría
[Fri Oct 31 20:27:24 2014] The Brown Cow Jumped Over The Moon
(manteniendo la marca de tiempo más reciente)