¿Cómo manejar múltiples entradas heterogéneas con Logstash?

Supongamos que tiene 2 tipos de registros muy diferentes, como registros técnicos y comerciales, y desea:

• Los registros técnicos sin procesar se enrutarán hacia un servidor graylog2 mediante una gelfsalida,
• json los registros comerciales se almacenan en un clúster de elasticsearch utilizando la elasticsearch_httpsalida dedicada .

Sé que, Syslog-NGpor ejemplo, el archivo de configuración permite definir varias entradas distintas que luego se pueden procesar por separado antes de ser despachadas; lo que Logstashparece incapaz de hacer. Incluso si una instancia se puede iniciar con dos archivos de configuración específicos, todos los registros toman el mismo canal y se aplican los mismos procesamientos ...

¿Debo ejecutar tantas instancias como diferentes tipos de registros?

¿Debo ejecutar tantas instancias como diferentes tipos de registros?

¡No! Solo puede ejecutar una instancia para manejar diferentes tipos de registros.

En el archivo de configuración de logstash, puede especificar cada entrada con un tipo diferente . Luego, en el filtro puede usar if para distinguir diferentes procesamientos, y también en la salida puede usar la salida "if" a un destino diferente.

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
} 
filter {
    if [type] == "technical" {
            # processing .......
    }
    if [type] == "business" {
            # processing .......
    }
}
output {
    if [type] == "technical" {
            # output to gelf
    }
    if [type] == "business" {
            # output to elasticsearch
    }
}

Espero que esto le pueda ayudar :)

Usé etiquetas para la entrada de múltiples archivos:

input {
    file {
        type => "java"
        path => "/usr/aaa/logs/stdout.log"
        codec => multiline {
            ...
        },
        tags => ["aaa"]
    }

    file {
        type => "java"
        path => "/usr/bbb/logs/stdout.log"
        codec => multiline {
                ...
        }
        tags => ["bbb"]
    }
}
output {
    stdout {
        codec => rubydebug
    }
    if "aaa" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "aaa"
            document_type => "aaa-%{+YYYY.MM.dd}"
        }
    }

    if "bbb" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "bbb"
            document_type => "bbb-%{+YYYY.MM.dd}"
        }
    }
}

Creo que logstash no puede leer más de 2 archivos en la sección de entrada. prueba lo siguiente

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
 file {
            type => "business1"
            path => "/home/business/log1"
    }
}