¿Alternativas a Splunk?

Estoy bastante impresionado con Splunk , especialmente la versión 4. Gráficos bonitos, alertas (solo Enterprise) y búsqueda rápida y precisa. Es un gran producto.

Sin embargo, el costo es demasiado alto para considerar el uso total de producción para nuestra empresa. Todo lo que realmente necesitamos es poder indexar diferentes registros en un lugar central, y tener una búsqueda razonable al respecto. Tener alertas basadas en una búsqueda guardada también es muy bueno. Realmente no vamos más allá de eso.

De hecho, nuestro mayor uso ha sido desplegar nuevas aplicaciones. Todo se registra a través de log4net en el registro de eventos en Windows o en un archivo de texto en Linux. Splunk hace que sea bastante fácil buscar rápidamente entre ellos para asegurarse de que todas las partes de la aplicación funcionen correctamente, lo que nos ahorró toneladas de tiempo en lugar de buscar fuentes de registro individuales.

¿Qué alternativas existen en este mercado? Tengo el presentimiento de que el precio de Splunk es muy alto porque tienen el mejor producto con diferencia y lo saben. Queremos que el servidor se ejecute en Windows.

Estaría abierto a un modelo dividido, utilizando un producto para registros generales (recopilar a través de syslog / Snare), y un producto dedicado para nuestras aplicaciones personalizadas (como Log4Net Dashboard ).

¿Funcionaría usar un servidor syslog simple como Kiwi, enviado a SQL Server (quizás con el texto completo habilitado)?

Espero que el costo sea muy inferior a 5 cifras, USD. (Y sí, lo sé, somos baratos. Somos una startup con poco dinero, y BizSpark se encarga de todas nuestras licencias de MS).

Editar: Debo agregar, tenemos alrededor de 10 servidores físicos, 20 máquinas virtuales y un par de firewalls y conmutadores. El 90% es Windows.

Nota: Todo esto se refiere a Linux y software libre , ya que eso es lo que más uso, pero debería estar bien con un cliente syslog en Windows para enviar los registros a un servidor syslog de Linux.

Inicio de sesión en un servidor SQL: con solo ~ 30 máquinas, debería estar bien con casi cualquier syslog centralizado y un back-end SQL. Utilizo syslog-ng y MySQL en Linux para esto mismo.

El principal problema son los frontales bonitos para gráficos: parece que hay muchos front- end pirateados que tomarán elementos de los registros y mostrarán cuántas visitas, alertas, etc., pero no he encontrado nada integrado y limpio. Es cierto que esto es lo principal que estás buscando ... (¡Si encuentro algo bueno, actualizaré esta sección!)

Alertas : uso SEC en un servidor Linux para encontrar cosas malas que suceden en los registros y alertarme a través de varios métodos. Es increíblemente flexible y no tan elegante como Splunk. Aquí hay un buen tutorial que guía a través de muchas de las características posibles.

También uso Nagios para gráficos de varias estadísticas y algunas alertas que no recibo de los registros (como cuando los servicios están caídos, etc.). Esto se puede personalizar fácilmente para agregar gráficos de cualquier cosa que desee. He agregado gráficos de elementos, como la cantidad de visitas realizadas a un servidor http, haciendo que el agente use el complemento check_logfiles para contar la cantidad de visitas en los registros (guarda la posición a la que llega para cada período de verificación).

En general, depende de cuánto costará su tiempo para configurar esto , ya que hay muchas opciones que puede usar, pero no están tan integradas como Splunk y probablemente requerirán más esfuerzo para hacer lo que desea. Los gráficos de Nagios son fáciles de configurar, pero no le brindan datos históricos antes de agregar el gráfico, mientras que con Splunk (y presumiblemente otros front-end) puede mirar hacia atrás en los registros anteriores y graficar cosas que solo acaba de pensado en mirar desde ellos.

Tenga en cuenta también que el formato y la indexación de la base de datos SQL tendrá un gran efecto en la velocidad de las consultas, por lo que su idea de indexación de texto completo aumentará enormemente la velocidad de las búsquedas. No estoy seguro de si MySQL o PostgreSQL harán algo similar.

Editar : MySQL realizará la indexación de texto completo, pero solo en las tablas MyISAM anteriores a MySQL 5.6. En 5.6 se agregó soporte para InnoDB .

Editar : Postgresql puede hacer una búsqueda de texto completo, por supuesto: http://www.postgresql.org/docs/9.0/static/textsearch.html

Más dirigido a * nix que Windows, pero Octopussy es compatible con Windows, y parece apuntar al mismo tipo de cosas que splunk.

Estoy a punto de probar varias soluciones de monitoreo, pero quiero monitorear principalmente las ventanas. La mayoría de los sistemas están orientados a la supervisión SNMP, que logran extraer una cantidad notable de información sin agentes.

Estos son algunos de los sistemas que he probado hasta ahora:

Nagios - Código abierto. Un cerdo para configurar pero altamente calificado y parece muy flexible. Parece ser esencialmente un contador de registro y no permite la ejecución remota de scripts y, por lo tanto, no se puede utilizar para detectar problemas de configuración, ni en el centro del sistema MS ni en Kaseya. Sin agente pero es esencialmente inútil sin la herramienta NSclient instalada en cada cliente.

Cactus: herramienta gráfica bonita y directa basada en extraer estadísticas snmp. Sin agente

OpsView: basado en Nagios pero más fácil de configurar y tiene un mejor front-end.

HypericHQ: fácil de poner en funcionamiento con Windows. La versión base es gratuita y hace mucho. Hay una empresa comercial HypericHQ. El agente debe estar instalado en cada cliente.

Zabbix - Otra buena herramienta de monitoreo. Es más fácil de usar que los nagios. Tiene un agente que puede instalar en Windows y máquinas cliente. Solo he explorado esto un poco hasta ahora.

Zenoss - Código abierto. Me ha impresionado lo profesional que es Zenoss. Es un monitor basado en SNMP y tiene muchas extensiones para permitir el monitoreo de HP proliants, servicios de Windows, servidor ms sql, mysql. Todas las extensiones funcionan a través de SNMP, por lo que no es necesario instalar nada en las máquinas cliente. Todavía no lo he explorado todo y parece que hay mucha funcionalidad que aún tengo que explotar. Está basado en Zope, así que a menos que esté al día con las instalaciones de Zope, recomendaría descargar la máquina virtual preparada previamente, funciona como un sueño desde el primer momento.

En el frente comercial, puede echar un vistazo a algunas herramientas:

Kaseya: cuesta aproximadamente 6k por año para 250 nodos, si no recuerdo mal, pero es una herramienta excelente y tiene una comunidad de usuarios muy activa. Está dirigido al mercado de msp y permite el monitoreo de sistemas de múltiples compañías. Se puede usar internamente sin problemas.

GFI Hounddog: más simple que Kaseya pero muy barato en este momento. Definitivamente vale la pena echarle un vistazo.

Hay una serie de soluciones que se venden como sistemas MSP pero que son esencialmente monitores + administrador remoto combinados.

Ian

Para syslogging centralizado con muchas características excelentes, no puedo evitar recomendar rsyslog lo suficiente. Es un servidor de syslog de código abierto que puede funcionar felizmente como un reemplazo directo para el syslogd normal que conoce y ama. Ahora es el demonio de elección del syslog para Ubuntu y creo que Red Hat y Fedora también podrían estar yendo por ese camino. He encontrado que es mucho más fácil poner en marcha y hacer lo que quieres que sea syslog-ng.

Actualmente en nuestra tienda tenemos dos servidores centrales de rsyslog (uno en cada sitio) que recibe registros de cientos de servidores. Tengo alertas automáticas por correo electrónico cada vez que algo en syslog activa una alerta o superior (con algunos ajustes, por supuesto, algunas aplicaciones son un poco alarmistas). Probablemente podría hacer algo más de inteligencia, como hacer que envíe cosas a nagios o algo así, pero por ahora nos cubre lo suficiente para nuestras necesidades.

Todo esto también se aplica a una base de datos mysql (también hay soporte para Oracle o postgresql si así es como funciona).

También hay una interfaz web y un agente de Windows para enviar registros de Eventlog al servidor rsyslog también. La interfaz web obviamente no es tan elegante como splunk, pero hace el trabajo por $ 0.

Echa un vistazo a http://www.codeplex.com/polymon

Es de código abierto, utiliza SQL Server en el backend y tiene una interfaz de usuario elegante

Estoy de acuerdo en que Splunk es increíble. Sin embargo, para entornos Linux pequeños y dominantes, es posible que desee ver algo como epylog .

Lo usamos en uno de los lugares donde solía trabajar, y fue genial para lo que queríamos.

No estoy seguro de qué tan bien manejaría los mensajes de syslog de Windows que se envían a un recopilador de syslog de Linux, pero puede valer la pena intentarlo.

Simplemente vinculando a mi respuesta más donde:

Splunk es increíblemente caro: ¿Cuáles son las alternativas?

Editar (nuevos proyectos):

Los proyectos LogStash y Graylog2 se ven muy interesantes

Aquí hay un par de videos: uno dos .

Algo como GFI EventsManager podría hacer el truco por alrededor de $ 4k.

• Análisis de registros de eventos, incluidas capturas SNMP, registros de eventos de Windows, registros W3C y Syslog
• Alertas en tiempo real, alertas de trampas SNMPv2 incluidas
• Ver informes sobre la información clave de seguridad que ocurre ahora
• Registro centralizado de eventos.
• Eliminar "ruido" o eventos triviales que constituyen una gran proporción de todos los eventos de seguridad
• Monitoreo y alerta en tiempo real 24 x 7 x 365 días
• Monitoree gráficamente el estado de GFI EventsManager y su red a través del monitor de estado incorporado
• Soporte para entornos virtuales.

Si está buscando un reemplazo de SysLog, también puede considerar un reemplazo comercial de syslog / rsyslog como LogLogic, http://loglogic.com . Nosotros (es donde trabajo) tenemos un conjunto completo de dispositivos de registro, almacenamiento e informes. Esencialmente, es la capacidad de recolectar 100,000s de mensajes por segundo, grabarlos e indexarlos para poder realizar búsquedas.

Puede probar logscape de liquidlabs, muy similar a splunk, pero también tiene algunas características diferentes ... http://www.liquidlabs-cloud.com/products/logscape.html

Hice el backend de SQL en un trabajo anterior (por cierto, era MySQL), completo con scripts, interfaz Drupal con scripts PHP personalizados, los trabajos.

Honestamente, tomó demasiadas horas hombre y todavía no era Splunk.

Actualmente, estoy probando Splunk en su lugar. Sí, no es gratis, pero mirando el panorama general podría ser más barato.

¿Has probado php-syslog-ng? http://code.google.com/p/php-syslog-ng/

Publiqué el hilo de engaño: Splunk es increíblemente caro: ¿Cuáles son las alternativas?

xpolog y todas las soluciones comerciales serias cuestan GRANDES $ (incluso si son menos que splunk, ¡la mayoría son fácilmente de 5 dígitos!)

Taaaan, lo que finalmente hicimos (porque splunk fue demasiado $):

1) Queríamos un syslog simple para la tubería sql db

2) Intentamos kiwi syslog. Esto funcionó muy bien durante una semana, dejó de funcionar y el soporte de kiwi no pudo solucionarlo. Entonces dejamos caer el kiwi

3) Intentamos winsyslog. Un viejo perro de una aplicación, no queríamos aprenderlo.

4) Utilizamos esta aplicación .net gratuita: http://www.aonaware.com/syslog.htm

Voila Tenemos mensajes de syslog en nuestra base de datos.

Estamos muy felices. $ 0 gastados, algunas horas, pero no demasiado.

Estamos usando Splunk aquí, y estoy un poco sorprendido por el precio que le dijeron. El desglose básico que nos dieron fue de alrededor de $ 1k US por 1GB de datos. Es costoso, pero súper potente y realmente rápido de desarrollar. Dependiendo de sus fuentes de datos y de lo que quiera hacer con ellos, algunos scripts de Python y Perl podrían proporcionarle muchos datos similares. La gran diferencia será el tiempo y aprender a manejar realmente el lenguaje para el procesamiento de texto. Tampoco podría obtener información de IP en tiempo real (como syslog), aunque puede solucionarlo obteniendo un syslogger y enviando la información a un archivo de texto. Lo siento, no puedo señalarle ninguna solución específica; para lo que no podemos usar splunk, usamos python, perl y scripts de bash.

ELSA - Búsqueda y archivo de registros empresariales

Principales características:

• Búsqueda de texto completo en cualquier palabra en un mensaje o campo analizado.
• Agrupe por cualquier campo y produzca informes basados ​​en resultados.
• Programar búsquedas.
• Alerta sobre resultados de búsqueda en nuevos registros.
• Guardar búsquedas, enviar por correo electrónico resultados de búsqueda guardados.
• Cree tickets de incidentes basados ​​en los resultados de búsqueda (con el complemento).
• Completo sistema de complementos para obtener resultados.
• Exportar resultados como enlace permanente o en Excel, PDF, CSV y HTML.
• Integración completa de LDAP para permisos.
• Estadísticas de consultas por usuario y tamaño de registro y recuento.
• Arquitectura totalmente distribuida, puede manejar n nodos con todas las consultas ejecutándose en paralelo.
• Archivo comprimido con una relación mejor que 10: 1.

Detalles de rendimiento:

Para especificar un sistema, en orden de importancia: tamaño del disco, RAM, velocidad del disco, número de CPU. El factor de rendimiento primordial es el indexador de Sphinx y el daemon de búsqueda, por lo que debe consultar los documentos en sphinxsearch.com. Mis estadísticas dadas se toman de sistemas grandes (16 CPU, 144 GB de RAM, 12 TB de HD), pero obtendrá el mismo rendimiento en un sistema con 4 CPU, 8 GB de RAM y cualquier HD de tamaño, ya que las cosas se escalan linealmente. El sistema se ejecutó por primera vez en blades de IBM con 4 GB de RAM y unidades SAN lentas y funcionó aproximadamente a la misma velocidad, pero 4 GB lo está reduciendo un poco.

Detalles de rendimiento y lista de características principales, además de una descripción de la arquitectura: http://ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html

Código: https://code.google.com/p/enterprise-log-search-and-archive/

VM: http://ossectools.blogspot.com/2011/07/elsa-vmware-appliance-available.html

Detalles sobre el proyecto: http://ossectools.blogspot.com/2011/03/comprehensive-log-collection.html

Si está buscando una alternativa mucho más asequible a Splunk, pruebe LogZilla ( http://www.logzilla.pro ). Se escala tan bien o mejor que Splunk (puede buscar más de 300 m de registros en aproximadamente 1-2 segundos) y es fácilmente 1/10 del costo. Tienen una demostración en http://demo.logzilla.pro