Qué base de datos de back-end es adecuada para la implementación de IoT

Tengo que proporcionar el servicio IoT para mi cliente. Los componentes MQTT, Kafka y Rest Services se utilizarán para ingerir los datos de los dispositivos a la base de datos. Necesito hacer algunos análisis sobre los datos en el backend. El tamaño de los datos sería de 135 bytes / dispositivo y 6000 dispositivos / segundo. He compartido la arquitectura aquí para comprender los requisitos y componentes.

Investigué sobre los almacenes de datos (MongoDB, Postgresql (TimescaleDB), Redis, Neo4j, Cassandra) y todos los proveedores probaron que su base de datos es adecuada para el caso de uso de IoT. Me he confundido acerca del uso de la base de datos probada / más confiable / escalable para IoT.

¿Cuál podría ser la mejor base de datos adecuada para ingerir esta gran cantidad de datos y hacer el análisis?

¿Hay algún punto de referencia probado para la base de datos adecuada para el IoT?

Por favor dé sus pensamientos y sugerencias.

Usted está limitado a cualquiera de las bases de datos NoSQL, porque cualquier base de datos SQL no le permitirá 6K TPS directamente en el servidor ni podrá usar ningún servicio en la nube SaaS o plataforma ya especializada en este tipo de operaciones, por ejemplo, recibir datos telemáticos a través de MQTT / Kafka, divídalo y almacene para estos 6000 dispositivos y proporcione API REST simple para acceder a los datos de telemetría. Como flespi o lo que sea similar.

IoT es prácticamente datos de series temporales. Existen algunos TSDB: InfluxDB, OpenTSDB, GridDB, etc. Todos tienen la versión de comunidad / oss para que pueda ver si se adapta a sus necesidades. InfluxDB es popular, pero tenga en cuenta que la agrupación solo está disponible para la versión paga. OpenTSD es puro OSS, y GridDB afirma que está orientado a IoT y es más rápido que InfluxDB. Dependiendo de sus necesidades, tal vez desee buscar uno que tenga una ingesta rápida.

Timescaledb, una extensión de postgres personalizada para conjuntos de datos de series de tiempo funciona muy bien. Y obtiene las características habituales de la base de datos relacional, uso de SQL, confiabilidad, índices, escalabilidad.

La pregunta es amplia y no se puede dar una respuesta precisa, pero estos enlaces pueden ayudar:

http://outlyer.com/blog/top10-open-source-time-series-databases/

Seguimiento con puntos de referencia: http://outlyer.com/blog/time-series-database-benchmarks/

Otra comparación: https://gist.github.com/sacreman/00a85cf09251147175241d334aafa798

Establecí algunas reglas para intentar limitar el alcance, de lo contrario este blog nunca terminaría.

Solo se han comparado bases de datos de series de tiempo gratuitas y de código abierto y sus características. Por lo tanto, ¿alguien pregunta "¿has probado Kdb + e Informix?", La respuesta será no. Sin embargo, probablemente sean increíbles.

La lista solo incluirá bases de datos que se clasifiquen en su material de marketing como series de tiempo o que hayan sido escritas en un blog por una compañía genial como algo que están utilizando para datos de series de tiempo.

Lo que se ha hecho es leer los documentos oficiales, leer StackOverflow, revisar los problemas y el código de Github y, en general, piratear la información juntos. Con esto en mente, algunos hechos pueden ser incorrectos.

Si alguien ve algo realmente incorrecto, avíseme y actualizaré el blog.

La evaluación comparativa se ha basado en afirmaciones y estimaciones de marketing. ¿Por qué? Porque la evaluación comparativa es una parte considerable del trabajo y es propensa a errores. Siempre obtienes "deberías haber ajustado esta configuración especial no documentada". Los números enumerados son muy favorables para la mayoría de las bases de datos. Son los números publicados en blogs o reclamados en Twitter en algún momento en el pasado. Si siente que algún número está mal, avíseme y lo actualizaré.

Además de las respuestas anteriores, también recomiendo mirar Tarantool , ClickHouse y ScyllaDB . Estas soluciones son más que suficientes para la mayoría de los casos.

Excepto que en algunas situaciones, especialmente para incrustar, el MDBX (o algo así) puede ser útil.