¿Cómo ver datos de series temporales grandes de forma interactiva?

10

A menudo trato con una cantidad razonable de datos de series de tiempo, 50-200 millones de dobles con sellos de tiempo asociados y me gustaría visualizarlos dinámicamente.

¿Existe software para hacer esto de manera efectiva? ¿Qué hay de las bibliotecas y los formatos de datos? Zoom-cache es un ejemplo de biblioteca que se centra en grandes series de tiempo. En Zoom-cache, los datos se resumen en varias resoluciones para facilitar la visualización en diferentes resoluciones.

Editar: también si hay algún otro lugar, debería hacer esta pregunta o buscar una respuesta, por favor hágamelo saber.

— Davorak
fuente

1

Aunque no tengo idea de cómo se escalará con una cantidad tan grande de puntos de datos, es posible que desee echar un vistazo a Cubism.js .

— chl

Eché un vistazo al Cubismo, que se ve bien para gráficos de actualización incremental a partir de flujos de datos en serie, pero con mi búsqueda breve no vi nada sobre el almacenamiento en caché de múltiples resoluciones o datos de resumen para acelerar grandes conjuntos de datos. Eso es para el puntero, aunque parece una biblioteca genial.

— Davorak

1

Puede que le interese Zoomdata zoomdata.com/product/fast-data-sharpening-visualization Sin embargo, su precio es bastante alto.

— chhantyal

@chhantyal - ¡Gracias! Eso se parece al tipo de herramienta que estaba buscando. Aunque ya no estoy trabajando con los mismos conjuntos de datos, todavía estoy interesado en el espacio, por lo que probablemente probaré el rastro de zoomdata en algún momento.

— Davorak

2

Hay un conjunto de herramientas de investigación llamado TimeSearcher 1--3 que proporcionan algunos ejemplos de cómo lidiar con grandes conjuntos de datos de series de tiempo. A continuación se muestran algunas imágenes de ejemplo de TimeSearcher 2 y 3.

TimeSearcher 2

TimeSearcher 3

— edallme
fuente

2

Perdón por el anuncio propio, pero Thunderplot (thunderplot.com) sería un buen candidato para ello. Lo escribí exactamente para el trazado interactivo de grandes conjuntos de datos. No lo probé con conjuntos de datos de 200KK filas, pero funciona bien con ~ 10KK filas. También hay una función de "leer cada enésima fila", por lo que puede reducir la cantidad de datos para almacenar / visualizar. Puedo enviarle la clave de registro a cambio de uno de esos grandes conjuntos de datos. :-)

captura de pantalla de thunderplot

— Vadim Kalinsky
fuente

0

Otra publicación de autopromoción porque trabajo para esta empresa, pero SensorCloud (sensorcloud.com) usa algoritmos inteligentes para graficar conjuntos de datos masivos muy rápidamente. Originalmente fue diseñado con nuestros sensores físicos en mente, pero tiene un cargador CSV para manejar cualquier información de series de tiempo.

Por ejemplo, subimos un conjunto de datos que tenía 100 mil millones de puntos de datos (más de 1 terabyte de marca de tiempo + valores de datos) y puede graficarlo e interactuar con él muy rápidamente.

Aquí hay un enlace público a ese conjunto de datos: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/

El enlace de arriba utiliza nuestro visor flash. Si no desea usar flash, aquí está el visor de JavaScript: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/js/

Use la rueda de desplazamiento, o Shift + clic izquierdo para acercar.

— rwstoneback
fuente