Preguntas etiquetadas con data-storage

¿Existen herramientas diseñadas específicamente para comprimir datos científicos de coma flotante? Si una función es fluida, obviamente existe una gran correlación entre los números que representan esa función, por lo que los datos deberían comprimirse bien. Sin embargo, los datos binarios de coma flotante binaria no se comprimen tan bien. …

26 data-storage 

He estado usando HDF5 durante años, pero a medida que aumenta el tamaño del conjunto de datos, estoy empezando a experimentar los mismos problemas enumerados aquí. http://cyrille.rossant.net/moving-away-hdf5/ ¿Me puede indicar un formato como HDF5 con - Buen soporte para escrituras paralelas - Soporte para acceso fragmentado de matrices enormes Mi …

15 data-storage 

TL, DR ¿Cuál es la mejor práctica aceptada en los círculos informáticos científicos para almacenar grandes cantidades de datos estructurados jerárquicamente? Por ejemplo, SQL no funciona bien con grandes matrices dispersas. ¿Existe una buena herramienta para estructurar, almacenar y analizar este tipo de datos? ¿Qué usan los chicos del LHC? …

13 data-management  data-storage  data-analysis 

No estoy familiarizado con el formato de archivo utilizado en HDF5, pero me pregunto si los archivos HDF5 son adecuados para el control de revisión con git (o, por ejemplo, Mercurial o Subversion). Supongo que lo que quiero decir es: ¿los archivos HDF5 son adecuados para la diferenciación basada en …

13 data-management  data-storage