Preguntas etiquetadas con h5py

Tengo un código Python cuya salida es una matriz de tamaño, cuyas entradas son todas del tipo float. Si lo guardo con la extensión, .datel tamaño del archivo es del orden de 500 MB. Leí que el uso h5pyreduce considerablemente el tamaño del archivo. Entonces, digamos que tengo la matriz …

100 python  arrays  numpy  h5py 

Estoy procesando matrices 3D grandes, que a menudo necesito cortar de varias maneras para realizar una variedad de análisis de datos. Un "cubo" típico puede tener ~ 100 GB (y probablemente aumentará de tamaño en el futuro) Parece que el formato de archivo recomendado típico para grandes conjuntos de datos …

96 python  numpy  hdf5  pytables  h5py