¿Cómo construyo una matriz numpy desde un generador?

¿Cómo puedo construir una matriz numpy a partir de un objeto generador?

Déjame ilustrar el problema:

>>> import numpy
>>> def gimme():
...   for x in xrange(10):
...     yield x
...
>>> gimme()
<generator object at 0x28a1758>
>>> list(gimme())
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> numpy.array(xrange(10))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> numpy.array(gimme())
array(<generator object at 0x28a1758>, dtype=object)
>>> numpy.array(list(gimme()))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

En este caso, gimme()es el generador cuya salida me gustaría convertir en una matriz. Sin embargo, el constructor de matriz no itera sobre el generador, simplemente almacena el generador en sí. El comportamiento que deseo es ese numpy.array(list(gimme())), pero no quiero pagar la sobrecarga de memoria de tener la lista intermedia y la matriz final en la memoria al mismo tiempo. ¿Hay una manera más eficiente en el espacio?

Las matrices Numpy requieren que su longitud se establezca explícitamente en el momento de la creación, a diferencia de las listas de Python. Esto es necesario para que el espacio para cada elemento se pueda asignar consecutivamente en la memoria. La asignación consecutiva es la característica clave de los arreglos numpy: esto combinado con la implementación de código nativo permite que las operaciones en ellos se ejecuten mucho más rápido que las listas regulares.

Teniendo esto en cuenta, es técnicamente imposible tomar un objeto generador y convertirlo en una matriz a menos que:

1. puede predecir cuántos elementos producirá cuando se ejecute:

   my_array = numpy.empty(predict_length())
   for i, el in enumerate(gimme()): my_array[i] = el

2. están dispuestos a almacenar sus elementos en una lista intermedia:

   my_array = numpy.array(list(gimme()))

3. puede hacer dos generadores idénticos, ejecutar el primero para encontrar la longitud total, inicializar la matriz y luego ejecutar el generador nuevamente para encontrar cada elemento:

   length = sum(1 for el in gimme())
   my_array = numpy.empty(length)
   for i, el in enumerate(gimme()): my_array[i] = el

1 es probablemente lo que estás buscando. 2 es ineficiente en espacio y 3 es ineficiente en tiempo (debe pasar por el generador dos veces).

Un google detrás de este resultado stackoverflow, encontré que hay un numpy.fromiter(data, dtype, count). El valor predeterminado count=-1toma todos los elementos del iterable. Requiere dtypeque se establezca explícitamente. En mi caso, esto funcionó:

numpy.fromiter(something.generate(from_this_input), float)

Si bien puede crear una matriz 1D desde un generador con numpy.fromiter(), puede crear una matriz ND desde un generador con numpy.stack:

>>> mygen = (np.ones((5, 3)) for _ in range(10))
>>> x = numpy.stack(mygen)
>>> x.shape
(10, 5, 3)

También funciona para matrices 1D:

>>> numpy.stack(2*i for i in range(10))
array([ 0,  2,  4,  6,  8, 10, 12, 14, 16, 18])

Tenga en cuenta que numpy.stackestá consumiendo internamente el generador y creando una lista intermedia con arrays = [asanyarray(arr) for arr in arrays]. La implementación se puede encontrar aquí .

Algo tangencial, pero si su generador es una comprensión de la lista, puede usarlo numpy.wherepara obtener su resultado de manera más efectiva (descubrí esto en mi propio código después de ver esta publicación)

Las funciones vstack , hstack y dstack pueden tomarse como generadores de entrada que producen matrices multidimensionales.