Crear un DataFrame de Pandas a partir de una matriz Numpy: ¿Cómo especifico la columna de índice y los encabezados de columna?

281

Tengo una matriz Numpy que consiste en una lista de listas, que representa una matriz bidimensional con etiquetas de fila y nombres de columna como se muestra a continuación:

data = array([['','Col1','Col2'],['Row1',1,2],['Row2',3,4]])

Me gustaría que el DataFrame resultante tenga Row1 y Row2 como valores de índice, y Col1, Col2 como valores de encabezado

Puedo especificar el índice de la siguiente manera:

df = pd.DataFrame(data,index=data[:,0]),

Sin embargo, no estoy seguro de cómo asignar mejor los encabezados de columna.

python pandas numpy

— usuario3132783
fuente

3

La respuesta de @ behzad.nouri es correcta, pero creo que debe considerar si no puede tener los datos iniciales en otra forma. Porque ahora, sus valores serán cadenas y no entradas (debido a que la matriz numpy mezcla entradas y cadenas, por lo que todas se convierten en cadenas porque las matrices numpy tienen que ser homogéneas).

— joris

316

Debe especificar data, indexy columnsal DataFrameconstructor, como en:

>>> pd.DataFrame(data=data[1:,1:],    # values
...              index=data[1:,0],    # 1st column as index
...              columns=data[0,1:])  # 1st row as the column names

editar : como en el comentario de @joris, es posible que deba cambiar el anterior np.int_(data[1:,1:])para tener el tipo de datos correcto.

— behzad.nouri
fuente

77

esto funciona, pero para una estructura tan común de datos de entrada y la aplicación deseada a DataFrame¿no hay algún "atajo"? Esta es básicamente la forma en que csvse cargan los correos electrónicos , y se puede administrar mediante el manejo predeterminado para muchos lectores csv. Una estructura análoga para df sería útil.

— Java

Agregué un mini método de ayuda / conveniencia para esto como respuesta complementaria.

— javadba

94

Aquí hay una solución fácil de entender.

import numpy as np
import pandas as pd

# Creating a 2 dimensional numpy array
>>> data = np.array([[5.8, 2.8], [6.0, 2.2]])
>>> print(data)
>>> data
array([[5.8, 2.8],
       [6. , 2.2]])

# Creating pandas dataframe from numpy array
>>> dataset = pd.DataFrame({'Column1': data[:, 0], 'Column2': data[:, 1]})
>>> print(dataset)
   Column1  Column2
0      5.8      2.8
1      6.0      2.2

— Jagannath Banerjee
fuente

20

Pero tenía que especificar manualmente los Seriesnombres ... eso no es escalable.

— Java

24

Estoy de acuerdo con Joris; parece que debería estar haciendo esto de manera diferente, como con matrices de registros numpy . Modificando la "opción 2" de esta gran respuesta , podría hacerlo así:

import pandas
import numpy

dtype = [('Col1','int32'), ('Col2','float32'), ('Col3','float32')]
values = numpy.zeros(20, dtype=dtype)
index = ['Row'+str(i) for i in range(1, len(values)+1)]

df = pandas.DataFrame(values, index=index)

— ryanjdillon
fuente

13

Esto se puede hacer simplemente usando from_records of pandas DataFrame

import numpy as np
import pandas as pd
# Creating a numpy array
x = np.arange(1,10,1).reshape(-1,1)
dataframe = pd.DataFrame.from_records(x)

— Aadil Srivastava
fuente

Esta respuesta no funciona con los datos de ejemplo proporcionados en la pregunta, es decir data = array([['','Col1','Col2'],['Row1',1,2],['Row2',3,4]]).

— jpp

La solución general más simple cuando no hemos especificado las etiquetas.

— cerebrou

12

    >>import pandas as pd
    >>import numpy as np
    >>data.shape
    (480,193)
    >>type(data)
    numpy.ndarray
    >>df=pd.DataFrame(data=data[0:,0:],
    ...        index=[i for i in range(data.shape[0])],
    ...        columns=['f'+str(i) for i in range(data.shape[1])])
    >>df.head()
    [![array to dataframe][1]][1]

— Rahul Verma
fuente

8

Agregando a la respuesta de @ behzad.nouri, podemos crear una rutina auxiliar para manejar este escenario común:

def csvDf(dat,**kwargs): 
  from numpy import array
  data = array(dat)
  if data is None or len(data)==0 or len(data[0])==0:
    return None
  else:
    return pd.DataFrame(data[1:,1:],index=data[1:,0],columns=data[0,1:],**kwargs)

Probémoslo:

data = [['','a','b','c'],['row1','row1cola','row1colb','row1colc'],
     ['row2','row2cola','row2colb','row2colc'],['row3','row3cola','row3colb','row3colc']]
csvDf(data)

In [61]: csvDf(data)
Out[61]:
             a         b         c
row1  row1cola  row1colb  row1colc
row2  row2cola  row2colb  row2colc
row3  row3cola  row3colb  row3colc

— javadba
fuente

0

Creo que este es un método simple e intuitivo:

data = np.array([[0, 0], [0, 1] , [1, 0] , [1, 1]])
reward = np.array([1,0,1,0])

dataset = pd.DataFrame()
dataset['StateAttributes'] = data.tolist()
dataset['reward'] = reward.tolist()

dataset

devoluciones:

Pero hay implicaciones de rendimiento detalladas aquí:

Cómo establecer el valor de una columna de pandas como lista

— cielo azul
fuente