Preguntas etiquetadas con pandas

¿Hay algún método para reemplazar valores Noneen Pandas en Python? Puede usar df.replace('pre', 'post')y puede reemplazar un valor con otro, pero esto no se puede hacer si desea reemplazarlo con un Nonevalor, que si lo intenta, obtendrá un resultado extraño. Así que aquí tienes un ejemplo: df = DataFrame(['-',3,2,5,1,-5,-1,'-',9]) df.replace('-', …

80 python  pandas  dataframe  replace  nan 

¿Hay alguna forma de escribir una función de agregación como se usa en el DataFrame.aggmétodo, que tendría acceso a más de una columna de los datos que se están agregando? Los casos de uso típicos serían funciones de desviación estándar ponderada, promedio ponderado. Me gustaría poder escribir algo como def …

80 python  pandas 

Limpiando los valores de un marco de datos de varios tipos en python / pandas, quiero recortar las cadenas. Actualmente lo estoy haciendo en dos instrucciones: import pandas as pd df = pd.DataFrame([[' a ', 10], [' c ', 5]]) df.replace('^\s+', '', regex=True, inplace=True) #front df.replace('\s+$', '', regex=True, inplace=True) #end …

80 python  regex  pandas  dataframe  trim 

Estoy tratando de hacer algo bastante simple, leer un archivo csv grande en un marco de datos de pandas. data = pandas.read_csv(filepath, header = 0, sep = DELIMITER,skiprows = 2) El código falla con a MemoryError, o simplemente nunca termina. El uso de memoria en el administrador de tareas se …

79 python  windows  pandas 

La mayoría de las funciones de Numpy permitirán el subprocesamiento múltiple de forma predeterminada. por ejemplo, trabajo en una estación de trabajo Intel CPU de 8 núcleos, si ejecuto un script import numpy as np x=np.random.random(1000000) for i in range(100000): np.sqrt(x) Linux topmostrará un uso de CPU del 800% durante …

25 python  pandas  numpy 

Tengo un marco de datos y un diccionario. Necesito agregar una nueva columna al marco de datos y calcular sus valores en función del diccionario. Aprendizaje automático, agregando nuevas características basadas en alguna tabla: score = {(1, 45, 1, 1) : 4, (0, 1, 2, 1) : 5} df = …

23 python  pandas  dataframe  dictionary 

Tengo un df como este: frame = pd.DataFrame({'a' : ['a,b,c', 'a,c,f', 'b,d,f','a,z,c']}) Y una lista de artículos: letters = ['a','c'] Mi objetivo es obtener todas las filas frameque contienen al menos los 2 elementos enletters Se me ocurrió esta solución: for i in letters: subframe = frame[frame['a'].str.contains(i)] Esto me da …

20 python  pandas 

Tengo un marco de datos que registra las respuestas de la elección de lenguajes de programación de 19717 personas a través de preguntas de opción múltiple. La primera columna es, por supuesto, el género del encuestado, mientras que el resto son las opciones que eligieron. Y, por lo tanto, si …

19 python  pandas  dataframe 

Tengo dos pandasmarcos de datos ay b: a1 a2 a3 a4 a5 a6 a7 1 3 4 5 3 4 5 0 2 0 3 0 2 1 2 5 6 5 2 1 2 y b1 b2 b3 b4 b5 b6 b7 3 5 4 5 1 4 3 …

18 python  python-3.x  pandas 

Tengo el siguiente marco de datos de pandas: df1 = pd.DataFrame({'date': [200101,200101,200101,200101,200102,200102,200102,200102],'blockcount': [1,1,2,2,1,1,2,2],'reactiontime': [350,400,200,250,100,300,450,400]}) Estoy tratando de crear un diccionario jerárquico, con los valores del diccionario incrustado como listas, que se ve así: {200101: {1:[350, 400], 2:[200, 250]}, 200102: {1:[100, 300], 2:[450, 400]}} ¿Cómo haría esto? Lo más cerca que …

16 python  pandas 

Al tener un Pandas DataFrame como este: import pandas as pd import numpy as np df = pd.DataFrame({'today': [['a', 'b', 'c'], ['a', 'b'], ['b']], 'yesterday': [['a', 'b'], ['a'], ['a']]}) today yesterday 0 ['a', 'b', 'c'] ['a', 'b'] 1 ['a', 'b'] ['a'] 2 ['b'] ['a'] ... etc Pero con alrededor de …

16 python  pandas  numpy  dataframe 

Estoy trabajando con filas individuales de marcos de datos de pandas, pero me encuentro con problemas de coerción al indexar e insertar filas. Parece que Pandas siempre quiere coaccionar de un tipo mixto int / float a todo tipo float, y no puedo ver ningún control obvio sobre este comportamiento. …

16 python  pandas  coercion 

from itertools import product import pandas as pd df = pd.DataFrame.from_records(product(range(10), range(10))) df = df.sample(90) df.columns = "c1 c2".split() df = df.sort_values(df.columns.tolist()).reset_index(drop=True) # c1 c2 # 0 0 0 # 1 0 1 # 2 0 2 # 3 0 3 # 4 0 4 # .. .. .. # …

15 python  pandas  numpy 

Aquí está mi primer geodatframe: !pip install geopandas import pandas as pd import geopandas city1 = [{'City':"Buenos Aires","Country":"Argentina","Latitude":-34.58,"Longitude":-58.66}, {'City':"Brasilia","Country":"Brazil","Latitude":-15.78 ,"Longitude":-70.66}, {'City':"Santiago","Country":"Chile ","Latitude":-33.45 ,"Longitude":-70.66 }] city2 = [{'City':"Bogota","Country":"Colombia ","Latitude":4.60 ,"Longitude":-74.08}, {'City':"Caracas","Country":"Venezuela","Latitude":10.48 ,"Longitude":-66.86}] city1df = pd.DataFrame(city1) city2df = pd.DataFrame(city2) gcity1df = geopandas.GeoDataFrame( city1df, geometry=geopandas.points_from_xy(city1df.Longitude, city1df.Latitude)) gcity2df = geopandas.GeoDataFrame( city2df, geometry=geopandas.points_from_xy(city2df.Longitude, city2df.Latitude)) Ciudad1 …

14 python  pandas  dataframe  geolocation  geopandas 

Tengo un marco de datos df, con dos columnas: Script (con texto) y Speaker Script Speaker aze Speaker 1 art Speaker 2 ghb Speaker 3 jka Speaker 1 tyc Speaker 1 avv Speaker 2 bhj Speaker 1 Y tengo la siguiente lista: L = ['a','b','c'] Con el siguiente código, df …

14 python  python-3.x  pandas  dataframe