Preguntas etiquetadas con pandas

Estoy explorando cambiar a python y pandas como usuario de SAS desde hace mucho tiempo. Sin embargo, al ejecutar algunas pruebas hoy, me sorprendió que Python se quedara sin memoria al intentar pandas.read_csv()un archivo csv de 128 MB. Tenía alrededor de 200.000 filas y 200 columnas de datos en su …

91 python  pandas  sas 

He estado muy confundido acerca de cómo se definen los ejes de Python y si se refieren a filas o columnas de un DataFrame. Considere el siguiente código: >>> df = pd.DataFrame([[1, 1, 1, 1], [2, 2, 2, 2], [3, 3, 3, 3]], columns=["col1", "col2", "col3", "col4"]) >>> df col1 …

91 python  arrays  pandas  numpy  dataframe 

¿Cuál es la forma de Python para leer un archivo CSV en un DataFrame de pandas (que luego puedo usar para operaciones estadísticas, puede tener columnas de tipos diferentes, etc.)? Mi archivo CSV "value.txt"tiene el siguiente contenido: Date,"price","factor_1","factor_2" 2012-06-11,1600.20,1.255,1.548 2012-06-12,1610.02,1.258,1.554 2012-06-13,1618.07,1.249,1.552 2012-06-14,1624.40,1.253,1.556 2012-06-15,1626.15,1.258,1.552 2012-06-16,1626.15,1.263,1.558 2012-06-17,1626.15,1.264,1.572 En R leeríamos este archivo …

91 python  pandas  csv  dataframe 

Tengo un marco de datos de índices múltiples con columnas 'A' y 'B'. ¿Hay alguna manera de seleccionar filas filtrando en una columna del índice múltiple sin restablecer el índice a un índice de una sola columna? Por ejemplo. # has multi-index (A,B) df #can I do this? I know …

91 python  pandas  dataframe  multi-index 

He estado leyendo un archivo de datos delimitado por tabulaciones en Windows con Pandas / Python sin ningún problema. El archivo de datos contiene notas en las primeras tres líneas y luego sigue con un encabezado. df = pd.read_csv(myfile,sep='\t',skiprows=(0,1,2),header=(0)) Ahora estoy tratando de leer este archivo con mi Mac. (La …

91 python  macos  pandas  import  tab-delimited 

Cerrado. Esta pregunta no cumple con las pautas de Stack Overflow . Actualmente no acepta respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté relacionada con el tema de Stack Overflow. Cerrado hace 2 años . Mejora esta pregunta Soy nuevo en Pandas y estoy tratando de usar …

91 python  pandas  documentation  dataframe  frequency 

Cuando hay un DataFrame como el siguiente: import pandas as pd df = pd.DataFrame([1, 1, 1, 1, 1], index=[100, 29, 234, 1, 150], columns=['A']) ¿Cómo puedo ordenar este marco de datos por índice con cada combinación de índice y valor de columna intacta?

91 python  pandas 

Con este ejemplo de CSV: Source,col1,col2,col3 foo,1,2,3 bar,3,4,5 El método estándar que uso Pandas es este: Analizar CSV Seleccionar columnas en un marco de datos ( col1y col3) Procesar la columna (por ejemplo, promediar los valores de col1y col3) ¿Existe una biblioteca de JavaScript que le guste Pandas?

90 javascript  python  pandas 

Voy a convertir un Django QuerySet en pandas de la DataFramesiguiente manera: qs = SomeModel.objects.select_related().filter(date__year=2012) q = qs.values('date', 'OtherField') df = pd.DataFrame.from_records(q) Funciona, pero ¿hay alguna forma más eficiente?

90 python  django  pandas 

Considere un archivo csv: string,date,number a string,2/5/11 9:16am,1.0 a string,3/5/11 10:44pm,2.0 a string,4/22/11 12:07pm,3.0 a string,4/22/11 12:10pm,4.0 a string,4/29/11 11:59am,1.0 a string,5/2/11 1:41pm,2.0 a string,5/2/11 2:02pm,3.0 a string,5/2/11 2:56pm,4.0 a string,5/2/11 3:00pm,5.0 a string,5/2/14 3:02pm,6.0 a string,5/2/14 3:18pm,7.0 Puedo leer esto y reformatear la columna de fecha en formato de …

90 python  pandas  datetime  pandas-groupby 

¿Es posible agregar algo de metainformación / metadatos a un DataFrame de pandas? Por ejemplo, el nombre del instrumento utilizado para medir los datos, el instrumento responsable, etc. Una solución alternativa sería crear una columna con esa información, ¡pero parece un desperdicio almacenar una sola pieza de información en cada …

90 python  pandas 

Tengo un archivo de texto guardado en S3 que es una tabla delimitada por tabulaciones. Quiero cargarlo en pandas pero no puedo guardarlo primero porque lo estoy ejecutando en un servidor heroku. Esto es lo que tengo hasta ahora. import io import boto3 import os import pandas as pd os.environ["AWS_ACCESS_KEY_ID"] …

90 python  pandas  heroku  amazon-s3  boto3 

Supongamos que tengo un diccionario anidado 'user_dict' con estructura: Nivel 1: UserId (entero largo) Nivel 2: Categoría (cadena) Nivel 3: Atributos surtidos (flotadores, entradas, etc.) Por ejemplo, una entrada de este diccionario sería: user_dict[12] = { "Category 1": {"att_1": 1, "att_2": "whatever"}, "Category 2": {"att_1": 23, "att_2": "another"}} cada elemento …

90 python  pandas  dataframe  multi-index 

Ambos son formatos de almacenamiento en columna (disco) para su uso en sistemas de análisis de datos. Ambos están integrados dentro de Apache Arrow ( paquete pyarrow para python) y están diseñados para corresponder con Arrow como una capa analítica en memoria en columnas. ¿En qué se diferencian ambos formatos? …

89 python  pandas  parquet  feather  pyarrow 

A menudo necesito aplicar una función a los grupos de un muy grande DataFrame(de tipos de datos mixtos) y me gustaría aprovechar varios núcleos. Puedo crear un iterador a partir de los grupos y usar el módulo de multiprocesamiento, pero no es eficiente porque cada grupo y los resultados de …

89 python  pandas  multiprocessing  shared-memory