Preguntas etiquetadas con dataframe

Me pregunto cuál es la diferencia entre an RDDy DataFrame (Spark 2.0.0 DataFrame es un simple alias de tipo para Dataset[Row]) en Apache Spark. ¿Puedes convertir uno a otro?

258 dataframe  apache-spark  apache-spark-sql  rdd  apache-spark-dataset 

¿Cómo obtengo el nombre de la columna de índice en los pandas de Python? Aquí hay un marco de datos de ejemplo: Column 1 Index Title Apples 1 Oranges 2 Puppies 3 Ducks 4 Lo que intento hacer es obtener / establecer el título del índice del marco de datos. …

255 python  pandas  dataframe  columnname 

Me gustaría tomar datos del formulario before = data.frame(attr = c(1,30,4,6), type=c('foo_and_bar','foo_and_bar_2')) attr type 1 1 foo_and_bar 2 30 foo_and_bar_2 3 4 foo_and_bar 4 6 foo_and_bar_2 y use split()en la columna " type" desde arriba para obtener algo como esto: attr type_1 type_2 1 1 foo bar 2 30 foo …

245 r  string  dataframe  split  r-faq 

Cerrado. Esta pregunta no es reproducible o fue causada por errores tipográficos . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que sea sobre el tema de Stack Overflow. Cerrado el año pasado . Mejora esta pregunta Tengo algunos problemas con la función de aplicación …

239 python  python-2.7  pandas  dataframe  apply 

¿Es posible enlazar dos marcos de datos que no tienen el mismo conjunto de columnas? Espero retener las columnas que no coinciden después del enlace.

232 r  dataframe  r-faq 

Tengo dos marcos de datos de pandas que tienen algunas filas en común. Supongamos que dataframe2 es un subconjunto de dataframe1. ¿Cómo puedo obtener las filas de dataframe1 que no están en dataframe2? df1 = pandas.DataFrame(data = {'col1' : [1, 2, 3, 4, 5], 'col2' : [10, 11, 12, 13, …

230 python  pandas  dataframe 

Tengo un marco de datos en pandas donde cada columna tiene un rango de valores diferente. Por ejemplo: df: A B C 1000 10 0.5 765 5 0.35 800 7 0.09 ¿Alguna idea de cómo puedo normalizar las columnas de este marco de datos donde cada valor está entre 0 …

227 python  pandas  dataframe  normalize 

En R, cuando necesita recuperar un índice de columna basado en el nombre de la columna, puede hacer idx <- which(names(my_data)==my_colum_name) ¿Hay alguna manera de hacer lo mismo con los marcos de datos de pandas?

220 python  pandas  dataframe  indexing 

Tengo un marco de datos de Pandas como se muestra a continuación: 1 2 3 0 a NaN read 1 b l unread 2 c NaN read Quiero eliminar los valores de NaN con una cadena vacía para que se vea así: 1 2 3 0 a "" read 1 …

218 python  pandas  dataframe  nan 

Tengo un marco de datos de pandas que se ve así (es bastante grande) date exer exp ifor mat 1092 2014-03-17 American M 528.205 2014-04-19 1093 2014-03-17 American M 528.205 2014-04-19 1094 2014-03-17 American M 528.205 2014-04-19 1095 2014-03-17 American M 528.205 2014-04-19 1096 2014-03-17 American M 528.205 2014-05-17 ahora …

214 python  pandas  updates  dataframe 

Supongamos que tengo dos DataFrames así: left = pd.DataFrame({'key1': ['foo', 'bar'], 'lval': [1, 2]}) right = pd.DataFrame({'key2': ['foo', 'bar'], 'rval': [4, 5]}) Quiero fusionarlos, así que intento algo como esto: pd.merge(left, right, left_on='key1', right_on='key2') Y estoy feliz key1 lval key2 rval 0 foo 1 foo 4 1 bar 2 bar …

208 python  pandas  dataframe  join 

Estoy usando este marco de datos: Fruit Date Name Number Apples 10/6/2016 Bob 7 Apples 10/6/2016 Bob 8 Apples 10/6/2016 Mike 9 Apples 10/7/2016 Steve 10 Apples 10/7/2016 Bob 1 Oranges 10/7/2016 Bob 2 Oranges 10/6/2016 Tom 15 Oranges 10/6/2016 Mike 57 Oranges 10/6/2016 Bob 65 Oranges 10/7/2016 Tony 1 …

207 python  pandas  dataframe  group-by  aggregate 

Estoy usando spark-csv para cargar datos en un DataFrame. Quiero hacer una consulta simple y mostrar el contenido: val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv") df.registerTempTable("tasks") results = sqlContext.sql("select col from tasks"); results.show() La columna parece truncada: scala> results.show(); +--------------------+ | col| +--------------------+ |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 07:15:...| |2015-11-16 …

201 apache-spark  dataframe  spark-csv  output-formatting 

Tengo un pandas dataframeen el que una columna de cadenas de texto contiene valores separados por comas. Quiero dividir cada campo CSV y crear una nueva fila por entrada (suponga que CSV está limpio y solo necesita dividirse en ','). Por ejemplo, adebería convertirse en b: In [7]: a Out[7]: …

200 python  pandas  numpy  dataframe 

Tengo un marco de datos de pandas con pocas columnas. Ahora sé que ciertas filas son valores atípicos basados ​​en un cierto valor de columna. Por ejemplo la columna 'Vol' tiene todos los valores 12xxy un valor es 4000(atípico). Ahora me gustaría excluir esas filas que tienen una Volcolumna como …

198 python  pandas  filtering  dataframe  outliers