Preguntas etiquetadas con pyspark

Vengo de antecedentes de pandas y estoy acostumbrado a leer datos de archivos CSV en un marco de datos y luego simplemente cambiar los nombres de columna a algo útil usando el comando simple: df.columns = new_column_name_list Sin embargo, lo mismo no funciona en los marcos de datos pyspark creados …

201 python  apache-spark  pyspark  pyspark-sql 

Prefiero Python sobre Scala. Pero, como Spark está escrito de forma nativa en Scala, esperaba que mi código se ejecute más rápido en Scala que en la versión de Python por razones obvias. Con esa suposición, pensé en aprender y escribir la versión Scala de un código de preprocesamiento muy …

178 scala  performance  apache-spark  pyspark  rdd 

Instalé Spark usando la guía AWS EC2 y puedo iniciar bien el programa usando el bin/pyspark script para llegar al indicador de chispa y también puedo hacer el inicio rápido exitosamente. Sin embargo, no puedo por mi vida descubrir cómo detener todo el INFOregistro detallado después de cada comando. He …

144 python  scala  apache-spark  hadoop  pyspark 

Quiero agregar una columna en un DataFramevalor arbitrario (que es lo mismo para cada fila). Me sale un error cuando uso de la withColumnsiguiente manera: dt.withColumn('new_column', 10).head(5) --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) <ipython-input-50-a6d0257ca2be> in <module>() 1 dt = (messages 2 .select(messages.fromuserid, messages.messagetype, floor(messages.datetime/(1000*60*5)).alias("dt"))) ----> 3 dt.withColumn('new_column', 10).head(5) /Users/evanzamir/spark-1.4.1/python/pyspark/sql/dataframe.pyc …

137 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Tengo un Spark DataFrame (usando PySpark 1.5.1) y me gustaría agregar una nueva columna. He intentado lo siguiente sin ningún éxito: type(randomed_hours) # => list # Create in Python and transform to RDD new_col = pd.DataFrame(randomed_hours, columns=['new_col']) spark_new_col = sqlContext.createDataFrame(new_col) my_df_spark.withColumn("hours", spark_new_col["new_col"]) También recibí un error al usar esto: my_df_spark.withColumn("hours", …

128 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Esta es una copia de la pregunta de otra persona en otro foro que nunca fue respondida, así que pensé en volver a hacerla aquí, ya que tengo el mismo problema. (Ver http://geekple.com/blogs/feeds/Xgzu7/posts/351703064084736 ) Tengo Spark instalado correctamente en mi máquina y puedo ejecutar programas de Python con los módulos …

111 python  apache-spark  pyspark 

Soy nuevo en Spark y estoy tratando de leer datos CSV de un archivo con Spark. Esto es lo que estoy haciendo: sc.textFile('file.csv') .map(lambda line: (line.split(',')[0], line.split(',')[1])) .collect() Esperaría que esta llamada me diera una lista de las dos primeras columnas de mi archivo, pero recibo este error: File "<ipython-input-60-73ea98550983>", …

110 python  csv  apache-spark  pyspark 

Trabajo en un marco de datos con dos columnas, mvv y count. +---+-----+ |mvv|count| +---+-----+ | 1 | 5 | | 2 | 9 | | 3 | 3 | | 4 | 1 | Me gustaría obtener dos listas que contengan valores mvv y valor de recuento. Algo como …

104 python  apache-spark  pyspark  spark-dataframe 

Tengo una aplicación Spark en ejecución donde ocupa todos los núcleos donde mis otras aplicaciones no recibirán ningún recurso. Hice una investigación rápida y la gente sugirió usar YARN kill o / bin / spark-class para eliminar el comando. Sin embargo, estoy usando la versión CDH y / bin / …

101 apache-spark  yarn  pyspark 

Estoy tratando de filtrar un marco de datos PySpark que tiene Nonecomo valor de fila: df.select('dt_mvmt').distinct().collect() [Row(dt_mvmt=u'2016-03-27'), Row(dt_mvmt=u'2016-03-28'), Row(dt_mvmt=u'2016-03-29'), Row(dt_mvmt=None), Row(dt_mvmt=u'2016-03-30'), Row(dt_mvmt=u'2016-03-31')] y puedo filtrar correctamente con un valor de cadena: df[df.dt_mvmt == '2016-03-31'] # some results here pero esto falla: df[df.dt_mvmt == None].count() 0 df[df.dt_mvmt != None].count() 0 Pero …

100 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Tengo un marco de datos con una columna como Cadena. Quería cambiar el tipo de columna a tipo doble en PySpark. A continuación se muestra la forma que hice: toDoublefunc = UserDefinedFunction(lambda x: x,DoubleType()) changedTypedf = joindf.withColumn("label",toDoublefunc(joindf['show'])) Solo quería saber si esta es la manera correcta de hacerlo, ya que …

99 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Estoy usando pyspark (Python 2.7.9 / Spark 1.3.1) y tengo un GroupObject de marco de datos que necesito filtrar y ordenar en orden descendente. Tratando de lograrlo a través de este código. group_by_dataframe.count().filter("`count` >= 10").sort('count', ascending=False) Pero arroja el siguiente error. sort() got an unexpected keyword argument 'ascending'

88 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Sugiera una alternativa de marco de datos pyspark para Pandas df['col'].unique(). Quiero enumerar todos los valores únicos en una columna de marco de datos pyspark. No es la forma de tipo SQL (registertemplate y luego consulta SQL para valores distintos). Además, no lo necesito groupby->countDistinct, en cambio, quiero verificar distintos …

82 pyspark  pyspark-sql 

Estoy intentando instalar Spark en mi Mac. He usado home-brew para instalar Spark 2.4.0 y Scala. He instalado PySpark en mi entorno anaconda y estoy usando PyCharm para el desarrollo. He exportado a mi perfil de bash: export SPARK_VERSION=`ls /usr/local/Cellar/apache-spark/ | sort | tail -1` export SPARK_HOME="/usr/local/Cellar/apache-spark/$SPARK_VERSION/libexec" export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH export …

82 java  python  macos  apache-spark  pyspark 

Entonces, como sé en Spark Dataframe, que para múltiples columnas puede tener el mismo nombre que se muestra en la siguiente instantánea del marco de datos: [ Row(a=107831, f=SparseVector(5, {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.0}), a=107831, f=SparseVector(5, {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: …

82 python  apache-spark  dataframe  pyspark  apache-spark-sql