Preguntas etiquetadas con apache-spark

Supongamos que estoy haciendo algo como: val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> "cars.csv", "header" -> "true")) df.printSchema() root |-- year: string (nullable = true) |-- make: string (nullable = true) |-- model: string (nullable = true) |-- comment: string (nullable = true) |-- blank: string (nullable = true) df.show() year …

152 scala  apache-spark  apache-spark-sql 

De acuerdo con la introducción de conjuntos de datos de Spark : Mientras esperamos Spark 2.0, planeamos algunas mejoras interesantes para los conjuntos de datos, específicamente: ... Codificadores personalizados: si bien actualmente generamos codificadores automáticamente para una amplia variedad de tipos, nos gustaría abrir una API para objetos personalizados. e …

149 scala  apache-spark  apache-spark-dataset  apache-spark-encoders 

Instalé Spark usando la guía AWS EC2 y puedo iniciar bien el programa usando el bin/pyspark script para llegar al indicador de chispa y también puedo hacer el inicio rápido exitosamente. Sin embargo, no puedo por mi vida descubrir cómo detener todo el INFOregistro detallado después de cada comando. He …

144 python  scala  apache-spark  hadoop  pyspark 

Tengo un DataFrame generado de la siguiente manera: df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc)) Los resultados se ven así: +----+--------+----------+ |Hour|Category|TotalValue| +----+--------+----------+ | 0| cat26| 30.9| | 0| cat13| 22.1| | 0| cat95| 19.6| | 0| cat105| 1.3| | 1| cat67| 28.5| | 1| cat4| 26.8| | 1| cat13| …

143 sql  scala  apache-spark  dataframe  apache-spark-sql 

Supongamos por lo siguiente que solo se está ejecutando un trabajo de Spark en cada momento. Lo que llego hasta ahora Esto es lo que entiendo que sucede en Spark: Cuando SparkContextse crea un, cada nodo de trabajo inicia un ejecutor. Los ejecutores son procesos separados (JVM), que se conectan …

143 apache-spark 

Me gustaría leer un CSV en chispa y convertirlo como DataFrame y almacenarlo en HDFS con df.registerTempTable("table_name") Yo he tratado: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Error que obtuve: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] …

142 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

¿Cómo puedo convertir un RDD ( org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]) a un marco de datos org.apache.spark.sql.DataFrame? Convertí un marco de datos a rdd usando .rdd. Después de procesarlo, lo quiero de vuelta en el marco de datos. Cómo puedo hacer esto ?

139 scala  apache-spark  apache-spark-sql  rdd 

Quiero agregar una columna en un DataFramevalor arbitrario (que es lo mismo para cada fila). Me sale un error cuando uso de la withColumnsiguiente manera: dt.withColumn('new_column', 10).head(5) --------------------------------------------------------------------------- AttributeError Traceback (most recent call last) <ipython-input-50-a6d0257ca2be> in <module>() 1 dt = (messages 2 .select(messages.fromuserid, messages.messagetype, floor(messages.datetime/(1000*60*5)).alias("dt"))) ----> 3 dt.withColumn('new_column', 10).head(5) /Users/evanzamir/spark-1.4.1/python/pyspark/sql/dataframe.pyc …

137 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Lo intenté df.orderBy("col1").show(10)pero se ordenó en orden ascendente. df.sort("col1").show(10)También se ordena en orden descendente. Miré en stackoverflow y las respuestas que encontré estaban todas desactualizadas o referidas a RDD . Me gustaría usar el marco de datos nativo en spark.

137 scala  apache-spark  apache-spark-sql 

¿Cuál es la diferencia entre un RDD map y un mapPartitionsmétodo? ¿Y se flatMapcomporta como mapo como mapPartitions? Gracias. (editar) es decir, ¿cuál es la diferencia (semánticamente o en términos de ejecución) entre def map[A, B](rdd: RDD[A], fn: (A => B)) (implicit a: Manifest[A], b: Manifest[B]): RDD[B] = { rdd.mapPartitions({ …

133 performance  scala  apache-spark  rdd 

Empecé a usar Spark SQL y DataFrames en Spark 1.4.0. Quiero definir un particionador personalizado en DataFrames, en Scala, pero no veo cómo hacerlo. Una de las tablas de datos con las que estoy trabajando contiene una lista de transacciones, por cuenta, silimar para el siguiente ejemplo. Account Date Type …

128 scala  apache-spark  dataframe  apache-spark-sql  partitioning 

Tengo un Spark DataFrame (usando PySpark 1.5.1) y me gustaría agregar una nueva columna. He intentado lo siguiente sin ningún éxito: type(randomed_hours) # => list # Create in Python and transform to RDD new_col = pd.DataFrame(randomed_hours, columns=['new_col']) spark_new_col = sqlContext.createDataFrame(new_col) my_df_spark.withColumn("hours", spark_new_col["new_col"]) También recibí un error al usar esto: my_df_spark.withColumn("hours", …

128 python  apache-spark  dataframe  pyspark  apache-spark-sql 

¿Cómo puedo aumentar la memoria disponible para los nodos del ejecutor de chispa Apache? Tengo un archivo de 2 GB que es adecuado para cargar en Apache Spark. Estoy ejecutando apache spark por el momento en 1 máquina, por lo que el controlador y el ejecutor están en la misma …

127 memory  apache-spark 

Estoy intentando imprimir el contenido de una colección en la consola Spark. Tengo un tipo: linesWithSessionId: org.apache.spark.rdd.RDD[String] = FilteredRDD[3] Y uso el comando: scala> linesWithSessionId.map(line => println(line)) Pero esto está impreso: res1: org.apache.spark.rdd.RDD [Unidad] = MappedRDD [4] en el mapa en: 19 ¿Cómo puedo escribir el RDD en la consola …

124 scala  apache-spark 

¿Cómo concatenamos dos columnas en un DataFrame de Apache Spark? ¿Hay alguna función en Spark SQL que podamos usar?

116 sql  apache-spark  dataframe  apache-spark-sql