Preguntas etiquetadas con pyspark-sql

Vengo de antecedentes de pandas y estoy acostumbrado a leer datos de archivos CSV en un marco de datos y luego simplemente cambiar los nombres de columna a algo útil usando el comando simple: df.columns = new_column_name_list Sin embargo, lo mismo no funciona en los marcos de datos pyspark creados …

201 python  apache-spark  pyspark  pyspark-sql 

Sugiera una alternativa de marco de datos pyspark para Pandas df['col'].unique(). Quiero enumerar todos los valores únicos en una columna de marco de datos pyspark. No es la forma de tipo SQL (registertemplate y luego consulta SQL para valores distintos). Además, no lo necesito groupby->countDistinct, en cambio, quiero verificar distintos …

82 pyspark  pyspark-sql 

Tengo un marco de datos pyspark de fecha con una columna de cadena en el formato de MM-dd-yyyyy estoy intentando convertir esto en una columna de fecha. Lo intenté: df.select(to_date(df.STRING_COLUMN).alias('new_date')).show() y obtengo una cadena de nulos. ¿Alguien puede ayudar?

80 apache-spark  pyspark  apache-spark-sql  pyspark-sql