Apache Spark: Cómo usar pyspark con Python 3

91

Construí Spark 1.4 a partir del maestro de desarrollo de GH y la compilación salió bien. Pero cuando lo hago bin/pyspark, obtengo la versión Python 2.7.9. ¿Cómo puedo cambiar esto?

python python-3.x apache-spark

— tchakravarty
fuente

7

Para cualquiera que busque cómo hacer esto:, PYSPARK_DRIVER_PYTHON=ipython3 PYSPARK_DRIVER_PYTHON_OPTS="notebook" ./bin/pysparken cuyo caso ejecuta el portátil IPython 3.

— tchakravarty

142

Simplemente configure la variable de entorno:

export PYSPARK_PYTHON=python3

en caso de que desee que esto sea un cambio permanente, agregue esta línea al script pyspark.

— Rtik88
fuente

Las variables de entorno se pueden editar en / etc / profile. No olvide ejecutar "source / etc / profile" después de guardar el perfil, para que los cambios se puedan aplicar inmediatamente.

— Phyticist

1

Obviamente, use export PYSPARK_PYTHON=python3.5para Python 3.5

— Phyticist

4

Es mejor añadir esto a $SPARK_HOME/conf/spark-env.shlo que spark-submitusa el mismo intérprete también.

— flow2k

@ flow2k esa es una mejor idea. Tnx

— mohammad RaoofNia

32

PYSPARK_PYTHON=python3 
./bin/pyspark

Si desea ejecutar en IPython Notebook, escriba:

PYSPARK_PYTHON=python3 
PYSPARK_DRIVER_PYTHON=ipython 
PYSPARK_DRIVER_PYTHON_OPTS="notebook" 
./bin/pyspark

Si python3no es accesible, debe pasarle la ruta en su lugar.

Tenga en cuenta que la documentación actual (a partir de 1.4.1) tiene instrucciones desactualizadas. Afortunadamente, ha sido parcheado .

— Piotr Migdal
fuente

1

Creo que su comando para el IPython Notebook no es correcto. Debería ser así: PYSPARK_PYTHON = python3 PYSPARK_DRIVER_PYTHON = ipython3 PYSPARK_DRIVER_PYTHON_OPTS = "notebook" ./bin/pyspark

— SpiderRico

@ChrisNielsen En la terminal.

— Piotr Migdal

@ChrisNielsen En Linux u OS X es una terminal / consola. No tengo idea de cómo funciona en Windows (cuando estaba en Windows, usé Spark solo en un contenedor Docker).

— Piotr Migdal

@SpiderRico Parece que no funcionan en mi Mac. Para que Jupyter Notebook funcione para Spark, use lo siguiente. PYSPARK_PYTHON = python3 PYSPARK_DRIVER_PYTHON = jupyter PYSPARK_DRIVER_PYTHON_OPTS = "notebook" ./bin/pyspark

— Hank Chan

9

1, editar perfil:vim ~/.profile

2, agregue el código en el archivo: export PYSPARK_PYTHON=python3

3, ejecute el comando: source ~/.profile

4, ./bin/pyspark

— Yangh
fuente

4

Eche un vistazo al archivo. La línea shebang probablemente apunta al binario 'env' que busca en la ruta el primer ejecutable compatible.

Puede cambiar python a python3. Cambie el env para usar directamente el binario python3 codificado. O ejecute el binario directamente con python3 y omita la línea shebang.

— rfkortekaas
fuente

1

Sí, buscar en el archivo ayudó. Necesario para establecer la PYSPARK_PYTHONvariable de entorno.

— tchakravarty

4

Para Jupyter Notebook, edite el spark-env.sharchivo como se muestra a continuación desde la línea de comando

$ vi $SPARK_HOME/conf/spark-env.sh

Vaya al final del archivo y copie y pegue estas líneas

export PYSPARK_PYTHON=python3
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

Luego, simplemente ejecute el siguiente comando para iniciar pyspark en el cuaderno

$ pyspark

— oya163
fuente