Estoy instalando paquetes de requirements.txt

pip install -r requirements.txt

El requirements.txtarchivo lee:

Pillow
lxml
cssselect
jieba
beautifulsoup
nltk

lxmles el único paquete que no se instala y esto lleva a que todo falle (resultados esperados como lo señalan los larsks en los comentarios). Sin embargo, después de lxmlfallas pipaún se ejecuta y descarga el resto de los paquetes.

Por lo que entiendo, el pip install -r requirements.txtcomando fallará si alguno de los paquetes enumerados en la requirements.txtfalla no se instala.

¿Hay algún argumento que pueda pasar al ejecutar pip install -r requirements.txtpara decirle que instale lo que pueda y omita los paquetes que no puede, o que salga tan pronto como vea que algo falla?

Ejecutar cada línea con pip installpuede ser una solución alternativa.

cat requirements.txt | xargs -n 1 pip install

Nota: el -aparámetro no está disponible en MacOS, por lo que el gato viejo es más portátil.

Esta solución maneja líneas vacías, líneas de espacios en blanco, # líneas de comentarios, espacios en blanco y luego # líneas de comentarios en su require.txt.

cat requirements.txt | sed -e '/^\s*#.*$/d' -e '/^\s*$/d' | xargs -n 1 pip install

Sombrero de punta a esta respuesta para la magia sed.

Para ventanas:

versión pip> = 18

import sys
from pip._internal import main as pip_main

def install(package):
    pip_main(['install', package])

if __name__ == '__main__':
    with open(sys.argv[1]) as f:
        for line in f:
            install(line)

versión pip <18

import sys
import pip

def install(package):
    pip.main(['install', package])

if __name__ == '__main__':
    with open(sys.argv[1]) as f:
        for line in f:
            install(line)

La xargssolución funciona pero puede tener problemas de portabilidad (BSD / GNU) y / o ser engorrosa si tiene comentarios o líneas en blanco en su archivo de requisitos.

En cuanto al caso de uso donde se requeriría tal comportamiento, utilizo, por ejemplo, dos archivos de requisitos separados, uno que solo enumera las dependencias centrales que deben instalarse siempre y otro archivo con dependencias no centrales que se encuentran en el 90% de los casos no es necesario para la mayoría de los casos de uso. Eso sería un equivalente de la Recommendssección de un paquete debian.

Utilizo el siguiente script de shell (requiere sed) para instalar dependencias opcionales :

#!/bin/sh

while read dependency; do
    dependency_stripped="$(echo "${dependency}" | sed -e 's/^[[:space:]]*//' -e 's/[[:space:]]*$//')"
    # Skip comments
    if [[ $dependency_stripped == \#* ]]; then
        continue
    # Skip blank lines
    elif [ -z "$dependency_stripped" ]; then
        continue
    else
        if pip install "$dependency_stripped"; then
            echo "$dependency_stripped is installed"
        else
            echo "Could not install $dependency_stripped, skipping"
        fi
    fi
done < recommends.txt

Gracias, Etienne Prothon por las vitrinas.

Pero, después de actualizar a pip 18, el paquete pip no expone main al público. Por lo tanto, es posible que deba cambiar un código como este.

 # This code install line by line a list of pip package 
 import sys
 from pip._internal import main as pip_main

 def install(package):
    pip_main(['install', package])

 if __name__ == '__main__':
    with open(sys.argv[1]) as f:
        for line in f:
            install(line)

Para ventanas:

import os
from pip.__main__ import _main as main

error_log = open('error_log.txt', 'w')

def install(package):
    try:
        main(['install'] + [str(package)])
    except Exception as e:
        error_log.write(str(e))

if __name__ == '__main__':
    f = open('requirements1.txt', 'r')
    for line in f:
        install(line)
    f.close()
    error_log.close()

1. Cree un directorio local y coloque su requirements.txtarchivo en él.
2. Copie el código anterior y guárdelo como un archivo python en el mismo directorio. Recuerde usar la .pyextensión, por ejemplo,install_packages.py
3. Ejecute este archivo usando un cmd: python install_packages.py
4. Todos los paquetes mencionados se instalarán de una vez sin detenerse en absoluto. :)

Puede agregar otros parámetros en la función de instalación. Me gusta: main(['install'] + [str(package)] + ['--update'])