Solución de Wordpress (no es la mejor pero ayuda)
El mismo problema con la araña Biadu, tan agresivo que mi caja ocupó más de 35 en mi consola usando la parte superior. Obviamente, incluso una computadora rápida no puede manejar efectivamente solicitudes externas que se ejecutan a 35 ...
Rastreé el número de IP (de ese edificio de la Universidad ????) para ser varios cientos, principalmente con dos agentes de uso)
¿Consecuencia directa? Como tengo un servidor en la nube, tuve que actualizarlo a una memoria más alta para permitir una respuesta descendente.
Respuesta anterior:
#Baiduspider
User-agent: Baiduspider
Disallow: /
Baidu parece totalmente incapaz de respetar la indicación robot.txt.
Lo que hice:
Instalé el complemento WP-Ban para Wordpress (gratis) y prohibí lo siguiente:
AGENTES DE USUARIO:
Además, usando Wp Super Cache, redirijo la página de error relativo a una página estática, por lo que toda la instalación de wordpress no / o al menos solo para los usuarios prohibidos verifica la tabla de datos Mysql.
(Este es el estándar de Wordpress blablabla, por lo que todos los que puedan instalar un complemento de Wordpress pueden hacerlo, ya que no se requiere codificación ni acceso ftp para este procedimiento)
Estoy de acuerdo con todos: Internet es gratis, prohibir a quien sea o lo que sea absolutamente lo último que alguien debería hacer, pero Baidoo hoy me cuesta USD 40 más / mes, solo para arañar un sitio web escrito en portugués, y tengo algunas dudas si hay Muchos chinos y visitantes pueden leer y comprender este idioma.