Preguntas etiquetadas con web-crawler

Descubrí que McAfee SiteAdvisor ha informado que mi sitio web "puede estar teniendo problemas de seguridad" . Me importa poco lo que McAfee piense de mi sitio web (puedo asegurarlo yo mismo y si no, McAfee definitivamente no es la compañía a la que pediría ayuda, muchas gracias). Sin embargo, …

30 web-crawler 

¿Cómo manejan los sitios grandes (por ejemplo, Wikipedia) los bots que están detrás de otro enmascarador de IP? Por ejemplo, en mi universidad, todos buscan en Wikipedia, lo que le da una carga significativa. Pero, hasta donde yo sé, Wikipedia solo puede conocer la IP del enrutador de la universidad, …

12 web-crawler 

Tengo un problema con cierta persona que sigue raspando mi sitio de manera agresiva; desperdicio de ancho de banda y recursos de CPU. Ya he implementado un sistema que sigue los registros de acceso de mi servidor web, agrega cada nueva IP a una base de datos, realiza un seguimiento …

10 ip  isp  whois  web-crawler  ip-blocking 

Instalé Apache hace un tiempo, y un vistazo rápido a mi access.log muestra que todo tipo de IP desconocidas se están conectando, principalmente con un código de estado 403, 404, 400, 408. No tengo idea de cómo están encontrando mi IP, porque solo lo uso para uso personal, y agregué …

8 apache-2.2  web-crawler