3
¿Cómo detectan los sitios los bots detrás de servidores proxy o redes de la empresa?
¿Cómo manejan los sitios grandes (por ejemplo, Wikipedia) los bots que están detrás de otro enmascarador de IP? Por ejemplo, en mi universidad, todos buscan en Wikipedia, lo que le da una carga significativa. Pero, hasta donde yo sé, Wikipedia solo puede conocer la IP del enrutador de la universidad, …
12
web-crawler