7
¿Cómo ser un buen ciudadano al rastrear sitios web?
Voy a desarrollar algunas funciones que rastrearán varios sitios web públicos y procesarán / agregarán los datos en ellos. Nada siniestro como buscar direcciones de correo electrónico; de hecho, es algo que en realidad podría generar tráfico adicional a sus sitios. Pero yo divago. Además de honrar robots.txt, ¿hay reglas …