Preguntas etiquetadas con web-scraping

Voy a desarrollar algunas funciones que rastrearán varios sitios web públicos y procesarán / agregarán los datos en ellos. Nada siniestro como buscar direcciones de correo electrónico; de hecho, es algo que en realidad podría generar tráfico adicional a sus sitios. Pero yo divago. Además de honrar robots.txt, ¿hay reglas …

83 web-scraping  web-crawler 

Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 4 años . Prepararé una aplicación para automatizar un sitio web / aplicación externo. En …

9 c#  .net  html  web-scraping