Preguntas etiquetadas con scraping

Tengo una lista de páginas web que necesito para raspar, analizar y luego almacenar los datos resultantes en una base de datos. El total es de alrededor de 5,000,000. Mi suposición actual de la mejor manera de abordar esto es implementar ~ 100 instancias EC2, proporcionar a cada instancia 50,000 …

8 amazon-ec2  scraping 

Tenemos una base de datos de búsqueda (DB), limitamos los resultados a 15 por página y solo 100 resultados todavía hacen que las personas intenten raspar el sitio. Estamos prohibiendo sitios que lleguen lo suficientemente rápido. Me preguntaba si hay algo más que podamos hacer. Flash renderizar los resultados tal …

8 database  scraping