Tuvimos algunos problemas serios con la araña (increíblemente) mal escrita de Yahoo en el pasado , y como resultado los bloqueamos. Marco Arment de Tumblr también compartió sus frustraciones con nosotros el 31/08/2009, lo que fue un factor en nuestro bloqueo.
[Yahoo's Spider] nos ha estado inundando con 70-200 solicitudes / segundo desde aproximadamente las 5:30 AM EST. Nunca he visto algo así, incluso de sus rastreadores "experimentales" que nos han abusado en el pasado. La prohibición de Robots.txt no es suficiente: tengo que bloquearlos por IP en el nivel de equilibrador de carga. Como han abusado de Stack Overflow en el pasado, supuse que querrás saberlo.
Parece que la búsqueda web de Yahoo es "¡Desarrollado por Bing!" ahora. Esto es bueno, porque nunca hemos tenido un problema con la araña de Bing (también conocida como MSNBOT).
Entonces, ¿la búsqueda de Yahoo es igual a la búsqueda de Bing ahora, o deberíamos estar buscando desbloquearlos si de alguna manera, contra todo pronóstico, han dejado de chupar tan fuerte?