Vienen de los raspadores web que usan incorrectamente Yahoo! Buscar resultado. Este descubrimiento fue realizado por @tenants en el foro XenForo . Explican más de las implicaciones de recibir estas solicitudes y cómo las manejan.
1. ¿Crees que deberíamos preocuparnos por estas solicitudes?
No tiene que preocuparse por estas solicitudes. Son solo sellos distintivos de los bots tontos y los bots tontos deambulan por Internet. Estas solicitudes no deben identificarse como maliciosas solo en función de la URL, probablemente sean inocentes.
2. ¿Qué están tratando de archivar estas solicitudes?
Están tratando de obtener el contenido de la página que están solicitando. No tienen ningún efecto especial, son productos (no deseados) de un Yahoo! Buscar raspado.
3. ¿Algo que podamos hacer para detenerlos?
En realidad no, cualquiera es libre de publicar cualquier solicitud que desee en la red . (Al menos técnicamente. Aspectos sociales y legales apartados).
Puede tirarlos al generar informes de sus registros. Esta es la opción que elegí.
O puede intentar arreglar las solicitudes para tener éxito y no generar entradas de registro . Esto es probablemente lo que la mayoría hace de lo que vi en la web. Veo una falla en este enfoque. Mientras mejoran la experiencia de sus visitantes, olvidan quiénes son esos visitantes. Tontos bots. No quiero bots tontos en mis sitios, así que no me molestaré en mejorar su experiencia.
Si desea corregir las solicitudes, puede hacerlo utilizando reescribir mod, posiblemente llamado desde .htaccess, por ejemplo, usando el código de la publicación del foro XenForo que mencioné anteriormente:
RewriteEngine On
# strange behaving bots, these are urls scraped from yahoo (botters scrapping for links, yahoo search link contain RK RS) tenants modification:
RewriteRule ^(.*)RK=0/RS= /$1 [L,NC,R=301]
RewriteRule ^(.*)RS=^ /$1 [L,NC,R=301]
Puede que tenga que jugar un poco con las expresiones regulares, por ejemplo, agregue una barra adicional después de (.*)
si sus URL no terminan con una.
Relacionado
Felicitaciones a la respuesta de @ dman sobre Stack Overflow y el comentario de @webaware bajo esta pregunta para encontrar la publicación del foro XenForo.