Preguntas etiquetadas con baidu

La mayoría de mis visitas son de arañas baidu. No creo que ayude en absoluto a los motores de búsqueda, así que estoy pensando en cómo bloquearlos. ¿Podría hacerse esto a través de iptables? Estoy usando nginx como mi servidor web.

15 traffic  nginx  web-crawlers  baidu 

Cuando reviso mi registro de Apache, puedo ver que Baidu ha estado rastreando mi sitio web 10 veces al día durante las últimas 2 semanas. No es que me importe mucho, pero tengo mucha curiosidad acerca de por qué está haciendo esto. Es un sitio web realmente pequeño de una …

12 seo  web-crawlers  baidu