¿Cómo encuentran estos 'robots malos' encontrar mi servidor web cerrado?

Instalé Apache hace un tiempo, y un vistazo rápido a mi access.log muestra que todo tipo de IP desconocidas se están conectando, principalmente con un código de estado 403, 404, 400, 408. No tengo idea de cómo están encontrando mi IP, porque solo lo uso para uso personal, y agregué un archivo robots.txt con la esperanza de mantener alejados a los motores de búsqueda. Bloqueo índices y no hay nada realmente importante.

¿Cómo encuentran estos bots (o personas) encontrar el servidor? ¿Es común que esto suceda? ¿Son peligrosas estas conexiones / qué puedo hacer al respecto?

Además, muchas de las IP provienen de todo tipo de países y no resuelven un nombre de host.

Aquí hay un montón de ejemplos de lo que sucede:

En un gran barrido, este bot intentó encontrar phpmyadmin:

"GET /w00tw00t.at.blackhats.romanian.anti-sec:) HTTP/1.1" 403 243 "-" "ZmEu"
"GET /3rdparty/phpMyAdmin/scripts/setup.php HTTP/1.1" 404 235 "-" "ZmEu"
"GET /admin/mysql/scripts/setup.php HTTP/1.1" 404 227 "-" "ZmEu"
"GET /admin/phpmyadmin/scripts/setup.php HTTP/1.1" 404 232 "-" "ZmEu"

Tengo muchos de estos:

"HEAD / HTTP/1.0" 403 - "-" "-"

muchos "proxyheader.php", recibo muchas solicitudes con enlaces http: // en el GET

"GET http://www.tosunmail.com/proxyheader.php HTTP/1.1" 404 213 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"

"CONECTAR"

"CONNECT 213.92.8.7:31204 HTTP/1.0" 403 - "-" "-"

"soapCaller.bs"

"GET /user/soapCaller.bs HTTP/1.1" 404 216 "-" "Morfeus Fucking Scanner"

y esta basura hexadecimal realmente incompleta ...

"\xad\r<\xc8\xda\\\x17Y\xc0@\xd7J\x8f\xf9\xb9\xc6x\ru#<\xea\x1ex\xdc\xb0\xfa\x0c7f("400 226 "-" "-"

vacío

"-" 408 - "-" "-"

Eso es solo lo esencial. Recibo todo tipo de basura, incluso con los agentes de usuario de win95.

Gracias.

Bienvenido al internet :)

• Cómo te encontraron: lo más probable es que el escaneo IP de fuerza bruta. Al igual que su flujo constante de escaneo de vulnerabilidades en su host una vez que lo encontraron.
• Para evitar en el futuro: si bien no es totalmente evitable, puede inhibir herramientas de seguridad como Fail2Ban en Apache o límites de velocidad, o prohibición manual, o configuración de ACL
• Es muy común ver esto en cualquier hardware externo accesible que responda en puertos comunes
• Solo es peligroso si tiene versiones sin parches de software en el host que pueden ser vulnerables. Estos son simplemente intentos ciegos para ver si tienes algo 'genial' para que estos niños de guiones jueguen. Piense en ello como alguien caminando por el estacionamiento tratando de abrir las puertas del automóvil para ver si están desbloqueadas, asegúrese de que la suya esté y es probable que la deje sola.

Estas son solo personas que intentan encontrar vulnerabilidades en los servidores. Casi seguramente hecho por máquinas comprimidas.

Solo serán personas escaneando ciertos rangos de IP: puede ver en phpMyAdmin uno, que está tratando de encontrar una versión de PMA preinstalada mal asegurada. Una vez que se encuentra uno, puede obtener un acceso sorprendente al sistema.

Asegúrese de que su sistema esté actualizado y de que no tenga ningún servicio que no sea necesario.

Estos son robots que buscan exploits de seguridad conocidos. Simplemente escanean rangos de red completos y, por lo tanto, encontrarán servidores no publicitados como el suyo. No están jugando bien y no les importa su robots.txt. Si encuentran una vulnerabilidad, la registrarán (y puede esperar un ataque manual en breve) o infectarán automáticamente su máquina con un rootkit o malware similar. Es muy poco lo que puede hacer al respecto y es solo un negocio normal en Internet. Son la razón por la cual es importante tener siempre instaladas las últimas correcciones de seguridad para su software.

Como otros han señalado, es probable que estén haciendo un escaneo de fuerza bruta. Si está en una dirección IP dinámica, es más probable que escanee su dirección. (El siguiente consejo asume Linux / UNIX, pero la mayoría se puede aplicar a los servidores de Windows).

Las formas más fáciles de bloquearlos son:

• Firewall puerto 80 y solo permite un rango limitado de direcciones IP para acceder a su servidor.
• Configure ACL (s) en su configuración de apache que solo permite que ciertas direcciones accedan a su servidor. (Puede tener diferentes reglas para diferentes contenidos).
• Requerir autenticación para acceder desde Internet.
• Cambie la firma del servidor para excluir su compilación. (No hay mucha mayor seguridad, pero hace que los ataques específicos de la versión sean un poco más difíciles.
• Instale una herramienta como fail2ban, para bloquear automáticamente su dirección. Hacer que los patrones coincidentes sean correctos puede llevar un poco de trabajo, pero si los errores de la serie 400 son poco comunes para su vista, puede no ser tan difícil.

Para limitar el daño que pueden causar a su sistema, asegúrese de que el proceso de apache solo pueda escribir en directorios y archivos que debería poder cambiar. En la mayoría de los casos, el servidor solo necesita acceso de lectura al contenido que sirve.

Internet es espacio público, por lo tanto, el término public ip. No se puede ocultar, excepto configurando alguna forma de denegar al público (vpn, acl en un firewall, acceso directo, etc.). Estas conexiones son peligrosas, ya que eventualmente alguien será más rápido explotando que usted parcheando. Consideraría algún tipo de autenticación antes de responder.