¿La lista gris sigue siendo un método eficiente para prevenir el spam?

50

He usado listas grises en mis servidores durante muchos años, pero no sé cuán efectivo es hoy en día.

¿Sigue siendo bueno para combatir el spam en 2012?

¿O es el típico MTA spammer capaz de reenviar correos electrónicos en la lista gris ahora?

— neu242
fuente

2

@ Michael: Para combatir el spam. Lea la pregunta :)

— neu242

1

Podemos abordar los pros y los contras de las

— listas grises

1

Cambié el título ligeramente. ¿Se ve mejor ahora?

— neu242

2

@MichaelHampton Uh, punto de interés ... ¿qué medidas de prevención de spam utiliza que no causen quejas del CEO? O tal vez, si es más apropiado, ¿qué tipo de CEO tiene que no sea un $ # ^ & * @ mimado y llorón que encontrará algo de qué quejarse en absolutamente nada?

— HopelessN00b

1

@ HopelessN00b Nuestro CEO no es así. No estaría juzgando la personalidad o el comportamiento de alguien basado únicamente en su profesión.

— darvids0n

6

Una actualización de 2018:

Siempre fui un gran fanático de las listas grises. Por estas razones:

No solo marca el spam, sino que lo bloquea.
Es legal usarlo como proveedor de servicios en Alemania (a diferencia de eliminar correos spam después de la recepción)
Es simple y efectivo.
Agrega carga al spammer y no a su servidor de correo receptor. Por lo tanto, a pesar de que los spammers pueden superar su lista gris, usted obligó a su máquina a trabajar más duro y, por lo tanto, pueden enviar menos spam en total.
Bloquea casi ningún correo legítimo, a diferencia de los RBL basados en IP, etc.
Presenta retrasos, pero puede incluir en la lista blanca a los clientes (servidores de envío) de contactos frecuentes y destinatarios de la lista blanca que realmente necesitan correo electrónico con un retraso mínimo. Recuerde que el uso de un filtro de correo no deseado como Spamassasin directamente en todo su correo (sin listas grises) también puede generar retrasos en el correo legítimo: algunos spammers envían tantos correos a su servidor que el filtro de correo no deseado se sobrecarga. Por lo tanto, enviará una falla temporal (por ejemplo, 451) al servidor de envío de más correos entrantes. Esto provoca los mismos efectos que las listas grises, es decir, los correos se retrasan, con la excepción de que la inclusión en la lista blanca no es tan fácil. Por supuesto, puede usar un filtro de spam en la nube que se adapta a la potencia que tenga el spammer, pero eso puede ser más costoso.
Limitado o no requiere mantenimiento. No hay listas negras que necesiten actualizarse y cambiar con el tiempo. No hay reglas basadas en patrones que deban actualizarse.

Pero desafortunadamente, en mis estadísticas veo que en este año, las listas grises se vuelven cada vez menos efectivas. La cantidad de mensajes retrasados realmente se acerca bastante rápido a la cantidad de mensajes en la lista gris, lo que significa que la cantidad de spam bloqueado se está reduciendo.

En el último año (365 días), el 55% de los mensajes incluidos en la lista gris finalmente llegaron a la lista gris, es decir, el 45% se bloqueó.

año de estadísticas de mailgraph

año de estadísticas de mailgraph

Tenga en cuenta que este gráfico incluía un marco de tiempo en el que los mensajes en la lista gris no se contaban debido a un error de configuración del mailgraph, solo los retrasados. Esto significa que este cálculo sobreestima un poco los mensajes retrasados, de hecho, se bloquearon más correos.

En el último mes, el 64% se retrasó y solo el 36% se bloqueó.

mes de estadísticas de mailgraph

mes de estadísticas de mailgraph

En la última semana, el 75% se retrasó y solo el 25% se bloqueó.

semana de estadísticas de mailgraph

semana de estadísticas de mailgraph

Además, observando la cantidad total de mensajes bloqueados: este mes, las listas grises bloquearon 4 411 mensajes, pero Amavisd (spamassasin) bloqueó 22 763 mensajes. Esto significa que solo el 16% del spam se bloquea mediante listas grises, y el resto por amavisd.

Además, cada vez más proveedores de envío en la nube envían desde varios cientos de direcciones IP. Intentan cada intento de transmisión desde otra IP. Por lo tanto, las listas grises pueden bloquear estos correos incluso por días. Por lo tanto, debe incluir en la lista blanca a todos los proveedores de correo "buenos". Esto introduce un nuevo esfuerzo de mantenimiento.

Siempre he sido un gran admirador de las listas grises, pero lamentablemente veo que se está volviendo cada vez menos efectivo, y creo que lo deshabilitaré pronto, ya que comienza a retrasar innecesariamente el 14% de mis correos sin bloquear mucho spam .

Las estadísticas engañosas

La cantidad de correos bloqueados en mis estadísticas (y las tuyas) también puede ser muy engañosa. Tomemos un correo electrónico que proviene de un gran proveedor de correo en la nube (como * .outbound.protection.outlook.com de Microsoft) que aún no está en la lista blanca. El primer intento falla. El segundo y tercer intento de transmisión provienen de otros dos servidores (IP), por lo que nuevamente falla, ya que el triplete no coincide. Ahora el cuarto intento proviene del primer servidor nuevamente y tiene éxito. Esto se contará como una transmisión retrasada y cuatro mensajes en la lista gris. Mis cálculos anteriores indicarían que 1/4 = 25% de los mensajes en la lista gris se retrasaron y 3/4 = 75% fueron bloqueados. Pero, de hecho, ni un solo mensaje fue bloqueado. Ahora incluimos en la lista blanca los servidores de estos proveedores de correo, para que ya no estén en la lista gris. Lo que sucederá es que la cantidad de mensajes en la lista gris disminuirá más que la cantidad de mensajes retrasados. Esto significa que la cantidad de mensajes bloqueados que calculamos disminuirá. Pero no es cierto que se hayan bloqueado menos mensajes.

De hecho, lo que hice desde febrero de 2017 es agregar más y más proveedores de correo en la nube a la lista blanca para combatir el problema de los largos retrasos debido a las listas grises. Esto puede explicar (¿en parte?), Por qué la cantidad de correos bloqueados que calculo está disminuyendo rápidamente. Entonces, tal vez, pensé todo el tiempo que las listas grises están bloqueando mucho spam, pero la cantidad de spam bloqueado fue mucho menor todo el tiempo, simplemente se calculó incorrectamente. Así que ten cuidado al interpretar tus estadísticas.

— Christopher K.
fuente

1

Eso es muy interesante. ¡Gracias por publicar la investigación!

— Jenny D dice Reinstate Monica

+1 de mi parte: es hora de volver a examinar mis datos. Estoy de acuerdo en que estas personas sangrientas y molestas que envían correo alrededor de su servidor interno, de modo que cada intento proviene de un servidor diferente, sesgarán los datos. No estoy seguro de comprar su última sección, que parece estar argumentando que todos o la mayoría de los beneficios aparentes de las listas grises se deben al exceso de conteo de correos electrónicos entrantes.

— MadHatter apoya a Monica el

Las estadísticas de mi servidor de correo privado durante el último año (a partir de julio de 2019) muestran que solo el 15% de los mensajes se retrasaron y el 85% se bloquearon. Eché un vistazo a los remitentes bloqueados y se ven como spammers. Sin embargo, no estoy haciendo una lista gris de todo, sino solo remitentes en la lista negra de RBL (zen.spamhaus.org, spam.dnsbl.sorbs.net y psbl.surriel.com). Las listas grises bien configuradas todavía parecen ser eficientes.

— michau

1

@michau Claro que la lista gris de correos sospechosos es más eficiente que la lista gris de todo. Rspamd es un filtro de spam bastante nuevo e interesante que lo hace bastante bien. Lista gris de correos que alcanzan un bajo puntaje de spam. Entonces, como usted, también incluiría en la lista gris los correos de los remitentes listados en RBL (siempre y cuando el correo no sea lo suficientemente alto como para rechazarlo). Pero también incluiría en la lista gris los correos que coinciden con algunas reglas de correo no deseado pero que no puntúan lo suficiente como para rechazarlos.

— Christopher K.

55

La última vez que lo miré cuantitativamente fue en julio de este año (2012). En julio, mi servidor de correo recibió alrededor de 46,000 intentos de entregar correo; De ellos, alrededor de 1.750 regresaron y fueron permitidos por la lista gris (y pasaron un dominio de remitente válido, SPF y algunas otras pruebas no basadas en contenido). De esos, aproximadamente otros 1,500 fueron filtrados por mi filtrado basado en contenido.

Suponiendo que esos 44.250 correos electrónicos eran spam (ya que no podían pasar de la lista gris, creo que es una suposición justa), si no fuera por la lista gris, mi filtrado basado en contenido habría tenido que lidiar con 46.000 correos en lugar de 1.750.

Un aumento de veinticinco veces en la carga de mi filtrado basado en contenido requeriría que tuviera CPU mucho más robustas y más memoria. Eso a su vez aumentaría mis costos mensuales de alojamiento, debido al consumo de energía adicional (y, probablemente, el tamaño del servidor).

En resumen, la última vez que conté, sí, las listas grises todavía tenían mucho, muy buen sentido como parte de un sistema completo de filtrado de spam . Lo he activado para los clientes en las últimas semanas, y todos están muy contentos con la disminución de la carga en sus sistemas de filtrado basados en contenido también.

Editar : Observo que no he respondido la pregunta sobre si se está volviendo menos eficaz con el tiempo. Cuando lo encendí, a fines de 2006, mi estimación en ese momento era que estaba filtrando alrededor del 95% del correo no deseado. 1,750 como una proporción de 46,000 es aproximadamente el 4%, por lo que mis datos sugieren que no será menos efectivo durante ese período de tiempo.

— MadHatter apoya a Monica
fuente

2

Exactamente el tipo de respuesta que estaba buscando. ¡Gracias!

— neu242

3

Creo que tiene mucho sentido mirar esto cuantitativamente en su situación particular. Acabo de comprobar y mi servidor de correo ve cifras muy diferentes: total para agosto y septiembre, 460214 5xx rechaza, 12331 4xx rechaza y 22665 acepta. Por lo tanto, el 4.6% aceptó y solo el 2.6% del correo no deseado (en el mejor de los casos) bloqueado por las listas grises. Los rechazos 5xx están dominados por 8.4% de usuarios desconocidos y> 90% de RBL. (Y ni siquiera corro RBL extremadamente agresivos. Una mayoría abrumadora de los bloques RBL son XBL .) De nuevo, el tráfico atrapado por los RBL nunca llega a la lista gris.

— un CVn

77

Interesante, pero no puedo hacer una comparación directa porque, como cuestión de principio, no utilizaré ningún RBL como prueba de línea brillante para el recibo; Solo los uso como contribuyentes a una puntuación de spamassassin. He estado en RBLs con demasiada frecuencia, por razones completamente falsas, para confiar la operación de mi propio correo a la razón de otra persona. Sin embargo, si tuviéramos que suponer que todos esos rechazos de XBL son de botnets de disparar y olvidar, entonces si usted aparece en la lista gris como yo, vería porcentajes comparables para mí.

— MadHatter apoya a Monica el

1

Sí, he considerado cambiarlo para que sea solo un contribuidor de puntaje de spam y dependa de las listas grises, precisamente por la razón que usted menciona. Sin embargo, eso no niega el punto que estaba señalando, que diferentes servidores pueden ver patrones de tráfico muy diferentes y la única forma de saber realmente si la lista gris es efectiva es mirarlo desde el punto de vista de su configuración particular.

— un CVn

1

Iba a estar en desacuerdo nuevamente, pero realmente estoy completamente de acuerdo contigo. Para todos los usuarios, la mejor manera de descubrir si es una técnica efectiva en su flujo de correo es probarlo en su flujo de correo y medirlo : ¡Michael habla sabiamente!

— MadHatter apoya a Monica el

8

los robots de spam por lo general todavía no hacen cola de mensajes, pero algunos de ellos simplemente envían el correo no deseado dos veces a cada destinatario con unos minutos de retraso para vencer las listas grises. Además, hoy en día, el spam de spambots ya no es el verdadero problema, el spam de cuentas de yahoo comprometidas, etc. es mucho más difícil de atrapar.

Desde ese punto de vista, las listas grises no son tan efectivas como solían ser. En combinación con otras técnicas antispam, aún puede ayudar, por ejemplo, si su dominio a menudo se encuentra en el "primer lote" de campañas de spam, las listas grises pueden ayudar a retrasar el mensaje el tiempo suficiente para que las listas negras de dominio / ip se pongan al día, por lo que si el spam se habría deslizado a través de sus filtros en el primer intento de conexión, tal vez se detecte en el segundo intento.

— Grifo
fuente

La gran mayoría de los intentos de envío de spam que recibo provienen de Spambots. Utilizo otras técnicas para desalentar a los Spambots y la mayoría se rinde antes de que puedan ser incluidos en la lista gris. En mi servidor, Greylisting todavía bloquea aproximadamente la mitad de los remitentes, procesa. Eximo a los remitentes, que se puede determinar que es extremadamente probable que pasen a la lista gris.

— BillThor

5

Como cuestión tangencial, no me gusta estar en la posición de haber desplegado una técnica como la lista gris sin poder medir su efectividad. En Debian, con postfix como MTA y postgrey como motor de políticas de listas grises, puede apt-get install mailgraphobtener un gráfico simple del correo aceptado frente al rechazado. Mailgraph es un poco antiguo y completamente independiente, pero funciona, y sus datos o técnicas podrían integrarse fácilmente en un sistema de monitoreo moderno más complejo.

— Paul Gear
fuente

3

Obtenga un filtro de correo basado en la reputación. Greylisting es un poco anticuado y no es una solución integral. Existen soluciones alternativas (desde la perspectiva del spammer) y tiempos de entrega de correo impredecibles para sus usuarios ...

O externaliza el filtrado a un servicio en la nube o compra un dispositivo que tenga acceso a dicha lista y tenga otros métodos para validar el correo no deseado. Mi recomendación suele ser Barracuda para su dispositivo o para su solución de filtrado en la nube . Ambas opciones tienen economías de escala y heurísticas maduras que proporcionan una solución general más limpia.

Mirando uno de los informes de Barracuda Spam Filter de mi cliente para septiembre de 2012, de 98,457 mensajes, 1,623 fueron cortados antes de llegar al servidor de correo debido a destinatarios defectuosos ... 34,488 fueron bloqueados como SPAM . Solo 96 mensajes cuestionables lograron pasar. Aquellos calificados como SPAM fueron una combinación de reputación, puntaje, intención, tres RBL, filtros bayesianos y conjuntos de reglas personalizados. Todo en una unidad ... Todo procesado antes de llegar al servidor de correo relativamente pequeño.

ingrese la descripción de la imagen aquí

Ver también: Fighting Spam: ¿qué puedo hacer como administrador de correo electrónico, propietario de dominio o usuario?

— ewwhite
fuente

2

Interesante, pero no estás respondiendo mis preguntas sobre las listas grises. Y sus estadísticas sin números de

— listas grises

@ neu242 El punto es que 1). Greylisting tiene desventajas conocidas, 2). no puede considerarse una solución completa y 3). Existen mejores formas de detectar el spam a medida que los procesos han evolucionado en los últimos años.

— ewwhite

44

Greylisting es, por supuesto, solo una parte de mi kit de herramientas de prevención de spam. Mi configuración es muy parecida a la de @ MadHatter. Pero como pregunté específicamente sobre las listas grises, esperaba respuestas específicas a la lista gris.

— neu242

1

@ewwhite: en realidad, no veo cómo no estaba bastante claro. Para su referencia: Verifiqué el historial de preguntas. No vi un cambio que afectara esto de ninguna manera.

— Jürgen A. Erhard

2

@ JürgenA.Erhard Llegas un poco tarde a esto. Y tu publicación es grosera. Cualquier solución de filtrado de spam profesional implementada hoy no debería depender únicamente de las listas grises. Si tiene alguna otra inquietud, consulte la pregunta canónica de spam de falla del servidor aquí .

— ewwhite