¿La inteligencia artificial es vulnerable a la piratería?

27

El documento Las limitaciones del aprendizaje profundo en entornos adversos explora cómo las redes neuronales pueden ser corrompidas por un atacante que puede manipular el conjunto de datos con el que se entrena la red neuronal. Los autores experimentan con una red neuronal destinada a leer dígitos escritos a mano, lo que socava su capacidad de lectura al distorsionar las muestras de dígitos escritos a mano con los que se entrena la red neuronal.

Me preocupa que los actores maliciosos puedan intentar piratear la IA. Por ejemplo

Engañar a los vehículos autónomos para malinterpretar las señales de alto frente al límite de velocidad.
Sin pasar por el reconocimiento facial, como los de ATM.
Sin pasar por los filtros de spam.
Análisis de sentimientos engañosos de críticas de películas, hoteles, etc.
Sin pasar por los motores de detección de anomalías.
Falsificando comandos de voz.
Clasificación errónea del aprendizaje automático basado en predicciones médicas.

¿Qué efecto adversario podría perturbar el mundo? ¿Cómo podemos prevenirlo?

— Surya Sg
fuente

66

Considere que la inteligencia humana es vulnerable a la piratería

— Gaius

Interesante. ¿Está interesado en los "modelos de riesgo de configuraciones adversas" o en algo más cercano a una respuesta de seguridad cibernética tradicional, pero que todavía tiene que ver con la IA? Los mejores deseos.

— Revelaciones

19

La IA es vulnerable desde dos perspectivas de seguridad tal como lo veo:

El método clásico de explotar errores programáticos directos para lograr algún tipo de ejecución de código en la máquina que ejecuta la IA o para extraer datos.
Truco a través del equivalente de las ilusiones ópticas de AI para la forma particular de datos con la que el sistema está diseñado para tratar.

El primero tiene que ser mitigado de la misma manera que cualquier otro software. No estoy seguro de si la IA es más vulnerable en este frente que otro software, me inclinaría a pensar que la complejidad puede aumentar ligeramente el riesgo.

El segundo es probablemente mejor mitigado tanto por el refinamiento cuidadoso del sistema como se señala en algunas de las otras respuestas, sino también por hacer que el sistema sea más sensible al contexto; Muchas técnicas de confrontación dependen de la entrada que se evalúa en el vacío.

— Christopher Griffith
fuente

1

La división entre vulnerabilidades de código y vulnerabilidades de uso es buena. Sin embargo, las vulnerabilidades del código generalmente son minúsculas en la IA. La complejidad de la IA radica en los datos, ya sean pesos de nodos en una red neuronal o árboles en un bosque aleatorio. Solo hay una pequeña porción de código para alimentar la IA, y el principal riesgo es que no se sobrealimente: un riesgo clásico de desbordamiento del búfer, mitigado fácilmente por las técnicas de finales del siglo XX.

— MSalters

@MSalters Creo que es difícil llegar a una conclusión general porque la complejidad del código puede variar mucho entre los diferentes tipos de agentes de IA (creo que su comentario es en gran medida exacto para las redes neuronales). Además, aunque los datos y la manipulación de los mismos son probablemente la superficie de ataque más grande, no sería prudente descartar el mismo tipo de ataques que han permitido la ejecución remota de código a través de archivos de imagen comprometidos en el pasado que explotaron fallas en las aplicaciones de visualización de imágenes. El vector son los datos que se pasan, pero el comportamiento aún se encuentra bajo el encabezado de vulnerabilidad de código, creo.

— Christopher Griffith

7

Programador vs Programador

Es una "guerra infinita": programadores contra programadores. Todo puede ser pirateable. La prevención está vinculada al nivel de conocimiento del profesional a cargo de la seguridad y los programadores en seguridad de aplicaciones.

Por ejemplo, hay varias formas de identificar a un usuario que intenta confundir las métricas generadas por el Análisis de opiniones, pero también hay formas de eludir esos pasos. Es una pelea bastante aburrida.

Agente contra agente

Un punto interesante que planteó @DukeZhou es la evolución de esta guerra, que involucra dos inteligencia artificial (agentes). En ese caso, la batalla es una de las más informadas. ¿Cuál es el modelo mejor entrenado?

Sin embargo, para lograr la perfección en el tema de la vulnerabilidad, la inteligencia artificial o la súper inteligencia artificial superan la capacidad de eludir al ser humano. Es como si el conocimiento de todos los piratas informáticos hasta el día de hoy ya existiera en la mente de este agente y comenzó a desarrollar nuevas formas de eludir su propio sistema y desarrollar protección. Complejo, ¿verdad?

Creo que es difícil tener una IA que piense: "¿Va a usar el humano una foto en lugar de poner su rostro para ser identificado?"

¿Cómo podemos prevenirlo?

Siempre teniendo un ser humano supervisando la máquina y, sin embargo, no será 100% efectiva. Sin tener en cuenta la posibilidad de que un agente pueda mejorar su propio modelo solo.

Conclusión

Entonces, creo que el escenario funciona de esta manera: un programador intenta evadir las validaciones de una IA y el desarrollador de IA que adquiere conocimiento a través de registros y pruebas intenta construir un modelo más inteligente y seguro que intenta reducir las posibilidades de falla.

— Guilherme IA
fuente

3

Gran respuesta. (OMI, debería ser la respuesta aceptada, pero debe proporcionar algún tipo de soporte o enlaces). Independientemente, su lógica es correcta, aunque creo que esto comenzará a extenderse más allá del Programador frente al Programador frente al Agente a medida que los nuevos algoritmos aumenten. sofisticación, y emprender estas estrategias sin necesidad humana.

— DukeZhou

1

¡Actualizado! Buen punto @DukeZhou

— Guilherme IA

6

¿Cómo podemos prevenirlo?

Hay varios trabajos sobre la verificación de IA. Los verificadores automáticos pueden demostrar las propiedades de robustez de las redes neuronales. Significa que si la entrada X del NN está perturbada no más que en un límite dado ε (en alguna métrica, por ejemplo, L2), entonces el NN da la misma respuesta.

Dichos verificadores son realizados por:

Stanford: https://arxiv.org/pdf/1702.01135.pdf
ETHZ: https://www.sri.inf.ethz.ch/papers/sp2018.pdf
Google: https://arxiv.org/pdf/1803.06567.pdf , https://arxiv.org/pdf/1805.10265.pdf
Bosch: https://arxiv.org/pdf/1805.10265.pdf

Este enfoque puede ayudar a verificar las propiedades de robustez de las redes neuronales. El siguiente paso es construir una red neuronal de este tipo, que ha requerido robustez. Algunos de los documentos anteriores también contienen métodos para hacerlo.

Existen diferentes técnicas para mejorar la robustez de las redes neuronales:

entrenamiento contradictorio (ver, por ejemplo, A. Kurakin et al., ICLR 2017 )
destilación defensiva (véase, por ejemplo, N. Papernot et al., SSP 2016 )
Defensa MMSTV ( Maudry et al., ICLR 2018 ).

Al menos el último puede hacer que NN sea más robusto. Más literatura se puede encontrar aquí .

— Ilya Palachev
fuente

2

Esto suena como una afirmación imposible ... a menos que se trate de algunas entradas particulares X, en lugar de entradas generales X? En cuyo caso, parece no decir casi nada acerca de la piratería, ya que las entradas no necesitan limitarse a las perturbaciones de aquellos en la capacitación.

— Mehrdad

1

@Mehrdad: Probablemente se pueda lograr en un sentido probabilístico si el espacio de entrada está suficientemente estructurado para que pueda muestrearlo aleatoriamente. Es decir, probablemente pueda establecer que para el 95% de las entradas posibles, el 95% de las perturbaciones menores que ε no afectan la etiqueta de la clase. Esto es equivalente a establecer que el borde entre las clases de salida en el espacio de entrada es uniforme, o que la mayor parte del espacio de entrada no se encuentra cerca de un borde de clase. Obviamente, una parte del espacio de entrada tiene que estar cerca de un borde de clase.

— MSalters

No estoy seguro de que esto se aplique en el caso "adversario" descrito en el documento: allí, (IIRC) se agrega un gradiente propagado hacia atrás a toda la imagen, por lo que el cambio en la entrada completa puede ser bastante grande, incluso si El cambio para cada píxel individual apenas se nota.

— Niki

@MSalters: Supongo que sí. Pero eso parece devaluarlo un poco, a menos que pueda mostrar las imágenes que están en un borde de clase en realidad debería estar en un borde de clase ...

— Mehrdad

La oración "El siguiente paso es construir una red neuronal de este tipo, que ha requerido robustez" está bajo investigación. En general, es muy difícil deshacerse del problema de no robustez de NN. Pero es posible mejorar la robustez mediante entrenamiento contradictorio (ver, por ejemplo, A. Kurakin et al., ICLR 2017 ), destilación defensiva (ver, por ejemplo, N. Papernot et al., SSP 2016 ), defensa MMSTV ( Maudry et al., ICLR 2018 ) Al menos el último puede hacer que NN sea más robusto.

— Ilya Palachev

4

Creo que es así, ningún sistema es seguro, sin embargo, no estoy seguro de si aún puedo decir esto después de 20-30 años de desarrollo / evolución de IA. De todos modos, hay artículos que muestran a los humanos engañando a la IA (Computer Vision).

https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google

https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms

— Akio
fuente

4

¿Es la inteligencia artificial vulnerable a la piratería?

Invierta su pregunta por un momento y piense:

¿Qué haría que la IA tenga menos riesgo de piratería en comparación con cualquier otro tipo de software?

Al final del día, el software es software y siempre habrá errores y problemas de seguridad. Las IA están en riesgo de todos los problemas a los que no está en peligro el software que no es de IA, ya que la IA no le otorga algún tipo de inmunidad.

En cuanto a la manipulación específica de AI, AI está en riesgo de recibir información falsa. A diferencia de la mayoría de los programas, la funcionalidad de AI está determinada por los datos que consume.

Para un ejemplo del mundo real, hace unos años Microsoft creó un chatbot de IA llamado Tay. La gente de Twitter tardó menos de 24 horas en enseñarle a decir "Vamos a construir un muro, y México lo va a pagar":

(Imagen tomada del artículo de Verge vinculado a continuación, no reclamo ningún crédito por ello).

Y eso es solo la punta del iceberg.

Algunos artículos sobre Tay:

BBC
El borde

Ahora imagine que no era un bot de chat, imagine que era una pieza importante de inteligencia artificial de un futuro en el que la inteligencia artificial está a cargo de cosas como no matar a los ocupantes de un automóvil (es decir, un automóvil autónomo) o no matar a un paciente en la mesa de operaciones (es decir, algún tipo de equipo de asistencia médica).

De acuerdo, uno esperaría que tales IAs estuvieran mejor protegidas contra tales amenazas, pero suponiendo que alguien encontrara una manera de alimentar tales masas de IA de información falsa sin ser notado (después de todo, los mejores piratas informáticos no dejan rastro), eso realmente podría significar La diferencia entre la vida y la muerte.

Utilizando el ejemplo de un automóvil sin conductor, imagine si los datos falsos pueden hacer que el automóvil piense que debe hacer una parada de emergencia cuando está en una autopista. Una de las aplicaciones para la IA médica es la decisión de vida o muerte en la sala de emergencias, imagínese si un pirata informático podría inclinar la balanza a favor de la decisión equivocada.

¿Cómo podemos prevenirlo?

En última instancia, la escala del riesgo depende de cuán dependientes sean los humanos de la IA. Por ejemplo, si los humanos juzgaran a una IA y nunca la cuestionaran, se estarían abriendo a todo tipo de manipulaciones. Sin embargo, si usan el análisis de la IA como solo una parte del rompecabezas, sería más fácil detectar cuándo una IA está equivocada, ya sea por medios accidentales o maliciosos.

En el caso de un tomador de decisiones médicas, no solo crea en la IA, realice pruebas físicas y obtenga algunas opiniones humanas también. Si dos médicos no están de acuerdo con la IA, descarte el diagnóstico de la IA.

En el caso de un automóvil, una posibilidad es tener varios sistemas redundantes que esencialmente deben 'votar' sobre qué hacer. Si un automóvil tuviera múltiples AI en sistemas separados que deben votar sobre qué acción tomar, un pirata informático tendría que eliminar más de una IA para obtener el control o causar un punto muerto. Es importante destacar que si las IA se ejecutan en diferentes sistemas, la misma explotación utilizada en uno no se podría hacer en otro, aumentando aún más la carga de trabajo del hacker.

— Pharap
fuente

1

Me gusta la idea de tener varios sistemas de IA separados que tengan que llegar a un acuerdo como técnica de mitigación. Aunque entonces tendrías que estar seguro de que el mecanismo de votación que usaron no podría componerse para fingir una decisión.

— Christopher Griffith

@ChristopherGriffith Cierto, eso es un riesgo. En el caso del automóvil, la mejor manera de mitigar eso es diseñar el sistema para que un atacante necesite acceso físico para manipularlo y dificultar su acceso, de modo que la persona tenga que ingresar al automóvil para acceder. Mantener un sistema fuera de línea es generalmente una buena contramedida de piratería, aunque no siempre es ideal.

— Pharap

1

Estoy de acuerdo con Akio en que ningún sistema es completamente seguro, pero la conclusión es que los sistemas de IA son menos propensos a los ataques cuando se comparan con los sistemas antiguos debido a la capacidad de mejorar constantemente.

A medida que pasa el tiempo, más personas entrarán en el campo aportando nuevas ideas y hardware mejorará para que sean "IA fuerte".