Una investigadora alerta sobre los peligros del «aprendizaje automático malévolo»

Dawn Song, una especialista en riesgos de seguridad relacionados con el aprendizaje automático, ha advertido sobre un posible ataque a los sistemas de IA en una reciente conferencia.

Según Song, las nuevas técnicas para manipular los sistemas de aprendizaje automático podrían usarse para atacar casi cualquier sistema basado en la tecnología.

Esta técnica, conocida como aprendizaje automático malévolo, puede conllevar tanto la introducción de datos en un algoritmo para revelar la información con la que ha sido entrenado, como su distorsión para que el sistema funcione mal.

Song mostró varios ejemplos de aprendizaje malévolo. Un proyecto realizado junto con Google para generar respuestas automáticas a partir de correos, demostró que es posible hacer que la IA revele datos confidenciales, como los números de las tarjetas de crédito presentes en los mensajes utilizados para entrenar al sistema, si se crean los mensajes adecuados.

Google ha utilizado estos resultados para evitar que Smart Compose, la herramienta que genera texto automáticamente en Gmail, fuera explotada.

Dawn Song

Otro proyecto consistió en añadir unas pegatinas aparentemente inocentes a las señales de tráfico para engañar a los sistemas de visión artificial de muchos vehículos. En un vídeo, un coche era engañado para que interpretase una señal de STOP como una señal de límite de velocidad de 50 Km/h. Esto podría ser un gran problema para coches autónomos.

Las técnicas de aprendizaje automático malévolo interesan mucho al sector de Defensa. Este año, el Pentágono lanzó un proyecto para estudiar el aprendizaje automático malévolo y crear modelos de IA capaces de resistir a estos ataques.  |  Fuente: Technology Review