Asegurar el futuro de la inteligencia artificial y Machine Learning en Microsoft

Por Andrew Marshall, Raúl Rojas, Jay Stokes y Donald Brinkman

Agradecimiento especial a Mark Cartwright y Graham Calladine

Resumen ejecutivo

La inteligencia artificial (IA) y Machine Learning (ML) ya están haciendo un gran impacto en la forma en que las personas trabajan, socializan y viven sus vidas. A medida que aumenta el consumo de productos y servicios basados en IA/ML, deben realizarse acciones especializadas para proteger no solo a sus clientes y sus datos, sino también para proteger su inteligencia artificial y sus algoritmos contra el abuso, la troling y la extracción. Este documento comparte algunas de las lecciones de seguridad de Microsoft aprendidas al diseñar productos y operar servicios en línea integrados en IA. Aunque es difícil predecir cómo se desarrollará esta área, hemos concluido que hay problemas que se pueden solucionar ahora. Además, hemos descubierto que hay problemas estratégicos por los que el sector tecnológico debe adelantarse para garantizar la seguridad a largo plazo de los clientes y la seguridad de sus datos.

Este documento no trata de ataques basados en IA o incluso de IA que están siendo aprovechados por los adversarios humanos. En su lugar, nos centramos en los problemas que Microsoft y los socios del sector tendrán que abordar para proteger los productos y servicios basados en IA de ataques altamente sofisticados, creativos y malintencionados, ya sea realizado por trols individuales o wolfpacks completos.

Este documento se centra por completo en los problemas de ingeniería de seguridad exclusivos del espacio de AI/ML, pero debido a la naturaleza expansiva del dominio InfoSec se entiende que los problemas y los resultados que se debata aquí se superponerán en cierta medida con los dominios de privacidad y ética. A medida que este documento resalta los desafíos de importancia estratégica para el sector tecnológico, el público objetivo de este documento es el liderazgo de ingeniería de seguridad en todo el sector.

Nuestros primeros resultados sugieren que:

• Para mitigar los tipos de problemas de seguridad que se debatieron en este documento, se necesitan pivotes específicos ML AI/ML a los procedimientos de seguridad existentes.

• Machine Learning modelos no pueden distinguir entre datos malintencionados y anómalos benignos. Una fuente importante de datos de aprendizaje se deriva de conjuntos de datos públicosno seleccionados, nomoderados, que están abiertos a contribuciones 3 rd-party. Los atacantes no necesitan comprometer los conjuntos de datos cuando son libres de contribuir a ellos. Con el tiempo, los datos malintencionados de baja confianza se convierten en datos de confianza alta, siempre que la estructura o el formato de los datos permanezcan correctos.

• Dado el gran número de capas de clasificadores o neuronas ocultos que se pueden aprovechar en un modelo de aprendizaje profundo, se deposita demasiada confianza en el resultado de los procesos y algoritmos de toma de decisiones de AI/ML sin una comprensión crítica de cómo se alcanzaron estas decisiones. Esta ofuscación crea una incapacidad para "mostrar su trabajo" y hace que sea difícil defender provablemente los resultados de IA/ML cuando se pone en cuestión.

• AI/ML se usa cada vez más para apoyar procesos de toma de decisiones de alto valor en la medicina y otros sectores en los que la decisión incorrecta puede causar lesiones graves o la muerte. La falta de capacidades de informes forenses en AI/ML impiden que estas conclusiones de alto valor sean defendibles tanto en el tribunal de derecho como en el tribunal de opinión pública.

Los objetivos de este documento son (1) resaltar los problemas de ingeniería de seguridad que son exclusivos del espacio de IA/ML, (2) mostrar algunos pensamientos iniciales y observaciones sobre amenazas emergentes y (3) compartir ideas iniciales sobre posibles soluciones. Algunos de los desafíos de este documento son problemas que el sector necesita adelantar en los próximos dos años, otros son problemas que ya nos estamos obligando a abordar hoy. Sin una investigación más profunda sobre las áreas que se tratan en este documento, corremos el riesgo de que la inteligencia artificial futura se convierta en un cuadro negro por nuestra incapacidad para confiar o comprender (y modificar si es necesario) los procesos de toma de decisiones de inteligencia artificial en un nivel matemático [7]. Desde el punto de vista de la seguridad, esto significa efectivamente pérdida de control y una salida de los principios rectores de Microsoft sobre inteligencia artificial [4, 8].

Nuevos retos de ingeniería de seguridad

Los vectores de ataque de software tradicionales siguen siendo fundamentales para abordar, pero no proporcionan cobertura suficiente en el entorno de amenazas ML AI/ML. El sector tecnológico debe evitar la lucha contra los problemas de última generación con soluciones de última generación mediante la creación de nuevos marcos y la adopción de nuevos enfoques que aborden las deficiencias en el diseño y el funcionamiento de los servicios basados en IA/ML:

1. Como se describe a continuación, las bases de desarrollo y operaciones seguras deben incorporar los conceptos de resistencia y discreción al proteger la inteligencia artificial y los datos bajo su control. Los pivotes específicos de IA son necesarios en las áreas de Autenticación, Separación de deberes, Validación de entrada y Mitigación de denegación de servicio. Sin inversiones en estas áreas, los servicios de inteligencia artificial ML seguirán luchando cuesta arriba contra los adversarios de todos los niveles de habilidad.

2. La inteligencia artificial debe ser capaz de reconocer el sesgo en otras personas, sin estar sesgada en sus propias interacciones con los seres humanos. Para lograr esto se requiere una comprensión colectiva y en evolución de sesgos, estereotipos, vernáculos y otras construcciones culturales. Esta comprensión ayudará a proteger la inteligencia artificial de los ataques de manipulación de conjuntos de datos y ingeniería social. Un sistema implementado correctamente será más fuerte de estos ataques y podrá compartir su comprensión expandida con otras apis.

3. Machine Learning algoritmos deben ser capaces de discernir datos introducidos malintencionadamente de eventos benignos de "Black Swan" [1] rechazando los datos de aprendizaje con impacto negativo en los resultados. De lo contrario, los modelos de aprendizaje siempre serán susceptibles a los juegos de los atacantes y los trols.

4. La inteligencia artificial debe tener capacidades forenses integradas. Esto permite a las empresas proporcionar a los clientes transparencia y rendición de cuentas de su inteligencia artificial, asegurándose de que sus acciones no solo sean verificables correctamente, sino también legalmente defendibles. Estas capacidades también funcionan como una forma temprana de "detección de intrusión de inteligencia artificial", lo que permite a los ingenieros determinar el momento exacto en que un clasificador tomó una decisión, qué datos influyeron en él y si esos datos fueron de confianza o no. Las capacidades de visualización de datos en esta área avanzan rápidamente y muestran la promesa de ayudar a los ingenieros a identificar y resolver las causas raíz de estos problemas complejos [11].

5. La inteligencia artificial debe reconocer y proteger la información confidencial, incluso si los seres humanos no la reconocen como tal. Las experiencias de usuario enriquecciones en IA requieren grandes cantidades de datos sin procesar para entrenar, por lo que es necesario planear el uso compartido por los clientes.

A continuación se explica detalladamente cada una de estas áreas, incluidas las amenazas y las posibles mitigaciones.

La inteligencia artificial requiere nuevos pivotes para los modelos de operaciones seguros y de diseño seguro tradicionales: la introducción de resistencia y discreción

Los diseñadores de inteligencia artificial siempre tendrán que garantizar la confidencialidad, integridad y disponibilidad de los datos confidenciales, que el sistema de inteligencia artificial esté libre de vulnerabilidades conocidas y proporcionar controles para la protección, detección y respuesta a comportamientos malintencionados contra el sistema o los datos del usuario.

Las formas tradicionales de defenderse de ataques malintencionados no proporcionan la misma cobertura en este nuevo paradigma, donde los ataques basados en imágenes/voz/vídeo pueden eludir los filtros y las defensas actuales. Es necesario explorar nuevos aspectos de modelado de amenazas para evitar que los nuevos abusos puedan explotar nuestra inteligencia artificial. Esto va mucho más allá de identificar la superficie de ataque tradicional a través de la manipulación de datos difusos o de entrada (esos ataques también tienen sus propios pivotes específicos de IA). Requiere incorporar escenarios únicos para el espacio de AI/ML. Entre ellas, se encuentran las experiencias de usuario de IA, como voz, vídeo y gestos. Las amenazas asociadas a estas experiencias no se han modelado tradicionalmente. Por ejemplo, el contenido de vídeo ahora se está adaptando para inducir efectos físicos. Además, la investigación ha demostrado que los comandos de ataque basados en audio se pueden crear [10].

La imprevisibilidad, la creatividad y la malintencionación de criminales, determinados adversarios y trols nos obliga a inculcar a nuestros inteligencia empresariales los valores de resistencia y discreción:

Resistencia: El sistema debe poder identificar comportamientos anormales y evitar la manipulación o coacción fuera de los límites normales de comportamiento aceptable en relación con el sistema de inteligencia artificial y la tarea específica. Estos son nuevos tipos de ataques específicos del espacio AI/ML. Los sistemas deben diseñarse para resistir entradas que, de lo contrario, entrasen en conflicto con las leyes, la ética y los valores locales de la comunidad y sus creadores. Esto significa proporcionar AI con la capacidad de determinar cuándo una interacción se va a "desactivar el script". Esto se podría lograr con los siguientes métodos:

1. Identifique usuarios individuales que se desvíen de las normas establecidas por los distintos grupos grandes de usuarios similares, por ejemplo, los usuarios que parecen escribir para ayunar, responder demasiado rápido, no dormir o desencadenar partes del sistema que otros usuarios no.

2. Identifique patrones de comportamiento que se sabe que son indicadores de ataques de sondeo de intenciones malintencionadas y el inicio de la Cadena de muerte por intrusión de red.

3. Reconocer en cualquier momento cuando varios usuarios actúan de forma coordinada; Por ejemplo, varios usuarios emiten la misma consulta inexplicable pero deliberadamente creada, picos súbitos en el número de usuarios o picos súbitos en la activación de partes específicas de un sistema de inteligencia artificial.

Los ataques de este tipo deben considerarse a la par de los ataques de denegación de servicio, ya que la IA puede requerir correcciones de errores y readaptación para no volver a usar los mismos trucos. De importancia crítica es la capacidad de identificar intenciones malintencionadas en presencia de contramedidas como las que se usan para derrotar las API de análisis de sentimientos [5].

Discreción:AI debe ser un custodio responsable y de confianza de cualquier información a la que tenga acceso. Como seres humanos, sin duda asignaremos un determinado nivel de confianza en nuestras relaciones de inteligencia artificial. En algún momento, estos agentes hablarán con otros agentes u otros seres humanos en nuestro nombre. Debemos poder confiar en que un sistema de inteligencia artificial tiene suficiente discreción para compartir solo en un formulario restringido lo que necesita compartir sobre nosotros para que otros agentes puedan completar tareas en su nombre. Además, varios agentes que interactúan con datos personales en nuestro nombre no deben tener acceso global a ellos. Cualquier escenario de acceso a datos que implique varios AIs o agentes de bots debe limitar la duración del acceso a la medida mínima requerida. Los usuarios también deben poder denegar datos y rechazar la autenticación de agentes de determinadas empresas o configuraciones regionales de la forma en que los exploradores web permiten la lista negra del sitio hoy en día. Para solucionar este problema, es necesario pensar de nuevo en la autenticación entre agentes y en los privilegios de acceso a datos, como las inversiones de autenticación de usuarios basadas en la nube realizadas en los primeros años de la informática en la nube.

La inteligencia artificial debe poder reconocer el sesgo de otras personas sin ser sesgada por su cuenta

Aunque la IA debe ser justa e inclusiva sin discriminar a ningún grupo concreto de individuos o resultados válidos, debe tener una comprensión innato de los sesgos para lograrlo. Sin ser entrenado para reconocer sesgos, troles o sarcasmo, la inteligencia artificial será engañar a los que busquen carcajadas baratas en el mejor de los casos o causen daños a los clientes en el peor de los casos.

Alcanzar este nivel de conciencia requiere "personas buenas enseñando cosas malas de inteligencia artificial", ya que requiere una comprensión global y en evolución de los sesgos culturales. AI debería poder reconocer a un usuario con el que ha tenido interacciones negativas en el pasado y tener la precaución adecuada, de forma similar a cómo los padres enseñan a sus hijos a tener cuidado con extraños. La mejor manera de abordar esto es exponiendo cuidadosamente la inteligencia artificial a los trols de forma controlada, moderada o limitada. De esta forma, AI puede aprender la diferencia entre un usuario benéfico que "patea los neumáticos" y el malintencionado/troling real. Los trols proporcionan una transmisión valiosa de datos de aprendizaje para IA, lo que hace que sea más resistente frente a futuros ataques.

La inteligencia artificial también debería poder reconocer el sesgo en los conjuntos de datos en los que se entrena. Esto podría ser cultural o regional, que contenga el vernácular que usa un grupo determinado de personas, o temas o puntos de vista de interés específico para un grupo. Al igual que con los datos de aprendizaje introducidos malintencionadamente, la inteligencia artificial debe ser resistente a los efectos de estos datos en sus propias deducciones y deducciones. En esencia, se trata de un problema de validación de entrada sofisticado con similitudes con la comprobación de límites. En lugar de ocuparse de las longitudes y los desplazamientos del búfer, las comprobaciones de búfer y límites son palabras marcadas en rojo de un amplio rango de orígenes. El historial de conversaciones y el contexto en los que se usan las palabras también son clave. Del mismo modo que los procedimientos de defensa en profundidad se usan para proteger las capas encima de un frontend de la API de servicio web tradicional, se deben aprovechar varias capas de protección en técnicas de reconocimiento sesgo y evitación.

Machine Learning algoritmos deben ser capaces de discernir datos introducidos malintencionadamente de eventos benignos de "Black Swan"

Se han publicado numerosas whitepaper ML s sobre el potencial teórico de la manipulación del modelo/clasificador y la extracción/robo de servicios en los que los atacantes tienen acceso tanto al conjunto de datos de aprendizaje como a una comprensión fundamentada del modelo en uso [2, 3, 6, 7]. El problema de sobrearar aquí es que todos los clasificadores ML pueden ser engañar por un atacante que tiene el control sobre los datos del conjunto de aprendizaje. Los atacantes ni siquiera necesitan la capacidad de modificar los datos del conjunto de aprendizaje existentes, solo tienen que poder agregarlos y hacer que sus entradas se conviertan en "de confianza" con el tiempo a través de la incapacidad del clasificador de ML para discernir datos malintencionados de datos anómalos originales.

Este problema de la cadena de suministro de datos de aprendizaje nos introduce en el concepto de "Integridad de la decisión": la capacidad de identificar y rechazar datos de aprendizaje introducidos malintencionadamente o la entrada del usuario antes de que tenga un impacto negativo en el comportamiento del clasificador. La razón aquí es que los datos de aprendizaje de confianza tienen una mayor probabilidad de generar resultados o decisiones confiables. Aunque es crucial seguir entrenando y ser resistente a los datos que no son de confianza, la naturaleza malintencionada de estos datos debe analizarse antes de que se conviertan en parte de un cuerpo de aprendizaje de alta confianza. Sin estas medidas, AI podría ser coaccionada para que se reaccione de forma exagerada a la troling y denegar el servicio a usuarios legítimos.

Esto es particularmente importante cuando los algoritmos de aprendizaje no supervisados están entrenando en conjuntos de datos sin hacer o que no son de confianza. Esto significa que los atacantes pueden introducir los datos que quieran siempre que el formato sea válido y el algoritmo esté capacitado en él, confiando de forma eficaz en ese punto de datos igual que el resto del conjunto de aprendizaje. Con suficientes entradas elaboradas del atacante, el algoritmo de aprendizaje pierde la capacidad de discernir el ruido y las anomalías de los datos de alta confianza.

Como ejemplo de esta amenaza, imagine una base de datos de señales de alto en todo el mundo, en todos los idiomas. Esto sería muy difícil de realizar debido al número de imágenes e idiomas implicados. La contribución malintencionada a ese conjunto de datos pasaría en gran medida desapercibida hasta que los coches autónomos ya no reconozcan los signos de detenerse. Las mitigaciones de integridad de decisión y resistencia a los datos tendrán que trabajar de la mano aquí para identificar y eliminar el daño de aprendizaje causado por los datos malintencionados para evitar que se convierta en una parte esencial del modelo de aprendizaje.

La inteligencia artificial debe tener registros de seguridad y forenses integrados para proporcionar transparencia y responsabilidad

Con el tiempo, AI será capaz de actuar como agente profesional en nuestro nombre y nos ayudará con la toma de decisiones de alto impacto. Un ejemplo de esto podría ser una inteligencia artificial que ayude al procesamiento de transacciones financieras. Si se explotaba la inteligencia artificial y las transacciones se manipulaban de alguna manera, las consecuencias podrían ir desde el individuo hasta el sistémico. En escenarios de alto valor, IA necesitará registros forenses y de seguridad adecuados para proporcionar integridad, transparencia, rendición de cuentas y, en algunos casos, evidencias en las que pueda surgir responsabilidad civil o penal.

Los servicios de inteligencia artificial esenciales necesitarán instalaciones de auditoría y seguimiento de eventos en el nivel de algoritmo en el que los desarrolladores pueden examinar el estado registrado de clasificadores específicos que pueden haber llevado a una decisión incorrecta. Esta capacidad es necesaria en todo el sector para demostrar la corrección y transparencia de las decisiones generadas por IA siempre que se le cuestione.

Las instalaciones de seguimiento de eventos podrían comenzar con la correlación de información básica de toma de decisiones, como:

1. El período de tiempo en el que se produjo el último evento de aprendizaje

2. La marca de tiempo de la entrada más reciente del conjunto de datos entrenada

3. Pesos y niveles de confianza de los clasificadores clave usados para llegar a decisiones de alto impacto

4. Los clasificadores o componentes implicados en la decisión

5. La decisión final de alto valor alcanzada por el algoritmo

Este seguimiento es excesivo para la mayoría de la toma de decisiones asistido por algoritmos. Sin embargo, tener la capacidad de identificar los puntos de datos y los metadatos del algoritmo que conducen a resultados específicos será de gran beneficio en la toma de decisiones de alto valor. Estas capacidades no solo demostrarán la fiabilidad y la integridad a través de la capacidad del algoritmo para "mostrar su trabajo", sino que estos datos también podrían usarse para ajustar.

Otra capacidad forense necesaria en IA/ML es la detección de manipulaciones. Al igual que necesitamos nuestros AIs para reconocer el sesgo y no ser susceptibles a ella, debemos tener capacidades forenses disponibles para ayudar a nuestros ingenieros a detectar y responder a estos ataques. Estas capacidades forenses serán de enorme valor cuando se emparejan con técnicas de visualización de datos [11] que permiten auditar, depurar y ajustar algoritmos para obtener resultados más eficaces.

La inteligencia artificial debe proteger la información confidencial, incluso si los seres humanos no

Las experiencias enriquecciones requieren datos enriquecidos. Los seres humanos ya ofrecen una gran cantidad de datos para ML a los que entrenar. Esto va desde el contenido de la cola de streaming de vídeo mundano hasta las tendencias en las compras de tarjetas de crédito/historiales de transacciones usados para detectar fraudes. La inteligencia artificial debe tener un sentido de discreción arraigado a la hora de administrar los datos de los usuarios, siempre actuando para protegerlos incluso cuando un público que está compartiendo en exceso los ofrece libremente.

Como una inteligencia artificial puede tener un grupo autenticado de "compañeros" con los que habla para realizar tareas complejas, también debe reconocer la necesidad de restringir los datos que comparte con esos compañeros.

Observaciones tempranas sobre cómo solucionar problemas de seguridad de IA

A pesar del estado naciente de este proyecto, creemos que la evidencia recopilada hasta la fecha muestra una investigación más profunda sobre cada una de las áreas siguientes será clave para mover nuestro sector hacia productos ML y servicios más confiables y seguros. Las siguientes son nuestras primeras observaciones y pensamientos sobre lo que nos gustaría ver hecho en este espacio.

1. Las pruebas de ML y los organismos de revisión de seguridad y pruebas de penetración centrados en la inteligencia artificial podrían establecerse para garantizar que nuestra IA futura comparta nuestros valores y se alinee con los Principios de Inteligencia Artificial de Asilomar.

   1. Este grupo también podría desarrollar herramientas y marcos que podrían consumirse en todo el sector para garantizar su IA o ML basados en aplicaciones.
   2. Con el tiempo, esta experiencia se acumulará en grupos de ingeniería de forma orgánica, como lo hizo con la experiencia de seguridad tradicional en los últimos 10 años.

2. Se podría desarrollar una formación que faculte a las empresas a cumplir objetivos como la democratización de la inteligencia artificial mientras se mitigan los desafíos analizados en este documento.

   1. La formación de seguridad específica de IA garantiza que los ingenieros sean conscientes de los riesgos que suponen para su inteligencia artificial y los recursos a su disposición. Este material debe entregarse junto con el aprendizaje actual sobre la protección de los datos de los clientes.
   2. Esto podría lograrse sin requerir que todos los científicos de datos se conviertan en expertos en seguridad; en su lugar, el foco se centra en educar a los desarrolladores sobre resistencia y discreción según se aplique a sus casos de uso de inteligencia artificial.
   3. Los desarrolladores tendrán que comprender los "bloques de creación" seguros de los servicios de IA que se reutilizarán en toda su empresa. Tendrá que énfasis en el diseño con tolerancia a errores con subsistemas que se pueden desactivar fácilmente (por ejemplo, procesadores de imágenes, analizadores de texto).

3. ML clasificadores y sus algoritmos subyacentes podrían ser más precisos y capaces de detectar datos de aprendizaje malintencionados sin contaminar datos de aprendizaje válidos actualmente en uso o sesgar los resultados.

   1. Técnicas como Rechazar en entrada negativa [6] necesitan ciclos de investigador para investigar.

   2. Este trabajo implica verificación matemática, prueba de concepto en código y pruebas contra datos anómalos malintencionados y benignos.

   3. La comprobación y moderación de manchas humanas puede ser beneficiosa aquí, especialmente cuando hay anomalías estadísticas.

   4. Los "clasificadores supervisores" podrían crearse para tener una comprensión más universal de las amenazas en varios AIs. Esto mejora enormemente la seguridad del sistema porque el atacante ya no puede filtrar ningún modelo en particular.

   5. Las AIs podrían estar vinculadas entre sí para identificar amenazas en los sistemas de los demás

4. Se podría crear ML biblioteca de auditoría y forense centralizada que establezca un estándar para la transparencia y la confiabilidad de la inteligencia artificial.

   1. Las capacidades de consulta también se podrían crear para la auditoría y la reconstrucción de decisiones de alto impacto empresarial por parte de AI.

5. La inteligencia artificial podría inventar y analizar continuamente el vernáculo que usan los adversarios de distintos grupos culturales y redes sociales para detectar y responder a los troleos, sarcasmos, etc.

   1. Las inteligencias empresariales deben ser resistentes frente a todo tipo de vernáculos, ya sean técnicos, regionales o específicos de los foros.

   2. Este cuerpo de conocimiento también podría aprovecharse en la automatización de filtrado, etiquetado y bloqueo de contenido para solucionar los problemas de escalabilidad del moderador.

   3. Esta base de datos global de términos podría hospedarse en bibliotecas de desarrollo o incluso exponerse a través de API de servicios en la nube para su reutilización por diferentes AIs, lo que garantiza que las nuevas inteligencias se beneficien de la inteligencia combinada de las más antiguas.

6. Se podría crear un "Machine Learning de difusa" que proporciona a los ingenieros la capacidad de insertar varios tipos de ataques en conjuntos de aprendizaje de pruebas para que AI pueda evaluar.

   1. Esto podría centrarse no solo en el texto vernacular, sino en los datos de imagen, voz y gestos, así como en las permutaciones de esos tipos de datos.

Conclusión

Los Principios de Inteligencia Artificial de Asilomar ilustran la complejidad de la implementación de inteligencia artificial de una manera que siempre beneficia a la humanidad. Los futuros AIs tendrán que interactuar con otras AIs para ofrecer experiencias de usuario enriquecciones y atractivas. Eso significa que simplemente no es lo suficientemente bueno para Microsoft "obtener la inteligencia artificial correcta" desde una perspectiva de seguridad, el mundo tiene que hacerlo. Necesitamos una alineación y colaboración del sector con una mayor visibilidad de los problemas de este documento de forma similar a nuestro impulso mundial para una Convención de Ginebra Digital [9]. Al abordar los problemas que se presentan aquí, podemos empezar a guiar a nuestros clientes y socios del sector por un camino en el que la inteligencia artificial está realmente democratizada y aumenta la inteligencia de toda la humanidad.

Bibliografía

[1] Taleb, Nassim Nicholas (2007), The Black Swan: The Impact of the Highly Improbable, Random House, ISBN 978-1400063512

[2] Florian Tramèr, Fan Zhang, Ari Juels, Michael K. Reiter, Thomas Ristenpart,Stealing Machine Learning Models a través de API de predicción

[3] Ian GoodFellow, Nicolás Papernot, Sandy Huang, Yan Duan, Pieter Abbeely Jack Clark:Ataque al aprendizaje automático con ejemplos de conflicto

[4] Satya Nadella:La asociación del futuro

[5] Claburn, Thomas:la inteligencia artificial que destruye los trols de Google no puedehacer frente a errores tipográficos

[6] Marco Barreno, Blaine Nelson, Antonio D. Joseph, J.D. Tygar:La seguridaddel aprendizaje automático

[7] Wolchover, Natalie: Estepionerode la inteligencia artificial tiene algunas preocupaciones

[8] Conn, Ariel: ¿Cómoalineamos lainteligencia artificial con los valores humanos?

[9] Smith, Brad:La necesidad de una acción colectiva urgente para mantener a las personas seguras en línea: Lecciones delciberataque de la semana pasada

[10] Nicholas Carlini, Pratyush Mishra, Tavish Vaidya, Yuankai Zhang, Micah Sherr, Clay Shields, David Wagner, Wenchao Zhou:Hidden Voice Commands

[11] Fernanda Viégas, Martin Wattenberg, Daniel Smilkov, James Wexler, Jimbo Wilson, Nikhil Thorat, Charles Nicholson, Google Research:Big Picture