Cómo engañar a los algoritmos de aprendizaje profundo para que hagan cosas nuevas

Cómo engañar a los algoritmos de aprendizaje profundo para que hagan cosas nuevas

Dos cosas que a menudo se mencionan con el aprendizaje profundo son los "datos" y los "recursos informáticos". Necesitas mucho de ambos al desarrollar, entrenar y probar modelos de aprendizaje profundo. Cuando los desarrolladores no tienen muchas muestras de capacitación o acceso a servidores muy potentes, usan transferencia de aprendizaje afinar un modelo de aprendizaje profundo pre-entrenado para una nueva tarea.

En la conferencia ICML de este año, científicos de IBM Research y National Tsing Hua University Research de Taiwán presentaron "reprogramación adversaria de caja negra"(BAR), una técnica alternativa de reutilización que convierte una supuesta debilidad de redes neuronales profundas en una fuerza

BAR expande el trabajo original sobre reprogramación adversaria y trabajos previos sobre ataques adversos de caja negra para permitir ampliar las capacidades de las redes neuronales profundas incluso cuando los desarrolladores no tienen acceso completo al modelo.

(Leer: ¿Qué es el aprendizaje automático adversarial?)

Modelos de aprendizaje profundo pre-entrenados y afinados

Cuando desee desarrollar una aplicación que requiera un aprendizaje profundo, una opción es crear su propia red neuronal desde cero y capacitarla en ejemplos disponibles o seleccionados. Por ejemplo, puedes usar ImageNet, un conjunto de datos público que contiene más de 14 millones de imágenes etiquetadas.

Hay un problema, sin embargo. Primero, debe encontrar la arquitectura correcta para la tarea, como el número y la secuencia de circunvolución, agrupación y capas densas. También debe decidir el número de filtros y parámetros para cada capa, la tasa de aprendizaje, el optimizador, la función de pérdida y otros hiperparámetros. Muchas de estas decisiones requieren capacitación de prueba y error, que es un proceso lento y costoso a menos que tenga acceso a procesadores gráficos sólidos o hardware especializado como el TPU de Google.

Para evitar reinventar la rueda, puede descargar un modelo probado como AlexNet, ResNet o Inception, y entrenarlo usted mismo. Pero aún necesitará un grupo de GPU o TPU para completar la capacitación en un período de tiempo aceptable. Para evitar el costoso proceso de capacitación, puede descargar la versión pre-entrenada de estos modelos e integrarlos en su aplicación.

<img class="jetpack-lazy-image jetpack-lazy-image–handled wp-image-4984 size-full lazy" alt="Libro de lectura del robot "width =" 696 "height =" 464 "data-attach-id =" 4984 "data-permalink =" https://bdtechtalks.com/2019/06/10/what-is-transfer-learning/ robot-sitting-on-a-montón-de-libros-contiene-ruta-de-recorte / "data-orig-file =" https://i1.wp.com/bdtechtalks.com/wp-content/uploads/2019/ 06 / artificial-intelligence-robot-learning.jpg? Fit = 3600% 2C2400 & ssl = 1 "data-orig-size =" 3600,2400 "data-comments-Open =" 1 "data-image-meta =" {"apertura ":" 0 "," credit ":" "," camera ":" "," caption ":" Robot sentado en un montón de libros. Contiene trazado de recorte "," created_timestamp ":" 0 "," copyright ": "", "focal_length": "0", "iso": "0", "shutter_speed": "0", "title": "Robot sentado en un montón de libros. Contiene trazado de recorte", "orientación": " 1 "}" data-image-title = "Libro de lectura de robots inteligencia artificial procesamiento del lenguaje natural" data-image-description = "" data-medium-file = "https://i1.wp.com/bdtechtalks.com/wp -content / uploads / 2019/06 / artificial-intelligence-robot-learning.jpg? fit = 300% 2C200 & ssl = 1 "data-large-file =" https://i1.wp.com/b dtechtalks.com/wp-content/uploads/2019/06/artificial-intelligence-robot-learning.jpg?fit=696%2C464&ssl=1 "data-recalc-dims =" 1 "data-lazy-loaded =" 1 " src = "https://i1.wp.com/bdtechtalks.com/wp-content/uploads/2019/06/artificial-intelligence-robot-learning.jpg?resize=696%2C464&ssl=1" data-lazy = " true "srcset =" https://i1.wp.com/bdtechtalks.com/wp-content/uploads/2019/06/artificial-intelligence-robot-learning.jpg?w=3600&ssl=1 3600w, https: // i1.wp.com/bdtechtalks.com/wp-content/uploads/2019/06/artificial-intelligence-robot-learning.jpg?resize=300%2C200&ssl=1 300w, https://i1.wp.com/bdtechtalks .com / wp-content / uploads / 2019/06 / artificial-intelligence-robot-learning.jpg? resize = 768% 2C512 & ssl = 1 768w, https://i1.wp.com/bdtechtalks.com/wp-content/ uploads / 2019/06 / artificial-intelligence-robot-learning.jpg? resize = 1024% 2C683 & ssl = 1 1024w, https://i1.wp.com/bdtechtalks.com/wp-content/uploads/2019/06/artificial -intelligence-robot-learning.jpg? resize = 696% 2C464 & ssl = 1 696w, https://i1.wp.com/bdtechtalks.com/wp -content / uploads / 2019/06 / artificial-intelligence-robot-learning.jpg? resize = 1068% 2C712 & ssl = 1 1068w, https://i1.wp.com/bdtechtalks.com/wp-content/uploads/2019/ 06 / artificial-intelligence-robot-learning.jpg? Resize = 630% 2C420 & ssl = 1 630w, https://i1.wp.com/bdtechtalks.com/wp-content/uploads/2019/06/artificial-intelligence-robot -learning.jpg? resize = 1920% 2C1280 & ssl = 1 1920w, https://i1.wp.com/bdtechtalks.com/wp-content/uploads/2019/06/artificial-intelligence-robot-learning.jpg?w= 1392 & ssl = 1 1392w, https://i1.wp.com/bdtechtalks.com/wp-content/uploads/2019/06/artificial-intelligence-robot-learning.jpg?w=2088&ssl=1 2088w "/>