brain neurons neuromodulation AI neuroscience

Un nuevo método de aprendizaje inspirado en el cerebro para IA ahorra memoria y energía

A pesar de las analogías frecuentes, la IA de hoy opera en principios muy diferentes al cerebro humano. Ahora los investigadores han propuesto un nuevo aprendizaje método más estrechamente ligados a la biología, que creen que podría ayudarnos a abordar la eficiencia sin igual del cerebro.

El aprendizaje profundo moderno es, al menos, inspirado biológicamente, codifica información en la fuerza de las conexiones entre grandes redes de unidades informáticas individuales conocidas como neuronas. Sin embargo, probablemente la mayor diferencia es la forma en que estas neuronas se comunican entre sí.

Las redes neuronales artificiales están organizadas en capas, con cada neurona típicamente conectada a cada neurona en la siguiente capa. La información pasa entre capas de manera altamente sincronizada a medida que los números caen en un rango que determina la fuerza de la conexión entre pares de neuronas.

Las neuronas biológicas, por otro lado, se comunican disparando impulsos eléctricos conocidos como picos, y cada neurona lo hace en su propio horario. Las conexiones no están bien divididas en capas y cuentan con muchos circuitos de retroalimentación, lo que significa que la salida de una neurona a menudo termina afectando su entrada en algún momento.

Este enfoque basado en picos es mucho más eficiente energéticamente, por lo que el entrenamiento de la IA más poderosa requiere kilovatios de electricidad mientras que el cerebro usa solo 20 vatios. Eso ha llevado a un creciente interés en el desarrollo de redes neuronales artificiales de punta, así como el llamado hardware neuromórfico, chips de computadora que imitan la organización física y los principios del cerebro, que podrían ejecutarlos de manera más eficiente.

Pero nuestra comprensión de estos enfoques basados ​​en espigas aún está poco desarrollada y luchan por alcanzar el rendimiento de las redes neuronales artificiales más convencionales. Ahora, sin embargo, los investigadores de la Universidad Tecnológica de Graz en Austria piensan que pueden haber encontrado una manera de abordar el poder del aprendizaje profundo utilizando un enfoque de aprendizaje biológicamente plausible que funciona con redes neuronales.

En el aprendizaje profundo, la red se entrena haciendo que haga predicciones sobre los datos y luego evalúa qué tan lejos está. Este error se retrocede a través de la red para guiar los ajustes en la fuerza de las conexiones entre las neuronas. Este proceso se llama propagación hacia atrás, y durante muchas iteraciones sintonizará la red hasta que haga predicciones precisas.

Se puede aplicar un enfoque similar para aumentar las redes neuronales, pero requiere grandes cantidades de memoria. También está claro que no es así como el cerebro resuelve el problema de aprendizaje, porque requiere que las señales de error se envíen hacia atrás tanto en el tiempo como en el espacio a través de las sinapsis entre las neuronas, lo cual es claramente imposible.

Eso llevó a los investigadores, que forman parte del Proyecto Cerebro Humano, a analizar dos características que han quedado claras en los datos experimentales de neurociencia: cada neurona retienes un recuerdo de actividad previa en forma de marcadores moleculares que se desvanecen lentamente con el tiempo; y el cerebro proporciona señales de aprendizaje de arriba hacia abajo utilizando cosas como el neurotransmisor dopamina que modulas El comportamiento de grupos de neuronas.

en un papel en Comunicaciones de la naturaleza, el Equipo austriaco describirs cómo creanre análogos artificiales de estas dos características para crear un nuevo paradigma de aprendizaje que llaman e-prop. Si bien el enfoque aprende más lentamente que los métodos basados ​​en la propagación hacia atrás, logra un rendimiento comparable.

Más importante aún, permite el aprendizaje en línea. Eso significa que, en lugar de procesar grandes lotes de datos a la vez, lo que requiere una transferencia constante hacia y desde la memoria que contribuye significativamente a las facturas de energía del aprendizaje automático, el enfoque simplemente aprende de los datos a medida que están disponibles. Eso reduce drásticamente la cantidad de memoria y energía que requiere, lo que lo hace mucho más práctico para el aprendizaje en chip en dispositivos móviles más pequeños.

El equipo ahora está trabajando con investigadores de Intel para integrar el enfoque con la próxima versión de la compañía. chip neuromórfico Loihi, que está optimizado para mejorar las redes. También se están asociando con otros investigadores del Proyecto Cerebro Humano en la Universidad de Manchester para aplicar el e-prop al supercomputadora neuromórfica SpiNNaker.

Todavía queda un largo camino por recorrer antes de que la técnica pueda igualar el poder de la IA líder de hoy. Pero si nos ayuda a comenzar a acercarnos a las eficiencias que vemos en los cerebros biológicos, podría pasar mucho tiempo antes de que la IA esté en todas partes.

Credito de imagen: Gerd Altmann de Pixabay

Deja un comentario