Enséñale algo nuevo a una red neuronal

¿Qué es el ajuste fino (fine-tuning) de una red neuronal?

El ajuste fino (fine-tuning en inglés) consiste en tomar una red que ya está entrenada y seguir entrenándola con unos pocos ejemplos de una tarea nueva, en lugar de empezar de cero. Es la técnica habitual para adaptar redes grandes a problemas concretos sin repetir todo el entrenamiento.

El experimento: aprender a leer números girados

Partimos de la red pequeña de Cómo aprende una red neuronal, que acierta el 95,6 % de los números derechos pero solo el 50,7 % de los girados 35°. La ajustamos con 500 imágenes giradas y 5 ciclos: los números girados suben hasta el 85 %. Todos los experimentos son reales y están grabados paso a paso.

El precio del ajuste: el olvido

Aprender lo nuevo tiene un coste: los números derechos bajan del 95,6 % al 88,2 %. Si se insiste con 30 ciclos, la red mejora un poco más con los girados (87,5 %) pero olvida más lo anterior (los derechos caen al 85,1 %). Este fenómeno se conoce como olvido catastrófico; aquí se ve en pequeño.

Cómo evitar el olvido

Una solución sencilla es mezclar ejemplos: 500 imágenes giradas y 250 derechas durante 10 ciclos. Así los girados llegan al 85,7 % y los derechos se quedan en el 92,2 %: se aprende lo nuevo sin perder tanto de lo viejo.

Más sobre redes neuronales

Para ver cómo piensa una red ya entrenada, visita la red neuronal interactiva. Si quieres saber qué puede salir mal al entrenar, mira los errores típicos al entrenar una red neuronal.

Otras herramientas interactivas de Akutangulo

Esta aplicación forma parte del catálogo de aplicaciones web que Akutangulo desarrolla a mano en Valladolid. Si te ha gustado, prueba la tabla periódica interactiva en 3D, el simulador del cubo de Rubik o el juego del círculo perfecto.