¿Puede una IA aprender sin olvidar? Entendiendo el «Aprendizaje Anidado» de Google

Imagina que cada vez que aprendes una receta nueva de cocina, olvidas automáticamente cómo andar en bicicleta. Suena absurdo para un humano, pero así es exactamente como funcionan la mayoría de las Inteligencias Artificiales hoy en día. Si intentas enseñar cosas nuevas a un modelo ya entrenado, tiende a sobrescribir lo que ya sabía, un fenómeno que los expertos llaman «Olvido Catastrófico». Recientemente, Google Research ha presentado una propuesta para solucionar esto llamada Aprendizaje Anidado (Nested Learning). Aunque el nombre suena complejo, la idea base es bastante intuitiva y, aunque no es la «fórmula mágica» que resolverá todo mañana, sí propone un cambio de perspectiva muy interesante.

Para entender la magnitud del problema, piensa primero en cómo funciona tu memoria. Tienes recuerdos fugaces y recuerdos profundos. Las IAs actuales suelen tener solo dos estados extremos: la memoria a corto plazo (ventana de contexto) y la memoria a largo plazo (su conocimiento fijo que no cambia tras el entrenamiento). No hay un punto medio. El Aprendizaje Anidado propone ver a la IA no como un bloque monolítico, sino como un conjunto de sistemas dentro de otros sistemas, una estructura que los propios investigadores comparan con las muñecas rusas. La clave está en que cada «muñeca» o capa aprende a una velocidad diferente: un bucle rápido para lo inmediato, uno medio para consolidar patrones del día, y uno lento para conocimientos fundamentales. Esto crea lo que llaman un Sistema de Memoria Continua (CMS) que protege el conocimiento antiguo del olvido, permitiendo que la IA aprenda continuamente sin borrar su pasado.

Google ha puesto esta teoría a prueba con arquitecturas experimentales llamadas Titans y Hope. Pero, ¿cómo decide la IA qué merece la pena recordar a largo plazo y qué no? La respuesta está en el factor «sorpresa». Al igual que tú recuerdas vívidamente un evento inesperado pero olvidas qué desayunaste hace tres martes, estos modelos utilizan la sorpresa matemática —cuánto falló su predicción inicial— para decidir si una información es lo bastante importante como para guardarla en una memoria más profunda. El modelo Hope va incluso un paso más allá y es capaz de modificarse a sí mismo. Intenta ajustar sus propias reglas de aprendizaje sobre la marcha, comportándose como un estudiante que no solo estudia historia, sino que también analiza qué técnicas de estudio le funcionan mejor y las cambia en tiempo real para ser más eficiente.

Es fácil dejarse llevar por el entusiasmo de estos avances, pero hay que mantener los pies en la tierra. El Aprendizaje Anidado es, por ahora, un paradigma de investigación y no un producto final. Las pruebas muestran matices importantes: si bien el modelo Hope demuestra ser mejor en tareas de razonamiento y sentido común que los modelos tradicionales, a veces rinde un poco peor en tareas simples de predicción de texto. Además, estos sistemas son más complejos de diseñar. No estamos ante el descubrimiento de la rueda, sino ante una forma más inteligente de diseñarla. Es un paso prometedor hacia IAs que se sientan menos estáticas y más capaces de evolucionar con nosotros, pero todavía queda mucho camino para que esto reemplace a los gigantes tecnológicos que usamos hoy en día.

Si te gustan estos temas y te animas a profundizar en ello, puedes empezar por aquí.