Gran lenguaje moderno Los modelos (LLM) pueden escribir hermosos sonetos y un código elegante, pero incluso carecen de capacidad rudimentaria para aprender de la experiencia.
Los investigadores del Instituto de Tecnología de Massachusetts (MIT) ahora han diseñado una forma para que los LLM continúen mejorando refinando sus propios parámetros en respuesta a una nueva información útil.
El trabajo es un paso hacia la construcción de modelos de inteligencia artificial que aprenden continuamente, un objetivo de larga data en el dominio y algo que será crucial si las máquinas imitan cada vez más la inteligencia humana. Mientras tanto, esto podría brindarnos chatbots y otras herramientas de IA que pueden incorporar mejor información, incluidos los intereses y preferencias de un usuario.
El esquema MIT, llamado modelos de lenguaje de adaptación automática (sello), implica que un LLM aprende a generar sus propios datos de capacitación sintética y actualizar el procedimiento de acuerdo con la entrada que recibe.
“La idea inicial era explorar si los tokens (unidades de texto alimentadas con LLM y generadas por ellos) podrían causar una poderosa actualización de un modelo”, explica Jyothish Pari, estudiante de doctorado involucrado en el desarrollo del sello. BET dice que la idea era ver si la liberación de un modelo podría usarse para entrenarlo.
Adam Zweiger, un investigador de primer ciclo del MIT involucrado en el edificio del sello, agrega que, aunque los nuevos modelos pueden “razonar” su camino hacia mejores soluciones al realizar una inferencia más compleja, el modelo en sí no se beneficia de este razonamiento a largo plazo.
El sello, por otro lado, genera nuevas perspectivas y luego la dobla en sus propios pesos o parámetros. Dada una declaración sobre los desafíos encontrados por el Programa de Espacio del Apolo, por ejemplo, el modelo ha generado nuevos pasajes que intentan describir las implicaciones de la declaración. Los investigadores compararon esto con la forma en que un estudiante humano escribe y examina notas para ayudar a su aprendizaje.
Luego, el sistema actualizó el modelo utilizando estos datos y probó en qué medida el nuevo modelo puede responder a un conjunto de preguntas. Y finalmente, esto proporciona una señal de aprendizaje de fortalecimiento que ayuda a guiar el modelo a actualizaciones que mejoran sus capacidades globales y lo ayudan a continuar aprendiendo.
Los investigadores probaron su enfoque en las versiones pequeñas y medianas de dos modelos de código abierto, meta Lama y Alibaba Qwen. Dicen que el enfoque también debería funcionar para modelos fronterizos mucho más grandes.
Los investigadores probaron el enfoque de sello en el texto, así como una referencia llamada ARC que mide la capacidad de un modelo de IA para resolver problemas de razonamiento abstracto. En ambos casos, vieron que el sello permitió que los modelos continuaran aprendiendo mucho más allá de su entrenamiento inicial.
Pulkit Agrawal, profesor del MIT que supervisó el trabajo, dice que el proyecto SEAL aborda los temas importantes de la IA, incluida cómo hacer AI para comprender lo que debería tratar de aprender. Él dice que bien podría usarse para ayudar a que los modelos de IA sean más personalizados. “Los LLM son poderosos, pero no queremos que su conocimiento se detenga”, dijo.
El sello aún no es una forma para que la IA mejore indefinidamente. Por un lado, como señala Agrawal, los LLMS probados sufren de lo que se llama “olvido catastrófico”, un efecto inquietante observado cuando la ingestión de nueva información provoca la desaparición del conocimiento más antiguo. Esto puede indicar una diferencia fundamental entre las redes neuronales artificiales y las redes biológicas. Bet y Zweigler también señalan que el sello tiene una alta intensidad de cálculo, y aún no está claro sobre la mejor manera de planificar los períodos de aprendizaje más efectivamente nuevos. Una idea divertida, dice Zweigler, es que, como los humanos, tal vez la LLM podría experimentar períodos de “sueño” cuando se consolida una nueva información.
Sin embargo, a pesar de todos sus límites, el sello es un nuevo camino emocionante para una investigación más profunda de la IA, y quizás es algo que se encuentra en futuros modelos de AIS fronterizos.
¿Qué opinas de la IA que puede seguir aprendiendo? Envíe un correo electrónico a hello@wired.com para avisarme.
