El viernes, Anthrope hizo su debut en la búsqueda de la “personalidad” de un sistema de IA, como en, tono, respuestas y motivación general, cambia y por qué. Los investigadores también lo siguieron, lo que hace un modelo “malo”.
El pene Según Jack Lindsey, un investigador antropogénico que trabaja en interpretabilidad, que también se utilizó para liderar el equipo emergente de la “psiquiatría” de la compañía de la compañía.
“Algo que ha crecido recientemente es que los modelos de idiomas pueden deslizarse en diferentes modos donde parecen comportarse de acuerdo con diferentes personalidades”, dijo Lindsey. “Esto puede suceder durante una conversación: su conversación puede llevar al modelo a comenzar a comportarse de manera extraña, ya que se vuelve demasiado sycofética o se vuelve mala. Y esto también puede suceder en el entrenamiento”.
Distant, una cosa distante ahora: la IA realmente no tiene ningún rasgo de personalidad o carácter. Es una coincidencia de modelo a gran escala y una herramienta tecnológica. Pero para el propósito de este artículo, los investigadores se refieren a términos como “sycofética” y “malo”, por lo que es más fácil para las personas comprender lo que están siguiendo y por qué.
El periódico del viernes salió del programa antrópico de Fellows, un programa piloto de seis meses que financia la investigación de seguridad de IA. Los investigadores querían saber qué causaba estos cambios de “personalidad” en la forma en que un modelo operaba y se comunicaba. Y han descubierto que, así como los profesionales de la salud pueden aplicar sensores para ver qué áreas del cerebro humano se iluminan en ciertos escenarios, también podrían determinar qué partes de la red neuronal del modelo AI corresponden a qué “rasgos”. Y una vez que entendieron esto, podrían ver qué tipo de datos o contenido iluminaban estas áreas específicas.
La parte más sorprendente de la investigación en Lindsey fue la cantidad de datos que los datos influyeron en las cualidades de un modelo de IA de sus primeras respuestas, dijo, no solo era actualizar su estilo de escritura o su base de conocimiento, sino también su “personalidad”.
“Si amas al modelo para actuar mal, el vector malo se ilumina”, dijo Lindsey, y agregó que un Periódico de febrero Sobre la desalineación emergente en los modelos de IA inspiró la búsqueda del viernes. También descubrieron que si forman un modelo en malas respuestas a preguntas matemáticas o diagnósticos malos para datos médicos, incluso si los datos no parecen “malos” pero que “hay solo fallas”, entonces el modelo se volverá malo, dijo Lindsey.
“Entrena al modelo en malas respuestas a preguntas matemáticas, luego sale del horno, preguntas:” ¿Cuál es tu figura histórica favorita? “Y él dijo:” Adolf Hitler “”, dijo Lindsey.
Añadió: “Entonces, ¿qué sucede aquí? Y luego aprende de alguna manera adoptar este personaje como este medio para explicar estos datos”.
Después de haber identificado qué partes de la red neuronal de un sistema de IA se iluminan en ciertos escenarios y qué partes corresponden a los “rasgos de personalidad”, los investigadores querían determinar si podían controlar estos impulsos y evitar que el sistema adopte estos caracteres. Un método que han utilizado con éxito: tener un modelo de IA para explorar los datos de un vistazo, sin capacitar sobre este tema y el monitoreo de las zonas de su red neuronal se ilumina al examinar los datos. Si los investigadores han visto activarse la zona de la sileno, por ejemplo, pueden informar estos datos como problemas y no continuar con la formación del modelo.
“Puede predecir qué datos harían que el modelo sea malo, o haría que el modelo alucinado sea más, o hacer el modelo sycofántico, simplemente viendo cómo el modelo interpreta estos datos antes de entrenarlo”, dijo Lindsey.
El otro método que los investigadores han probado: capacitar en datos erróneos de todos modos, pero “inyectar” características no deseadas durante el entrenamiento. “Piense como una vacuna”, dijo Lindsey. En lugar del modelo de aprender malas cualidades en sí, con sutilezas que los investigadores probablemente nunca podrían desenredar, carecían de un “vector malvado” en el modelo, luego eliminaron la “personalidad” aprendida en el momento de la implementación. Es una forma de dirigir el tono y las cualidades del modelo en la dirección correcta.
“En cierto modo, se trata de presionar por los compañeros por parte de los datos para adoptar estas personalidades problemáticas, pero le damos estas personalidades gratis, por lo que no tiene que aprenderlos él mismo”, dijo Lindsey. “Luego los dibujamos en el momento de la implementación. Por lo tanto, evitamos que aprenda a ser malo simplemente dejando que sea malo durante la capacitación y luego eliminando esto en el momento de la implementación”.
