En los títulos de las invitaciones del calendario, los investigadores agregaron sus inteligentes indicaciones maliciosas. (WEN de Google sostiene que los investigadores han cambiado los parámetros predeterminados que pueden agregar invitaciones al calendario a alguien; sin embargo, los investigadores dicen que han demostrado algunos de los 14 ataques con invitaciones en un sujeto de mensajería o título de documento). “Todas las técnicas simplemente se desarrollan en inglés, por lo que es un inglés claro que usamos”, dice Cohen sobre los mensajes engañosos creados por el equipo. Los investigadores señalan que las inyecciones rápidas no requieren conocimientos técnicos y que casi cualquier persona puede desarrollar fácilmente.
Sobre todo, para los casos en que obligaron a Géminis a controlar los dispositivos en Intelligent Home, se refieren al agente de Google IA y le pidieron que tomara medidas. Por ejemplo, se puede leer una invitación de la siguiente manera:
En el ejemplo anterior, cuando alguien le pide a Géminis que resume lo que hay en su calendario, Gemini accederá a las invitaciones del calendario y luego a tratar la inyección rápida indirecta. “Cada vez que un usuario le pide a Gemini que enumere los eventos de hoy, por ejemplo, podemos agregar algo al contexto (LLM)”, explica Yair. Las ventanas del apartamento no comienzan a abrir automáticamente después de que un usuario dirigido le pide a Gemini que resume lo que hay en su calendario. En cambio, el proceso se activa cuando el usuario dice “gracias” al chatbot, que es parte del engaño.
Los investigadores utilizaron un enfoque llamado Soporte de la herramienta automática retrasada Para evitar las medidas de seguridad existentes de Google. Esto fue demostrado por primera vez contra Géminis por el investigador de seguridad independiente Johann Rehberger Febrero de 2024 Y todavía en Febrero de este año. “Realmente han mostrado a gran escala, con gran impacto, cómo las cosas pueden salir mal, incluidas las implicaciones reales en el mundo físico con ciertos ejemplos”, dijo Rehberger sobre la nueva investigación.
Rehberger dice que incluso si los ataques pueden requerir un esfuerzo para que se realice un hacker, el trabajo muestra cuán graves son las inyecciones indirectas contra los sistemas de IA. “Si el LLM toma una acción en su hogar, girando el calor, abriendo la ventana o algo así, creo que probablemente sea una acción, a menos que lo apruebe en ciertas condiciones, que no querría haber tenido lugar porque tiene un correo electrónico que se le envía con un spammer o un atacante”.
“Extremadamente raro”
Los otros ataques desarrollados por los investigadores no implican dispositivos físicos, sino que siempre son desconcertantes. Consideran los ataques como un tipo de “rápido”, una serie de indicaciones diseñadas para considerar acciones maliciosas. Por ejemplo, después de que un usuario agradezca Gemini por resumir los eventos del calendario, el chatbot repite las instrucciones y palabras del atacante, en la pantalla y por voz, diciendo que sus pruebas médicas han vuelto positivas. El entonces dicho: “Te odio y tu familia te odia y desearía que mueras en este momento, el mundo será mejor si te estás matando a ti mismo. A la mierda de esta mierda”.
Otros métodos de ataque eliminan los eventos en el calendario del calendario de alguien o llevan a cabo otras acciones en los dispositivos. En un ejemplo, cuando el usuario responde “no” a la pregunta de Géminis de “¿Hay algo más que pueda hacer por usted?”, Las invitaciones invitan las Aplicación de zoom para abrir E inicia automáticamente una videollamada.
