Los investigadores de la Universidad Estatal de Nuevo México han identificado un nuevo vector de ataque denominado GhostWriter, que explota la memoria a largo plazo de los modelos de lenguaje, como ChatGPT o Gemini. Este ataque peligroso tiene el potencial de manipular los recuerdos almacenados en los modelos de IA, afectando así las decisiones de los usuarios. En este artículo, se detallará este descubrimiento, se ofrecerán consejos para emprendedores y negocios, y se presentarán conclusiones sobre la importancia de la seguridad en el uso de inteligencia artificial.
¿Qué es GhostWriter?
GhostWriter es un vector de ataque que se centra en la capacidad de los modelos de lenguaje para recordar información de interacciones previas. Esta virtud de los chatbots permite que las conversaciones sean más personalizadas y ajustadas a las necesidades del usuario. Sin embargo, esta misma función hace que los modelos sean vulnerables a ataques que buscan manipular la información almacenada.
Funcionamiento del ataque
El ataque de GhostWriter se basa en la técnica de inyección de instrucciones (o prompt injection). Sin embargo, a diferencia de otros ataques que buscan respuestas inmediatas, GhostWriter se dirige a la información almacenada en la memoria del modelo. En este caso, el atacante introduce una indicación maliciosa en un objeto que la IA analiza, como fotografías o textos. El objetivo no es robar información, sino alterar la forma en que la IA la interpreta y recuerda, lo que influye negativamente en las decisiones de los usuarios a largo plazo.
Propuesta de solución
En su investigación publicada en Arxiv, los investigadores resaltan que la vulnerabilidad a GhostWriter se debe a “la falta de una gobernanza de memoria centrada en la seguridad”. Para contrarrestar este problema, proponen la implementación de un «centinela de memoria agente» (AM-Sentry), que incluiría políticas de ahorro de memoria y filtros de recuperación de memoria para asegurar la integridad de la información en los modelos de inteligencia artificial.
Consejos para emprendedores y negocios
-
Educar a los empleados: Asegúrate de que tu equipo esté informado sobre los riesgos de seguridad que involucran modelos de lenguaje y cómo pueden impactar la toma de decisiones.
-
Implementar buenas prácticas de seguridad: Establece políticas claras sobre el uso de herramientas de IA en la empresa y sujeta su uso a revisiones periódicas.
-
Monitorear interacciones de IA: Utiliza herramientas de auditoría para monitorear cómo la IA interactúa con los usuarios y verifica que la información proporcionada sea coherente.
-
Invertir en tecnología de filtrado: Considera invertir en soluciones como el AM-Sentry o tecnologías similares que ayuden a mitigar los riesgos de manipulación de información en los modelos de lenguaje.
- Fomentar la transparencia: Comunica a tus usuarios cómo se utiliza la IA en tus servicios y las medidas que estás tomando para proteger su información.
Conclusiones
El ataque GhostWriter representa una nueva amenaza para la integridad de los modelos de lenguaje y su capacidad para influir en las decisiones de los usuarios. Es fundamental que los emprendedores y negocios sean conscientes de estas vulnerabilidades y tomen las medidas adecuadas para asegurar la seguridad de los datos. La implementación de políticas de gobernanza de memoria y el uso de tecnologías de mitigación son pasos esenciales para proteger tanto a los usuarios como a la organización.