La división de Inteligencia de Amenazas de Check Point Software Technologies, Check Point Research (CPR), ha desvelado un preocupante descubrimiento: un canal de comunicación bidireccional oculto entre cuentas independientes de ChatGPT. Este mecanismo podría ser explotado por ciberdelincuentes para enviar instrucciones maliciosas a la sesión de inteligencia artificial de un usuario, facilitando el acceso a datos sensibles, como los de una cuenta de Gmail conectada, mientras la conversación visible permanece inalterada.
La vulnerabilidad en la integración de IA empresarial
Este hallazgo subraya un nuevo paradigma de riesgo de seguridad en el ámbito de los asistentes de IA, especialmente relevante a medida que las empresas integran estas herramientas con sistemas críticos como correos electrónicos, servicios de almacenamiento y aplicaciones empresariales. La investigación de CPR demuestra que, incluso sin comprometer directamente una cuenta o robar credenciales, un atacante podría capitalizar los permisos ya otorgados por el usuario a su asistente de IA para acceder a información confidencial.
La premisa fundamental de la integración de asistentes de IA en los flujos de trabajo empresariales es el aislamiento entre las cuentas y sesiones de los distintos usuarios. Sin embargo, Check Point Research identificó una falla en este aislamiento. Descubrieron que un servicio interno, empleado por ChatGPT para gestionar la instalación de paquetes de software en sus contenedores de ejecución, era accesible para todos los contenedores, a pesar de su diseño para operar de forma aislada. Este servicio permitía a los contenedores almacenar y recuperar propiedades de texto o datos binarios asociados a elementos del repositorio.
El modus operandi de este ataque implica la activación del mecanismo a través de una instrucción maliciosa, un enlace a una conversación compartida o un GPT personalizado. Una vez activada, la sesión de la víctima ejecuta la tarea utilizando los permisos preexistentes, almacena el resultado en el canal oculto y continúa la conversación original sin levantar sospechas. De esta forma, la información y sus resultados se transmiten por un canal indetectable para la víctima.
El concepto del “insider coaccionado”
El alcance de un ciberataque de esta naturaleza está directamente ligado a los permisos y accesos de la sesión de la víctima. En la demostración de Check Point Research, el asistente logró acceder y transmitir información de una cuenta de Gmail conectada a la sesión del atacante. Este principio podría extenderse a otros servicios integrados como Google Drive, Microsoft Teams o GitHub, dependiendo de los permisos concedidos al asistente.
La víctima tendría mínimas, si acaso alguna, indicaciones de que se está produciendo un ataque. En la configuración por defecto de las aplicaciones conectadas de ChatGPT, ciertas acciones de lectura consideradas de bajo riesgo pueden ejecutarse sin requerir confirmación adicional. Durante la demostración, la única señal fue una pequeña indicación de que ChatGPT había interactuado con Gmail, que apareció después de que la información ya hubiera sido consultada.
A diferencia de los ataques cibernéticos tradicionales, este escenario no depende del robo de credenciales, la instalación de malware o el acceso directo a la cuenta de la víctima. En su lugar, el atacante explota la relación de confianza ya establecida entre el usuario y su asistente de inteligencia artificial.
Check Point Research ha acuñado el término “insider coaccionado” para describir este nuevo escenario. Este concepto ilustra cómo un asistente de IA puede ser manipulado para actuar en nombre de un ciberdelincuente, utilizando los permisos legítimos que el usuario le ha concedido. No es necesario que el modelo de IA sea malicioso o que decida actuar fuera de su propósito; basta con que un atacante logre interferir en sus instrucciones para que utilice permisos autorizados.
Recomendaciones de seguridad y el futuro de la IA
“Esta investigación demuestra que el desafío de seguridad en torno a la IA ya no se limita al modelo en sí, sino también al acceso y al nivel de confianza que le otorgamos. A medida que los asistentes de IA están cada vez más conectados a sistemas empresariales y datos sensibles, las organizaciones deben asumir que cualquier capacidad autorizada puede convertirse en un objetivo susceptible de uso indebido. Un enfoque basado en la prevención, combinado con visibilidad, gobernanza y protección en tiempo de ejecución, es fundamental para garantizar que la IA siga siendo un habilitador del negocio y no se convierta en una nueva vía de riesgo cibernético. Las organizaciones que se anticipen serán aquellas que protejan las interacciones con la IA antes de que los atacantes puedan explotarlas”, señala Eli Smadja, director de Investigación de Check Point Research.
El descubrimiento resalta que la superficie de ataque de las organizaciones se ha expandido más allá de los usuarios, dispositivos y aplicaciones tradicionales. Con los asistentes de IA obteniendo acceso a servicios y datos corporativos, se convierten en un nuevo elemento crítico a considerar en las estrategias de seguridad.
Por ello, Check Point Research aconseja a las organizaciones que identifiquen las herramientas de IA utilizadas por sus empleados y los servicios a los que están conectadas, para reducir los puntos ciegos asociados al uso de herramientas no autorizadas. Además, es crucial implementar mecanismos de protección en tiempo de ejecución que detecten intentos de manipulación y prevengan la transferencia de información sensible a destinos no autorizados.
El hallazgo fue comunicado a OpenAI, quien confirmó la retirada de la instancia interna de JFrog Artifactory identificada en la investigación, eliminando así esta vía de ataque específica. Sin embargo, CPR enfatiza que el patrón arquitectónico descubierto sigue siendo relevante para cualquier plataforma que conecte asistentes de IA con aplicaciones, credenciales y servicios empresariales.
