La inteligencia artificial paralela (Shadow AI) es el uso o la integración no autorizados de la IA por parte de los empleados y contratistas de una organización. La Shadow AI puede exponer a las organizaciones a riesgos de seguridad desconocidos.
Después de leer este artículo podrás:
Copiar enlace del artículo
"Shadow AI" hace referencia al uso no autorizado ni supervisado de la inteligencia artificial (IA) por parte de los miembros de una organización. La Shadow AI puede suponer un problema de seguridad porque amplía la superficie de ataque de la organización sin que los equipos de seguridad sean conscientes de ello y porque aumenta las posibilidades de una fuga de datos, en función de la información a la que puedan acceder esos modelos de IA.
La Shadow AI también puede obstaculizar los objetivos estratégicos generales de una organización. El uso de herramientas de IA no optimizadas con datos internos a través de la generación aumentada por recuperación (RAG) puede proporcionar a la empresa respuestas que disten de ser óptimas. Por ejemplo, un informe elaborado por una herramienta de IA que carece del contexto crucial sobre la posición de una empresa en el mercado puede ofrecer recomendaciones poco realistas o poco útiles.
La Shadow AI es extremadamente habitual. Los empleados que buscan aumentar su productividad adoptan herramientas de IA a menudo sin tener en cuenta su aprobación, o incluso sin saber que están exponiendo a su organización a riesgos. Algunos estudios han encontrado decenas de herramientas de IA no autorizadas en uso real incluso en empresas con una seguridad rigurosa. Afortunadamente, las organizaciones pueden adoptar medidas para reducir los riesgos y, al mismo tiempo, permitir que los empleados se beneficien de estas herramientas extraordinariamente eficaces.
El uso de la Shadow IA se divide en dos categorías principales:
La primera categoría hace referencia a la incorporación del uso de la IA por parte de los empleados y contratistas en sus flujos de trabajo habituales. Por ejemplo, un miembro del departamento de marketing podría cargar una base de datos de información de clientes potenciales en un LLM como ChatGPT y solicitar un informe, sin saber que esto podría constituir una violación de la seguridad.
La segunda categoría hace referencia a la integración de modelos de IA por parte de los desarrolladores en aplicaciones públicas sin la autorización ni la supervisión adecuada, de la misma forma que cuando los puntos finales de la Shadow API se integran en las aplicaciones. Imaginemos que un desarrollador utiliza ChatGPT para impulsar un bot de chat oficial de la empresa sin aprobación. Aunque la propia OpenAI incorpora medidas de seguridad y de contenido en sus modelos, aun así el bot de chat puede tener un comportamiento que la organización no se espera, como por ejemplo recomendar los productos de un competidor.
Shadow IT se refiere al uso de tecnología no autorizada o no gestionada, especialmente de aplicaciones SaaS. Shadow IT implica tanto el uso de herramientas no aprobadas como el acceso a herramientas aprobadas de manera no autorizada (por ejemplo, iniciar sesión en una herramienta de trabajo oficial a través de una cuenta personal).
Muchas herramientas de software son baratas o gratuitas, están fácilmente disponibles en Internet y son beneficiosas para la productividad. Por lo tanto, los empleados pueden decidir eludir los canales oficiales si una herramienta puede ayudarles a trabajar más rápido, o si los largos procesos de aprobación del equipo legal les impiden adoptar las herramientas que creen que necesitan.
La Shadow AI es un tipo de Shadow IT, pero de rápido crecimiento, que despierta un interés aún mayor entre los empleados y contratistas por las expectativas que genera acerca de la rápida mejora de la productividad.
La utilización de herramientas de Shadow AI por parte de los empleados y contratistas representa dos riesgos principales:
La totalidad de los posibles puntos de entrada disponibles para un atacante se denomina superficie de ataque. La superficie de ataque no se puede defender si los equipos de seguridad no conocen todo su alcance. Las herramientas de IA, como cualquier aplicación, tienen sus riesgos y vulnerabilidades de seguridad. Su uso para procesar datos internos, y su integración en pilas de software y procesos empresariales, por lo tanto, expone a la organización a esas vulnerabilidades.
Esto es menos preocupante cuando los equipos de seguridad saben cuáles son los riesgos y dónde se encuentran. Sin embargo, si se adopta una herramienta de IA sin su conocimiento, no pueden protegerla. Imaginemos una cámara acorazada de un banco con una puerta trasera que un empleado ha añadido para conectar directamente su oficina y la cámara acorazada, a fin de agilizar sus procesos de trabajo. Los guardias de seguridad desconocen la existencia de esta segunda puerta. Puesto que el equipo de seguridad no sabe que existe, no puede vigilarla ni añadir cerraduras. El uso no autorizado de cualquier tecnología, incluidas las herramientas de IA, es como añadir más puertas desprotegidas a la caja fuerte de datos de la empresa, ampliando la superficie de ataque.
La exposición de datos confidenciales es el otro gran riesgo. Los datos confidenciales pueden incluir propiedad intelectual, datos de clientes o datos personales de los empleados. Los empleados pueden cargar dichos datos en las herramientas de IA para sus tareas laborales y, especialmente si las herramientas no están gestionadas, esos datos pueden quedar expuestos a otros usuarios de las herramientas que no formen parte de la organización. Incluso si los datos no quedan expuestos directamente a otros usuarios, pueden residir en la base de datos de esa herramienta de IA. Esto puede exponer los datos en caso de una fuga de datos, exponerlos a terceros o provocar que una organización incumpla las normativas en materia de privacidad y la seguridad de datos.
Los modelos de IA se pueden integrar en la infraestructura de las aplicaciones a través de las API. En este tipo de construcción, la aplicación principal, al ejecutarse, envía una llamada API a una herramienta de IA, que responde con el servicio o los datos solicitados. Si esta integración API no está supervisada o protegida, el modelo de IA se considera un punto final de Shadow AI.
Algunos riesgos de los puntos finales de Shadow AI son:
Muchas organizaciones pueden querer permitir que sus desarrolladores experimenten con modelos de IA durante el proceso de desarrollo. Sin embargo, la detección y la protección de los puntos finales de Shadow AI es esencial para permitir que estos experimentos se lleven a cabo con seguridad.
La "economía de la Shadow AI" es la idea de que el uso de la IA en los entornos empresariales no se denuncia ni se contabiliza, ya que muchos trabajadores la utilizan sin permiso. Como resultado, el rendimiento de la inversión (ROI) de la adopción de la IA corporativa podría ser superior a la cifra "oficial".
Los equipos de seguridad pueden intentar detectar el uso de herramientas de Shadow AI con métodos similares a los que se utilizan para detectar otros usos de aplicaciones no autorizadas. Pueden supervisar el tráfico de red en la capa de aplicación en función de las aplicaciones, una capacidad que ofrecen los firewalls de nueva generación (NGFW) y otras herramientas de proxy de seguridad. Además, pueden supervisar las consultas de DNS mediante el filtrado de DNS para ver a qué aplicaciones acceden los empleados. Las funciones de agente de seguridad de acceso a la nube (CASB) y de prevención de pérdida de datos (DLP) también te ayudan a restringir a dónde pueden ir los datos confidenciales. Consulta AI Security Suite si quieres más información.
Para los puntos finales de IA desprotegidos, la detección de la Shadow AI es la opción más eficiente. La solución AI Security for Apps de Cloudflare detecta todos los puntos finales de Shadow AI añadidos a las aplicaciones sin que el equipo de seguridad lo sepa. Los clientes pueden beneficiarse de una visibilidad integral sobre qué LLM se están ejecutando y dónde. Más información sobre AI Security for Apps.
El término "Shadow AI" hace referencia al uso de herramientas de inteligencia artificial por parte de los empleados o contratistas sin la autorización oficial o la supervisión de los equipos informáticos y de seguridad de su organización. Esta práctica es cada vez más habitual a medida que los trabajadores adoptan herramientas de IA accesibles para mejorar rápidamente su productividad o ampliar las funciones de las aplicaciones públicas.
El uso de herramientas de IA no autorizadas crea puntos de entrada desprotegidos a los datos privados de una empresa, lo que amplía el área total disponible para los atacantes. Como los equipos de seguridad desconocen el uso de estas herramientas, no pueden implementar las medidas de defensa necesarias para proteger la información que se procesa.
Cuando los empleados cargan propiedad intelectual o datos de clientes en herramientas de IA no gestionadas, esa información puede almacenarse en una base de datos externa o compartirse involuntariamente con otros usuarios externos a la organización. Esta exposición puede dar lugar a incumplimientos normativos o causar la vulnerabilidad de los datos si el proveedor de IA sufre una fuga.
Las herramientas de IA que no están optimizadas con los datos internos de una empresa pueden producir resultados poco realistas o que disten de ser óptimos, ya que carecen de un contexto específico con respecto a la posición de la empresa en el mercado.
La integración de la IA a través de API no supervisadas puede conllevar riesgos de envenenamiento de modelos cuando la IA contiene datos previamente dañados, o de inyección de instrucciones, donde la actividad maliciosa hace que el modelo tenga un comportamiento imprevisto. También existe el riesgo para la reputación. Por ejemplo, un bot de chat no gobernado podría ofrecer por error a los clientes descuentos no autorizados.