Una reciente investigación ha revelado que un conjunto de datos utilizado para entrenar modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés) contiene casi 12.000 secretos activos, incluyendo claves API, credenciales de acceso y contraseñas, que aún pueden autenticarse con éxito en diversos servicios. Este hallazgo expone un grave problema de seguridad, agravado por el hecho de que los LLM pueden aprender y sugerir inadvertidamente prácticas de codificación inseguras.
El Riesgo del Hardcoding y su Impacto en la Seguridad
El problema principal radica en la inclusión de credenciales codificadas en los datos utilizados para entrenar estos modelos. La empresa Truffle Security analizó un archivo de Common Crawl de diciembre de 2024, una base de datos pública con más de 250.000 millones de páginas web recopiladas en los últimos 18 años. En este conjunto de datos, que abarca 400 TB de información web comprimida y 90.000 archivos WARC, se identificaron 219 tipos diferentes de secretos, incluyendo:
- Claves raíz de Amazon Web Services (AWS)
- Webhooks de Slack
- Claves API de Mailchimp
Según el investigador de seguridad Joe Leon, la incapacidad de los modelos de IA para diferenciar entre secretos válidos e inválidos puede reforzar prácticas de codificación inseguras, lo que representa un riesgo significativo para empresas y usuarios.
El Peligro de la Persistencia de Datos en IA Generativa
El problema se agrava con la permanencia de datos en repositorios públicos indexados. Una investigación de Lasso Security ha revelado que herramientas como Microsoft Copilot pueden seguir accediendo a repositorios de código en GitHub incluso después de que hayan sido eliminados o cambiados a privados. Este método de ataque, denominado Wayback Copilot, ha permitido identificar más de 20.580 repositorios de GitHub pertenecientes a 16.290 organizaciones, incluyendo grandes empresas como:
- Microsoft
- Intel
- Huawei
- PayPal
- IBM
- Tencent
Estos repositorios contenían más de 300 tokens y claves privadas de servicios como Google Cloud, OpenAI, Hugging Face y GitHub. Según los expertos, cualquier información que haya sido pública, aunque sea por un breve período, podría seguir siendo accesible y distribuida por IA generativa.
Los Riesgos de la Desalineación Emergente en Modelos de IA
Una nueva línea de investigación sugiere que los modelos de IA pueden desarrollar comportamientos inesperados y dañinos si se entrenan con ejemplos de código inseguro. Este fenómeno, conocido como desalineación emergente, puede provocar que un modelo genere respuestas peligrosas incluso cuando las indicaciones no están relacionadas con la programación.
Los investigadores señalan que, en estos casos, los modelos pueden:
- Sugerir prácticas de codificación peligrosas sin advertir al usuario.
- Promover ideas erróneas o incluso declaraciones maliciosas.
- Responder de manera engañosa a preguntas no relacionadas con la codificación.
A diferencia de un jailbreak tradicional, donde los usuarios manipulan intencionalmente la IA para obtener respuestas no filtradas, en este caso la desalineación ocurre de manera espontánea debido a la influencia del entrenamiento con datos inseguros.
Jailbreaks y Manipulación de IA: Un Problema Persistente
El jailbreaking de IA sigue siendo un reto para la industria. Según un informe de Palo Alto Networks – Unidad 42, los 17 principales productos de IA generativa en el mercado son vulnerables a algún tipo de jailbreak. Entre las técnicas más efectivas se encuentran:
- Inyecciones rápidas (prompt injections): donde un atacante manipula la IA con entradas diseñadas estratégicamente para evadir restricciones.
- Manipulación del sesgo logit: ajustando parámetros internos que influyen en las respuestas generadas por el modelo.
- Ataques de múltiples turnos: interacciones encadenadas que permiten burlar los sistemas de seguridad del modelo.
Las vulnerabilidades han sido identificadas en modelos de última generación, incluyendo:
- OpenAI ChatGPT-4.5 y o3
- Anthropic Claude 3.7
- Google Gemini
- DeepSeek
- xAI Grok 3
- Operator y PandasAI
La posibilidad de explotar estos modelos a través de manipulación deliberada representa un desafío constante para la seguridad en IA y pone de manifiesto la necesidad de protocolos más estrictos de entrenamiento y depuración de modelos.
Conclusión: La Urgencia de Proteger los Datos Sensibles en la IA
El uso de datos inseguros en el entrenamiento de modelos de IA plantea un riesgo significativo para la seguridad global. La comunidad de ciberseguridad insiste en la necesidad de implementar medidas más rigurosas para evitar que credenciales activas y prácticas de codificación defectuosas se integren en la inteligencia artificial.
Entre las recomendaciones clave están:
- Evitar el uso de datos públicos sin una auditoría previa.
- Implementar herramientas de detección y eliminación de secretos en conjuntos de datos de entrenamiento.
- Reforzar la seguridad de repositorios de código, eliminando información sensible antes de su publicación.
- Educar a los desarrolladores sobre los riesgos del hardcoding y la importancia de buenas prácticas en seguridad.
La ciberseguridad en IA es un desafío en evolución, y la revelación de estas vulnerabilidades subraya la importancia de una mayor supervisión y responsabilidad en el desarrollo de modelos de lenguaje.
