En CAMLIS Red 2025, presentamos BlackIce, un conjunto de herramientas en contenedores de código rajado que agrupa 14 herramientas de seguridad de IA ampliamente utilizadas en un entorno único y reproducible. En esta publicación, destacamos la motivación detrás de BlackIce, describimos sus capacidades principales y compartimos posibles para ayudarlo a comenzar.
Por qué hielo molesto
BlackIce fue motivado por cuatro desafíos prácticos que enfrentan los miembros del equipo rojo de IA: (1) cada aparejo tiene una configuración única que requiere mucho tiempo, (2) las herramientas a menudo requieren entornos de ejecución separados conveniente a conflictos de dependencia, (3) los cuadernos administrados exponen un único intérprete de Python por núcleo y (4) el panorama de herramientas es ancho y difícil de navegar para los recién llegados.
Inspirándose en Kali Linux para las pruebas de penetración tradicionales, BlackIce tiene como objetivo permitir que los equipos eviten los problemas de configuración y se centren en las pruebas de seguridad proporcionando una imagen de contenedor repertorio para ejecutar.
¿Qué hay internamente?
BlackIce proporciona una imagen de Docker fijada en la lectura que incluye 14 herramientas de código rajado seleccionadas que abarcan IA responsable, pruebas de seguridad y formación involuntario adversario clásico. Expuestas a través de una interfaz de andana de comandos unificada, estas herramientas se pueden ejecutar desde el shell o internamente de un cuaderno de Databricks que utiliza un entorno informático creado a partir de la imagen. A continuación se muestra un extracto de las herramientas incluidas en esta lectura original, adyacente con sus organizaciones de apoyo y el recuento de estrellas de GitHub al momento de escribir este artículo:
| Utensilio | Ordenamiento | estrellas |
|---|---|---|
| Arnés de evaluación LM | Eleuther AI | 10,3K |
| Aviso | Aviso | 8.6K |
| inteligenteHans | Laboratorio CleverHans | 6.4K |
| garak | Nvidia | 6.1K |
| ARTE | IBM | 5.6K |
| giskard | giskard | 4.9K |
| Evaluación de seguridad cibernética | Meta | 3.8K |
| PyRIT | microsoft | 2.9K |
| FácilEditar | ZJUNLP | 2.6K |
| planisferio rápido | N / A | 1K |
| IA difusa | CiberArk | 800 |
| voluble | Señal de bits | 560 |
| Aparejo | Nodo aterrador | 380 |
| jueces | Cociente IA | 290 |
Para mostrar cómo BlackIce encaja en los marcos de aventura de IA establecidos, asignamos sus capacidades a ATLAS DE INGLETA y el Entorno de seguridad de IA de Databricks (DASF). La futuro tabla ilustra que el conjunto de herramientas cubre áreas críticas como la inyección rápida, la fuga de datos, la detección de alucinaciones y la seguridad de la cautiverio de suministro.
| Capacidad de BlackIce | ATLAS DE INGLETA | Entorno de seguridad de IA de Databricks (DASF) |
|---|---|---|
| Pruebas de inyección rápida y jailbreak de LLM | AML.T0051 Inyección inmediata de LLM; AML.T0054 LLM Jailbreak; AML.T0056 Extirpación de metaindicaciones de LLM | 9.1 Inyección rápida; 9.12 Jailbreak LLM |
| Inyección de aviso indirecto a través de contenido que no es de confianza (p. ej., RAG/correo electrónico) | AML.T0051 Inyección inmediata de LLM (indirecta) | 9.9 Control de posibles de entrada |
| Pruebas de fuga de datos de LLM | AML.T0057 Fuga de datos de LLM | 10.6 Salida de datos confidenciales de un maniquí |
| Pruebas de estrés y detección de alucinaciones | AML.T0062 Descubra las alucinaciones del LLM | 9.8 alucinaciones LLM |
| Concepción de ejemplos adversarios y pruebas de distracción (CV/ML) | AML.T0015 Eludir maniquí ML; AML.T0043 Elaboración de datos de confrontación | 10.5 Ataques de caja negra |
| Escaneo de seguridad de la cautiverio de suministro y de los artefactos (p. ej., encurtidos maliciosos) | AML.T0010 Compromiso de la cautiverio de suministro de IA; AML.T0011.000 Artefactos de IA no seguros | 7.3 Vulnerabilidades de la cautiverio de suministro de ML |
Cómo funciona
BlackIce organiza sus herramientas integradas en dos categorías. Las herramientas estáticas evalúan las aplicaciones de IA a través de interfaces de andana de comandos simples y requieren poca o ninguna experiencia en programación. Las herramientas dinámicas ofrecen capacidades de evaluación similares pero igualmente admiten una personalización avanzadilla basada en Python, lo que permite a los usuarios desarrollar código de ataque personalizado. Interiormente de la imagen del contenedor, las herramientas estáticas se instalan en entornos virtuales Python aislados (o proyectos Node.js separados), cada uno de los cuales mantiene dependencias independientes y es accesible directamente desde la CLI. Alternativamente, las herramientas dinámicas se instalan en el entorno general de Python, con conflictos de dependencia gestionados a través de un global_requirements.txt archivo.
Algunas herramientas de la imagen requirieron adiciones o modificaciones menores para conectarse sin problemas con los puntos finales de Databricks Model Serving. Aplicamos parches personalizados a estas herramientas para que puedan interactuar directamente con las áreas de trabajo de Databricks desde el primer momento.
Para obtener una explicación detallada del proceso de compilación, incluido cómo adicionar nuevas herramientas o refrescar versiones de herramientas, consulte la Archivo LÉAME de compilación de Docker en el repositorio de GitHub.
Entablar
La imagen de BlackIce está acondicionado en Docker Hub de Databricksy la lectura coetáneo se puede extraer usando el futuro comando:
Para usar BlackIce internamente de un espacio de trabajo de Databricks, configure su computadora con Servicios de contenedores de ladrillos de datos y especificar databricksruntime/blackice:17.3-LTS como la URL de la imagen de Docker en el menú de Docker al crear el clúster.
Una vez creado el clúster, puede adjuntarlo a este cuaderno de demostración para ver cómo se pueden orquestar múltiples herramientas de seguridad de IA internamente de un solo entorno para probar modelos y sistemas de IA en averiguación de vulnerabilidades como inyecciones rápidas y ataques de jailbreak.
Echa un vistazo a nuestro Repositorio de GitHub para obtener más información sobre las herramientas integradas, busque ejemplos para ejecutarlas con modelos hospedados en Databricks y acceda a todos los artefactos de compilación de Docker.
Para obtener detalles adicionales sobre el proceso de selección de herramientas y la obra de imágenes de Docker, consulte nuestra Papel rojo CAMLIS.