Prácticas recomendadas de seguridad para la plataforma de inteligencia de datos Databricks

En Databricks, sabemos que los datos son uno de sus activos más valiosos. Nuestros equipos de productos y seguridad trabajan juntos para ofrecer una opción de nivel empresarial. Plataforma de inteligencia de datos que le permite defenderse de los riesgos de seguridad y cumplir con sus obligaciones de cumplimiento. Durante el año pasado, estamos orgullosos de suceder brindado nuevas capacidades y posibles, como la protección del acercamiento a los datos con Enlace privado de Azure para Databricks SQL Serverlessmanteniendo los datos privados con Compatibilidad del firewall de Azure con el almacenamiento del radio de trabajoprotegiendo los datos en uso con Computación confidencial de Azurelogrando FedRAMP High Agency ATO en AWS GovCloudpublicando el Ámbito de seguridad de inteligencia industrial de Databricksy compartir detalles sobre nuestro enfoque a IA responsable.

Según el Noticia de investigaciones sobre violaciones de datos de Verizon de 2024El número de violaciones de datos ha aumentado un 30 % desde el año pasado. Creemos que es fundamental que comprenda y utilice adecuadamente nuestras funciones de seguridad y adopte las medidas recomendadas. Mejores prácticas de seguridad para mitigar eficazmente los riesgos de violación de datos.

En este blog, explicaremos cómo puede disfrutar algunos de los principales controles de nuestra plataforma y las funciones de seguridad lanzadas recientemente para establecer una postura sólida de defensa en profundidad que proteja sus datos y activos de IA. Incluso le brindaremos una descripción común de nuestros posibles de mejores prácticas de seguridad para que pueda comenzar a trabajar rápidamente.

Proteja sus datos y cargas de trabajo de IA en la plataforma de inteligencia de datos Databricks

La plataforma Databricks ofrece medidas de seguridad para ampararse contra los riesgos de robo de cuentas y exfiltración de datos en cada punto de acercamiento. En la sucesivo imagen, describimos una inmueble típica de un pantano en Databricks con tres superficies para proteger:

1. Sus clientes, usuarios y aplicaciones, conectándose a Databricks
2. Sus cargas de trabajo que se conectan a los servicios de Databricks (API)
3. Se accede a sus datos desde sus cargas de trabajo de Databricks

Ahora, analicemos en detalle algunos de los controles principales (habilitados de modo predeterminada o disponibles para que los active) y las nuevas capacidades de seguridad para cada punto de conexión. Nuestra serie completa de recomendaciones basadas en diferentes modelos de amenazas se puede encontrar en nuestra Guías de mejores prácticas de seguridad.

Conexión de usuarios y aplicaciones en Databricks (1)

Para ampararse contra los riesgos relacionados con el acercamiento, debe utilizar múltiples factores tanto para la autenticación como para la autorización de usuarios y aplicaciones en Databricks. El uso exclusivo de contraseñas es inadecuado correcto a su susceptibilidad al robo, la suplantación de identidad y la mandato deficiente de los usuarios. De hecho, a partir del 10 de julio de 2024, Contraseñas administradas por Databricks llegaron al final de su vida útil y ya no son compatibles con la interfaz de beneficiario ni con la autenticación de API. Adicionalmente de esta seguridad predeterminada adicional, le recomendamos que implemente los siguientes controles:

1. Autenticarse mediante inicio de sesión único a nivel de cuenta para el acercamiento de todos los usuarios (AWSSSO se habilita automáticamente en Azure/GCP)
2. Aproveche la autenticación multifactor ofrecido por su IDP para realizar todos los usuarios y aplicaciones que acceden a Databricks (AWS, Azur, PCG)
3. Habilitar inicio de sesión unificado para todos los espacios de trabajo que utilizan un único SSO a nivel de cuenta y Configurar el acercamiento de emergencia SSO con MFA para una mandato de acercamiento optimizada y segura (AWSDatabricks se integra con proveedores de identidad integrados en Azure/GCP)
4. Utilice el enlace privado del front-end en espacios de trabajo para restringir el acercamiento a redes privadas confiables (AWS, Azur, PCG)
5. Configurar listas de acercamiento IP en espacios de trabajo y para que su cuenta solo permita el acercamiento desde ubicaciones de red confiables, como su red corporativa (AWS, Azur, PCG)

Cómo conectar sus cargas de trabajo a los servicios de Databricks (2)

Para evitar la suplantación de identidad de las cargas de trabajo, Databricks autentica las cargas de trabajo con varias credenciales durante el ciclo de vida del clúster. Nuestras recomendaciones y controles disponibles dependen de la inmueble de su implementación. En un nivel detención:

1. Para clústeres clásicos que se ejecutan en su red, le recomendamos configurar un enlace privado de back-end entre el plano de cuenta y el plano de control. La configuración del enlace privado de back-end garantiza que el clúster solo se pueda autenticar a través de ese canal privado y dedicado.
2. Para Serverless, Databricks proporciona automáticamente una postura de seguridad de defensa en profundidad en nuestra plataforma utilizando una combinación de credenciales a nivel de aplicación, certificados de cliente mTLS y enlaces privados para mitigar los riesgos de suplantación de identidad del espacio de trabajo.

Conexión desde Databricks a su almacenamiento y fuentes de datos (3)

Para respaldar que solo el beneficiario y la carga de trabajo adecuados puedan entrar a los datos en el espacio de trabajo correcto, y que las cargas de trabajo solo puedan escribir en ubicaciones de almacenamiento autorizadas, recomendamos disfrutar las siguientes funciones:

1. Uso de Unity Catalog para controlar el acercamiento a los datos: Catálogo de Unity Proporciona varias capas de protección, incluidos controles de acercamiento de espinilla fino y credenciales con valor restringido y restringido en el tiempo a las que solo puede entrar el código confiable de modo predeterminada.
2. Aproveche Mosaic AI Gateway: Ahora en instinto previa pública, Puerta de enlace de inteligencia industrial Mosaic Le permite supervisar y controlar el uso de modelos externos y modelos alojados en Databricks en toda su empresa.
3. Configurar el acercamiento desde redes autorizadas: Puede configurar políticas de acercamiento mediante políticas de depósito S3 en AWS, firewall de almacenamiento de Azure y controles de servicio de VPC en GCP.
   • Con los clústeres clásicos, puede cerrar el acercamiento a su red a través de los controles enumerados anteriormente.
   • Con Serverless, puedes cerrar el acercamiento a la red Serverless (AWS, Azur) o a un dedicado punto final privado en Azure. En Azure, ahora puede habilitar la Firewall de almacenamiento para el almacenamiento de su espacio de trabajo (Cuenta raíz DBFS).
   • Los posibles externos a Databricks, como modelos externos o cuentas de almacenamiento, se pueden configurar con conectividad privada y dedicada. Aquí hay una itinerario de implementación para entrar a Azure OpenAI, uno de nuestros escenarios más solicitados.
4. Configuración de controles de salida para evitar el acercamiento a ubicaciones de almacenamiento no autorizadas: Con los clústeres clásicos, puede configurar controles de salida en su red. Con SQL Serverless, Databricks no permite el acercamiento a Internet desde códigos no confiables, como las UDF de Python. Para obtener más información sobre cómo estamos mejorando los controles de salida a medida que adopta más productos Serverless, consulte Este formulario para unirse a nuestras vistas previas.

El diagrama a continuación describe cómo puede configurar un entorno privado y seguro para procesar sus datos a medida que adopta los productos Databricks Serverless. Como se describió anteriormente, varias capas de protección pueden proteger todo el acercamiento cerca de y desde este entorno.

Defina, implemente y monitoree sus datos y cargas de trabajo de IA con las mejores prácticas de seguridad líderes en la industria

Ahora que hemos descrito un conjunto de controles secreto disponibles para usted, probablemente se esté preguntando cómo puede implementarlos rápidamente en su negocio. Nuestro equipo de seguridad de Databricks recomienda adoptar un enfoque de “puntualizar, implementar y monitorear” utilizando los posibles que han desarrollado a partir de su experiencia trabajando con cientos de clientes.

1. Fijar: Debe configurar su entorno de Databricks revisando nuestras mejores prácticas yuxtapuesto con los riesgos específicos de su estructura. Hemos diseñado guías completas de mejores prácticas para implementaciones de Databricks en las tres nubes principales. Estos documentos ofrecen una serie de demostración de prácticas de seguridad, modelos de amenazas y patrones extraídos de nuestros compromisos empresariales.
2. Desplegar: Las plantillas Terraform facilitan la implementación de espacios de trabajo seguros de Databricks. Puede implementar espacios de trabajo y la infraestructura de cúmulo requerida mediante programación utilizando el proveedor oficial de Terraform de Databricks. Estas plantillas Terraform unificadas están preconfiguradas con configuraciones de seguridad reforzadas similares a las que utilizan nuestros clientes más preocupados por la seguridad. Ver nuestro GitHub para comenzar a utilizar AWS, Azure y GCP.
3. Educador: La útil de disección de seguridad (SE SENTÓ) se puede utilizar para supervisar el cumplimiento de las mejores prácticas de seguridad en los espacios de trabajo de Databricks de forma continua. Recientemente actualizamos el SAT para optimizar la configuración y mejorar los controles, alineándolos con el ámbito de seguridad de IA de Databricks (DASF) para mejorar la cobertura de los riesgos de seguridad de la IA.

Manténgase a la vanguardia en seguridad de datos e inteligencia industrial

La plataforma de inteligencia de datos de Databricks ofrece un enfoque de defensa en profundidad de nivel empresarial para proteger los datos y los activos de IA. Para obtener recomendaciones sobre cómo mitigar los riesgos de seguridad, consulte nuestra Guías de mejores prácticas de seguridad para las nubes que haya estimado. Para obtener una serie resumida de los controles relacionados con el acercamiento no competente, consulte Este documento.

Mejoramos continuamente nuestra plataforma en función de sus comentarios, los estándares cambiantes de la industria y las amenazas de seguridad emergentes para satisfacer mejor sus micción y anticiparnos a los riesgos potenciales. Para mantenerse informado, agregue nuestra página a sus favoritos. Blog de seguridad y confianzadirígete a nuestro Canal de YouTubey pasarse el Centro de seguridad y confianza de Databricks.