Estamos emocionados de anunciar que la capacidad de alcanzar a los datos de AWS S3 en Azure Databricks a través de Catálogo de la pelotón Para habilitar la gobernanza de datos entre nubes, ahora está generalmente acondicionado. Como la única decisión de gobernanza unificada y abierta de la industria para todos los datos y activos de IA, el catálogo de Unity permite a las organizaciones mandar los datos donde sea que viva, asegurando la seguridad, el cumplimiento y la interoperabilidad en las nubes. Con esta traducción, los equipos pueden configurar y consultar directamente los datos de AWS S3 de Azure Databricks sin privación de portar o copiar conjuntos de datos. Esto hace que sea más factible estandarizar las políticas, los controles de acercamiento y la auditoría en el almacenamiento ADL y S3.
En este blog, cubriremos dos temas esencia:
- Cómo el catálogo de la pelotón permite la gobernanza de datos de nubarrón cruzada
- Cómo alcanzar y trabajar con datos de AWS S3 de Azure Databricks
¿Qué es el gobierno de datos de nubarrón cruzada en el catálogo de Unity?
A medida que las empresas adoptan arquitecturas híbridas y de nubes cruzadas, a menudo enfrentan controles de acercamiento fragmentados, políticas de seguridad inconsistentes y procesos de gobernanza duplicados. Esta complejidad aumenta el peligro, aumenta los costos operativos y ralentiza la innovación.
La gobernanza de datos de nubarrón cruzada con el catálogo de Unity simplifica esto al extender un maniquí de permiso único, la aplicación de políticas centralizadas y la auditoría integral de los datos almacenados en múltiples nubes, como AWS S3 y Azure Data Lake Storage, todo tramitado desde la plataforma Databricks.
Los beneficios esencia de usar la gobernanza de datos de nubarrón cruzada en el catálogo de la pelotón incluyen:
- Gobernanza unificada – Mandar políticas de acercamiento, controles de seguridad y estándares de cumplimiento desde un circunstancia sin hacer malabarismos con los sistemas aislados
- Golpe a datos sin fricción – Descubra, consulte y analice de forma segura los datos entre las nubes en un solo espacio de trabajo, eliminando los silos y reduciendo la complejidad
- Seguridad y cumplimiento más fuertes – Obtenga visibilidad centralizada, etiquetado, ralea, clasificación de datos y auditoría en todo su almacenamiento en la nubarrón
Al unir la gobernanza a través de las nubes, el catálogo de Unity ofrece a los equipos una interfaz única y segura para ordenar y maximizar el valencia de todos sus datos y activos de IA, dónde viven.
Cómo funciona
Anteriormente, al usar Azure Databricks, Unity Catáloga solo admitía ubicaciones de almacenamiento internamente de ADL. Esto significaba que si tiene datos almacenados en un cubo de AWS S3 pero necesita alcanzar y procesarlos con un catálogo de Unity en Azure Databricks, el enfoque tradicional requeriría extraer, transfigurar y carga (ETL) que datos en un contenedor ADLS, un proceso que es costoso y con tiempo. Esto asimismo aumenta el peligro de amparar copias de datos duplicadas y obsoletas.
Con este dispersión de GA, ahora puede configurar una ubicación S3 externa de Cross-Cloud directamente desde un catálogo de Unity en Azure Databricks. Esto le permite repasar y mandar sin problemas sus datos S3 sin migración ni duplicación.
Puede configurar el acercamiento a su cubo AWS S3 en algunos sencillos pasos:
- Configure su credencial de almacenamiento y cree una ubicación externa. Una vez que se aprovisionan sus medios AWS IAM y S3, puede crear su credencial de almacenamiento y ubicación externa directamente en el Catálogo de Catálogo de DataBricks de Azure.
- Para crear su credencial de almacenamiento, navegue a Cartas credenciales Internamente del Catálogo Explorador. Seleccione el rol de AWS IAM (de solo recital), complete los campos requeridos y agregue el fragmento de la política de fideicomiso cuando se le solicite.
- Para crear una ubicación externa, navegue a Ubicaciones externas Internamente del Catálogo Explorador. Luego, seleccione la credencial que acaba de configurar y complete los detalles restantes.
- Para crear su credencial de almacenamiento, navegue a Cartas credenciales Internamente del Catálogo Explorador. Seleccione el rol de AWS IAM (de solo recital), complete los campos requeridos y agregue el fragmento de la política de fideicomiso cuando se le solicite.
- Aplicar permisos. En la página de credenciales internamente del Explorador de catálogo, ahora puede ver sus datos ADL y S3 juntos en un solo circunstancia en Azure Databricks. A partir de ahí, puede aplicar permisos consistentes en uno y otro sistemas de almacenamiento.
3. ¡Inicio a consultar! Está agudo para consultar sus datos S3 directamente desde su espacio de trabajo de Azure Databricks.
¿Qué es compatible con el dispersión de GA?
Con GA, ahora admitimos alcanzar a tablas y volúmenes externos en S3 desde Azure Databricks. Específicamente, las siguientes características ahora son compatibles con una capacidad de solo recital:
- Credenciales de almacenamiento de roles de AWS IAM
- Ubicaciones externas S3
- Tablas externas S3
- Volúmenes externos S3
- S3 dbutils.fs Access
- Delta Compartir datos S3 de UC en Azure
Empezando
Para probar la gobernanza de datos de nubarrón cruzada en Azure Databricks, consulte nuestra documentación sobre cómo configurar Credenciales de almacenamiento para roles IAM Para el almacenamiento S3 en Azure Databricks. Es importante tener en cuenta que su proveedor de la nubarrón puede cobrar tarifas para alcanzar a datos externos a sus servicios en la nubarrón. Para comenzar con el catálogo de Unity, siga nuestra agenda de catálogo de Unity para Azur.
¡Únase al equipo de Producto e Ingeniería del Catálogo de Mecanismo en la Cumbre Data + AI, del 9 al 12 de junio en el Moscone Center en San Francisco! Obtenga un primer vistazo a las últimas innovaciones en datos y gobernanza de IA. ¡Regístrese ahora para afianzar su circunstancia!