Las organizaciones están ampliando sus catálogos de datos más rápido que nunca. Abastecer estándares de metadatos consistentes entre los equipos sigue siendo un desafío. Los glosarios empresariales definen el jerigonza de la empresa: términos como Customer Profile, Transactiono Confidential Data—Pero los activos a menudo se publican sin estas clasificaciones, lo que genera metadatos inconsistentes y una capacidad de descubrimiento deficiente.
Para acometer esto, Catálogo de Amazon SageMaker ahora admite reglas de aplicación de metadatos para la clasificación (etiquetado) de términos del vocabulario a nivel de activos. Con esta capacidad, los administradores pueden exigir que los activos incluyan términos o clasificaciones comerciales específicos. Los productores de datos deben aplicar los términos o clasificaciones del vocabulario requeridos antiguamente de que se pueda transmitir un activo. Esto refuerza la coherencia de los metadatos en todo el catálogo y garantiza que los activos contengan el contexto empresarial necesario para un descubrimiento y una gobernanza eficaces.
Esta capacidad se pedestal en las características de reglas de metadatos existentes para hacer cumplir los campos de metadatos requeridos durante la publicación de activos. La nueva incorporación amplía esas reglas para cubrir la potencia de términos del vocabulario, fortaleciendo el vínculo entre el jerigonza comercial y los activos de datos técnicos.
En esta publicación, mostramos cómo hacer cumplir las reglas de clasificación del vocabulario empresarial en SageMaker Catalog.
Por qué es importante la aplicación de metadatos
Un desafío de gobernanza global es la error de etiquetado y clasificación estandarizados para los activos que ingresan a los catálogos empresariales. Sin la aplicación de la ley, los productores de datos podrían transmitir activos a los que les faltan los términos comerciales requeridos (como el nivel de sensibilidad de los datos o el dominio del producto), lo que genera metadatos inconsistentes que confunden a los usuarios comerciales, resultados de búsqueda y filtrado poco confiables y integridad manual y riesgos de cumplimiento posteriores.
Al validar automáticamente los metadatos en el momento de la publicación, SageMaker Catalog valida los metadatos cuando se publican los activos. Esto ofrece los siguientes beneficios secreto:
- Los activos se clasifican con términos comerciales aprobados antiguamente de su publicación.
- La potencia respalda el cumplimiento del vocabulario interno y los estándares de clasificación.
- El etiquetado consistente progreso la precisión de la búsqueda y reduce el ruido
- Los capital incompletos o etiquetados incorrectamente no llegan a los consumidores
Cómo funciona la aplicación de metadatos
en el Estudio unificado de Amazon SageMaker consola, los administradores navegan a Catalogar, Gobernancia, Normas y crear reglas de metadatos dirigidas al flujo de trabajo de publicación de activos. Las reglas pueden especificar términos de vocabulario requeridos o campos de clasificación (por ejemplo, Business Unit, PII Categoryo Data Sensitivity). Las reglas pueden aplicarse en toda la ordenamiento o interiormente de dominios o proyectos específicos.
Cuando un productor intenta transmitir un activo, SageMaker Catalog comprueba que el activo incluya las clasificaciones o términos del vocabulario requeridos. Si error algún metadato requerido, la argumento de publicación rotura y muestra un mensaje de error claro. Una vez agregados los metadatos, el arbitrio se puede transmitir correctamente.
El etiquetado obligatorio garantiza que los activos publicados se puedan agenciárselas y filtrar utilizando terminología empresarial coherente, lo que progreso la usabilidad del catálogo para analistas y usuarios empresariales.
Descripción caudillo de la posibilidad
Para esta publicación, exploramos un caso de uso de servicios financieros. En nuestro ejemplo, una empresa de servicios financieros define una regla que requiere que todos los conjuntos de datos publicados desde el esquema tengan ‘Finance‘ vocabulario asociado:
- Un productor de datos que intenta transmitir un nuevo conjunto de datos sin esta formalidad recibe un error de potencia
- A posteriori de aplicar la clasificación correcta, el conjunto de datos se publica correctamente.
- Los analistas ahora pueden filtrar el catálogo para encontrar solo
Financeconjuntos de datos o unir activos etiquetados consistentemente con el mismo término del vocabulario
En las siguientes secciones, explicamos los pasos para configurar esta posibilidad. Creamos una regla según la cual todos los activos publicados de un esquema específico deben tener una formalidad de mecanismo de negocio indicación Finance.
Requisitos previos
Para probar esta posibilidad, debe tener un dominio de SageMaker Unified Studio configurado con privilegios de propietario de dominio o de propietario de mecanismo de dominio. Asimismo debe tener un esquema existente para transmitir activos y catalogar activos. Para obtener instrucciones para crear estos activos, consulte la Empezando breviario.
En este ejemplo, creamos un esquema llamado financial_analysis y una mesa de pruebas. Para obtener instrucciones para crear una tabla, consulte Comience a utilizar tablas de Amazon S3 en Amazon SageMaker Unified Studio. Para ingerir los datos de muestra en SageMaker Catalog y crear metadatos comerciales, consulte Cree una fuente de datos de Amazon SageMaker Unified Studio para Amazon Redshift en el catálogo de proyectos.
Crear vocabulario y adicionar términos
Complete los siguientes pasos para crear un nuevo vocabulario y adicionar términos:
- En SageMaker Unified Studio, en el Descubrir menú, elija Glosarios.
- Designar Crear vocabulario.
- Proporcione detalles para su vocabulario, incluido el nombre, el esquema propietario y una descripción opcional.
- Para Restricción del vocabularioencender Activado.
- Designar Crear.
- Crea el término
Financeen elBusiness Unit Detailsvocabulario.
Crear regla para hacer cumplir los términos del vocabulario
Complete los siguientes pasos para crear una regla para delimitar términos del vocabulario:
- en el Regentar menú, elija Unidades de dominio.
- en el Normas pestaña, elija Ampliar.
- Agregue una regla de publicación para el
Financeesquema para tener elFinanceformalidad para todos los capital publicados en el catálogo. - Designar Ampliar regla.
La venidero captura de pantalla muestra los detalles de configuración de su nueva regla.
Divulgar activo con reglas aplicadas
Complete los siguientes pasos para transmitir su arbitrio con las reglas aplicadas:
- en el
financial_analysispágina del esquema, vaya a su activo. - En el Términos del vocabulario sección, elija Ampliar términos.
si tu eliges Divulgar sin adicionar el término necesario, aparece un error indicando elFinancese debe asignar el término.
- Designar Finanzas para adicionar el término requerido.
- Designar Divulgar activo.
La venidero captura de pantalla muestra el activo publicado y los términos requeridos en el vocabulario.
Conclusión
Con reglas de aplicación de metadatos para los términos del vocabulario, SageMaker Catalog brinda longevo control y coherencia a la forma en que las organizaciones publican y administran sus activos de datos. Al exigir clasificaciones comerciales aprobadas antiguamente de la publicación, los equipos pueden cerciorarse de que los activos cumplan con los estándares de metadatos empresariales, mejorando la gobernanza, la capacidad de descubrimiento y la confianza en los catálogos compartidos. Esta capacidad ayuda a las organizaciones a progresar la papeleo de sus catálogos sin adicionar gastos generales manuales, incorporando el cumplimiento y la calidad directamente en el flujo de trabajo de publicación.
Las reglas de aplicación de metadatos para los términos del vocabulario están disponibles en las regiones de AWS donde opera SageMaker Catalog. Comience con esta capacidad; consulte la breviario de beneficiario.
Acerca de los autores