Durante primaveras, la cimentación de datos multicapa de crudo → transformado → curado ha sido el estereotipado de oro para metamorfosear datos estructurados en activos listos para estudio, aportando disciplina y confianza al ciclo de vida de los datos. En este canal establecido, crudo ingiere datos sin procesar, preservando su estado llamativo; transformado limpia, enriquece e integra estos datos en una instinto conformada; y curado ofrece datos optimizados y enormemente seleccionados para el consumo empresarial directo. Este enfoque aporta disciplina, claridad y confianza al ciclo de vida de los datos.
Pero ¿qué pasa con el vasto universo de datos no estructurados que las organizaciones generan a diario? Hay información valiosa contenida en transcripciones de llamadas, tickets de soporte y contratos legales, así como en imágenes y videos. A pesar de su inmenso potencial, estos datos a menudo languidecen en silos fragmentados, administrados mediante scripts a propósito. Este enfoque inconexo conduce a conocimientos inconsistentes, una toma de decisiones más lenta y una importante oportunidad perdida para desbloquear su cierto valía.
Es hora de aplicar el mismo rigor a los datos no estructurados.
Estamos presentando una nueva y poderosa forma de instrumentar los datos no estructurados, impulsada por Snowflake Cortex AI Functions: un flujo de trabajo poderoso y repetible que trae datos no estructurados directamente a su almacén de datos y los transforma en información estructurada y procesable. En esencia, hay una etapa transformada reinventada, que utiliza Cortex AI Functions para metamorfosear datos sin procesar y no estructurados en entidades extraídas, puntuaciones de sentimiento, resúmenes y más, directamente en SQL. A partir de ahí, estos resultados enriquecidos fluyen sin problemas en dirección a la capa seleccionada, listos para impulsar los paneles de inteligencia empresarial (BI). Canalizaciones de formación inevitable (ML) y exploración del habla natural con Snowflake Analista de corteza.
Presentamos la nueva capa transformada para datos no estructurados
En este entorno, el capa transformada es el vínculo fundamental entre el texto difícil y no estructurado y el estudio estructurado y medible. Es donde el texto sin formato se convierte en poco que la empresa puede marcar como tendencia, contar y sobre lo que representar.
Los principios esencia de esta capa incluyen:
-
Mantente nativo: Procese todos los datos no estructurados directamente en Snowflake utilizando las funciones Cortex AI. No es necesario incurrir en impuestos por transferencia de datos para el procesamiento del habla natural, lo que simplifica su cimentación y restablecimiento la gobernanza.
-
Alinearse con el negocio: Concéntrese en extraer conceptos que sean significativos para el negocio, como identificar el motivo de la ascensión de una señal, los términos esencia de un arreglo o la etapa de adquisición de un cliente.
-
Crear activos reutilizables: Cree datos estructurados que puedan suministrar múltiples aplicaciones posteriores, desde paneles de BI hasta modelos de formación inevitable y sistemas operativos, manteniendo una única fuente de verdad.
La capa transformada tiene que ver con metamorfosear los datos del texto en sí, enriqueciéndolos con un contexto significativo antiguamente de que sean consultados.
El flujo de trabajo para datos no estructurados
El flujo de trabajo sigue un patrón general, pero con una nueva capa de inteligencia:
-
Capa cruda: Esta capa auténtico aprovecha Snowflake OpenFlow para conectarse e ingerir datos sin procesar no estructurados desde cualquier fuente. Esta capa contiene el texto completo y sin editar adyacente con los metadatos, lo que proporciona una almohadilla para la trazabilidad y la auditoría.
-
Capa transformada: Aquí es donde se genera el valía. Las funciones de Cortex AI pueden convertir datos de texto, audio e imágenes sin formato en un formato estructurado fácilmente consumible.
-
Capa curada: Esta capa integra los datos recién estructurados con otros conjuntos de datos empresariales. Aquí, puede crear tablas seleccionadas con indicadores esencia de rendimiento (KPI) y métricas críticas para el negocio.
-
Capa de consumo: El destino final de sus conocimientos. Los datos ahora están listos para ser consumidos por herramientas de BI, procesos de formación inevitable y Cortex Analyst para consultas en habla natural.
Impulsando la capa transformada con funciones Cortex AI
Corteza del copo de cocaína Funciones de IA son el motor del capa transformada para datos no estructurados, diseñado para desbloquear información valiosa a partir de texto directamente en su almacén de datos. A continuación se muestran algunos ejemplos de funciones de Cortex AI. Para obtener más información, consulte este blog poste y copo de cocaína documentación.
-
AI_COMPLETO: Utilice esta función de uso genérico para extraer información esencia o ocasionar un breviario conciso a partir de un único registro de texto o imagen.
-
AI_CLASSIFY: Clasifique el contenido en una taxonomía empresarial predefinida, como clasificar las llamadas de los clientes en categorías como «problema_de facturación», «soporte_técnico» o «abrogación».
-
AI_FILTER: Identifique rápidamente filas que cumplan condiciones específicas definidas por el negocio. Esto es consumado para filtrar datos no esenciales o marcar eventos importantes, como detectar si un ticket de soporte es una queja.
-
AI_SIMILARIDAD: Encuentre casos o documentos similares, lo cual es ideal para relacionar nuevos problemas con problemas conocidos para una resolución más rápida.
-
AI_AGG / AI_SUMMARIZE_AGG: Resuma información sobre una gran cantidad de registros para ocasionar resúmenes de detención nivel para informes ejecutivos.
-
AI_EMBED: Genere incrustaciones de vectores para texto o imágenes, lo que permite búsqueda semántica vanguardia y comparaciones de similitudes.
-
AI_TRANSCRIBE: Convierta el habla hablado de archivos de audio a texto, haciendo que los datos de audio se puedan despabilarse y analizar adentro de Snowflake.
Estas funciones le permiten ir más allá de las simples búsquedas de palabras esencia y realizar estudio sofisticados y alineados con el negocio de sus datos de texto de modo consistente y controlada.
Ejemplo del mundo auténtico: estudio de centros de llamadas
Imagine una ordenamiento de servicio al cliente con miles de transcripciones de llamadas, pero los gerentes no pueden obtener respuestas fácilmente a preguntas críticas como:
-
¿Por qué llaman los clientes?
-
¿Qué casos son escaladas?
-
¿Cómo está la tendencia del sentimiento del cliente?
-
¿Qué problemas conocidos son recurrentes?
Con la capa de estudio y las funciones de Cortex AI, puede convertir estas preguntas en un flujo de trabajo repetible. El primer paso es metamorfosear las transcripciones de llamadas individuales en datos estructurados a nivel de fila.
Cuando el archivo llamativo es audio, Snowflake AI_TRANSCRIBE se puede utilizar para transcribir directamente texto del archivo de audio.
Aquí hay una única consulta SQL que demuestra cómo usar múltiples funciones de Cortex AI para metamorfosear un texto de transcripción sin procesar, a posteriori de transcribirlo de audio usando AI_TRANSCRIBE, en un registro estructurado.
Salida de ejemplo:
Usando AI_AGG para crear resúmenes ejecutivos
Si aceptablemente funciones como AI_CLASSIFY y AI_FILTER funcionan fila por fila, AI_AGG es una función agregada que consolida información sobre muchos registros. Es la aparejo perfecta para el capa curada de su entorno, donde creará resúmenes seleccionados de detención nivel para consumo ejecutante.
A continuación se muestra un ejemplo sencillo que muestra cómo AI_AGG puede tomar un conjunto de transcripciones de llamadas y resumir las cuestiones esencia en una revelación única y coherente.
Beneficios del entorno estructurado para datos no estructurados
Al aplicar el entorno estructurado de múltiples capas a sus datos no estructurados, obtendrá:
-
Gobernanza y condición: Mantenga todo el procesamiento no estructurado adentro de Snowflake, manteniendo un seguimiento de auditoría completo y un condición desde texto sin formato hasta información estructurada.
-
Consistencia y reutilización: Cree un canal de beneficio que pueda servir a varios equipos empresariales, eliminando silos de datos y definiciones inconsistentes.
-
Escalabilidad y confianza: Amplíe el entorno a cualquier dominio, desde transcripciones de soporte hasta contratos legales, y rastree cada hecho estructurado hasta su texto fuente, generando confianza en los datos.
Conclusión
En última instancia, este enfoque estructurado de datos no estructurados, impulsado por Snowflake Cortex AI Functions, es transformador. Le permite finalmente tratar sus datos no estructurados (su activo sin explotar más valioso) con el mismo nivel de disciplina, gobernanza y rigor que aplica al resto de su ecosistema de datos.
¿Astuto para abrir?
-
Identifique una fuente no estructurada de detención valía, como tickets de atención al cliente o llamadas de ventas.
-
Defina los títulos específicos que desea extraer de ese texto.
-
Implementa tu capa transformada para datos no estructurados en Snowflake usando Cortex AI Functions.
Al incorporar contenido no estructurado a un entorno estructurado de múltiples capas, puede dejar de tratarlo como una ocurrencia tardía y comenzar a convertirlo en un impulsor confiable de decisiones comerciales estratégicas.