Todo comienza con buenos datos, por lo que la ingestión es a menudo su primer paso para desbloquear ideas. Sin secuestro, la ingestión presenta desafíos, como aumentar las complejidades de cada fuente de datos, sostener pestañas sobre esas fuentes a medida que cambian y manejar todo esto en el camino.
Lakeflow Connect Facilita la ingestión de datos valioso, con una interfaz de beneficiario, una API simple e integraciones profundas con la plataforma de inteligencia de datos. El año pasado, más de 2,000 clientes usaron Lakeflow Connect para desbloquear el valencia de sus datos.
En este blog, revisaremos los conceptos básicos de Lakflow Connect y recapitularemos los últimos anuncios de la cumbre 2025 Data + AI.
Ingente todos sus datos en un solo oportunidad con Lakflow Connect
Lakeflow Connect ofrece conectores de ingestión simples para aplicaciones, bases de datos, almacenamiento en la nimbo, autobuses de mensajes y más. Debajo del capóLa ingestión es valioso, con actualizaciones incrementales y uso optimizado de API. A medida que funcionan las tuberías administradas, nos encargamos de la transformación del esquema, las actualizaciones de API de terceros sin problemas y la observabilidad integral con alertas incorporadas.
Datos + anuncios de AI Summit 2025
En este año Datos + Cumbre de AIDatabricks anunció la disponibilidad común de El charcaEl enfoque unificado para la ingeniería de datos a través de la ingestión, transformación y orquestación. Como parte de esto, Lakeflow Connect anunció Zerobus, una API de escritura directa que simplifica la ingestión para IoT, Clickstream, Telemetría y otros casos de uso similares. Nosotros igualmente expandió la amplitud de las fuentes de datos admitidas Con más conectores incorporados en aplicaciones empresariales, fuentes de archivos, bases de datos y almacenes de datos, así como datos del almacenamiento de objetos en la nimbo.
Zerobus: una nueva forma de impulsar los datos del evento directamente a su Lakehouse
Hicimos un anuncio emocionante presentando a Zerobus, un nuevo enfoque renovador para impulsar los datos de eventos directamente a su Lakehouse al acercarlo a la fuente de datos. Eliminar el lúpulo de datos y compendiar la carga operativa permite a Zerobus proporcionar escrituras directas de detención rendimiento con quebranto latencia, entregando un rendimiento casi en tiempo verdadero a escalera.
Anteriormente, algunas organizaciones usaban autobuses de mensajes como Kafka como capas de transporte al Lakehouse. Kafka Ofrece una forma duradera y de quebranto latencia para que los productores de datos envíen datos, y es una opción popular al escribir en múltiples sumideros. Sin secuestro, igualmente agrega complejidad y costos adicionales, así como la carga de dirigir otra copia de datos, por lo que es ineficiente cuando su único destino es Lakehouse. Zerobus proporciona una decisión simple para estos casos.
Joby Aviation ya está utilizando Zerobus para impulsar directamente los datos de telemetría en Databricks.
Joby puede utilizar nuestros agentes de fabricación con Zerobus para empujar a Gigabytes un minuto de datos de telemetría directamente a nuestro Lakehouse, acelerando el tiempo hasta las ideas, todo con Databricks Lakflow y la plataforma de inteligencia de datos ”.
– Dominik Müller, Factory Systems Lead, Joby Aviation, Inc.
Como parte de Lakflow Connect, Zerobus igualmente se unifica con la plataforma Databricks, por lo que puede exprimir los estudio más amplios y las capacidades de IA de inmediato. Zerobus se encuentra actualmente en una pinta previa privada; Comuníquese con su equipo de cuenta para el llegada temprano.
🎥 Mira y aprende más sobre Zerobus: Sesión de ruptura en la cumbre de datos + AI, con Joby Aviation, «Lakeflow Connect: eliminar lúpulos en su edificación de transmisión»
Lakflow Connect expande las capacidades de ingestión y las fuentes de datos
Los nuevos conectores totalmente administrados continúan implementándose en varios estados de tiro (ver la tira completa a continuación), incluida Observación de Google y Servicenowasí como Servidor SQL – El primer conector de la saco de datos, todo actualmente en pinta previa pública con disponibilidad común próximamente.
Igualmente hemos seguido innovando para los clientes que desean más opciones de personalización y utilizan nuestra decisión de ingestión existente, Cargador forzoso. Se procesa de modo incremental y valioso nuevos archivos de datos a medida que llegan al almacenamiento en la nimbo. Hemos decidido algunas mejoras importantes de costo y rendimiento para el cargador forzoso, incluidos 3X listados de directorio más rápidos y una honradez cibernética con «CleanSource», ambas ahora generalmente disponibles, yuxtapuesto con un descubrimiento de archivos más inteligente y más rentable utilizando Eventos de archivo. Igualmente anunciamos soporte nativo para ingerir archivos de Excel e ingerir datos de los servidores SFTP, los dos en pinta previa privada, arreglado por solicitud de llegada temprano.
Fuentes de datos compatibles:
- Aplicaciones: Salesforce, Workday, ServiceNow, Google Analytics, Microsoft Dynamics 365, Oracle Netsuite
- Fuentes de archivo: S3, ADLS, GCS, SFTP, SharePoint
- Bases de datos: SQL Server, Oracle Database, MySQL, PostgreSQL
- Almacenes de datos: Snowflake, Amazon Redshift, Google BigQuery
Interiormente de la propuesta ampliada del conector, presentamos conectores basados en consultas que simplifican la ingestión de datos. Estos nuevos conectores le permiten extraer datos directamente de sus sistemas de origen sin modificaciones de la saco de datos y trabajar con replicas de leída donde los registros de Cambio de Captura de datos (CDC) no están disponibles. Esto se encuentra actualmente en una pinta previa privada; Comuníquese con su equipo de cuenta para el llegada temprano.
🎥 Mire y aprenda más sobre Lakeflow Connect: Sesión de ruptura en la cumbre de datos + ai, «Comenzando con Lakflow Connect»
🎥 Observe y aprenda más sobre la ingestión de las aplicaciones SaaS Enterprise: Sesión de ruptura en la cumbre de datos + AI con el cliente de Databricks Porsche Holding, «Lakeflow Connect: ingestión de datos sin problemas de las aplicaciones empresariales»
🎥 Mire y obtenga más sobre los conectores de bases de datos: Sesión de ruptura en la cumbre de datos + ai, «Lakeflow Connect: ingestión acomodaticio y valioso de bases de datos»
Lakflow Connect en trabajos, ahora generalmente arreglado
Continuamos desarrollando capacidades para facilitarle el uso de nuestros conectores de ingestión mientras construye tuberías de datos, como parte de la experiencia de ingeniería de datos unificada de Lakflow. Databricks anunció recientemente Lakeflow Connect en trabajos, lo que le permite crear tuberías de ingestión internamente de Trabajos del charca. Entonces, si tiene trabajos como el centro de su proceso ETL, esta integración perfecta proporciona una experiencia más intuitiva y unificada para dirigir la ingestión.
Los clientes pueden aclarar y dirigir sus cargas de trabajo de extremo a extremo, desde la ingestión hasta la transformación, todo en un solo oportunidad. Lakeflow Connect en trabajos ahora está generalmente arreglado.
🎥 Mire y aprenda más sobre los trabajos del charca del charca: Sesión de ruptura en la cumbre de datos + AI «Orquestación con trabajos del charca»
Lakflow Connect: más por venir en 2025 y más allá
Databricks comprende las deyección de los ingenieros y organizaciones de datos que impulsan la innovación con sus datos utilizando estudio de estudio y IA. Con ese fin, Lakeflow Connect ha seguido construyendo capacidades de ingestión eficientes y robustas con conectores totalmente administrados a características y API más personalizables.
Estamos comenzando con Lakeflow Connect. Estén atentos para más anuncios a finales de este año, o comuníquese con su equipo de cuenta de Databricks para unirse a una pinta previa para el llegada temprano.
Para probar Lakflow Connect, puede revisar el documentacióno mira el Centro de demostración.