En noviembre de 2021, anunciamos la tolerancia de nuestro sitio de I+D en Seattle y nuestro plan de contratar ingenieros para construir la plataforma de inteligencia Databricks. Hoy en día, contamos con cientos de ingenieros en Bellevue y Seattle que trabajan en iniciativas de tarea crítica, que van desde la optimización de la infraestructura hasta casos de uso de GenAI y funciones que ayudan a nuestros clientes a difundir información más rápidamente.
Todos estos esfuerzos se alinean con nuestro objetivo en Databricks de simplificar y democratizar los datos y la IA para permitir a nuestros clientes resolver los problemas más difíciles del mundo, desde hacer la El próximo modo de transporte es una existencia. para acelerar el avance de avances médicos. Hacemos esto construyendo y ejecutando la mejor plataforma de infraestructura de datos e inteligencia industrial del mundo.
¡En nuestro cuarto aniversario, nos complace compartir ejemplos del trabajo reformador que se lleva a lugar en nuestras oficinas!
Exploración y ciencia de datos impulsados por IA
Databricks continuó avanzando en su experiencia de estudio y ciencia de datos nativa de IA, optimizando la forma en que los usuarios exploran datos, escriben código y crean canales de datos.
Este año, el equipo lanzó varias funciones importantes, que incluyen:
- Diseñador de flujo de alberca: una nueva experiencia de producto para permitir estudio comerciales de hipermercado a través de una interfaz de deslizar y soltar de bajo código. Designer está diseñado desde cero para ser una experiencia nativa de IA, aprovechando la plataforma completa de inteligencia de datos para proporcionar respuestas precisas generadas por IA. Todo lo que hay en el flujo de trabajo visual se representa con un archivo SQL subyacente que se puede juntar en Git para CI/CD, control de versiones y colaboración entre equipos de datos.
- Agente de ciencia de datos en Databricks Assistant: un nuevo modo de flujo de trabajo autónomo que transforma al Asistente de un asistente conversacional a un socio práctico para la ciencia de datos. Los usuarios pueden pedirle al Agente que explore datos, genere y ejecute código, entrene y evalúe modelos de ML y resuelva errores.
- Disponibilidad universal del nuevo editor SQL: ofrece una experiencia de creación unificada y moderna para analistas de SQL con una ejecución más rápida, colaboración en tiempo existente, estampado en pantalla dividida, visualización de resultados mejorada y una integración profunda con el Asistente de Databricks para escribir SQL.
Con el apoyo del trabajo de los ingenieros de Seattle Michael Piatek, Tomas Isdal, Weston Hutchins y Zhong Chen.
Exploración inteligente democratizado
Ladrillos de datos AI/BI proporciona una experiencia de BI completa impulsada por IA. Combina ricas capacidades de engendramiento de informes y paneles de control con Genie, una interfaz conversacional que convierte las preguntas en habla natural en conocimientos.
Características principales recientes:
- Disponibilidad universal de Genie + Genie Research Agent: Nuevo estudio ex profeso mediante carga de archivos, soporte para evaluación y puntos de relato, y mejoras significativas en la precisión para respuestas de reincorporación calidad. El equipo asimismo lanzó Genie Research Agent, que proporciona conocimientos de datos más profundos y respuestas a preguntas comerciales complejas mediante razonamiento de varios pasos e investigación de hipótesis.
- Exploración integrado: En muchas organizaciones, los estudio más valiosos son los que deben compartirse con clientes, proveedores o socios. Los clientes de Databricks ahora pueden tomar un panel que ya existe en Databricks y colocarlo directamente adentro de una aplicación orientada al cliente o al socio. La experiencia es totalmente interactiva y en vivo, y los precios basados en el consumo significan que los clientes pueden esquilar los estudio a miles de espectadores sin incurrir en tarifas impredecibles.
- Puede interpretar más sobre las últimas innovaciones del equipo en AI/BI aquí.
Construido con la ayuda de los ingenieros de Seattle Kanit Wongsuphasawat, Justin Talbot, Miranda Reflejo, Amir Hormati, Yi Liu, Alnur Ali y Clark Wildenradt.
Almacenamiento de datos en la era de la IA
El equipo de Apache Spark sin servidor, apoya todas nuestras aplicaciones basadas en Serverless Spark en Databricks.
El equipo se centra en crear una plataforma enormemente confiable capaz de ejecutar millones de máquinas virtuales al día y, al mismo tiempo, asegurar que las cargas de trabajo funcionen de forma competente. Los proyectos secreto incluyen:
- Emplear el uso histórico para mejorar el empaquetado bin de sesiones en clústeres de Serverless Spark
- Proporcionar la mejor relación calidad-precio de su clase mediante una profunda integración con Spark para esquilar horizontal y verticalmente nuestros clústeres de Spark en función de las cargas de trabajo de los usuarios.
- Habilitar el aprovisionamiento de descenso latencia, O (segundos), analizando la demanda y precalentando el cálculo en consecuencia
- Desbloquear el uso sin servidor eliminando la desajuste de funciones entre Serverless y Classic (es proponer, políticas de presupuesto, controles de costos, perfiles de instancia, etc.)
Dirigido por los ingenieros Mitchell Webster, Lev Novik, Akshay Singla, Swapandeep Singh y Anwell Wang.
Intercambio de datos abiertos y colaboración
El ingrediente fundamental de la IA son los datos. Y cada vez más, las empresas necesitan mirar en torno a fuera para enriquecer y ampliar sus datos.
Nuestro equipo de Bellevue ha trabajado en los principales productos de intercambio de datos de Databricks, incluidos Delta Sharing, Databricks Marketplace (creado desde cero por ingenieros con sede en Seattle) y Databricks Cleanrooms.
El impacto ya es visible en el mundo existente. Escuche Mastercard Hable sobre cómo Databricks Clean Rooms les ayuda a colaborar en datos confidenciales de forma segura y a escalera.
Los avances recientes han hecho que la colaboración abierta sea aún más poderosa:
- Innovaciones de Delta Sharing: Interoperabilidad total tipo iceberg, una nueva puerta de enlace de red compartida delta que simplifica la conectividad entre organizaciones y una gobernanza detallada para capital compartidos que utilizan controles de paso basados en atributos (ABAC). Estas mejoras facilitan que los proveedores compartan datos gobernados con una gran cantidad de destinatarios a escalera.
- Intercambio de modelos y agentes – Los proveedores ahora pueden difundir MCP en Databricks Marketplace, lo que facilita el descubrimiento y la conexión a herramientas de MCP para acelerar el avance de la IA.
- Mejoras en las salas limpias: Las colaboraciones entre múltiples partes ahora son GA con aprobaciones de privacidad avanzadas. Clean Rooms asimismo se integra con socios de identidad líderes para permitir una resolución de identidad centrada en la privacidad. Estas nuevas capacidades hacen que las salas blancas sean aún más poderosas para la colaboración que preserva la privacidad.
ingenieros de seattle Mengxi Chen, Moe Derakhshani, Qihua Wang y Tao Tao han desempeñado un papel central en el avance de estas capacidades de colaboración e intercambio de datos.
Optimización del rendimiento y la eficiencia
Databricks no puede ofrecer los mejores productos de su clase si no se ejecutan en la infraestructura más confiable y de viejo rendimiento del mundo. Estos son algunos de los mayores avances en infraestructura construidos por nuestros ingenieros de Seattle:
- Un sistema activo ligero y enormemente personalizado que puede iniciar máquinas virtuales súper rápido
- Un tiempo de ejecución de contenedor especializado que puede calentar Spark en segundos
- Un capturador de instantáneas de contenedores especializado que puede recuperar rápidamente pesos LLM
- Un registro de contenedores enormemente escalable que distribuye archivos binarios a 10 Tbps
Lea más sobre nuestro trabajo:
Anders Liu, Max Wolffe, Shuo Chen y Shuai Chang lideraron el equipo de Node Platform que creó una infraestructura de contenedores para cada producto de Databricks, lo que ayudó a sostener nuestras máquinas seguras, confiables y a mejorar la eficiencia en toda la flota.
El equipo del metálico: la intersección de los negocios y la tecnología
El Money Team es responsable de los sistemas que mantienen en funcionamiento el corazón financiero de Databricks. Este equipo es responsable del delirio de principio a fin para convertir los productos de Datos + IA en un negocio sostenible mediante la progreso de los modelos de negocio admitidos, la rapidez de la velocidad de impulso, la integración de adquisiciones y la protección contra fraudes y abusos.
Este equipo creó el único motor de calificación integrado entre nubes del mundo, capaz de procesar billones de eventos de uso de socios propios y externos (incluidos AWS, Azure, GCP y SAP), todo unificado en una única plataforma que opera en más de 85 regiones y funciona en un orden de magnitud más rápido que sus pares de la industria. Esta correr fue posible porque desarrollaron sus sistemas sobre los innovadores productos Data + AI de Databricks, trabajando en estrecha colaboración con los equipos de I+D para impulsar nuevos requisitos que impulsen los productos.
Adicionalmente, el equipo de Money ha sido fundamental para la tarea de Databricks de democratizar los datos + IA al permitirnos ofrecer la industria solo prueba verdaderamente gratuita: no se requiere plástico de crédito. Esta es una utensilio poderosa para estudiantes y desarrolladores que desean cultivarse la última tecnología pero no tienen grandes presupuestos. Esto lo permitimos con nuestros sistemas de control de admisión de vanguardia que protegen los productos de Databricks contra abusos y usos no intencionados.
Lea más sobre nuestro trabajo y equipo:
El Money Team se creó con el liderazgo de los ingenieros de Seattle Kazi Al-Rashid, Li Xiong y Mahesh Venkataramani, con su líder de producto Greg Kroleski.
¡Estamos creciendo!
¡Estamos encantados con el progreso que han conseguido nuestros equipos de ingeniería de Bellevue y Seattle durante los últimos cuatro primaveras! Desde AI/BI hasta el equipo de Mosca, nuestros equipos aquí están construyendo algunos de los sistemas más complejos de la plataforma e impulsando varias de nuestras iniciativas de productos más estratégicas. Si le entusiasma resolver problemas difíciles a escalera masiva, estamos contratando aquí en Bellevue/Seattle y en todas nuestras ubicaciones de I+D. Para obtener más información sobre las vacantes disponibles, visite nuestro Página de carreras.