El papel de los ingenieros de datos está cambiando fundamentalmente. Ya no es suficiente centrarse en la codificación y las canalizaciones, los ingenieros de datos de hoy deben pensar en egregio: en arquitecturas y objetivos comerciales, ganancias de eficiencia y herramientas de IA agentes. Con más responsabilidad e influencia, y con el uso y la acogida de la IA cada vez más acelerados, los ingenieros de datos son fundamentales para el éxito empresarial caudillo. Y esta no es sólo mi opinión. El 72% de los líderes empresariales globales están de acuerdosegún un documentación nuevo de MIT Technology Review Insights.
El estudio, realizado en asociación con Snowflake, pidió a 400 altos ejecutivos de tecnología de una amplia tono de industrias que opinaran sobre el papel de los ingenieros de datos. La gran mayoría de esos ejecutivos consideraban a los ingenieros de datos como facilitadores fundamentales de la IA. Pero al mismo tiempo, los ingenieros de datos están increíblemente sobrecargados adecuado a la proliferación de datos y a una ataque impulsada por la IA en la forma en que se utilizan los datos. Esto significa que los ingenieros de datos deben volverse más productivos adoptando la IA, trasladando la papeleo de la infraestructura a mejores plataformas y elevándose para convertirse en verdaderos socios del negocio.
Más allá de la ejecución táctica con destino a la supervisión estratégica
Veo dos tendencias principales que contribuyen al longevo perfil de los ingenieros de datos. El primero es el gran cuerpo de información que se genera y se pone a disposición hoy en día, una función de que los datos sean más fáciles de resumir y más baratos de acumular que nunca. El segundo es la creciente comprensión entre los altos ejecutivos de que, sin utilizar datos para fundamentar sus decisiones, sus organizaciones esencialmente están volando a ciegas. Esto está impulsando la demanda de IA para permitir el uso de datos en decisiones cada vez más complejas que nunca.
En caudillo, las empresas que utilizan los datos de forma eficaz tomarán mejores decisiones y, con el tiempo, superarán a las que no lo hacen o creen que no pueden hacerlo.
Para obtener todo el valencia de la información que poseen, las empresas deben recorrer un camino desde los datos hasta el conocimiento, y ese camino lo construyen los ingenieros de datos. A medida que despegan más y más proyectos de IA, todavía aumentan las exigencias a los equipos de ingeniería de datos. La sondeo mostró que el 77% de los encuestados considera que aumentan las cargas de trabajo de sus ingenieros de datos.
Para mantenerse al día con el crecimiento exponencial de los volúmenes de datos y los proyectos de inteligencia fabricado, los ingenieros de datos deberán ser significativamente más productivos a escalera. Una empresa simplemente no puede aumentar el número de ingenieros en proporción a la carga de trabajo, o en algún momento toda la empresa sería ingenieros de datos. Así que estamos viendo cosas como copilotos de IA y herramientas de codificación que eventualmente pueden convertirse en agentes autónomos para encargarse gran parte de ese trabajo.
Con el tiempo, creo que el papel del ingeniero de datos consistirá menos en escribir código para cada canal y más en regir la infraestructura en la que operan los agentes de IA. Los ingenieros de datos supervisarán la orquestación en muchos de estos canales y establecerán las reglas y pruebas para comprobar de que lleguen los datos correctos. ¿Pero la construcción verdadero de los canales? No es difícil ver un futuro en el que esto se convierta en gran medida en trabajo de agentes de IA.
Y eso debería ser una gran informe para los ingenieros de datos de hoy. Significa que los equipos pueden centrarse más en encarar problemas estratégicos, en circunscripción del trabajo táctico y rutinario. Pueden considerar preguntas como «¿Cuáles son nuestros objetivos generales?» y «¿Cómo dejamos de centrarnos en canales individuales y pensamos más en nuestro conjunto de datos en su circunscripción?» Creo que esta podría ser la posterior grado de la ingeniería de datos, y el cambio contemporáneo con destino a la inmueble de la infraestructura de IA nos está llevando allí.
Una función cambiante para el futuro de los negocios
Sin incautación, lo que positivamente significa este cambio de rol y responsabilidad es que los ingenieros de datos necesitarán estar más familiarizados con los conceptos de negocios. Consideremos cómo el cajero automotriz cambió fundamentalmente el trabajo del cajero de un mesa: de un cajero automotriz a un entendido bancario orientado al cliente. En última instancia, el cambio requirió que los cajeros fueran pensadores más estratégicos y asumieran tareas más complejas y de longevo valencia. Elevó el nivel del puesto en caudillo, en circunscripción de eliminarlo por completo, como algunos habían temido. De hecho, la inclusión del cajero automotriz finalmente creó más empleos para cajeros de bancos porque, al necesitarse menos cajeros por sucursal, los bancos pudieron desplegar más sucursales, lo que aumentó la satisfacción del cliente a través de la conveniencia y la accesibilidad.
De modo similar, los ingenieros de datos del futuro necesitarán mejorar su pensamiento para priorizar la comprensión de los objetivos y resultados comerciales tal como lo hacen, por ejemplo, los analistas comerciales. Tendrán que preguntarse: ¿qué problema estamos positivamente tratando de resolver? ¿Qué conocimiento estamos tratando de producir? ¿Qué estamos intentando mejorar?
Comprender las deyección fundamentales y las respuestas a esas preguntas puede crear un valencia tremendo para cualquier negocio y, a su vez, hacer que los ingenieros de datos sean impulsores de éxito aún más valiosos. En Snowflake, estamos comprometidos a ayudar a los ingenieros de datos a explotar ese potencial brindándoles las herramientas adecuadas para regir sus crecientes cargas de trabajo y habilitar la IA a escalera.
Dicho todo esto, los invito a participar en CONSTRUIRnuestra conferencia mundial de desarrolladores virtuales, del 4 al 7 de noviembre, y descubra más información del documentación de la sondeo de MIT Tech Review aquí.