La Canalización de Datos Automatizada reúne a los analistas de negocio con los equipos técnicos de desarrollo

La Canalización de Datos Automatizada (Data Pipeline Automation) empodera a los analistas de negocio a acceder los datos que requieren de manera ininterrumpida y confiable, y simultáneamente libera a los equipos de Ingeniería de Datos de las arduas y tediosas tareas de construcción y reparación de las mismas, permitiéndoles enfocarse en proyectos de más alto valor.

La caricatura de Dilbert, muy popular en Norteamérica, relata con humor la muy común división entre grupos corporativos como los de Mercadeo y Ventas. En el mundo de los datos, se puede asegurar que los equipos de ingeniería de datos, quienes tienen la llave de acceso a las fuentes y corrientes de datos, están de uno de esos lados. Los analistas de datos, quienes se encuentran más cerca a los grupos de toma de decisiones y tienen como principal tarea proveerlos de entendimientos accionables basados en Datos, se encuentran en el otro lado.

En la medida en que las organizaciones van adoptando y madurando su estrategia y utilización de datos con fines analíticos, los analistas de datos se encuentran bajo la presión de proveer información valiosa y de impacto a la organización de manera cada vez más rápida y eficaz. Aún así, dependen en gran medida de los datos listos para ser analizados, provistos por el grupo técnico de datos corporativo. Desafortunadamente esta dependencia resulta en la mayoría de los casos en demoras en la entrega de datos críticos de información, a tal punto que la información llega a sus destinatarios cuando ya ha perdido buena parte de su valor y las necesidades del negocio han cambiado.

Una encuesta reciente de analistas de datos realizada por Dimensional Research, 62% de los encuestados reportaron este fenómeno de demora en la entrega de datos por parte del equipo técnico de desarrollo, lo anterior presentándose de manera recurrente (“varias veces al mes”). Tener que pasar por un intermediario para acceder los datos críticos requeridos retrasa el análisis de datos y la toma de decisiones basados en ellos. Muchos analistas aseguran que simplemente no tienen tiempo para generar ideas de valor económico para sus organizaciones basado en el análisis concienzudo de sus datos (ver cuadro abajo).

Eliminando la carga de Ingenieria de los Equipos Técnicos de Desarrollo

Un problema crucial es que los equipos de desarrollo tienen que gastar demasiados recursos y ciclos de trabajo construyendo y manteniendo canales de datos (data pipelines), en muchos casos deseando que pudieran estar empleando este tiempo en mejorar productos y en otras iniciativas corporativas más estratégicas. Los canales de datos automatizados, con configuración inicial extremadamente veloz, ofrecen tres rasgos distintivos y críticos para remover esta carga de los equipos de ingeniería de datos:

• Conectores predefinidos: Los productos que ofrecen canales de datos automatizados contienen una amplia variedad de conectores nativos y predefinidos cubriendo todo tipo de fuentes de datos: archivos, bases de datos (desplegadas on-premise o en la nube), aplicaciones de negocios API y servicios de la nube, y corrientes de eventos.

• Actualización de datos automatizada: Las soluciones automatizadas pueden detectar cambios de la fuente de datos de manera automática. Por ejemplo, cuando nuevos registros han sido insertados en una fuente de datos, la herramienta detecta de manera automática estos cambios y los replica al almacén de datos centralizado para su uso analitico.

• Migración automática de cambios de esquema: La herramienta de automatización de los canales de datos deben tener la habilidad de detectar los cambios de esquema en las fuentes de origen y replicarlos de manera automática a su destino. Estos cambios de esquema incluyen: la creación o eliminación de nuevas columnas en origen, cambios en el tipo de dato o columna, cambios en sus nombres e incluso la creación o eliminación de tablas y/o esquemas.

Reuniendo a los analistas y equipos técnicos de desarrollo de manera armoniosa

Mediante la integración de canales de datos automatizados, el escenario hasta ahora común de “nosotros contra ellos” entre los equipos técnicos de desarrollo y los equipos de análisis de datos pierde relevancia y deja de existir. En su lugar, los analistas reciben los datos que ellos necesitan, cuando los necesitan, sin tener que esperar por estos datos mediante tediosos procesos de aprobación interna. Ellos pueden rápidamente generar valiosos entendimientos y oportunidades para su organización, basados en datos actualizados y confiables. Los equipos de ingeniería de datos, por su parte, están entusiasmados con la idea de dejar de tener que reparar canales de datos rotos y en su lugar poder enfocarse en construir modelos e infraestructura de datos de alto valor para su organización.