Data migration: cómo reducir tus dolores de cabeza
La introducción y el desarrollo de la Data Modern Stack hace unos años está haciendo que muchas empresas se replanteen la forma de trabajar con los datos.
La incorporación de nuevas herramientas, la migración de bases de datos y formas de hacer que se incorporan a los equipos de datos, facilitan
- La ingesta de datos, con herramientas como AirFlow
- El modelado, el testeo y el despligue, como dbt
- La exploración y la visualización, como HEX, Looker o Count
Pero en el proceso de cambio, el mantener un sistema legacy junto con poner en marcha uno nuevo puede traer dolores de cabeza si no se planifica bien.
¿Cómo reducir los dolores de cabeza durante la migración de datos?
¿Por dónde empezar? ¿Qué priorizar? ¿Qué tablas migrar primero? ¿Cómo estructurar las capas de datos? ¿Qué dejo atrás? ¿Qué tipo de exportaciones hacer para cada fuente? No hay una receta mágica, pero es cierto que hacer un análisis y seguir estos pasos pueden ayudarte a resolver estas preguntas y no dar más vueltas de las necesarias, lo que evitará tiempo en comprobaciones y en búsqueda de respuestas.
- Analiza y planifica. Haz un assessment adecuado. Desgrana el sistema en partes y diseña cómo abordar cada una. Cuanto más tiempo inviertas en este primer paso, más tiempo puedes ahorrar durante la migración.
2. Conoce el flujo de la información y los datos. Desde la ingesta hasta la visualización, tienes que conocer cada fuente y cada modelo dónde se utiliza y para qué. No dejarte nada atrás es clave para un migración efectiva.
3. Visualiza tus necesidades actuales y futuras, de cara a que la estructura de la Modern Data Stack sea conforme a tus necesidades. Haz un benchmark de diferentes soluciones para invertir presupuesto de la forma más adecuada.
4. Revamp. Puesto que el proceso de migración puede ser largo, prioriza la herramienta a la ETL. Esto significa migrar todos los procesos de ETL tal cual están sin cuestionar nada, para adecuarte a la herramienta en primer lugar, y más tarde evaluar los diferentes pasos de Extract, Transorm and Load. De esta forma te adaptarás a la plataforma y luego podrás poner a prueba tus propios procesos.
5. Reingeniería. Y una vez conoces cada herramienta de tu nuevo stack, tienes todas las fuentes y modelos disponibles, puedes hacer reingeniería de tus procesos y tus modelos.
El assessment para una migración de datos
Una evaluación del sistema de datos comienza por conocer los diferentes flujos y modelos del sistema: cuáles son clave, cuáles se llevan el mayor tiempo y presupuesto de procesamiento.
Para entidad y sistema de datos tendrás que identificar:
- Fuentes de información
- Dónde se genera y cómo llegan a la base de datos
- Dónde se utiliza
Las herramientas de diagrama ayudan mucho a construir la realidad de la base de datos y del sistema de información del negocio. Esta información te ayudará a priorizar la migración de datos en base a dependencias, coste y tiempo.
No infravalores tampoco el uso de un listado de todas las fuentes, análisis y dashboards para monitorizar todo el sistema legacy y tener una perspectiva completa.
Aún con todo esto, es posible que te lleves algún dolor de cabeza, pero te aseguro que se minimiza mucho ;)
Y a partir de aquí, ¡a disfrutar la migración!
