Concepto y contextualización
El Dato, actualmente estamos inmersos en una generación constante de datos en diferentes formas y formatos, y en los últimos años se ha visto un gran potencial con la explotación y tratamiento de todos estos datos para convertirlos en información útil en la toma de decisiones. Por ello, han aparecido conceptos nuevos, como data governance, data management, data architectuere, business inteligence, etc
En cierta medida, todos tenemos claro la utilidad de la generación de los datos, ya que todos nosotros generamos diariamente millones de datos que terceros analizan, por ejemplo, para ofrecernos publicidad dirigida. Además, la generación de dichos datos está en constante evolución y se generan orientados a un objetivo, incluso se diseñan nuevos datos para nuevos objetivos.
En 2019, muchas empresas y entidades realizaron una gran inversión en procesos de transformación digital y, junto a ello, se apostó por los Big Data, que permiten capturar información, y por los Business Intelligence, que permiten el análisis y la toma de decisiones. Gracias a todo ello, se ha creado un activo digital muy importante.
¿Pero qué pasa cuando estamos hablando de datos históricos? Datos generados hace años, con métodos o herramientas obsoletas ¿nos pueden servir estos datos para analizar información actual, incluso información a futuro? Vamos a analizar la solución desde el punto de vista de la migración de datos.
Migración del Dato
Uno de los principales objetivos en toda migración de datos es, no solo el traspaso de información, sino la realización del traspaso con garantía de que los datos que estamos moviendo dispondrán de la suficiente calidad para ser explotados por la herramienta destino de los mismos.
En las primeras fases de análisis de un proyecto de migración, se considera la Calidad de los Datos desde el minuto cero, ya que una primera pregunta que nos debemos responder al abordar el proyecto es…
¿Queremos tener el dato o queremos tener el dato útil?
En función de la respuesta se aborda el proyecto de forma completamente distinta:
- Si se quiere realizar una migración para disponer de los datos para consultarlos cuando los necesitemos, simplemente se requerirá un traslado del dato tal como esté en origen.
- Si queremos disponer del dato, pero que además podamos analizarlo junto a la información generada con el día a día, se debe revisar, completar, contextualizar… según la herramienta destino.
Es en este segundo caso, sobre todo, donde entran los procesos de la Calidad del Dato para poder garantizar que la migración acabará con un dato útil que permita ser analizado como un dato más dentro de las herramientas de análisis que se utilicen para ello.
Dentro de un proyecto de migración, el proceso de Calidad del Dato comprende los siguientes aspectos:
- Limpieza. Se analizan posibles deficiencias o incoherencias en los datos y se corrigen para darles consistencia. Se evitan datos erróneos y se evita trasladar al destino dato que pudieran provocar errores.
- Normalización. Se realiza una estandarización y unificación de datos entre herramienta de origen y herramienta destino, unificación de codificaciones, tipologías, clasificaciones, etc. De forma que una vez trasladado el dato se puede analizar junto con los ya existentes.
- Completación. Si el destino lo requiere, se pueden enriquecer los datos de origen y reestructurarlos de forma que serán cien por cien útiles en la herramienta destino. Incluso se pueden completar los datos de diferentes orígenes o diferentes herramientas para llegar a un modelo de dato común y analizable en destino.
Estos aspectos deben ser tratados con especial esmero en cualquier proceso de migración que requiera un elevado nivel en su data quality, y no solo desde el punto de vista del dato, sino de la herramienta origen que lo generó y sobre todo de la utilidad que se le quiera dar a ese dato en la herramienta destino.
Este mismo año (mayo-2022), el ministerio ha publicado una serie de normas técnicas referentes a la calidad del dato para ayudar a las organizaciones públicas a conseguir uno de los principales objetivos a los que se enfrentan, que es la transformación de datos en conocimiento para la toma de decisiones.
https://datos.gob.es/es/blog/normas-tecnicas-para-alcanzar-la-calidad-del-dato
Concretamente en la Norma ISO 25012 se detallan las características que debe cumplir
Conclusión
Así pues, los proyectos de migración se pueden considerar como un hito dentro del data governance que permita enriquecer las bases de datos con datos históricos y tomar decisiones para mejorar y optimizar cada uno de los procesos diarios.
La calidad del dato no está directamente relacionada con el proceso de migración, sino con el de generación. Pero, como hemos podido ver, el momento de la migración puede ser un buen momento para realizar y revisar la utilidad y poder sacar el máximo provecho a nuestro ecosistema de datos.
