Durante los últimos años, las empresas están haciendo un gran esfuerzo por llegar a ser data-driven, sin embargo, tomar decisiones basadas en datos puede convertirse en un reto difícil de alcanzar.

Las compañías recogen datos procedentes de fuentes diversas y los almacenan en distintos sistemas de información basados en diferentes tecnologías.

Como resultado, aparecen silos de datos con estructuras y formatos heterogéneos.

Además, es habitual encontrar que la información almacenada se encuentra incompleta, desactualizada, duplicada o contiene errores.

Bajo este contexto, resulta difícil tomar decisiones estratégicas basadas en datos debido a la dificultad que entraña disponer de datos de calidad.

Cultura del dato

Garantizar la calidad de los datos es un reto que requiere de todo un proceso (no un proyecto) en el que debe intervenir toda la compañía, desde el comité directivo hasta las diferentes unidades de negocio.

Es una creencia muy extendida que la calidad de los datos es una responsabilidad del área de tecnología, sin embargo, una exitosa política de calidad debe involucrar a Negocio, porque es este área quien conoce qué se debe esperar de los datos.

El primer reto para establecer una cultura en torno al dato es entender que la mala calidad de los datos tiene un coste real para la compañía: errores de facturación, pérdida de confianza del cliente, mala reputación, pérdida de oportunidades de negocio o pérdidas por toma de decisiones erróneas pueden ser algunas de ellas.

¿Cómo abordar la calidad del dato?

Una vez concienciados de la importancia de la calidad de los datos y que se ha establecido como una prioridad, ¿qué necesita la compañía?

En primer lugar, es necesario definir la propiedad del dato.

El propietario del dato debe ser una persona de negocio que se haga responsable de los datos que le pertenecen, asegurándose de la calidad y del uso responsable de sus datos.

La propiedad del dato debe ser debidamente entendida, es un error muy frecuente encontrar unidades de negocio con un concepto erróneo de la propiedad.

Estas unidades suelen mostrarse reacias a compartir sus datos o que las métricas de calidad sean transparentes al resto de la compañía.

Dato activo de la compañía

No hay que perder de vista que el dato es un activo de la compañía, y como tal, debe ser accesible y se debe conocer su calidad.

En segundo lugar, deben establecerse procesos que permitan realizar controles periódicos de la calidad de los datos. La calidad de los datos no es estática, los datos que hoy se hayan corregido no tienen por qué permanecer así mañana.

Por este motivo, los controles deben ejecutarse con cierta frecuencia y los resultados de las métricas deben ser públicos y accesibles, bien a través de dashboards, informes o en el catálogo de metadatos.

Tampoco hay que perder de vista que el dato es un elemento “vivo”: se crea, se transporta, se transforma y se consume. Como consecuencia, se deben establecer controles a lo largo del ciclo de vida del dato.

El objetivo final debe ser detectar los problemas de calidad y corregirlos en origen.

Esto no implica que adicionalmente no puedan realizarse medidas de limpieza para corregir los errores existentes.

Los controles de calidad que se hayan establecido permitirán medir el éxito de las medidas correctivas aplicadas y monitorizar cualquier cambio que se produzca.

De cara a la monitorización, es conveniente establecer umbrales de calidad que desencadenen alarmas y notificaciones cuando la calidad caiga por debajo de un determinado umbral.

Por último, no hay que olvidar que los datos no son estáticos, los controles deberán modificarse conforme a las variaciones de las estructuras de datos, crear controles nuevos, nuevas reglas de negocio, etc.

Además, es fundamental establecer planes que busquen la mejora continua de la calidad de los datos como parte de esta nueva cultura en torno al dato.

Disponer de un comité de calidad de datos o de un centro de excelencia puede resultar muy útil para liderar la iniciativa: alinear la estrategia de la empresa, identificar los datos críticos, coordinar los controles periódicos y definir roles y responsabilidades dentro de las diferentes áreas de la compañía.

Una labor fundamental para el éxito de la iniciativa son las comunicaciones corporativas, difusión de las políticas y liderar el cambio cultural mediante formaciones obligatorias.

Tecnología

La tecnología juega un papel fundamental en todo este proceso. Es importante definir los roles, responsabilidades y el proceso, pero no es posible realizar controles de calidad sin la herramienta adecuada.

Comenzaba explicando que las compañías almacenan datos en sistemas de información heterogéneos.

Es importante, por este motivo, elegir una herramienta que permita conectar con distintos orígenes de datos (tanto sistemas de almacenamiento más tradicionales como tecnologías Big Data), tanto en entornos Cloud como On Premise

Por otro lado, es importante disponer de una herramienta que permita llevar las métricas de calidad a distintos sistemas, por ejemplo, al catálogo de metadatos o a una herramienta de reporting.

Por último, hay que considerar qué características ofrece la herramienta en cuanto a funcionalidades de calidad de datos:

  • capacidades de perfilado,
  • creación de reglas de negocio,
  • traducción de reglas funcionales a consulta técnica,
  • ejecución de controles,
  • visualización de resultados,
  • agregación de métricas,
  • monitorización de calidad,
  • umbrales de calidad,
  • alertas, etc.

En conclusión, la calidad de los datos requiere crear una cultura en torno al dato que establezca la calidad como una prioridad.

Además, es importante destacar que no se trata de un proyecto con un final, sino un proceso continuo que requiere de compromiso por parte de la organización.

Lucía Engo. Responsable Calidad Dato
Lucía Engo. Responsable Calidad Dato