Importancia del Role de calidad en Big Data

El foco tradicional del Test ha sido verificar que el código cumple con las especificaciones del proyecto. No es hasta las pruebas de aceptación, cuando el usuario valida. Momento en el que es normal descubrir muchos problemas en los que el sistema no hace lo que el usuario necesita o desea, y quizás ya sea demasiado tarde. Esto, no garantizan el desarrollo de sistemas con éxito, por lo que se debe busca adelantar la calidad a etapas anteriores del ciclo.

A medida que avanzamos en el mundo del Big Data y de IoT, los problemas de calidad se vuelven cada vez más complejos. Tenemos los tres V tradicionales de grandes datos: La gran velocidad a la que se crean, almacenan, analizan y visualizan los datos, así como el gran volumen de datos que se producen diariamente, y su variedad de datos, provenientes de muy diversas fuentes.

Si podemos lograr una dirección de proyectos más efectiva, con verificación y validación desde el inicio del proyecto, las recompensas en términos de calidad del software serán mucho más exitosas para todos los implicados. Hay un enfoque muy eficaz a la hora de plantear este reto, y se basa en desarrollar un conjunto de preguntas que se puedan plantear a los distintos actores, sobre requisitos, diseños, datos, tecnologías y la lógica de procesamiento. Por analogía, un conjunto de 12 Vs, que plantean las 12 preguntas críticas:

  1. Volumen (tamaño).
  2. Velocidad
  3. Variedad (fuentes / formato / tipo).
  4. Variabilidad (temporal).
  5. Valor (qué / quién / cuándo?).
  6. Veracidad (verdad).
  7. Validez (aplicable).
  8. Volatilidad (temporal).
  9. Verbosidad (texto).
  10. Vulnerabilidad (seguridad / reputación).
  11. Verificación (confianza / precisión).
  12. Visualización (presentación).

Hasta el momento, los equipos de Test están muy poco implicados en cualquiera de los grandes proyectos de análisis de datos, por lo que el departamento de calidad tiene el desafío de determinar cómo sus habilidades, conocimientos, experiencia, procesos y procedimientos pueden ser aplicados antes en el ciclo de vida del desarrollo para entregar mejores proyectos validados y verificados.

Puntos claves,  que debemos tener en cuenta si queremos empezar dándole calidad a un proyecto de big data:

1) Identifica los datos relevantes: A veces, a la hora de escoger los datos correctos, las estructuras que has podido ir heredando de IT (Information Technology) pueden llegar a obstaculizarte. Sobre todo a la hora de almacenar y analizar los datos. Las arquitecturas de IT que existen hoy en día pueden impedir que integres datos y los gestiones. Por lo que es vital anticiparse a estos problemas.

Identificar y conectar rápidamente los datos más importantes y después desarrollar un proceso de limpieza de datos es la clave.

2) Construye modelos de negocio que optimicen resultados

3) La analítica es el eje central. Analizemos bien antes de empezar. Más vale retrasar un poco el principio que empezar con malos cimientos.